具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。描述特定细节以提供对本发明各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本发明的实施方式的简洁讨论。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供的一种3D颅脑MRI医学影像报告自动生成方法流程图，如图1所示，包括：

获取待生成医学影像报告的3D颅脑MRI医学图像；

将所述待生成医学影像报告的3D颅脑MRI医学图像输入到预先训练好的基于Transformer的3D颅脑MRI医学影像报告自动生成模型，得到所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型输出的医学影像报告结果；辅助医生进行颅脑相关疾病诊断及报告的书写；所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型是基于训练集训练获得的，所述训练集包括患者的3D颅脑MRI医学图像数据及对应的医学影像报告文本数据。

其中，基于Transformer的3D颅脑MRI医学影像报告自动生成模型的训练集是基于患者的颅脑MRI医学图像数据及对应的医学影像报告文本数据进行一系列预处理得到的样本集数据构建的，包括对3D颅脑MRI医学图像数据和医学影像报告文本数据进行匹配对应、删除数据缺失的记录及中文文本报告的预处理。

基于上述实施例，所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型，通过以下步骤获得：

获取患者3D颅脑MRI医学图像和对应的医学影像报告文本样本集数据，并对所述样本集数据进行预处理，得到预处理样本集数据；

基于所述预处理样本集数据生成用于训练的数据集；

构建基于Transformer的3D颅脑MRI医学影像报告自动生成初始模型；

将所述数据集输入所述基于Transformer的3D颅脑MRI医学影像报告自动生成初始模型进行训练，训练完成得到所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型。

其中，所述获取患者3D颅脑MRI医学图像和对应的医学影像报告文本样本集数据，并对所述样本集数据进行预处理，得到预处理样本集数据，具体包括：

获取用于训练的3D颅脑MRI医学图像及对应的医学影像报告文本样本集数据；

将获取到的3D颅脑MRI医学图像数据和医学影像报告文本数据进行匹配对应，删除数据缺失的记录，医学影像报告的中文分词、文本描述等长补齐和建立字典处理；

作为一个或多个实施例，如图2所示，所述基于Transformer的3D颅脑MRI医学影像报告自动生成模型，网络架构包括：

视觉特征提取器、编码器和解码器；

所述视觉特征提取器利用3D CNN(卷积神经网络)提取颅脑MRI医学图像丰富的局部3D上下文特征，生成捕获空间和深度信息的紧凑特征图，在解码路径中允许利用中间高分辨率的CNN特征图,比单纯使用Transformer作为编码器效果要好；

所述编码器(ENCODER)采用Transformer的标准编码器进行全局特征建模。

所述解码器(DECODER)采用Transformer的解码器的主要部分，并在层归一化中引入一个额外的网络记忆模块(Memory)，更好的建模医学影像报告长距离信息的同时，建模其中的模式化信息；

其中，所述视觉特征提取器采用3D CNN方法建立，具体包括：

所述视觉特征提取器3D CNN是一个具有3D卷积层和3D池化层的神经网络，将训练集中获取的3D颅脑MRI医学图像输入到3D CNN中进行丰富的局部3D上下文特征提取，得到特征表示F，这样丰富的局部3D上下文特征被有效的嵌入F中；将空间维度和深度维度折叠成一维，得到特征向量f。为了对报告生成任务中至关重要的位置信息进行编码，引入了可学习的位置嵌入，并通过残差模块将它们与特征图f相融合，创建特征嵌入。

其中，所述编码器采用Transformer的标准编码器对全局特征建模，进一步包括：

所述编码器在模型中采用了Transformer的标准编码器，其中输出是从特征提取器提取的输入特征中隐藏的状态；Transformer编码器由N层多头自注意力(Multi-HeadAttention，MHA)和多层感知器(Multi-Layer Perceptron，MLP)块组成。因此，第一层的输出可以写成如下形式:z′_l＝MHA(LN(z_l-1))+z_l-1，z_l＝MLP(LN(z′_l))+z′_l，其中LN(·)表示层归一化算子，z_L表示编码图像表示。

其中，所述解码器主要采用Transformer的解码器部分，并在层归一化中引入一个额外的记忆网络模块(Memory)，具体包括：

所述记忆网络模块旨在学习医学影像报告的模式化信息，把记忆网络模块引入层归一化，使得医学影像报告生成时，用记忆控制Transformer输出特征的均值和方差，从而深度利用了医学影像报告的模式化信息。

所述记忆网络模块是一个矩阵，在生成的过程中，每次生成一个字时，记忆网络模块需要用上一时刻生成的字进行更新；

其中，所述记忆网络模块更新规则，具体包括：

给定上一时刻的Memory以及上一时刻生成的字的词向量，它们将输入给多头注意力，具体而言，作为MHA的query(Q)，和拼接起来作为MHA的key(K)和value(V)。MHA的残差结果经过一个多层感知机得到更新的记忆；

作为一个或多个实施例，如图3所示，所述预先训练好的基于Transformer的3D颅脑MRI医学影像报告自动生成模型，训练步骤包括：

获取患者的3D颅脑MRI医学图像数据和医学影像报告文本数据；将获取到的3D颅脑MRI医学图像数据和医学影像报告文本数据进行匹配对应，删除数据缺失的记录；

对所述3D颅脑MRI医学图像数据和医学影像报告文本数据进行预处理，所述预处理，包括建立图像报告对、中文分词、文本描述等长补齐和建立字典处理；

构建数据集，所述数据集为患者的3D颅脑MRI医学图像数据和对应的医学影像报告文本数据；

将数据集按3:1:1比例划分为：训练集、验证集和测试集；

将训练集，输入到基于Transformer的3D颅脑MRI医学影像报告自动生成模型中，对模型进行训练，得到训练好的基于Transformer的3D颅脑MRI医学影像报告自动生成模型。

具体地，给定输入3D颅脑MRI医学图像空间分辨率为H×W，深度维度为D和通道为C。首先利用3D CNN生成捕获空间和深度信息的紧凑特征图，丰富的局部3D上下文特征被有效地嵌入并送到Transformer编码器，Transformer编码器由N个Transformer层组成，每个层都有一个标准架构，该架构由一个多头注意力(MHA)模块和一个前馈网络(FFN)组成。进一步地构建由视觉特征提取器、编码器、解码器组成的颅脑MRI医疗文本报告生成初始模型，将3D颅脑MRI医学图像数据和对应的医学影像报告文本数据对初始模型进行模型训练，直到模型达到收敛条件后，得到最终的基于Transformer的3D颅脑MRI医学影像报告自动生成模型。

进一步地，所述建立图像报告对，是通过python中的字典对象建立图像报告对，如：{‘image_id’：图片id，‘report’：图片对应的报告}。

进一步地，所述中文分词处理，是将报告文本放入分词器中对文本描述进行分词；使用python中的jieba分词包对所有医学影像报告进行分词，然后使用空格替换报告中的逗号和顿号。

进一步地，所述将文本描述进行等长补齐处理，在所有医学影像报告前后加上表示开始和结束的符号S和E，并将所有医学影像报告长度都使用‘End’字符补齐到与数据集中最长的文本报告一样的长度。

进一步地，所述建立字典，首先统计所有分词的结果，建立字典。

进一步地，所述获取3D颅脑MRI医学图像数据和医学影像报告文本数据步骤之后，还包括：

对医学影像报告文本数据中的敏感信息进行脱敏处理，用病人id唯一标识一个病人，将数据中包含的病人私人信息进行脱敏处理。

应理解的，所述删除数据缺失的记录，是指：删除只有颅脑MRI医学图像而没有对应的医学影像报告的这类数据。

获取的3D颅脑MRI医学图像及其对应的预处理后的医学影像报告文本数据构建作为数据集，按照3:1:1的比例划分为训练集、验证集和测试集。

通过使用训练集的数据，对模型进行训练；由于模型既涉及到3D颅脑医学图像特征的提取，又涉及到医学影像报告的生成，在模型训练时不宜将模型的迭代轮次设置过大。在训练过程中，如果尚未达到预设的训练轮次，则继续进行训练，否则进行下一步；使用验证集数据进行调参和对模型的进行优化，在训练的过程中会对模型进行测试，以及对BLEU1_4、METEOR、CIDr和ROUGE评测指标的输出，便于观察模型训练的情况。当模型全部迭代完成，对模型进行保存，便于后面进行系统的可视化展示，可以较好地根据3D颅脑MRI医学图像自动生成对应的医学影像报告。

获取新的3D颅脑MRI医学图像，将3D颅脑MRI医学图像输入到训练好的基于Transformer的3D颅脑MRI医学影像报告自动生成模型中，模型可以根据提取到的特征生成对应的医学影像报告。

本实施例提供了3D颅脑MRI医学影像报告自动生成系统,包括：

获取模块，其被配置为：获取待生成医学影像报告的3D颅脑MRI医学图像；

报告生成模块，其被配置为：将待生成医学影像报告的3D颅脑MRI医学图像输入到预先训练好的基于Transformer的3D颅脑MRI医学影像报告自动生成模型中，生成相应的医学影像报告并展示；辅助医生进行颅脑相关疾病诊断及报告的书写；

所述预先训练好的基于Transformer的3D颅脑MRI医学影像报告自动生成模型，是通过训练集训练得到的，所述训练集包括患者的3D颅脑MRI医学图像及对应的医学影像报告文本数据。

需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行；所提出的系统，可以通过其他的方式实现。

本发明实施例提供的一种3D颅脑MRI医学影像报告自动生成方法及系统，通过患者的3D颅脑MRI医学图像及对应的医学影像报告文本数据进行模型训练，训练好的模型可以生成辅助医生进行颅脑相关疾病诊断的报告。本发明对三维医学图像分析处理技术进行了探索，提出了3D颅脑MRI医学影像报告自动生成方法，该方法不是简单的采用Transformer模型，而是首先采用3D CNN对图像特征进行有效的提取，并在Transformer解码器部分，引入一个额外的记忆网络模块，更好的建模医学影像报告长距离信息的同时，建模其中的模式化信息，提高3D颅脑MRI医学影像报告自动生成的质量，改善医学影像报告的生成过程，用以辅助医生进行颅脑相关疾病的精确诊断及报告书写，节约医生诊断时间和减小工作量，从而提高医生的工作效率，同时减少漏诊、误诊的发生概率。

另一方面，本发明实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例所述的3D颅脑MRI医学影像报告自动生成方法。

应理解，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例中的3D颅脑MRI医学影像报告自动生成方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例所述的3D颅脑MRI医学影像报告自动生成方法。

本领域普通技术人员可以结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。