阅读说明：本技术 生成配准的带病灶分割标签的多模态mri的方法、系统及介质 (Methods, systems, and media for generating registered multi-modality MRI with lesion segmentation tags ) 是由 瞿毅力 王莹 苏琬棋 邓楚富 卢宇彤 陈志广 于 2019-08-19 设计创作，主要内容包括：本发明公开了一种生成配准的带病灶分割标签的多模态MRI的方法、系统及介质,本发明的方法包括获取正态分布的随机矩阵并输入生成对抗网络中训练好的结构特征解码器解码生成结构特征图；将结构特征图与随机选取的病灶分割标签图通过随机输入融合得到融合结果、并输入生成对抗网络中训练好的随机编码器得到编码；将编码输入生成对抗网络中训练好的各个模态的解码器,分别生成配准后的多模态MRI。本发明将生成对抗网络中的生成器模块化为编码器和解码器,通过多组编码器、解码器和鉴别器的组合训练,可接收一个符合设计规范的随机输入进而生成一组有病灶分割标签的配准的多模态MRI图像,可广泛应用于医学影像领域。(the invention discloses a method, a system and a medium for generating registered multi-mode MRI with a focus segmentation label, wherein the method comprises the steps of obtaining a normally distributed random matrix and inputting the matrix into a decoder for generating trained structural features in a countermeasure network to decode and generate a structural feature graph; the structural characteristic graph and the randomly selected focus segmentation label graph are fused through random input to obtain a fusion result, and the fusion result is input to a trained random encoder in a generated countermeasure network to obtain a code; and generating decoders for resisting each trained mode in the network by using the coded input, and respectively generating the multi-mode MRI after registration. The generator in the generation countermeasure network is modularized into the encoder and the decoder, and through the combined training of a plurality of groups of encoders, decoders and discriminators, a random input meeting the design specification can be received to generate a group of registered multi-mode MRI images with focus segmentation labels, so that the method can be widely applied to the field of medical imaging.)

生成配准的带病灶分割标签的多模态MRI的方法、系统及介质

技术领域

本发明涉及医疗领域的图像生成技术，具体涉及一种生成配准的带病灶分割标签的多模态MRI的方法、系统及介质，用于根据给定的符合规范的随机输入，获取配准的带病灶分割标签的多模态MRI图像。

背景技术

随着深度学习的发展，越来越多的领域开始采用深度神经网络来进行图像处理任务。然而，深度神经网络的训练需要大量的数据，但在很多领域，数据集的构建是十分困难的。因此图像生成技术在很多领域的图像智能处理场景中都有重要的用途，例如医学影像、生物细胞影像等。在医学影像智能处理中，医学影像有很多的模态，例如核磁共振影像(MRI)X射线，CT等等。当同一个病人的同一个部位通过不同的成像技术得到不同的模态时，如果成像位置和视角一致的则被认为这些模态是配准的。相较于单模态数据，配准的多模态影像数据能提供更多的信息，可以支撑更多更复杂的应用场景，满足深度神经网络的训练数据的需求，有助于提供更加高效可靠的智能诊断服务。然而，医学影像收集十分困难，尤其是罕见病，使得医学影像数据集都是稀缺和小型的，这使得很多的训练任务无法实现。自然，配准的多模态影像数据则更为稀缺。因此，通过应用图像生成技术，生成配准的多模态图像有着广泛的用途和深远的意义。

生成对抗网络(GAN)是一种可以接受无监督训练也可以接受有监督训练的灵活的深度神经网络，在计算机视觉领域得到了非常广泛的应用。生成对抗网络一般包括一个生成器和一个鉴别器，生成器可以通过接受随机输入生成逼真的图像，鉴别器通过学习真实图像和生成图像来对两者进行区分并以此指导生成器生成更加逼真的图像。但是，生成配准的带病灶分割标签的多模态MRI时，如何根据给定的符合规范的随机输入获取配准的带病灶分割标签的多模态MRI图像，则仍然是一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种生成配准的带病灶分割标签的多模态MRI的方法、系统及介质，本发明将生成对抗网络中的生成器模块化为编码器和解码器，通过多组编码器、解码器和鉴别器的组合训练，可接收一个符合设计规范的随机输入进而生成一组有病灶分割标签的配准的多模态MRI图像，可广泛应用于医学影像领域。

为了解决上述技术问题，本发明采用的技术方案为：

一种生成配准的带病灶分割标签的多模态MRI的方法，实施步骤包括：

1)从正态分布N(0，1²)获取随机矩阵Code_F，RM；

2)将随机矩阵Code_F，RM输入生成对抗网络中训练好的结构特征解码器Decoder_F解码生成结构特征图F_RM；

3)将结构特征图F_RM与随机选取的病灶分割标签图L通过随机输入融合得到融合结果；

4)将融合结果输入生成对抗网络中训练好的随机编码器Encoder_RM得到编码Code_RM；

5)将编码Code_RM输入生成对抗网络中训练好的各个模态i的i模态解码器Decoder_i，分别生成配准后的i模态MRIi_g。

可选地，步骤2)之前还包括训练生成对抗网络中的结构特征解码器Decoder_F的步骤，详细步骤包括：

A1)随机选择一个模态，从这个模态中获取一张图n，进行结构特征提取得到结构特征图F，进行掩模提取得到对应掩模Mask；

A2)用生成对抗网络中的结构特征编码器Encoder_F对结构特征图F进行编码获得编码均值矩阵Code_F，mean及方差矩阵Code_F，logvar，从正态分布N(0，1²)的获取随机噪声Code_e，由均值矩阵Code_F，mean及方差矩阵Code_F，logvar、随机噪声Code_e三个编码综合得到加入噪声后的近似正态分布矩阵Code_F；

A3)用掩码解码器Decoder_Mask对正态分布矩阵Code_F解码得到重建的掩模Mask_r；用结构特征解码器Decoder_F对Code_F解码得到重建的结构特征图F_r；

A4)随机生成符合正态分布N(0，1²)的矩阵Code_F，RM，用结构特征解码器Decoder_F对矩阵Code_F，RM解码得到生成的随机结构特征图F_RM，用掩码解码器Decoder_Mask对矩阵Code_F，RM解码得到生成的随机掩模Mask_RM；

A5)分别使用结构特征图鉴别器Discriminator_F分别对(F，Mask)和(F_RM，Mask_RM)进行鉴别，将前者鉴别为真，后者鉴别为假；其中F为结构特征图，Mask为掩模，F_RM为随机结构特征图，Mask_RM为随机掩模；使用结构特征鉴别器FeatureDiscriminator_F分别对Code_F和Code_F，RM进行鉴别，将前者鉴别为假，后者鉴别为真，其中Code_F为加入噪声后的近似正态分布矩阵，Code_F，RM为随机生成符合正态分布N(0，1²)的矩阵；

A6)根据上述各个步骤的输出结果和对应的损失函数计算损失，再调用优化器对损失函数求导得到上述各个组件中模型参数的梯度，然后将各个参数与对应梯度求差，完成网络参数的更新；

A7)判断是否满足预设的迭代结束条件，所述迭代结束条件为损失函数值低于设定阈值或迭代次数达到设定步数，如果不满足则跳转执行步骤A1)；否则退出。

可选地，步骤A2)综合得到加入噪声后的近似正态分布矩阵Code_F的函数表达式为：

Code_F＝Code_F，mean+exp(0.5*Code_F，logvar)*Code_e；

上式中，Code_F，mean为结构特征编码器Encoder_F对结构特征图F进行编码获得的均值矩阵，Code_F，logvar为结构特征编码器Encoder_F对结构特征图F进行编码获得的方差矩阵，Code_e为从正态分布N(0，1²)的获取随机噪声。

可选地，步骤3)的详细步骤包括：

3.1)随机选取的病灶分割标签图L，将包含多个类别的病灶分割标签图L转为独热矩阵，得到一个通道数与类别数量一样的多维标签矩阵，每个通道中仅有部分像素有效，其余部分为填充的0，这些非0像素区域与病灶分割标签图中的各个分割区域是配准的；

3.2)将这个被分割后的多维标签矩阵与结构特征图F_RM一起在通道维度进行堆叠，得到一个融合了两个输入源的矩阵作为融合结果。

可选地，步骤4)之前还包括训练各个模态i的i模态解码器Decoder_i、i模态编码器Encoder_i以及病灶分割标签解码器Decoder_L及训练随机编码器Encoder_RM的步骤，详细步骤包括：

B1)训练各个模态i的i模态解码器Decoder_i、i模态编码器Encoder_i以及病灶分割标签解码器Decoder_L，训练随机编码器Encoder_RM；

B2)根据各个训练步骤的输出结果和对应的损失函数计算损失，再调用优化器对损失函数求导得到上述各个组件中模型参数的梯度，然后将各个参数与对应梯度求差，完成网络参数的更新；

B3)判断是否满足预设的迭代结束条件，所述迭代结束条件为损失函数值低于设定阈值或迭代次数达到设定步数，如果不满足则跳转执行步骤B1)；否则退出。

可选地，步骤B1)中训练各个模态i的i模态解码器Decoder_i、i模态编码器Encoder_i以及病灶分割标签解码器Decoder_L的详细步骤包括：

步骤1，输入随机的模态i的原图i；

步骤2，用i模态编码器Encoder_i对原图i进行编码获得编码Code_i；

步骤3，用i模态解码器Decoder_i对编码Code_i解码得到重建图i_r；用病灶分割标签解码器Decoder_L对编码Code_i解码得到病灶分割标签图L_i，f；同时，针对其余任意一个模态j，首先用j模态解码器Decoder_j对编码Code_i解码得到原图i的j模态转换图j_t，再用j模态编码器Encoder_j对原图i的j模态转换图j_t进行编码获得编码Code_j，t，再用i模态解码器Decoder_i对编码Code_j，t解码得到原图i的以j模态为中间模态的循环重建图i_c；

步骤4，分别通过模态鉴别器Discriminator_x分别对原图i和各个模态j转换为模态i的i模态转换图i_t进行鉴别，将前者鉴别为真，后者鉴别为假。

可选地，步骤B1)中训练随机编码器Encoder_RM详细步骤包括：

步骤1，随机选择一个模态，从这个模态中获取一张图n及其对应的病灶分割标签图L_n，用结构特征提取方法得到结构特征图F₁，用掩模提取方法得到对应掩模Mask；利用病灶分割标签图L_n去除提取得到结构特征图F₁的病灶信息，得到无病灶信息的结构特征图F；

步骤2，将结构特征图F与随机输入的病灶分割标签图L随机输入融合得到融合结果F_RM，expand；

步骤3，将融合结果F_RM，expand送入随机编码器Encoder_RM编码为编码Code_RM；

步骤4，将编码Code_RM输入病灶分割标签解码器Decoder_L解码出重建病灶分割标签图L_r；同时针对每一个模态i：将编码Code_RM输入模态i的i模态解码器Decoder_i得到i模态生成图i_g，将i模态生成图i_g进行结构特征提取得到结构特征图F_i，g，将i模态生成图i_g输入i模态编码器Encoder_i得到编码Code_i，g，将编码Code_i，g输入病灶分割标签解码器Decoder_L解码出L_y，g、输入其余各个模态j的j模态解码器Decoder_j得到对应的j模态生成病灶分割标签图j_g，t；

步骤5，针对每一个模态i，分别各个模态i的i模态鉴别器Discriminator_i对该模态的原图n、i模态生成图i_g进行鉴别，将前者鉴别为真，后者鉴别为假；通过特征鉴别器FeatureDiscriminator分别对编码Code_RM以及各个模态i的编码Code_i进行鉴别，将Code_RM鉴别为假，各个模态i的编码Code_i鉴别为真。

此外，本发明还提供一种生成配准的带病灶分割标签的多模态MRI的系统，包括：

随机矩阵生成程序单元，用于从正态分布N(0，1²)获取随机矩阵Code_F，RM；

结构特征提取程序单元，用于将随机矩阵Code_F，RM输入生成对抗网络中训练好的结构特征解码器Decoder_F解码生成结构特征图F_RM；

结构特征融合程序单元，用于将结构特征图F_RM与随机选取的病灶分割标签图L通过随机输入融合得到融合结果；

随机编码程序单元，用于将融合结果输入生成对抗网络中训练好的随机编码器Encoder_RM得到编码Code_RM；

配准结构特征图生成程序单元，用于将编码Code_RM输入生成对抗网络中训练好的各个模态i的i模态解码器Decoder_i，分别生成配准后的i模态MRIi_g。

此外，本发明还提供一种生成配准的带病灶分割标签的多模态MRI的系统，包括计算机设备，该计算机设备被编程或配置以执行所述生成配准的带病灶分割标签的多模态MRI的方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行所述生成配准的带病灶分割标签的多模态MRI的方法的计算机程序。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行所述生成配准的带病灶分割标签的多模态MRI的计算机程序。

和现有技术相比，本发明具有下述优点：

1、本发明将生成对抗网络中的生成器模块化为编码器和解码器，通过多组编码器、解码器和鉴别器的组合训练，可接收一个符合设计规范的随机输入进而生成一组有病灶分割标签的配准的多模态MRI图像，可广泛应用于医学影像领域。

2、本发明训练使用的数据无需配准，是无监督学习，可以实现多模态配准MRI的生成，且生成的数据是有标签的，对模态的数量没有限制。

3、本发明采用模块化的设计可以方便的进行模态扩展，并使模型训练更灵活，训练可独立进行也可以同步进行，训练好的模块在使用时组合重用。

附图说明

图1为本发明实施例方法的基本原理示意图。

图2为本发明实施例方法的基本流程示意图。

图3为本发明实施例的结构特征图生成训练架构图。

图4为本发明实施例的模态配准图像生成训练中的辅助训练架构图

图5为本发明实施例的模态配准图像生成训练中的生成训练架构图

图6为本发明实施例的模态配准图像生成训练的主流程图。

具体实施方式

下文将以x、y两种模态为例，对本发明生成配准的带病灶分割标签的多模态MRI的方法、系统及介质进行进一步的详细说明。但是，需要说明的是，本发明生成配准的带病灶分割标签的多模态MRI的方法、系统及介质并不仅仅局限于两种模态的模态配准图像生成，还可以适用于三种以及更多模态的配准多模态MRI生成。

如图1和图2所示，本实施例生成配准的带病灶分割标签的多模态MRI的方法的实施步骤包括：

1)从正态分布N(0，1²)获取随机矩阵Code_F，RM，可表示为N(0，1²)→Code_F，RM；

2)将随机矩阵Code_F，RM输入生成对抗网络中训练好的结构特征解码器Decoder_F(简称DC_F)解码生成结构特征图F_RM；

3)将结构特征图F_RM与随机选取的病灶分割标签图L通过随机输入融合得到融合结果；参见图2，随机选取的病灶分割标签图L为将真实的病灶标签图，通过随机进行平移、翻转、旋转、缩放等简单的图像变换操作得到；

4)将融合结果输入生成对抗网络中训练好的随机编码器Encoder_RM(简称EC_R)得到编码Code_RM；

5)将编码Code_RM输入生成对抗网络中训练好的各个模态i的i模态解码器Decoder_i，分别生成配准后的i模态MRIi_g。参见图1，以x、y两种模态为例，将编码Code_RM输入生成对抗网络中训练好的模态x的x模态解码器Decoder_x(简称DC_x)，分别生成配准后的i模态生成结构特征图x_g；将编码Code_RM输入生成对抗网络中训练好的模态y的y模态解码器Decoder_y(简称DC_y)，分别生成配准后的i模态生成结构特征图y_g。

本实施例生成配准的带病灶分割标签的多模态MRI的方法的具有下述随机输入规范：随机输入包括一个随机的结构特征图，一个随机分割标签图。随机结构特征图通过解码器从一个标准正态分布矩阵解码生成。真实结构特征图是从真实图像通过基于Sobel算子的结构特征图提取方法提取得到的。随机分割标签图为随机选择的真实模态图像中各个部分的分割标签。本实施例能够接收符合这个规范的随机输入，生成一组有分割标签的配准的多模态MRI数据。

本实施例步骤2)之前还包括训练生成对抗网络中的结构特征解码器Decoder_F(简称DC_F)的步骤，训练生成对抗网络中的结构特征解码器Decoder_F(简称DC_F)的步骤这一部分可独立训练，训练完成后，生成的随机结构特征图用于进一步生成一组有病灶分割标签的配准的多模态MRI数据，本实施例中基于变分自动编码器(VAE)的思想，将结构特征图编码进一个正态分布空间，再用解码器从正态分布空间解码出结构特征图。如图3所示，本实施例中训练生成对抗网络中的结构特征解码器Decoder_F(简称DC_F)的详细步骤包括：

A1)随机选择一个模态，从这个模态中获取一张图n，进行结构特征提取(本实施例中采用Sobel算子，故图中用Sobel表示提取结构特征)得到结构特征图F，进行掩模提取(图中用Mask表示)得到对应掩模Mask；

A2)用生成对抗网络中的结构特征编码器Encoder_F对结构特征图F进行编码获得编码均值矩阵Code_F，mean及方差矩阵Code_F，logvar，可表示为Code_F，mean，Code_F，logvar＝Encoder_F(F)，从正态分布N(0，1²)的获取随机噪声Code_e，可表示为N(0，1²)→Code_e，由均值矩阵Code_F，mean及方差矩阵Code_F，1ogvar、随机噪声Code_e三个编码综合得到加入噪声后的近似正态分布矩阵Code_F；随着训练迭代次数的增加，Code_F将越来越接近于标准正态分布。

A3)用掩码解码器Decoder_Mask对近似正态分布矩阵Code_F解码得到重建的掩模Mask_r可表示为Mask_r＝Decoder_Mask(Code_F)；用结构特征解码器Decoder_F对Code_F解码得到重建的结构特征图F_r，可表示为F_r＝Decoder_F(Code_F)；

A4)随机生成符合正态分布N(0，1²)的矩阵Code_F，RM，用结构特征解码器Decoder_F(简称DC_F)对矩阵Code_F，RM解码得到生成的随机结构特征图F_RM，可表示为F_RM＝Decoder_F(Code_F，RM)；用掩码解码器Decoder_Mask(简称DC_Mask)对矩阵Code_F，RM解码得到生成的随机掩模Mask_RM，可表示为Mask_RM＝Decoder_Mask(Code_F，RM)；

A5)分别使用结构特征图鉴别器Discriminator_F(简称D_F)分别对(F，Mask)和(F_RM，Mask_RM)进行鉴别，将前者鉴别为真，后者鉴别为假；其中F为结构特征图，Mask为掩模，F_RM为随机结构特征图，Mask_RM为随机掩模；使用结构特征鉴别器FeatureDiscriminator_F(简称FD_F)分别对Code_F和Code_F，RM进行鉴别，将前者鉴别为假，后者鉴别为真，其中Code_F为加入噪声后的近似正态分布矩阵，Code_F，RM为随机生成符合正态分布N(0，1²)的矩阵；

A6)根据上述各个步骤的输出结果和对应的损失函数计算损失，再调用优化器对损失函数求导得到上述各个组件中模型参数的梯度，然后将各个参数与对应梯度求差，完成网络参数的更新；

A7)判断是否满足预设的迭代结束条件，所述迭代结束条件为损失函数值低于设定阈值或迭代次数达到设定步数，如果不满足则跳转执行步骤A1)；否则退出。

在前述步骤A1)～A7)的训练过程中，本实施例中希望随机正态分布矩阵解码出结构特征图更逼真，所以通过结构特征图鉴别器Discriminator_F对原图提取的结构特征及掩模与随机正态分布矩阵解码的结构特征及掩模进行对抗学习，此外，还添加了编码特征的生成对抗网络GAN：通过结构特征鉴别器FeatureDiscriminator_F对真实结构特征图编码结果Code_F与服从标准正态分布的矩阵Code_F，RM进行对抗学习，以此使得编码器Encoder_F能够将结构特征图F编码为服从标准正态分布的结果。

本实施例中，步骤A6)中对应的损失函数包括下述四种损失函数(1)～(4)：

(1)使得结构特征图编码服从正态分布的对抗性损失：

上式中，loss_{FeatureDiscriminator，1}表示特征鉴别器的分类训练损失，FeatureDiscriminator_F(Code_F，RM)表示以Code_F，RM为输入的特征鉴别器的鉴别输出结果，FeatureDiscriminator_F(Code_F)表示以Code_F为输入的特征鉴别器的鉴别输出结果，ω_i为各项损失的权重(下同)，0和1表示真实与否，loss_{Generator，1}表示由特征鉴别器提供给结构特征图编码器的对抗性损失。

(2)使得结构特征图中间编码结果服从正态分布的自监督损失：

上式中，loss_{Supervision，1}表示约束Code_F服从正态分布的监督损失，mean(Code_F，mean)表示Code_F，mean的均值，mean(Code_F，logvar)表示Code_F，logvar的均值。

(3)使得随机正态分布矩阵解码出结构特征图更逼真的对抗性损失：

上式中，loss_{Discriminator，1}表示结构特征图鉴别器的分类训练损失，

Discriminator_F(F，Mask)表示以F，Mask为输入的结构特征图鉴别器的真假鉴别输出，

Discriminator_F(F_RM，Mask_RM)表示以F_RM，Mask_RM为输入的结构特征图鉴别器的真假鉴别输出，loss_{Generator，2}表示结构特征图鉴别器提供给结构特征图和掩膜生成组件的对抗性损失。

(4)结构特征图和掩模两次重建融合后与原始结构特征图和掩模的两两自监督一致性损失：

上式中，loss_{Supervision，2}表示结构特征图和掩模的重建自监督损失和结构特征图与掩膜的一致性损失，F表示输入的结构特征图，F_r表示重建的结构特征图，Mask表示输入的掩膜，Mask_r表示重建的掩膜，F_RM表示从随机生成的正态分布矩阵解码得到的结构特征图，Mask_RM表示从随机生成的正态分布矩阵解码得到的掩膜。

因此，生成器组件的损失为：

loss_{Generator，F}＝loss_{Generator，1}+loss_{Supervision，1}+loss_{Generator，2}+loss_{Supervision，2}

上式中，loss_{Generator，F}为生成组件的总损失，loss_{Generator，1}为由特征鉴别器提供给结构特征图编码器的对抗性损失，loss_{Supervision，1}表示约束Code_F服从正态分布的监督损失，loss_{Generator，2}表示结构特征图鉴别器提供给结构特征图和掩膜生成组件的对抗性损失，loss_{Supervision，2}表示结构特征图和掩模的重建自监督损失和结构特征图与掩膜的一致性损失。

鉴别器组件的损失为：

loss_{Discriminator，F}＝loss_{FeatureDiscriminator，1}+loss_{Discriminator，1}

上式中，loss_{Discriminator，F}为鉴别器组件的总损失，loss_{FeatureDiscriminator，1}表示特征鉴别器的分类训练损失，loss_{Discriminator，1}表示结构特征图鉴别器的分类训练损失_鉴别器组件和生成器组件各自单独更新。需要说明的是，本实施例中，步骤A6)中对应的损失函数也可以根据需要采用其他的损失函数。

众所周知，直接从随机噪声通过生成对抗训练生成的医学影像通常训练困难且难以生成真实的结构信息。本实施例中将医学影像中提供基本轮廓结构信息的图像称为其结构特征图，例如视网膜血管分布图可视为视网膜图像的结构特征图。结构特征图可以为医学影像的合成提供必要的指导信息，例如合成脑部MRI图像时一些研究从脑分割标签图获取基本的结构信息。然而，视网膜血管分布图和脑分割标签图等常用的结构特征图都需要额外的数据和训练才能实现从原图提取出结构特征图。为此，本实施例中设计了一种直接提取结构特征图的方法，该方法具有运算快、无需训练、无需额外数据等优点。在传统的数字图像处理领域，人们采用Roberts算子、Prewitt算子、Sobel算子等都是十分优秀的边缘检测算子。Prewitt算子和Sobel算子都是3x3的模板，比Roberts算子2x2的模板得到的偏导近似更为准确。而与Prewitt算子相比，Sobel算子对于像素的位置的影响做了加权，可以更好地抑制噪声，降低边缘模糊程度，因此效果更好。Sobel算子常用于医学图像的处理，处理后输出两张灰度图。

本实施例中步骤A1)中进行结构特征提取的详细步骤如下：(1)输入一张真实图像n，beta为设定的像素阈值；(2)将sobel算子的两个输出分别进行按位求最大值reduce_max()得到f2、和按位求最小值reduce_min()得到f1；(3)将f1、f2分别与均值像素求差值(mean(f1)-f1，f2-mean(f2)，mean为均值函数)，得到低像素边缘特征图和高像素边缘特征图；(4)针对低像素边缘特征图和高像素边缘特征图，取像素阈值beta对两者进行二值化处理，最想两张二值图相加再进行阈值为0的二值化即可得到清晰的结构特征图f。本实施例中步骤A1)中进行结构特征提取的方法采用函数表示为F＝get_F(n)。

本实施例中步骤A1)中进行掩模提取的详细步骤如下：(1)中先对图像n进行像素阈值为0的二值化处理，得到标准掩膜mask；(2)根据获取输入图像的尺寸，再对掩膜在原图尺寸上采用最近邻差值长宽均扩充p个像素，使得整张研磨放大；(3)将最外层的p个像素的长宽裁剪，使得最后的输出掩膜尺寸原输入图像的保持一致。本实施例中步骤A1)中进行掩模提取的方法采用函数表示为Mask＝get_Mask(n)。

本实施例中，步骤A2)综合得到加入噪声后的近似正态分布矩阵Code_F的函数表达式为：

Code_F＝Code_F，mean+exp(0.5*Code_F，logvar)*Code_e；

上式中，Code_F，mean为结构特征编码器Encoder_F对结构特征图F进行编码获得的均值矩阵，Code_F，logvar为结构特征编码器Encoder_F对结构特征图F进行编码获得的方差矩阵，Code_e为从正态分布N(0，1²)的获取随机噪声。

本实施例中，步骤3)的详细步骤包括：

3.1)随机选取的病灶分割标签图L，将包含5个类别的病灶分割标签图L转为独热矩阵，得到一个通道数与类别数量一样的多维标签矩阵，每个通道中仅有部分像素有效，其余部分为填充的0，这些非0像素区域与病灶分割标签图中的各个分割区域是配准的；

3.2)将这个被分割后的多维标签矩阵与结构特征图F_RM一起在通道维度进行堆叠，得到一个融合了两个输入源的矩阵作为融合结果。

本实施例步骤4)之前还包括训练各个模态i的i模态解码器Decoder_i、i模态编码器Encoder_i以及病灶分割标签解码器Decoder_L及训练随机编码器Encoder_RM的步骤，详细步骤包括：

B1)训练各个模态i的i模态解码器Decoder_i、i模态编码器Encoder_i以及病灶分割标签解码器Decoder_L，训练随机编码器Encoder_RM；

B2)根据各个训练步骤的输出结果和对应的损失函数计算损失，再调用优化器对损失函数求导得到上述各个组件中模型参数的梯度，然后将各个参数与对应梯度求差，完成网络参数的更新；

B3)判断是否满足预设的迭代结束条件，所述迭代结束条件为损失函数值低于设定阈值或迭代次数达到设定步数，如果不满足则跳转执行步骤B1)；否则退出。

参见图4，步骤B1)中训练各个模态i的i模态解码器Decoder_i、i模态编码器Encoder_i以及病灶分割标签解码器Decoder_L为辅助训练，步骤B1)中训练各个模态i的i模态解码器Decoder_i、i模态编码器Encoder_i以及病灶分割标签解码器Decoder_L的详细步骤包括：

步骤1，输入随机的模态i的原图i；

步骤2，用i模态编码器Encoder_i对原图i进行编码获得编码Code_i，本实施例中为Code_x＝Encoder_x(x)，Code_y＝Encoder_y(y)；

步骤3，用i模态解码器Decoder_i对编码Code_i解码得到重建图i_r，本实施例中为x_r＝Decoder_x(Code_x)，y_r＝Decoder_y(Code_y)；用病灶分割标签解码器Decoder_L对编码Code_i解码得到病灶分割标签图L_i，f，本实施例中为L_x，f＝Decoder_L(Code_x)，L_y，f＝Decoder_L(Code_y)；同时，针对其余任意一个模态j，首先用j模态解码器Decoder_j对编码Code_i解码得到原图i的j模态转换图j_t，本实施例中为y_t＝Decoder_y(Code_x)，x_t＝Decoder_x(Code_y)；再用j模态编码器Encoder_j对原图i的j模态转换图j_t进行编码获得编码Code_j，t，本实施例中为Code_x，t＝Encoder_x(x_t)，Code_y，t＝Encoder_y(y_t)，再用i模态解码器Decoderi对编码Code_j，t解码得到原图i的j模态循环转换图i_c，本实施例中为x_c＝Decoder_x(Code_y，t)，y_c＝Decoder_y(Code_x，t)；

步骤4，分别通过模态鉴别器Discriminator_x分别对原图i和各个模态j转换为模态i的i模态转换图i_t进行鉴别，将前者鉴别为真，后者鉴别为假。

如图4所示，本实施例中以两模态为例，由符合规范的随机输入生成配准的X、Y模态的图像的具体训练过程中，训练模态x的x模态解码器Decoder_x、x模态编码器Encoder_x以及病灶分割标签解码器Decoder_L的详细步骤包括：

S1、输入随机的X模态的图像x；

S2、用x模态编码器Encoder_x对原图x进行编码获得Code_x，再用解码器Decoder_x对Code_x解码得到重建图x_r；

S3、用病灶分割标签解码器Decoder_L对Code_x解码得到分割标签图L_x，f；

S4、用y模态解码器Decoder_y对Code_x解码得到转换图y_t；

S5、用y模态编码器Encoder_y对转换图y_t进行编码获得Code_y，t，再用x模态解码器Decoder_x对Code_y，t解码得到循环转换图x_c；

S6、模态鉴别器Discriminator_x分别对x和x_t进行鉴别，将前者鉴别为真，后者鉴别为假。

模态Y的训练过程同上，这部分同步辅助训练主要目的是辅助训练好Encoder_x、Encoder_y、Decoder_x、Decoder_y及Decoder_L模块，使步骤B1)中训练随机编码器Encoder_RM的生成训练更容易学习。

参见图5和图6，步骤B1)中训练随机编码器Encoder_RM详细步骤包括：

步骤1，随机选择一个模态，从这个模态中获取一张图n及其对应的病灶分割标签图L_n，用结构特征提取方法得到结构特征图F₁，用掩模提取方法得到对应掩模Mask；利用病灶分割标签图L_n去除提取得到结构特征图F₁的病灶信息，得到无病灶信息的结构特征图F；

步骤2，将结构特征图F与随机输入的病灶分割标签图L随机输入融合得到融合结果F_RM，expand；

步骤3，将融合结果F_RM，expand送入随机编码器Encoder_RM(简称EC_RM)编码为编码Code_RM；

步骤4，将编码Code_RM输入病灶分割标签解码器Decoder_L(简称DC_L)解码出重建病灶分割标签图L_r；同时针对每一个模态i：将编码Code_RM输入模态i的i模态解码器Decoder_i(简称DC_i)得到i模态生成图i_g，将i模态生成图i_g进行结构特征提取得到结构特征图F_i，g，将i模态生成图i_g输入i模态编码器Encoder_i(简称EC_i)得到编码Code_i，g，将编码Code_i，g输入病灶分割标签解码器Decoder_L(简称DC_L)解码出L_y，g、输入其余各个模态j的j模态解码器Decoder_j(简称DC_j)得到对应的j模态生成病灶分割标签图j_g，t；

步骤5，针对每一个模态i，分别各个模态i的i模态鉴别器Discriminator_i(简称D_i)对该模态的原图n、i模态生成图i_g进行鉴别，将前者鉴别为真，后者鉴别为假；通过特征鉴别器FeatureDiscriminator(简称FD)分别对编码Code_RM以及各个模态i的编码Code_i进行鉴别，将Code_RM鉴别为假，各个模态i的编码Code_i鉴别为真。

如图5和图6所示，本实施例中输入随机结构特征图与随机分割标签L得到配准的X、Y模态的图像及分割标签的具体生成训练过程如下：

S1、每次随机选择一个模态，从这个模态中获取一张图n及其对应的分割标签图L_n，用结构特征提取方法得到结构特征图F₁，本实施例中表示为F₁＝get_F(n)，用掩模提取方法得到对应掩模Mask，本实施例中表示为Mask＝get_Mask(n)；

S2、利用分割标签图L_n去除提取得到结构特征图F₁的病灶信息，得到无病灶信息的结构特征图F，本实施例中表示为F＝remove-L(L_n，F₁)，其中remove_L()为将分割标签二值化为掩膜再与结构特征图求积从而消除病灶部分像素的简单函数；

S3、将结构特征图F与随机输入的分割标签图L融合得到F_RM，expand，本实施例中表示为F_RM，expand＝concat(onehot(L)，F)，其中，concat()为通道拼接函数，onehot()为为前述独热向量扩展方法；

S4、将F_RM，expand送入随机编码器Encoder_RM编码为Code_RM，本实施例中表示为Code_RM＝Encoder_RM(F_RM，expand)；

S5、将Code_RM分别送到X模态的解码器Decoder_x、Y模态的解码器Decoder_y和分割标签图的解码器Decoder_L，分别解码出X模态的生成图x_g、Y模态的生成图y_g、重建分割标签图L_r，本实施例表示为x_g＝Decoder_x(CodeRM)，y_g＝Decoder_y(Code_RM)，L_r＝Decoder_L(Code_RM)；

S6、再进行结构特征提取从X模态的生成图x_g和Y模态的生成图y_g中提取出特征图F_x，g、F_y，g，本实施例可表示为F_x，g＝get_F(x_g)，F_y，g＝get_F(y_g)，get_F()即为基于sobel算子的结构特征图提取方法；

S7、用X模态的编码器Encoder_x对X模态的生成图x_g进行编码得到Code_x，g，本实施例中表示为Code_x，g＝Encoder_x(x_g)，Code_y，g＝Encoder_y(y_g)；

S8、Code_x，g由解码器DecoderL解码得到L_x，g，本实施例中表示为L_x，g＝Decoder_L(Code_x，g)，L_y，g＝Decoder_L(Code_y，g)；

S9、Code_x，g由解码器Decoder_y解码得到y_g，t，本实施例中表示为y_g，t＝Decoder_y(Code_x，g)，x_g，t＝Decoder_x(Code_y，g)；

S10、同理，对Y模态做同样的操作，用编码器Encoder_y对生成图y_g进行编码得到Code_y，g；

S11、送到解码器Decoder_L解码得到L_y，g；

S12、Code_y，g送到解码器Decoder_x解码得到x_g，t。

S13、模态X鉴别器Discriminator_x分别对x和x_g进行鉴别，将前者鉴别为真，后者鉴别为假。模态Y鉴别器Discriminator_y分别对y和y_g进行鉴别，将前者鉴别为真，后者鉴别为假。特征鉴别器FeatureDiscriminator分别对Code_RM、Code_x和Code_y进行鉴别，将Code_RM鉴别为假，后二者鉴别为真。在以上图像生成训练过程中，由于结构特征图F₁是从随机图像n中提取的，提取出的结构特征有可能包含病灶结构信息，会干扰与随机标签L中的病灶信息，影响融合后生成的图像，所以F₁需要在与随机标签L融合前消除病灶信息，得到无病灶信息的结构特征图F，使生成图像的病灶信息只来源于标签L。

本实施例中，多模态图生成训练和辅助训练过程的损失函数包括下述损失函数(5)～(15)：

(5)：使得通过随机结构特征图生成的X、Y模态图更逼真的对抗性损失：

上式中，loss_{Discriminator，2}表示模态鉴别器的对x模态的分类训练损失，Discriminator_x(x)表示以x为输入的模态鉴别器的输出，loss_{Generator，3}表示由模态鉴别器提供给生成组件的x模态的对抗性损失，loss_{Discriminator，3}表示模态鉴别器的对y模态的分类训练损失，Discriminator_y(y)表示以y为输入的模态鉴别器的输出，loss_{Generator，4}表示由模态鉴别器提供给生成组件的y模态的对抗性损失。

(6)：使得对随机结构特征图编码结果更加趋近于真实模态图编码结果的对抗性损失(以降低解码器解码难度、保证解码器能顺利解码出模态图)。

上式中，loss_{FeatureDiscrtminator，2}表示特征鉴别器的分类训练损失，loss_{Generator，5}表示由特征鉴别器提供给结构特征图编码器的对抗损失以指导编码器将输入的融合图编码成与真实模态图编码结果近似的编码结果，FeatureDiscriminator(Code_RM)表示以Code_RM为输入的特征鉴别器的真假鉴别输出。

(7)输入的结构特征图的重建自监督损失：

上式中，loss_{supervision，3}表示结构特征图的重建自监督损失，removeL(L，F)表示将L和F通过removeL()得到的无病灶信息的结构特征图输出，removeL(L，F_x，g)表示将L和F_x，g通过removeL()得到的无病灶信息的结构特征图输出，其中remove_L()为将分割标签二值化为掩膜再与结构特征图求积从而消除病灶部分像素的简单函数；

(8)与输入的结构特征图融合后输入的病灶分割标签图的重建自监督损失：

上式中，loss_{supervision，4}表示病灶分割标签图的重建自监督损失，L为输入的标签，L_x，g为x模态的生成标签，L_r为直接重建的标签。

(9)X、Y模态图分割训练的有监督损失：

上式中，loss_{supervision，5}为X、Y模态图分割训练的有监督损失，L_x为x模态的真实标签，L_x，f为x模态的生成标签。

(10)生成的X模态与Y模态图进行转换得到的转换图与生成图的自监督损失：

上式中，loss_{supervision，6}为生成的X模态与Y模态图进行转换得到的转换图与生成图的自监督损失，x_g为生成的x模态的MRI，x_g，t为生成的y模态的MRI再转换成x模态的MRI，通过该项损失实现生成的多模态MRI的配准约束，在扩展到更多模态时，每个模态的生成图将与不同模态生成图转换成的该模态的转换图求此均方差损失。

(11)限制像素生成范围为器官主体掩膜的范围的监督损失：

上式中，loss_{supervision，7}表示限制像素生成范围为掩膜的范围的监督损失，Mask为二值掩膜图，掩膜图描述的器官的器官范围内为0值，范围外为1值。

(12)X模态与Y模态图进行重建得到的重建图与原图的自监督损失：

上式中，loss_{supervision，8}表示X模态与Y模态图进行重建得到的重建图与原图的自监督损失。

(13)X模态与Y模态图进行转换得到的循环转换图与原图的有监督损失：

上式中，loss_{supervisin，c}表示X模态与Y模态图进行转换得到的循环转换图与原图的有监督损失，x_c为x模态的MRI转换为y模态的MRI后再转换回x模态MRI的循环重建图，在扩展到更多模态时，原图将与不同中间模态的循环重建图求此均方差损失。

(14)通过解码器生成X模态与Y模态图的编码与X模态与Y模态图经过编码器得到的编码的自监督语义一致性损失：

上式中，loss_{Supervision，9}表示通过解码器生成X模态与Y模态图的编码与X模态与Y模态图经过编码器得到的编码的自监督语义一致性损失，Code_x，g为x模态的生成图再编码得到的编码结果。

(15)X模态与Y模态图编码的自监督语义一致性损失：

上式中，loss_{Supervision，10}表示真实的X模态与Y模态图编码的自监督语义一致性损失，Code_x表示真实的x模态的MRI的编码结果，Code_y，t表示真实的x模态的MRI转换为y模态MRI后的再编码结果，在扩展到更多模态时，原图编码结果将与不同中间模态的再编码结果求此均方差损失。

多模态图生成训练和辅助转换训练过程中生成组件是共用的组件，同步训练和更新。

本实施例多模态图生成训练和辅助训练过程中，鉴别器组件的总损失为：

loss_{Discriminator}＝∑_i＝2loss_{Discriminator，i}+∑_i＝2loss_{FeatureDiscriminator，i}

上式中，loss_{Discriminator}表示总的鉴别器组件的损失，∑_i＝2loss_{Discriminator，i}表示模态鉴别器的总损失，∑_i＝2loss_{FeatureDiscriminator，i}表示特征鉴别器的总损失。

生成组件的总损失为：

loss_Generator＝∑_i＝3loss_{Generator，i}+∑_i＝3loss_{Supervision，i}

上式中，loss_Generator表示生成器组件的总损失，∑_i＝3loss_{Generator，i}表示由鉴别器提供的总的对抗性损失，∑_i＝3loss_{Superision，i}表示总的病灶标签有监督损失和各项自监督损失。

上述各项损失函数未作模态扩展说明的，均可根据生成和转换的模态数量直接增加对应模态的损失项，并不限制于本实施例中的x和y两个模态。

对于多个模态的训练，只需在模态配准图像生成训练方法补充模态互转训练。

训练n(n＞1)个模态时，辅助训练需进行n个模态的训练，每个模态包含n-1个步骤S4-步骤S5，分别对应当前模态与其他n-1个模态的循环转换训练；在生成训练的步骤S5，生成标签图及n个模态的生成图，每个模态都包含n-1个步骤S9，分别对应当前模态与其他n-1个模态的转换训练。

本实施例的生成对抗网络有一个接收随机输入的编码器、一个从编码结果解码出输入的分割标签图的解码器和一个对编码结果进行真假鉴别的特征鉴别器，然后，每一个模态对应一个编码器、一个解码器和一个模态鉴别器。此外，本实施例中有一个从真实图像中提取结构特征的特征提取模块，一个将结构特征图编码到正态分布的编码器，一个从正态分布解码出结构特征图的解码器，以及指导结构特征图重建的真假结构特征图鉴别器和一个对编码结果进行真假鉴别的结构特征鉴别器。在前述步骤A)～A7)以及步骤B1)～B3)训练完成后，只需要重组前述步骤A)～A7)以及步骤B1)～B3)中部分模块部件，即可实现方便快速的生成大量多模态配准图像。从正态分布N(0，1²)获取随机矩阵Code_F，RM，用训练好的结构特征解码器Decoder_F解码生成结构特征图F_RM，F_RM与随机选取的分割标签图L融合，融合结果输入训练好的随机输入编码器Encoder_RM，得到编码Code_RM，最后通过训练好的不同模态的解码器Decoder_x、Decoder_y对Code_RM进行解码，生成配准的X模态图x_g，Y模态图y_g。

以上为本实施例设计的接收一个符合设计规范的随机输入，生成一组有标签的多模态配准图像方法，和现有技术相比，本实施例生成配准的带病灶分割标签的多模态MRI的方法具有下述优点：1)训练使用的数据无需配准，是无监督学习，可以实现多模态配准MRI图像的生成，且生成的数据是有标签的，对模态的数量没有限制。2)模块化的设计可以方便的进行模态扩展，并使模型训练更灵活，训练可独立进行也可以同步进行，训练好的模块在使用时组合重用。3)结构特征的提取方法提基于传统Sobel算子方法进行改进，用Sobel算子提取特征后进一步处理，得到了最大值图和最小值图，最后融合得到结构特征图，保留了足够的结构信息。

本实施例上述各个公式中，x、y、x_r、y_r、x_t、y_t、x_c、y_c、x_g、y_g、x_g，t、y_g，t分别对应X、Y两个模态的原始图像、重建图、转换图、循环转换图、生成图和生成转换图，Encoder_x、Encoder_y、Decoder_x、Decoder_y分别表示模态X、Y的编码器与解码器，Code_x、Code_y、Code_x，t、Code_y，t、Code_x，g、Code_y，g表示对x、y、x_t、y_t、x_g、y_g通过对应编码器Encoder_x、Encoder_y分别编码之后得到的特征结果。F、F_x，g、F_y，g表示由结构特征提取方法get_F对任意模态图n、x_g、y_g提取得到的结构特征图、X模态生成结构特征图、Y模态生成结构特征图，Mask表示由掩模提取方法get_Mask提取得到的掩模，Decoder_F、Decoder_Mask、Decoder_L、Encoder_RM分别表示结构特征解码器、掩模解码器、分割标签解码器、随机输入编码器。Code_F，mean、Code_F，logvar表示对F通过编码器Encoder_F编码得到的特征结果，Code_e、Code_F，RM表示从正态分布N(0，1²)随机获取到的矩阵，Code_F表示加入噪声后的正态分布矩阵，F_r、F_RM表示分别对Code_F、Code_F，RM通过Decoder_F进行解码得到的重建结构特征图、随机结构特征图，Mask_r、Mask_RM表示分别对Code_F、Code_F，RM通过DecoderMask进行解码得到的重建掩模、随机掩模，F_RM，expand表示由F_RM和分割标签图L融和得到的特征标签图，Code_RM表示对F_RM，expand通过编码器Encoder_RM编码得到的特征结果，L_x，f、L_y，f、L_r、L_x，g、L_y，g表示分别对Code_x、Code_y、Code_RM、Code_x，g、Code_y，g通过解码器Decoder_L解码得到的X模态分割标签图、Y模态分割标签图、重建分割标签图L_r、X模态生成分割标签图、Y模态生成分割标签图。另外前面训练方法已提到的Discriminator_F是结构特征图鉴别器、FeatureDiscriminator_F是结构特征鉴别器、Discriminator_x、Discriminator_y表示的是模态X、Y的鉴别器，FeatureDiscriminator是多个模态共用的特征鉴别器。

此外，本实施例还提供一种生成配准的带病灶分割标签的多模态MRI的系统，包括：

随机矩阵生成程序单元，用于从正态分布N(0，1²)获取随机矩阵Code_F，RM；

结构特征提取程序单元，用于将随机矩阵Code_F，RM输入生成对抗网络中训练好的结构特征解码器Decoder_F解码生成结构特征图F_RM；

结构特征融合程序单元，用于将结构特征图F_RM与随机选取的病灶分割标签图L通过随机输入融合得到融合结果；

随机编码程序单元，用于将融合结果输入生成对抗网络中训练好的随机编码器Encoder_RM得到编码Code_RM；

配准结构特征图生成程序单元，用于将编码Code_RM输入生成对抗网络中训练好的各个模态i的i模态解码器Decoder_i，分别生成配准后的i模态MRIi_g。

此外，本实施例还提供一种生成配准的带病灶分割标签的多模态MRI的系统，包括计算机设备，该计算机设备被编程或配置以执行前述生成配准的带病灶分割标签的多模态MRI的方法的步骤，或者该计算机设备的存储介质上存储有被编程或配置以执行前述生成配准的带病灶分割标签的多模态MRI的方法的计算机程序。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行前述生成配准的带病灶分割标签的多模态MRI的方法的计算机程序。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。