非配对多中心磁共振数据和谐化方法、存储介质及应用
阅读说明：本技术 非配对多中心磁共振数据和谐化方法、存储介质及应用 (Non-pairing multi-center magnetic resonance data harmony method, storage medium and application ) 是由 蔡昕 常晓 杨光 聂生东 姜小平 郑慧 于 2021-09-06 设计创作，主要内容包括：本发明涉及一种非配对多中心磁共振数据和谐化方法、存储介质及应用,所述方法包括以下步骤：获取不同厂家的磁共振图像,对所述磁共振图像进行标准化预处理；以循环生成对抗网络的架构为基础,构建初步的风格转换网络；以预处理后的磁共振图像,双向训练所述风格转换网络至收敛,获得训练好的网络参数；指定一厂家的磁共振图像为目标风格,其余为原始风格,加载所述训练好的网络参数,将具有原始风格的第一图像转换具有所述目标风格的第二图像,所述第一图像为预处理后的磁共振图像；进行从所述第一图像到第二图像的直方图匹配。与现有技术相比,本发明基于非配对图像生成更加接近于目标风格的图像,更好地保留原始解剖结构信息,提高数据可靠性。(The invention relates to a non-paired multi-center magnetic resonance data harmony method, a storage medium and application, wherein the method comprises the following steps: acquiring magnetic resonance images of different manufacturers, and performing standardized preprocessing on the magnetic resonance images; constructing a preliminary style conversion network based on the framework of the circularly generated countermeasure network; the style conversion network is trained in two directions by the preprocessed magnetic resonance image until convergence, and trained network parameters are obtained; appointing a magnetic resonance image of a manufacturer as a target style, and loading the trained network parameters, and converting a first image with the original style into a second image with the target style, wherein the first image is a preprocessed magnetic resonance image; histogram matching is performed from the first image to a second image. Compared with the prior art, the method and the device have the advantages that the image closer to the target style is generated based on the non-paired image, the original anatomical structure information is better reserved, and the data reliability is improved.)
技术领域
本发明属于计算机辅助医学技术领域，涉及一种医学影像数据处理方法，尤其是涉及一种非配对多中心磁共振数据和谐化方法、存储介质及应用。
背景技术
磁共振成像作为一项重要的临床检查，通过丰富的扫描序列，可以对特定临床问题，进行不同对比度的磁共振成像，为临床问题提供丰富的诊断信息。临床医生通常是根据图像的定性特征对图像进行解释，因此不同的医生，甚至是同一医生不同时间给出的诊断结论都不尽相同。特别是当图像存在质量较差、扫描序列不规范等额外因素时，要获得一致的诊断尤为困难。另外人脑的生理结构决定了临床医生对于数据的分析局限于定性特征和宏观特征，无法对定量特征和隐藏在图像之下的复杂特征形式进行识别。因此，诞生了计算机辅助诊断(Computer-Aided Diagnosis，CAD)，可以将其作为“第二名临床医生”，对疾病进行辅助决策，来提高临床诊断的准确性。许多工作都证明了计算机辅助诊断能够帮助临床医生更好进行诊断。
随着以深度学习为代表的人工智能的迅速发展，越来越多的网络模型被用于计算机辅助诊断。但人工智能在计算机辅助诊断领域面临一个很大的问题，就是诊断模型难以迁移。不同医院采集的数据，很难用同一个模型进行诊断。造成这种模型难以迁移的原因，就在于模型对不同医院扫描的图像之间的差异较为敏感。造成这种差异的原因可以归结为以下两个方面：首先，成像设备不同，即便是同一个厂家的设备，型号也可能不同；另外，扫描参数设置也存在很大差异。另外，计算机辅助诊断中所涉及到的自动检测、自动分割等模型的训练都极大地依赖于医生手工绘制的病灶感兴趣区域(ROI)。因此，利用每家医院的数据重新训练模型也很困难。
目前，解决这一问题的思路之一是数据标准化，由相关的医院或机构统一制订针对某一具体临床问题诊断的扫描与读片。这一标准化的过程工作量大，需要协调的问题多，并且难以利用大量的、宝贵的回顾性图像资料进行模型训练。除此之外，基于特征数据的和谐化或利用深度学习网络的和谐化也是目前常见的方法，但前者依赖于勾画好的ROI或者优秀的分割结果，后者限制于配对数据集，都存在一定缺陷。
发明内容
本发明的目的就是为了克服上述现有技术中存在的工作量大、依赖勾画ROI、限制于配对数据集的问题，而提供一种非配对多中心磁共振数据和谐化方法、设备及存储介质。
本发明的目的可以通过以下技术方案来实现：
一种非配对多中心磁共振数据和谐化方法，包括以下步骤：
获取不同厂家的磁共振图像，对所述磁共振图像进行标准化预处理；
以循环生成对抗网络的架构为基础，构建初步的风格转换网络；
以预处理后的磁共振图像，双向训练所述风格转换网络至收敛，获得训练好的网络参数；
指定一厂家的磁共振图像为目标风格，其余为原始风格，加载所述训练好的网络参数，将具有原始风格的第一图像转换具有所述目标风格的第二图像，所述第一图像为预处理后的磁共振图像；
进行从所述第一图像到第二图像的直方图匹配。
进一步地，所述磁共振数据为由3T扫描仪扫描获得的矢状位的T2加权像。
进一步地，所述标准化预处理包括重采样标准和强度归一化标准。
进一步地，所述重采样标准具体为：
基于磁共振数据对应的分辨率统计结果，以一设定分辨率对分辨率超出设定范围的图像进行重采样。
进一步地，所述设定分辨率基于分辨率统计结果确定。
进一步地，所述强度归一化标准具体为：
利用大津算法分割经重采样标准处理后图像的前景和后景区域，对前景区域所包含的像素点按升序进行排列，利用设定的像素点截断阈值进行归一化。
进一步地，所述像素点截断阈值基于前后截断比例确定。
进一步地，所述循环生成对抗网络包括采用ResUnet的生成器和采用渐进式生成对抗网络的鉴别器。
进一步地，所述初步的风格转换网络中，网络参数初始化为均值为0、标准差为0.02的分布。
进一步地，所述直方图匹配具体为：
将第一图像和第二图像的图像强度进行归一化处理；
获取图像的累计直方图分布，计算灰阶映射矩阵，得到灰阶映射表；
根据灰阶映射表完成从第一图像到第二图像的直方图匹配。
本发明还提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上所述非配对多中心磁共振数据和谐化方法的指令。
本发明还提供一种如上所述的非配对多中心磁共振数据和谐化方法在磁共振图像分类中的应用，利用和谐化后图像建立图像分类模型。
与现有技术相比，本发明具有以下有益效果：
1、本发明针对不同厂家磁共振采集设备间的差异，设计一个风格转换网络，可以通过不同厂家磁共振设备采集图像之间的风格转换来实现非配对多中心磁共振数据的一致性，从而克服诊断模型难以迁移的缺点，更方便地扩展数据集。
2、本发明在风格转换网络后加入直方图匹配策略，以约束灰阶映射结果，更好地实现解剖结构信息的保真。
3、本发明方法可以基于非配对图像生成更加接近于目标风格的图像，更好地保留原始解剖结构信息，提高数据可靠性，实现更准确的分类诊断效果。
附图说明
图1为本发明方法的流程框图；
图2为分辨率的统计结果示意图；
图3为动态归一化的结果示意图，(3a)为重采样后的图像，(3b)为施加大津算法去除背景后的图像区域，(3c)为动态强度归一化后的图像；
图4为基于cycleGAN的风格转换网络的总体架构示意图，其中，Set A为GE图像，Set B为PHILIPS图像；
图5为直方图匹配的结果示意图，(5a)为经过预处理的GE图像，(5b)为cycleGAN网络输出的GE图像，(5c)为直方图匹配之后的GE图像，(5d)为(5a)、(5b)和(5c)对应的累计直方图，其中，方框中的不规则实线框是放射科医生勾画的感兴趣病灶区域；
图6为分类诊断模型的结果示意图，(6a)为和谐化前训练集和测试集的分类AUC，(6b)为用直方图均衡(CLAHE)方法和谐化后的训练集和测试集的分类AUC，(6c)为用本发明方法和谐化后的训练集和测试集的分类AUC。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
参考图1所示，本实施例提供一种基于深度学习的非配对多中心磁共振数据和谐化方法，包括如下步骤：
S1：获取不同厂家的磁共振数据。
本实施例应用的不同厂家为GE和PHILIPS，磁共振数据为由3T扫描仪扫描的、矢状位的T2加权像，扫描部位为人体腹部，如表1所示。
表1前期的数据挑选
S2：获取磁共振数据对应的分辨率信息和强度信息的直方图统计结果，进行数据标准化预处理，所述标准化预处理包括重采样标准和强度归一化标准，具体为：
S21：基于磁共振数据对应的分辨率统计结果，以一设定分辨率对分辨率超出设定范围的图像进行重采样，其中，设定分辨率基于分辨率统计结果确定，如可根据统计结果，对分辨率低于0.65和高于0.85的图像均进行重采样，重采样之后的分辨率为0.7；
S22：利用大津算法分割经重采样标准处理后图像的前景和后景区域，对前景区域所包含的像素点按升序进行排列，利用设定的像素点截断阈值进行归一化，其中，像素点截断阈值基于前后截断比例确定，前后截断比例可分别设置为0.005和0.01。
如图2，可以看出，大多数的数据的分辨率都落在了[0.7,0.8]这个范围内，于是对于其他情况，本实施例将其重采样到0.7；图3为通过对重采样后的图像(如图(3a)所示)施加大津算法得到去除背景后的图像区域(如图(3b)所示)，然后进行动态强度归一化，得到动态强度归一化后的图像(如图(3c)所示)。
S3：以循环生成对抗网络cycleGAN的架构为基础，搭建初步的风格转换网络，使用S2预处理好的数据作为输入，以多种损失函数加以约束，双向训练风格转换网络至损失函数收敛，如图4所示。
S31：采用循环生成对抗网络的架构，其中生成器的框架采用加入残差块的Unet(ResUnet)，鉴别器的框架采用渐进式生成对抗网络(PGGAN)；
S32：网络的输入为矢状面的二维图像，经过中心裁剪成280x 280大小；
S33：网络参数初始化为均值为0标准差为0.02的分布；
S34：网络训练次数为56800，轮数为200，批大小为8；
S35：生成器的学习率为2x10-4，鉴别器的学习率为生成器学习率的四分之一，优化器为Adam。
S4：指定一厂家的磁共振图像为目标风格，其余为原始风格，加载所述训练好的网络参数，将具有原始风格的第一图像转换具有所述目标风格的第二图像，所述第一图像为预处理后的磁共振图像。
本实施例中，以GE图像生成PHILIPS图像这一方向的生成器为主体，加载训练好的模型参数，实现GE图像的风格转换，图像大小为原始尺寸大小。
S5：利用S2预处理后的GE图像和S4风格转换后的GE图像，进行以后者为参考帧的直方图匹配，得到直方图匹配后相应的GE图像。
直方图匹配的具体过程为：
S51：将S2预处理后的GE图像和S4风格转换后的GE图像的图像强度映射到[0,4095]；
S52：获取图像的直方图分布及累计直方图分布；
S53：根据两者的累计直方图分布，计算灰阶映射矩阵，得到灰阶映射表；
S54：根据灰阶映射表完成从预处理后的GE图像到风格转换后的GE图像的直方图匹配。
直方图匹配后的GE图像如图5所示，由图中可以看出，直方图匹配后的图像的累计直方图分布更接近于参考的累计直方图分布，而且解剖结构得到了很好地保留，特别是在感兴趣病灶(图中实线框)区域也表现出了同样的效果。
在另一实施例中，提供一种如上所述的非配对多中心磁共振数据和谐化方法在磁共振图像分类中的应用，具体地，在上述步骤S1～S5的基础上，增加步骤S6：利用和谐化后图像建立图像分类模型。本实施例以宫颈癌淋巴的分类为例，具体分类模型构建包括：
S61：利用组学方法去预测宫颈癌淋巴结转移情况，阳性为存在淋巴结转移，阴性为没有淋巴结转移；
S62：训练集(PHILIPS数据集)的阴阳比为：51比24；测试集(经过和谐化的GE数据集)的阴阳比为：27比14；
S63：用SMOTE进行样本均衡化，使用Zscore进行归一化，通过PCC对特征进行降维，利用K-W检验进行特征筛选，选择SVM作为分类器进行分类。
本发明的基于深度学习的非配对多中心磁共振数据和谐化方法的效果能够通过以下实验进一步说明。
1、分类诊断实验：
本实验利用组学方法去预测数据中宫颈癌淋巴结的转移情况，阳性为存在淋巴结转移，阴性为没有淋巴结转移。本实验中，训练集(PHILIPS数据集)的阴阳比为：51比24；测试集(和谐化前后的GE数据集)的阴阳比为：27比14，如表2所示。通过用SMOTE进行样本均衡化，然后归一化、PCC降维，利用K-W检验进行特征筛选，利用SVM进行分类，如表3所示。分别对和谐化前后的样本进行建模。
表2训练集和测试集描述
表3分类模型描述
2、分类诊断实验结果：
图6是分类诊断模型的结果示意图。表4为上述三种情况下分类模型在测试集上的详细结果，包括分类AUC、AUC的置信区间、分类准确率、分类敏感度、分类特异性以及阴性预测值和阳性预测值。
表4分类模型在测试集上的结果
3、分类诊断实验分析：
通过图6和表4的结果，我们可以得到以下结果：相较于和谐化前，经过和谐化后，测试集上的分类效果有了明显提升。特别是本发明的和谐化方法可以将分类AUC结果由0.676提高到0.831，而CLAHE只有0.770。说明利用本发明的方法进行和谐化之后，更有助于提升诊断效果。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种医疗数据管理系统、方法、服务器及客户端设备