基于深度学习对胸部增强ct图像的后处理方法
阅读说明：本技术 基于深度学习对胸部增强ct图像的后处理方法 (Post-processing method for chest enhanced CT image based on deep learning ) 是由 马国林 韩小伟 李海梅 杜雷 陈悦 于 2020-05-09 设计创作，主要内容包括：基于深度学习对胸部增强CT图像的后处理方法,其既克服了传统影像组学方法的缺陷,同时又平衡数据收集与标注成本,在有限样本量的前提下可提高影像组学流程的智能化程度和预测模型的性能,具有较大的优势和应用价值。这种基于深度学习对胸部增强CT图像的后处理方法包括：(1)将影像数据自动分割后输入深度学习的ResNet网络；(2)通过训练模型获取全面而完整的病灶信息,并从第一层全连接层的输出中提取深度学习的向量特征；(3)筛选特征和构建预测模型；(4)将基于深度学习得到的结果与传统影像组学的结果进行比较分析,评价其对于胸腺瘤临床诊断与风险评估的价值。(The method for post-processing the chest enhanced CT image based on deep learning overcomes the defects of the traditional image omics method, balances the data collection and labeling cost, can improve the intelligent degree of the image omics process and the performance of a prediction model on the premise of limited sample size, and has great advantages and application value. The post-processing method for the chest enhanced CT image based on the deep learning comprises the following steps: (1) automatically dividing image data and inputting the image data into a ResNet network for deep learning; (2) acquiring comprehensive and complete focus information through a training model, and extracting deep learning vector features from the output of a first full-connection layer; (3) screening characteristics and constructing a prediction model; (4) and comparing and analyzing the result obtained based on deep learning with the result of the traditional imaging group, and evaluating the value of the result on clinical diagnosis and risk assessment of the thymoma.)
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于深度学习对胸部增强CT图像的后处理方法。
背景技术
胸腺瘤术前影像学检查目的是初步的评价肿瘤的恶性程度，进一步可推测其组织病理学改变和进行风险评估，从而辅助术前治疗方案选择及临床预后判断。然而，由于胸腺瘤发病率相对较低，目前在术前准确诊断及恶性程度风险评估方面仍面临较大的挑战。CT对于诊断前纵隔肿瘤的敏感性较高，增强CT可更好显示胸腺瘤的轮廓、边界及局部浸润性并评估其恶性程度。是用于诊断与识别的重要检查手段。
然而，CT影像学征象评估是基于胸腺瘤病灶本身及其与邻近周围组织结构的关系，多采用经验性、观察性指标而非量化指标，临床工作中与前纵隔其它肿瘤或瘤样病变的影像表现不乏相似而难以鉴别，因此，如何基于CT影像数据采用客观量化的方法对于胸腺瘤进行更为准确的诊断尚需进一步研究。
传统影像组学采用对医学影像图像进行高通量特征提取，着眼于临床问题构建模型而进行定性分析，可较好地运用于疾病的精确诊断、组织病理学风险评估及临床预后评估等方面。但在临床实践中传统影像组学存在其固有的问题和困境，首先，医学图像的病灶分割步骤依赖于人工手动勾画，这一过程既耗时又易受人为因素影响；其次，目前的影像组学特征提取方法难以将分割区域内的所有图像特征进行算法预设并全部提取。因此，传统影像组学的自动化和标准化程度低，在其预测结果的准确性和鲁棒性方面依然存在诸多局限，具有较大的提升空间。
深度学习是机器学习领域的一个特定的研究方向，近年来深度学习技术发展迅速，在图像分析各个领域应用较为广泛。CNN及其衍生网络结构是具有代表性的深度学习方法，已成功应用于图像识别及特征提取领域。近年来，有研究使用CNN对医学图像进行分割，并且取得了比传统方法更好的效果。依据原始数据特征和结构，通过对CNN的参数进行调整至最佳结构，从而可以获取最佳输出和达到理想分类的目的。通过对整个图像进行卷积核运算从而保存大量的全局空间信息，从而可从最后一层卷积层中提取到完整的目标图像区域特征。因此，采用CNN对医学图像的病灶分割结果稳定、提取的图像特征全面而完整，有助于最终提高预测结果的准确性和鲁棒性，为解决目前影像组学的困境和问题提供重要的方法学途径。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于深度学习对胸部增强CT图像的后处理方法，其既克服了影像组学方法的缺陷，同时又平衡数据收集与标注成本，在有限样本量的前提下可提高影像组学流程的智能化程度和预测模型的性能，具有较大的优势和临床应用价值。
本发明的技术方案是：这种基于分割后胸部增强CT图像的深度学习方法，其包括以下步骤：
(1)将分割后的病灶数据输入深度学习的ResNet网络；
(2)通过训练模型获取全面而完整的病灶信息，并从第一层全连接层的输出中提取深度学习的向量特征；
(3)筛选特征和构建预测模型；
(4)将基于深度学习的影像组学得到的结果与传统影像组学的结果进行比较分析，评价其对于胸腺瘤临床诊断与风险评估的价值。
本发明将分割后的图像输入ResNet网络、通过训练模型获取全面而完整的病灶信息，提取ResNet网络中第一个全连接层中的函数响应特征，经卷积运算后映射为深度学习特征，最终筛选特征和构建预测模型进行胸腺瘤的诊断及区分其组织病理学的风险类别，并在训练集采用Delong检验及DCA方法与传统影像组学的模型进行比较分析，评价其对于胸腺瘤的诊断及风险评估的价值，因此既克服了影像组学方法的缺陷，同时又平衡数据收集与标注成本，在有限样本量的前提下可提高影像组学流程的智能化程度和预测模型的性能，具有较大的优势和应用价值。
附图说明
图1示出了ResNet-34的残差块结构。ResNet-34采用两个残差块结构Resblock1和Resblock2，Resblock1不需要改变网络的通道数，Resblock2需要增加网络的通道数。
图2示出了深度学习特征提取方法示意图。ResNet网络中第一个全连接层中函数响应特征，经卷积运算后映射编码为4096*1的向量特征。
图3示出了采用Kendall相关系数筛选高鉴别能力的特征。阈值设为0.8时，Task1中保留的特征数量为542个，Task2中保留的特征数量为468个。
图4示出了采用10折交叉验证筛选稳定特征。(A)Task1中经交叉验证后保留特征数量为53个依次与ResNet网络中全连接层的响应次序相对应；(B)Task2中经交叉验证后保留特征数量为41个依次与ResNet网络中全连接层的响应次序相对应。
图5示出了LASSO回归最终筛选特征。(A)Task1中LASSO回归最终筛选得到3个特征；(B)Task2中LASSO回归最终筛选得到3个特征。
图6示出了DLBR预测模型在训练集与验证集中的表现。(A)训练集中胸腺瘤与非胸腺瘤的分类诊断，AUC为0.8344；(B)验证集中胸腺瘤与非胸腺瘤的分类诊断，AUC为0.7415；(C)训练集中区分胸腺瘤组织病理学风险类别AUC为0.8255；(D)验证集中区分胸腺瘤组织病理学风险类别AUC为0.7752。
图7示出了DLBR与CR模型决策曲线分析。(A)对于Task1胸腺瘤与非胸腺瘤的分类诊断，如果临床决策的阈值概率大于46％，则使用DLBR模型较CR模型进行预测有更多的临床受益。在此范围内，两个模型的净受益具有可比性，且DLBR模型表现较好；(B)对于Task2区分胸腺瘤风险类别，如果临床决策的阈值概率大于60％，则使用DLBR模型较CR模型进行预测有更多的临床受益。在此范围内，两个模型的净受益具有可比性，且DLBR模型表现较好。
图8示出了基于DLBR预测模型构建诺谟图。(A)DLBR诺莫图用于鉴别胸腺瘤与非胸腺瘤(Task1)；(B)DLBR诺谟图用于区分胸腺瘤风险类别(Task2)。
图9示出了根据本发明的基于深度学习对胸部增强CT图像的后处理方法的流程图。
具体实施方式
如图9所示，这种基于深度学习对胸部增强CT图像的后处理方法，其包括以下步骤：
(1)将分割后的病灶数据输入深度学习的ResNet网络；
(2)通过训练模型获取全面而完整的病灶信息，并从第一层全连接层的输出中提取深度学习的向量特征；
(3)筛选特征和构建预测模型；
(4)将基于深度学习的影像组学得到的结果与传统影像组学的结果进行比较分析，评价其对于胸腺瘤临床诊断与风险评估的价值。
本发明将分割后的图像输入ResNet网络、通过训练模型获取全面而完整的病灶信息，提取ResNet网络中第一个全连接层中的函数响应特征，经卷积运算后映射为深度学习特征，最终筛选特征和构建预测模型进行胸腺瘤的诊断及区分其组织病理学的风险类别，并在训练集采用Delong检验及DCA方法与传统影像组学的模型进行比较分析，评价其对于胸腺瘤的诊断及风险评估的价值，因此既克服了影像组学方法的缺陷，同时又平衡数据收集与标注成本，在有限样本量的前提下可提高影像组学流程的智能化程度和预测模型的性能，具有较大的优势和应用价值。
优选地，所述步骤(1)包括以下分步骤：
(1.1)CT图像采集：所有患者均进行CT对比增强扫描，获取在胸部纵隔窗重建的薄层图像；
(1.2)在原始CT图像上利用肺与周围组织存在的自然密度差异，采用计算肺组织像素值的方法，设计双肺掩膜文件，去除纵隔以外区域且保留病灶；
(1.3)采用V_Net网络对病灶进行初步分割；
(1.4)采用Morphological Snakes算法对病灶进行精细分割。
优选地，所述步骤(2)中，使用包含两个残差块的ResNet-34进行训练，每个残差块表示为公式(1)
y＝F(x)+x (1)
其中，x和y分别代表残差块的输入和输出；
函数F(x)代表着残差映射，表示为公式(2)
F(x)＝W2σ(W1x) (2)
其中，σ代表ReLU，W1表示通过残差块中第一个卷积层自上而下学习到的权重，W2表示通过残差块中第二个卷积层学习到的权重。
优选地，所述步骤(2)中，ResNet-34网络由1个卷积层、2个池化层、16个残差块和2个全连接层组成，16个残差块包括13个Resblock1和3个Resblock2；输入的图像数据，首先经过1个核大小为7×7且步长为2的卷积层，通过ReLU函数激活后再经过一个窗口大小为3×3且步长为2的最大池化层；然后连续经过16个残差块，再经过一个窗口大小为3×3且步长为2的平均池化层，最后再输入全连接层提取特征；本ResNet网络中第一个全连接层设计为4096个神经元，每个神经元输出一个向量，全连接层经编码为4096*1的向量为提取的特征。
优选地，所述步骤(3)中，筛选特征分三个步骤：
(3.1)基于计算特征的Kendall相关系数，将其阈值设定为0.15筛选特征，首先计算分类样本1与样本2中每位患者的各个特征是否为协调特征值，采用符号函数如下：
sgn(Xij-Xik)＝sgn(Yi-Yk) (3)
sgn(Xij-Xik)＝-sgn(Yi-Yk) (4)
式中Xij代表类别1样本中第j个样本的第i个特征，j是样本序数，i是特征序数，Yj代表此样本的分类标签；Xik代表样本2中第k个样本的第i个特征，k是样本序数，i是特征序数，Yk代表此样本的分类标签；若公式(3)成立则为协调特征值，相反，若公式(4)成立则为非协调特征值，分别统计出协调与非协调特征的数量；特征i的Kendall相关系数τ采用公式(5)计算：
τi＝(Nc-Nd)/m×n (5)
式中m为类别1样本数量，n为类别2样本数量，Nc为协调特征的数量，Nd为非协调特征的数量；
(3.2)其次对于初步筛选后的特征通过10折交叉验证方法筛选稳定特征，在每次交叉验证中寻找分类正确性最高的特征集为最优特征集，特征集中每个特征的次序在每次交叉验证中进行迭代而略有不同，分别在每次交叉验证迭代中找出都出现的特征并分别统计、再次筛选成为备选的稳定特征；
(3.3)采用LASSO回归，在回归方程中按其各自系数对所选特征进行加权计算，构建DLBR的标签。
优选地，所述步骤(3)中，在训练集中，对于经过上述方法得到的DLBR标签并结合患者临床信息及CT影像征象作为最终的特征构建预测模型，使用单变量分析来评估各个特征与分类应变量之间的关系，最终进行多变量Logistic回归分析构建预测模型对胸腺瘤与非胸腺瘤进行分类诊断以及区分胸腺瘤组织病理学风险类别，并在验证集中对预测模型进行预测模型的验证评价。
优选地，所述步骤(4)中，采用Delong检验对于CR与DLBR两种方法的预测模型进行比较分析，评价DLBR的应用价值；Delong检验首先计算两个模型AUC的差值，然后分别计算AUC的方差和协方差，之后计算z值，将z值分布作正态分布的显著性检验，以p＜0.05为AUC间存在显著性差异；z值通过公式(6)得到
其中，M1为手动分割病灶构建模型的AUC值，M2为自动分割病灶构建模型的AUC值，var(M1)为M1的方差，var(M2)为M2的方差,cov(M1,M2)为两者协方差。
优选地，该方法还包括步骤(5)，患者一般临床资料、各CT影像征象的组间比较，对于连续性变量采用独立样本T检验，对分类变量采用χ2检验或Fisher’s精确检验；采用PyToch搭建深度学习模型框架并在GPU中进行图像加速处理；采用Matlab软件筛选影像组学特征；基于R软件环境下使用广义线性模型工具包进行LASSO回归构建方程计算影像组学特征标签；使用SPSS软件整理所有患者一般临床资料、CT影像征象，使用STATA软件分析一般资料、各CT影像征象与患者分类变量之间的关系并进行Logistic回归分析构建预测模型和ROC曲线，采用敏感性、特异性和准确率评价预测结果；使用Hosmer-Lemeshow检验对在训练集和验证集中的预测结果分别进行拟合优度检验，评价模型拟合值和观测值的吻合程度；采用决策曲线分析评价模型影响临床决策的价值并基于预测模型分别构建诺谟图。
本发明在两个中心基于深度学习进行病灶自动分割的基础上，将分割后的图像输入ResNet网络、通过训练模型获取全面而完整的病灶信息，提取ResNet网络中第一个全连接层中的函数响应特征，经卷积运算后映射为深度学习特征，最终筛选特征和构建预测模型进行胸腺瘤的诊断及区分其组织病理学的风险类别，并在训练集采用Delong检验及DCA方法与传统影像组学的模型进行比较分析，评价其对于胸腺瘤的诊断及风险评估的价值。
病灶自动分割是基于深度学习的影像组学流程中的重要步骤，传统影像组学研究通常采用手动勾画病灶进行分割的方法，易受勾画者个人经验和难以统一精细勾画标准的影响，因此，会影响到后续影像组学特征的提取及标签计算。本研究首先基于深度学习对病灶进行自动分割并获取了高质量分割后的图像，有利于保证后续进行深度学习特征提取的标准化及组学标签计算的准确性。
本研究将分割后图像输入ResNet网络完成模型训练，常用的ResNet有五种结构：ResNet-18,ResNet-34,ResNet-50,ResNet-101,ResNet-152(ResNet之后的数字表示网络参数层的数量)。依据本研究中数据量的大小和训练时间，使用ResNet-34网络结构，若包含两个残差块结构Resblock1和Resblock2，Resblock1不需要改变网络的通道数，Resblock2需要增加网络的通道数。为保证深度特征能够深度映射图像数据特征，输入的图像数据经过卷积层、池化层，然后连续经过16个残差块和平均池化层，最后再输入全连接层提取特征。为保证提取的深度特征能够全面映射原始图像数据特征，将ResNet网络中第一个全连接层设计为4096个神经元，每个神经元输出一个向量编码为最终提取的特征。
传统影像组学通常提取的特征包括：FOS、GLCM、GLRLM、GLSZM、NGTDM、GLDM及3D形态特征等。这些特征多是基于病灶灰度直方图的一阶统计量特征，或者是基于像素或体素离散灰度值进行空间组合的方向和分布特性等二阶背景纹理特征，或者仅基于原始图像提取的形态学等。相比传统影像组学，深度学习强大之处在于它神经网络的多层结构能够自动学习到层次丰富的特征，如较浅的卷积层学习到病灶局部区域的特征而较深的卷积层能够学习到更为抽象的特征，从而有助于提高分类识别的性能。已有影像组学研究不再提取传统影像组学的特征，直接采用CNN网络结构中的深层网络的输出作为特征再输入预测模型(分类器)进行分类和预测，结果表明该深度学习方法较传统影像组学方法能更好的预测低级别胶质瘤中IDH-1的突变状态。因此，传统影像组学所提取的特征均可以采用深度学习的方法进行覆盖计算而得到，深度神经网络结构中的卷积层可以用作特征提取器获取更为全面和完整的特征，在特征提取阶段可较好地替代传统影像组学特征提取步骤。
本研究中共提取了4096个深度学习特征，首先基于计算特征的Kendall相关系数进行初步筛选，依据分类样本1与样本2中每位患者的各个特征是否为协调特征值，采用分别计数不同的符号函数，最后再计算Kendall相关系数集，将其阈值设定为0.15筛选特征，之后经交叉验证寻找每次交叉验证迭代中都出现的特征分别统计再次筛选成为备选的稳定特征。最后采用LASSO回归，在回归方程中按其各自系数权重计算DLBR的标签值。与以往研究相比，本研究采用多种特征计算方法，提取的影像组学特征类别和数量相对较多，为保证预测模型的鲁棒性和模型的泛化能力，采用多种方法从深度学习特征中筛选稳定性强的特征，虽然目前深度学习特征的可解释性有限，但并不妨碍在卷积运算中映射病灶本身的特征。
将CR与DLBR获取的预测模型进行比较，在Task1中两个模型的差异具有统计学意义，而在Task2中两个模型的差异无统计学意义；采用DCA对两个模型分别比较，结果表明DLBR的预测模型较CR模型具有较大的临床受益。总体而言，DLBR模型具有较大的优势。已有研究采用深度学习的方法来鉴别肺结节性质，他们预先训练三种不同CNN来提取神经网络的深层特征，对于预先训练的深度学习和传统影像组学特征进行筛选后再输入分类模型，最终对肺的良恶性结节获得了较好鉴别。因此，DLBR较传统影像组学而言能够提高诊断评估流程的智能化程度及预测结果的准确性。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：基于传统影像组学的胸部增强CT图像处理方法