具体实施方式

下面结合具体实施例对本发明做进一步的分析。

一种非诊断目的的基于多模态数据的肺功能下降预测方法，包括以下步骤：

步骤(1)、获取历史肺部CT影像和对应临床文本数据；其中临床文本数据包括肺部影响因子、测量用力肺活量的周数、用力肺活量(Forced Vital Capacity，FVC)、用力肺活量与正常人标准值的百分比；所述肺部影响因子包括年龄、性别、吸烟情况；

表1临床文本数据

步骤(2)、对历史肺部CT影像和对应临床文本数据进行预处理，构建数据集；具体是:

2-1对肺部CT影像进行预处理；去除无法打开的DICOM医学图像文件和不包含肺部信息的无价值CT图像数据；调整图像大小为统一的512*512。

2-2对临床文本数据进行预处理；去除临床文本数据中不完整、错误的数据；对临床文本数据进行特征工程，生成更有效的数据特征用于模型训练；进行Min-Max标准化处理；最后得到预处理后的临床特征。

2-3对数据集中不同周数及其对应的FVC值按照最小二乘法进行计算，获取FVC线性变化率，作为训练集的其中一个标签。

步骤(3)、构建如图1肺功能进展预测模型，利用步骤(2)构建的数据集进行训练

所述肺功能进展预测模型包括CT特征提取网络、多模态特征预测网络；所述CT特征提取网络用于对预处理后的肺部CT影像l_i进行CT特征提取，0≤i＜N，N表示预测的用力肺活量周数，所述多模态特征预测网络用于预测肺功能进展情况，输入为CT特征提取网络提取的CT特征与临床特征融合后形成的多模态特征，输出为未来不同周数时的FVC预测值FVC_N。

3-1构建如图2所示的CT特征提取网络

CT特征提取网络以InceptionV1为骨干网络，包括前端下采样模块和多尺度CT特征融合模块。

与InceptionV1网络相比，本网络添加残差加改进的CBAM通道注意力模块来扩大网络的感受野，关注肺部区域的有效特征，添加与卷积层并行的空洞卷积模块，补充丢失的细节信息，最终形成三个不同的多尺度CT特征融合模块并进行两次串联堆叠。以此对肺部CT影像进行多尺度特征提取、融合，增强网络对CT特征的提取能力，获取更加准确有效的CT特征。

所述前端下采样模块包括1*1、3*3卷积层和最大池化层，通过下采样获取高维特征，降低网络参数量，加快计算速度的同时防止过拟合。

所述前端下采样模块包括依次级联的三个串联的3*3卷积层、最大池化层、1*1卷积层、两个串联的3*3卷积层、最大池化层；

所述多尺度CT特征融合模块包括依次级联的2个串联的多尺度CT特征融合模块A、第一最大池化层、2个串联的多尺度CT特征融合模块B、第二最大池化层、2个串联的多尺度CT特征融合模块C、平均池化层、全局平均池化层、第一全连接层、第二全连接层。

如图3，所述多尺度CT特征融合模块A包括5条并联支路、特征融合层、残差连接层、改进CBAM的通道注意力模块、1*1卷积升维层；所述5条并联支路中第1支路包括一个1*1卷积层；第2支路包括1*1卷积层、3*3卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接3*3卷积层的输入端、空洞率为2的空洞卷积层的输入端，3*3卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第3支路包括1*1卷积层、5*5卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接5*5卷积层的输入端、空洞率为2的空洞卷积层的输入端，5*5卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第4支路包括依次级联的平均池化层、1*1卷积层；第1至第4支路的输出特征图将在特征融合层进行Concatenate连接，形成多尺度CT特征；残差连接层对多尺度CT特征与第5支路的原输入特征图进行相加，提升网络的表征能力；改进CBAM通道注意力模块用于接收残差连接层处理后的特征，为多尺度CT特征添加注意力权重，抑制无用信息；1*1卷积升维层对改进CBAM通道注意力模块输出的多尺度CT特征进行跨通道的特征融合，同时用最少的参数拓宽网络通道数。

如图4，所述多尺度CT特征融合模块B包括5条并联支路、特征融合层、残差连接层、1*1卷积升维层；所述5条并联支路中第1、2、4支路的结构与多尺度CT特征融合模块A相同；第3支路包括1*1卷积层、第一3*3卷积层、第二3*3卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接第一3*3卷积层的输入端、第二3*3卷积层的第一输入端、空洞率为2的空洞卷积层的输入端，第一3*3卷积层的输出端接第二3*3卷积层的第二输入端，第二3*3卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层。第1至第4支路的输出特征图在特征融合层进行Concatenate连接，形成多尺度CT特征；残差连接层对多尺度CT特征与第5支路的原输入特征图进行相加，提升网络的表征能力；1*1卷积升维层对残差连接层处理后的特征进行跨通道的特征融合，同时用最少的参数拓宽网络通道数。

如图5，所述多尺度CT特征融合模块C包括5条并联支路、特征融合层、残差连接层、改进CBAM的通道注意力模块、1*1卷积升维层；所述5条并联支路中第1支路的结构与多尺度CT特征融合模块A相同；第2支路包括1*1卷积层、1*3卷积层、3*1卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接1*3卷积层的输入端、空洞率为2的空洞卷积层的输入端，1*3卷积层的输出端接3*1卷积层的输入端，3*1卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第3支路包括1*1卷积层、1*3卷积层A、3*1卷积层A、空洞率为2的空洞卷积层A、特征图相加层A、1*3卷积层B、3*1卷积层B、空洞率为2的空洞卷积层B、特征图相加层B，1*1卷积层的输出端接1*3卷积层A的输入端、空洞率为2的空洞卷积层A的输入端、1*3卷积层B的输入端，1*3卷积层A的输出端接3*1卷积层A的输入端，3*1卷积层A的输出端、空洞率为2的空洞卷积层A的输出端接特征图相加层A的输入端，特征图相加层A的输出端接1*3卷积层B的输入端、空洞率为2的空洞卷积层B的输入端，1*3卷积层B的输出端接3*1卷积层B的输入端，3*1卷积层B的的输出端、空洞率为2的空洞卷积层B的输出端接特征图相加层B的输入端；第4支路包括平均池化层、最大池化层、特征图相加层、1*1卷积层，平均池化层的输出端、最大池化层的输出端接特征图相加层的输入端，特征图相加层的输出端接1*1卷积层的输入端。

如图6，所述改进CBAM的通道注意力模块具体是：

将CBAM原计算注意力权重的两个全连接层改为1*1卷积层，并将原来先相加再使用激活函数计算权重的计算过程，转变为对两个卷积输出特征直接使用Sigmoid激活函数分别计算注意力权重值，然后将两个注意力权重进行相乘后，输出通道注意力权重值，并去除了CBAM注意力机制中的空间注意力部分。即，在改进的CBAM通道注意力模块中，首先将输入特征图分别进行全局平均池化和全局最大池化，然后经过两个1*1卷积层并通过Sigmoid激活函数生成两个不同的通道注意力特征图，最后将两个通道注意力特征图相乘形成最终的注意力权重，并将其与输入特征图F逐像素相乘得到最终输出特征F'。具体过程可用式(1)表示：

F'＝(ε(C(P_ag(F)))×ε(C(P_mx(F))))⊙F (1)

式中，F表示输入特征图，P_ag表示全局平均池化，P_mx表示全局最大池化，C代表两个1*1卷积层，ε表示Sigmoid激活函数，F'表示通过改进CBAM通道注意力模块后的输出特征。

3-2构建如图7多模态特征预测网络

所述多模态特征预测网络包括第一多模态特征模块和第二多模态特征模块；

所述第一多模态特征模块以CT特征提取网络提取的CT特征和预处理过后的肺部影响因子作为输入，l_i对应的FVC线性变化率作为输出，包括依次级联的Concatenate特征融合层A、全连接层；所述Concatenate特征融合层A用于将CT特征提取网络提取的CT特征和预处理过后的临床特征(年龄、性别、吸烟情况)进行Concatenate融合，得到第一多模态特征；所述全连接层用于预测FVC线性变化率。预测FVC线性变化率使用的损失函数为平均绝对误差MAE(Mean Absolute Error)，它是目标值与预测值之差绝对值的和，表示了预测值的平均误差幅度，具有更好的鲁棒性。为了缓解网络训练过程中过拟合现象的出现，并使网络具有良好的泛化性，在全连接层之前添加了dropout层。

所述第二多模态特征模块以第一多模态特征模块输出的FVC线性变化率和所有临床特征(肺部影响因子、l_i对应的测量用力肺活量的周数、用力肺活量FVC、用力肺活量与正常人标准值的百分比)作为输入，周数N时的FVC值作为输出，包括依次级联的注意力模块、多层感知机(muti-layer perception，MLP)。

所述注意力模块计算过程用式(2)表示：

式中，F_x表示第一多模态特征模块输出的FVC线性变化率和所有临床特征，M表示两个全连接层，ε表示Sigmoid激活函数，F_wx表示通过注意力模块后的输出特征。多模态特征F_x经过两个全连接层，然后通过Sigmoid激活函数计算得到注意力权重，最后将注意力权重与输入特征F_x相乘再相加，得到最后的输出特征F_wx。

所述多层感知机包括依次级联的第一全连接层、ELU激活函数层、第二全连接层、GELU激活函数层、第三全连接层，以注意力模块的输出特征图为输入，以FVC值为输出。最后，第三全连接层输出三个特征值，分别为Out1、Out2和Out3。其中，Out2为FVC的预测值，而Out3减去Out1为标准差的值，用于计算拉普拉斯对数似然得分，进而评估模型。预测未来不同周数时的FVC预测值时使用的损失函数为分位数损失函数(Quantile loss function)，分位值为[0.2，0.5，0.8]。训练过程中使用K折交叉验证法进行训练，从全部的多模态特征中随机选择K-1/K的样例作为训练集，剩余的作为验证集，同时设置训练提前终止值patience为15，在损失函数下降到一定程度时停止训练，这样在一定程度上减小过拟合的风险。第二多模态特征模块选择K值为6，进行六次训练，最后的预测结果为六次预测结果总和的平均值。在全连接层后使用ELU激活函数和GELU激活函数，提高对噪声的鲁棒性和网络泛化能力。

步骤(4)、利用训练好的肺功能进展预测模型，实现肺功能进展预测。

将测试集中预处理后的肺部CT影像和临床特征输入训练好的肺功能进展预测模型，模型将会通过预处理后的肺部CT影像和临床特征对未来不同周数时的FVC预测值进行预测，最终输出对测试集中被预测者的肺功能进展预测结果。

为了在分位数损失函数计算过程中使用合适的分位值以得到较好的预测结果，对分位值的选取进行了实验，实验结果如表2所示。

表2不同分位值结果对比

由实验结果可得，[0.2,0.5,0.8]作为分位数损失函数的分位值可以获取更好的拉普拉斯对数似然得分，提高模型预测结果的准确性。

为了验证在多尺度CT特征融合模块中引入改进的CBAM通道注意力机制得到的性能提升效果更好，进行注意力机制引入位置对比实验，实验结果如表3所示。

表3注意力机制引入位置对比

实验结果表明，将注意力机制引入多尺度CT特征融合模块中的合适位置可以有效提高模型性能，提升预测的准确性，其中在多尺度CT特征融合模块A和多尺度CT特征融合模块C结构中同时添加注意力机制比效果最优。

为了对比不同注意力模块在CT特征提取网络中的作用，同时使用SE注意力模块、CBAM注意力模块、ECA注意力模块、scSE注意力模块、CBAM-ICA模块等注意力机制进行对比实验。注意力模块主要添加在CT特征提取网络中多尺度CT特征融合模块A、C的多尺度连接之后，实验结果如表4所示。

表4注意力模块对比实验

从表中可以看出，CBAM-ICA模块相比于其他注意力模块在提升模型性能上效果最好，而参数量提升不大、和CBAM注意力模块的参数量相同。

在将注意力机制和残差模块结合时有两种方式。一种结构a是在完成多尺度特征融合后，先对多尺度特征添加注意力权重，然后再与原始输入特征进行残差连接。另一种结构b是在完成多尺度特征融合后，先将多尺度特征与原始输入特征进行残差连接，再添加注意力机制。为验证两种模块结构的优劣，对模块结构a、b进行对比实验，实验结果如表5所示。

表5残差加CBAM-ICA模块结构对比

从表中可以看到，在相同参数量的条件下，结构b的拉普拉斯对数似然得分明显优于结构a。因此，CT特征提取网络中的多尺度CT特征融合模块采用结构b的方式进行残差加CBAM-ICA模块的构建。

为了验证肺功能进展预测模型中的CT特征提取网络提取CT特征的性能，本发明使用不同网络替换CT特征提取网络进行对比实验。实验选取的对比网络有InceptionV1、InceptionV3、Inception_Resnet_V2、ResNet50、DenseNet121和EfficientNetB0。实验结果如表6所示。

表6CT特征提取网络效果对比

从表中观察到，基于使用Inception多尺度模块的三个网络作为CT特征提取网络时在测试集上的拉普拉斯对数似然得分优于其他大部分网络，因此本发明以InceptionV1作为CT特征提取网络的骨干网络。与其他网络相比，本发明模型在测试集上得到的拉普拉斯对数似然得分为-6.8107，获得了最好的效果，而且所用网络参数量也较少。

对目前已有的几种肺功能进展预测方法进行对比实验，以验证肺功能进展预测模型的有效性。实验对比的模型方法有：FibrosisNet、Fibro-CoSANet、DNN+GBDT+NGBoost+ElasticNet集成模型。实验结果如表7所示。

表7肺功能进展预测方法对比

由实验结果可得，本发明模型相比于现有的肺功能进展预测方法获得了更好的拉普拉斯对数似然得分。因此，本发明模型可以更加准确的预测肺功能进展情况。

消融实验使用的基础模型为去除了CT特征提取网络中残差模块、空洞卷积模块、CBAM-ICA注意力模块这三个模块后的肺功能进展预测模型，并在实验过程中分别添加这三个模块进行消融实验，最终与基础模型的实验结果进行对比。实验结果如表8所示。

表8模型消融实验

由实验结果可得，肺功能进展预测模型中的CT特征提取网络在分别添加残差模块、空洞卷积模块、CBAM-ICA注意力模块后获得的拉普拉斯对数似然得分均有不同程度的提升。而当同时添加三个模块时，模型的预测得分最佳。这表明包含残差模块、空洞卷积模块、CBAM-ICA注意力模块的肺功能进展预测模型的预测结果更加准确。

为了验证多模态数据的有效性，对本发明基于多模态数据的肺功能进展预测模型与仅使用临床文本数据或肺部CT图像数据的模型方法进行对比，实验结果如表9所示。

表9不同模态数据预测效果

由实验结果可得，仅使用肺部CT图像数据的模型方法的拉普拉斯对数似然得分低于仅使用临床文本数据的模型方法。但这些只使用一种医学模态数据的方法的得分均远远小于基于多模态数据的肺功能进展预测模型的拉普拉斯对数似然得分。由此可见，多模态数据相比于单个医学模态数据，可以有效提高模型预测的准确性。

上述实施例并非是对于本发明的限制，本发明并非仅限于上述实施例，只要符合本发明要求，均属于本发明的保护范围。