具体实施方式

下面结合具体实施例和附图，对本发明进行详细说明。以下实例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1为本发明一实施例的内窥镜超声影像的处理方法流程图。参照图1所示，本实施例中的内窥镜超声影像的处理方法，包括：

S100,获取CP-EBUS成像技术中三个模式的超声影像；

S200,采用多模态神经网络对三个模式的超声影像进行分类，得到用于识别淋巴结的处理结果。

本实施例上述的CP-EBUS成像技术中三个模式的超声影像，其中，三个模式是指弹性模式E、灰阶模式B和多普勒血流模式F。通过采用基于凸阵探头超声支气管镜(CP-EBUS)多模式图像，使用多模态神经网络对目标淋巴结的CP-EBUS影像进行处理，无需人工干预，能够更为准确的自动识别超声影像的淋巴结，提升淋巴结诊断的准确率。

图2为本发明一较优实施例中多模态神经网络的处理流程图。参照图2所示，在本优选实施例中，采用多模态神经网络对三个模式的超声影像进行分类，具体包括：

S201,提取每个模式的超声影像的图像特征；

S202,对每个模式的图像特征进行特征融合，得到三个模式的图像融合特征；

S203,对图像融合特征进行分类，得到用于识别淋巴结的处理结果。

本优选实施例通过对三个模式的超声影像的图像特征进行提取和融合，并用于分类，能提高最终对于超声影像的淋巴结的识别，包括识别淋巴结的恶性、良性，依据CP-EBUS影像的处理结果，可以提升诊断准确率，以及辅助医生对淋巴结进行穿刺。

图3为本发明一较优实施例中提取图像特征的处理流程图。为了更好提取每个模式的超声影像的图像特征，参照图3所示，在一优选实施例中，可以包括：

S2011，将每个模式的超声影像输入神经网络；神经网络采用卷积神经网络；

S2012，神经网络利用卷积操作、注意力机制与跨层连接操作对每个模式的超声影像进行特征提取，得到对应的图像特征。

更好地，在一具体实施例中，提取每个模式的超声影像的图像特征,可以按照以下详细操作进行：

卷积操作：将输入的每个模式的超声影像的图像信号x分为三支，其中一支进行1*1的降维卷积，降维卷积结果再分别进行1*1的升维卷积和3*3的升维卷积，这两个升维卷积的输出结果分别与输入信号的另外两支相加，然后连接在一起。以数学形式表达为：其中c₁,c₂,c₃分别为1*1的降维卷积，1*1的升维卷积和3*3的升维卷积， 为通道维度上的连接操作。

注意力机制：对卷积操作提取的特征按通道进行加权。具体而言，输入的图像信号x分为两支，其中一支进行空间维度上的自适应平均池化，然后通过一个1*1的降维卷积操作，之后通过线性整流函数(ReLU)r，之后通过1*1的升维卷积操作，之后通过softmax操作σ得到对每个通道的加权，之后该权值与输入的图像信号x的另一支按通道点乘，输出点乘的结果。以数学形式表达为：x_out＝σ(r(p(x)*c₁)*c₂)·x，其中其中p是空间自适应池化函数，“·”是沿着通道维度的特征图加权操作。

上述优选实施例中，为了实现对每个模式的图像特征进行特征融合，可以：利用可学习的加权连接操作将不同模态的图像特征进行融合，得到多模态影像的一个综合表达，即三个模式的图像融合特征。

特征融合采用特征融合模块来实现，特征融合模块具有多个，每一个特征融合模块的融合操作分为四路。对于三个模式图像的特征提取输出 分别用其中三路直接输出收到的原始信号。第四路根据特征融合模块的相对位置，输出略有不同。

对于第一个特征融合模块的融合操作，第四路对其它三路的三个特征进行加权拼接，其数学形式为：其中w₁,w₂,w₃为可学习的加权参数，为通道维度上的连接操作。

对于随后特征融合模块的融合操作，如第l个特征融合模块(l>1)，首先对三个特征进行加权连接，接着会对上一层的融合特征与当前的融合特征进行跨层间的特征融合，其综合的数学形式为：其中w₄,w₅同样为可学习的参数。本优选实施例，在采用多模态图像的基础上，输出的四路融合特征，用于后续分类。

另外，为了保证神经网络输入的图像符合其要求，在输入之前，可以对图像先进行预处理。即，在提取每个模式的超声影像的图像特征之前进行，通过预处理使每个模态的超声影像适合作为神经网络的输入。

图4为本发明一较优实施例中图像质量识别的处理流程图。参照图4所示，预处理具体可以包括扫描框定位，扫描框定位是对弹性E模式和多普勒血流F模式图像中的扫描框进行自动定位，依据该定位利用最小矩形框选取重点分析区域。为了更好减轻后续神经网络的数据处理工作，在上述预处理的基础上，还可以进一步包括对图像质量的识别，即：依据每个模式的特性对图像的质量进行评估，针对质量不合格的图像发出提醒，避免无用的分析。

针对上述实施例中的CP-EBUS影像(弹性模式E，多普勒血流模式F)，作为优选，预处理的扫描框定位的具体操作可以为：给定一张弹性E模式或者多普勒血流F模式的图像和依据相应模态成像规律设定的掩码矩阵m，得到通过该步骤去除无关信息，得到预处理的中间信号之后通过边框检测算子G，确定包含检测框的最小矩形，其中为该最小矩形包含的原始信号。当然，并不局限于此优选实施例的操作，其他的技术能实现上述作用的，也可以适用。

针对上述实施例中的CP-EBUS影像(弹性模式E，灰阶模式B，多普勒血流模式F)，作为优选，预处理的图像质量识别的具体操作可以为：

(1)对于弹性E模式的图像而言，依据每个位置三通道值的方差判断有颜色的像素点，如果有颜色的像素点的比例小于阈值T_e则认为该图像质量不合格，反之计算该图像的平均强度，如果强度大于阈值T_I，则认为该图像质量合格，反之则认为质量不合格。

(2)对于多普勒血流F模式的图像而言，依据每个位置三通道值得方差判断有颜色的像素点，如果有颜色的像素点的比例小于阈值T_f则认为该图像质量合格，反之则不合格。

(3)对于灰阶B模式的图像而言，默认其质量合格。

上述各实施例中，分类器对于特征融合模块输出的四个支路的特征，分别进行全局池化之后乘以分类矩阵，给出最后的分类结果。

图5为本发明一实施例中内窥镜超声影像的处理系统的框图。

参照图5所示，本实施例中的内窥镜超声影像的处理系统，包括：图像获取模块和图像处理模块，其中，图像获取模块获取CP-EBUS成像技术中三个模式的超声影像，其中，三个模式是指弹性模式E、灰阶模式B和多普勒血流模式F；图像处理模块采用多模态神经网络对三个模式的超声影像进行分类，得到用于识别淋巴结的图像处理结果。

上述实施例中，图像处理模块可以进一步包括：特征提取模块、特征融合模块和分类器，其中，特征提取模块提取每个模式的超声影像的图像特征；特征融合模块对每个模式的图像特征进行特征融合，得到三个模式的图像融合特征；分类器对所述图像融合特征进行分类，得到用于识别淋巴结的处理结果。

图6为本发明一较优实施例中内窥镜超声影像的处理系统的框图。

参照图6所示，本优选实施例中提供一种内窥镜超声影像的处理系统，包括：

数据预处理模块，该模块依据每个模态数据的特性分别对其进行预处理使之适合作为神经网络的输入；

特征提取模块，该模块利用卷积操作，注意力机制与跨层连接操作等对输入的图像信号进行特征提取，并将提取出来的特征用于后续的特征融合模块；

特征融合模块，该模块利用可学习的加权连接操作将不同模态的特征进行融合，得到多模态影像的一个综合表达；

分类器，该模块利用特征融合模块输出的特征进行分类，输出预测的诊断的结果。

具体地，数据预处理模块由扫描框定位模块与图像质量判别模块组成，其中：

扫描框定位模块，该模块对弹性E模式和多普勒血流F模式图像中的扫描框进行自动定位，依据该定位利用最小矩形框选取重点分析区域；

图像质量判别模块，该模块依据模式的特性对图像的质量进行评估，针对质量不合格的图像发出提醒，避免无用的分析。

进一步的，扫描框定位模块中，给定一张弹性E模式或者多普勒血流F模式的图像和依据相应模态成像规律设定的掩码矩阵m，得到 通过该步骤去除无关信息，得到预处理的中间信号之后通过边框检测算子G，确定包含检测框的最小矩形，其中为该最小矩形包含的原始信号。

进一步的，图像质量识别模块中，对于弹性E模式的图像而言，首先计算每个位置三通道值的方差，如果某位置上的方差大于阈值T_c，则判断该像素点为有颜色的像素点，如果有颜色的像素点的比例小于阈值T_e则认为该图像质量不合格，反之计算该图像的平均强度，如果强度大于阈值T_I，则认为该图像质量合格，反之则认为质量不合格。对于多普勒血流F模式的图像而言，依据每个位置三通道值得方差判断有颜色的像素点，如果有颜色的像素点的比例小于阈值T_f则认为该图像质量合格，反之则不合格。对于灰阶B模式的图像而言，默认其质量合格。

进一步的，特征提取模块包括：卷积模块、通道注意力模块。

卷积模块用于提取图像信号的特征。具体而言，该模块中：输入的信号x分为三支，其中一支输入到一个1*1的降维卷积模块中，该模块的输出结果分别输入到1*1的升维卷积模块和3*3的升维卷积模块中去，这两个升维卷积模块的输出结果分别于输入信号的另外两支相加，然后连接在一起。以数学形式表达为： 其中c₁,c₂,c₃分别为1*1的降维卷积，1*1的升维卷积和3*3的升维卷积， 为通道维度上的连接操作。

通道注意力模用于对卷积模块提取的特征按通道进行加权。具体而言，该模块中，输入信号x分为两支，其中一支进行空间维度上的自适应平均池化，然后通过一个1*1的降维卷积操作，之后通过线性整流函数(ReLU)r，之后通过1*1的升维卷积操作，之后通过softmax操作σ得到对每个通道的加权，之后该权值与输入信号的另一支按通道点乘，输出点乘的结果。以数学形式表达为：x_out＝σ(r(p(x)*c₁)*c₂)·x，其中其中p是空间自适应池化函数，“·”是沿着通道维度的特征图加权操作。

进一步的，特征融合模块有多个。每一个模块的融合操作分为四路，对于三个模式图像的特征提取模块的输出分别用其中三路直接输出收到的原始信号。第四路根据特征融合模块的相对位置，输出略有不同。

对于第一个特征融合模块的融合操作，第四路对其它三路的三个特征进行加权拼接，其数学形式为：其中w₁,w₂,w₃为可学习的加权参数，为通道维度上的连接操作。

对于随后特征融合模块的融合操作，如第l个特征融合模块(l>1)，首先会对三个特征进行加权连接，接着会对上一层的融合特征与当前的融合特征进行跨层间的特征融合，其综合的数学形式为：其中w₄,w₅同样为可学习的参数。

其中特征提取模块和特征融合模块的数量可以由具体场景进行调节。

进一步的，分类器对于特征融合模块输出的四路特征，分别进行全局池化之后乘以分类矩阵，给出最后的分类结果。

本发明上述实施例的内窥镜超声影像的处理系统，使用CP-EBUS成像技术中三个模式的图像数据，通过多模态神经网络对这些图像进行处理，能够更为准确的识别超声影像的淋巴结，从而有助于提升淋巴结诊断的准确率。

在本发明另一实施例中，还提供一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行上述任一项实施例中的内窥镜超声影像的处理方法。

在本发明另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行上述任一项实施例中的内窥镜超声影像的处理方法。

为了验证本发明上述实施例方案的效果，在真实得CP-EBUS数据集上进行了实验，并且和人类专家使用的现有方法进行了性能比较。实验中模型在从245个淋巴结上收集的2205张图像上进行了五折交叉验证，五次验证中选出的模型在从49个额外的淋巴结上收集的441张图像上进行了测试，以五个模型测试的平均值与置信区间作为结果记录下来。专家组在相同的测试集上进行对比，由三个专家各自在测试集上做测试，将三个专家的测试结果的平均值与置信区间作为结果记录下来。

实验结果如表1所示：

由表1可见，利用本发明上述实施例的淋巴结识别结果，相较于目前人类专家所施行的现有方法的结果，准确率获得了明显的提升，很好地验证了本发明的优越性和有效性。除此之外，对于本发明实施例的淋巴结识别结果与专家组结果进行了一致性分析，本发明实施例的结果的卡帕值为0.7605，而作为对比的人类专家组的卡帕值为0.5800，这表明，利用本发明上述实施例的淋巴结识别结果，具有更好的诊断一致性。

需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。