具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本发明实施例提供的消化道肿瘤浸润层的识别方法的流程示意图。本发明实施例的所述的消化道肿瘤浸润层的识别方法应用于终端设备中，该方法通过安装于终端设备中的应用软件进行执行。其中，终端设备为具备接入互联网功能的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等终端设备。

下面对所述的消化道肿瘤浸润层的识别方法进行详细说明。

如图1所示，该方法包括以下步骤S110~S150。

S110、接收预设的超声内镜图像。

具体的，所述超声内镜图像为采用微型高频超声探头在用户的消化道中采集到的图像，终端设备在接收到所述超声内镜图像后，便可从所述超声内镜图像中提取用户的消化道中的有效区域，然后对该有效区域进行特征提取以得到每个层次区域的特征信息，最后对每个层次的特征信息进行分类识别，从完成对超声内镜图像中的消化道肿瘤浸润层的识别。

S120、将所述超声内镜图像输入至预先训练的第一神经网络模型中，得到所述超声内镜图像的有效区域。

具体的，所述有效区域为所述超声内镜图像中消化道管壁上的浅层和深层区域，所述超声内镜图像输入至所述第一神经网络模型中后，便可对所述超声内镜图像中消化道管壁上的浅层和深层区域进行特征提取，进而得到含有所述有效区域的特征信息。其中，所述第一神经网络模型基于卷积神经网络构建得到，既可以直接由CNN网络构建，也可以由在CNN网络基础上衍生的神经网络构建。

在其他发明实施例中，如图2所示，步骤S120包括子步骤S121、S122、S123、S124和S125。

S121、对所述超声内镜图像依次进行四次下采样，分别得到所述超声内镜图像的第一特征图、第二特征图、第三特征图以及第四特征图；

S122、对所述第四特征图进行第一次上采样，得到所述超声内镜图像的第五特征图；

S123、对所述第五特征图进行第二次上采样并基于残差连接与所述第三特征图进行融合，得到所述超声内镜图像的第六特征图；

S124、对所述第六特征图进行第三次上采样并基于所述残差连接与所述第二特征图进行融合，得到所述超声内镜图像的第七特征图；

S125、对所述第七特征图进行第四次上采样并基于所述残差连接与所述第一特征图进行融合，得到所述有效区域。

在本实施例中，所述第一神经网络模型由UNet神经网络构建得到，所述第一神经网络模型包括20个卷积层和4个残差连接层，所述超声内镜图像在所述第一神经网络模型中主要进行收缩路径和扩张路径两个过程。

其中，收缩路径的具体过程为：所述超声内镜图像在所述第一神经网络模型中预先进行五次卷积操作后，依次通过所述第一神经网络模型中的激活函数层和最大池化层，得到所述超声内镜图像的第一特征图，以完成对所述超声内镜图像的第一次下采样；将所述第一特征图依次通过所述第一神经网络模型中的卷积层、激活函数层以及最大池化层，得到所述超声内镜图像的第二特征图，以完成对所述超声内镜图像的第二次下采样；将所述第二特征图依次通过所述第一神经网络模型中的卷积层、激活函数层以及最大池化层，得到所述超声内镜图像的第三特征图，以完成对所述超声内镜图像的第三次下采样；将所述第三特征图依次通过所述第一神经网络模型中的卷积层、激活函数层以及最大池化层，得到所述超声内镜图像的第四特征图，以完成对所述超声内镜图像的第四次下采样。

扩展路径的具体过程为：对所述第四特征图进行卷积操作后，依次通过所述第一神经网络模型中的激活函数层和上卷积层，便可完成对所述超声内镜图像的第一次上采样并基于所述第一神经网络模型中的残差连接层与第四次下采样过程中经过激活函数层得到特征图进行融合，便可得到所述超声内镜图像中的第五特征图；将所述第五特征图进行卷积操作后，依次通过所述第一神经网络模型中的激活函数层和上卷积层便可完成对所述超声内镜图像的第二次上采样并基于所述第一神经网络模型中的残差连接层与第三次下采样过程中经过激活函数层得到特征图进行融合，便可得到所述超声内镜图像中的第六特征图；将所述第六特征图进行卷积操作后，依次通过所述第一神经网络模型中的激活函数层和上卷积层便可完成对所述超声内镜图像的第三次上采样并基于所述第一神经网络模型中的残差连接层与第二次下采样过程中经过激活函数层得到特征图进行融合，便可得到所述超声内镜图像中的第七特征图；将所述第七特征图进行卷积操作后，依次通过所述第一神经网络模型中的激活函数层和上卷积层便可完成对所述超声内镜图像的第四次上采样并基于所述第一神经网络模型中的残差连接层与第一次下采样过程中经过激活函数层得到特征图进行融合，便可得到所述超声内镜图像中的第八特征图；将所述第八特征图进行两次卷积操作后，再进行依次上卷积操作，便可得到所述超声内镜图像的有效区域的特征图。

S130、将所述有效区域输入至预先训练的第二神经网络模型中，分别得到所述超声内镜图像中消化道管壁的粘膜层区域、粘膜肌层区域、粘膜下层区域、固有肌层区域、浆膜层区域。

具体的，所述第二神经网络模型基于卷积神经网络构建得到，既可以直接由CNN网络构建，也可以由在CNN网络基础上衍生的神经网络构建。在本实施例中，所述第二神经网络模型包括：第一UNet神经网络、第二UNet神经网络、第三UNet神经网络、第四UNet神经网络以及第五UNet神经网络，所述第一UNet神经网络、所述第二UNet神经网络、第三UNet神经网络、第四UNet神经网络以及所述第五UNet神经网络均包括20个卷积层和4个残差连接层。其中，所述第一UNet神经网络用于提取所述有效区域中的粘膜层区域的特征信息，所述第二UNet神经网络用于提取所述有效区域中的粘膜肌层区域的特征信息，所述第三UNet神经网络用于提取所述有效区域中的粘膜下层区域的特征信息，所述第四UNet神经网络用于提取所述有效区域中的固有肌层区域的特征信息，所述第五UNet神经网络用于提取所述有效区域中的浆膜层区域的特征信息。

其中，所述第一UNet神经网络、所述第二UNet神经网络、第三UNet神经网络、第四UNet神经网络以及所述第五UNet神经网络中均20个卷积层和4个残差连接层，区别仅仅在于每个UNet神经网络中模型参数不同，每个UNet神经网络在所述有效区域中提取对应的特征信息的详细步骤可参照步骤S121-S125。

在其他发明实施例中，如图3所示，步骤S130包括子步骤S131和S132。

S131、生成所述有效区域的水平外切矩形。

S132、将所述水平外切矩形输入至所述第二神经网络模型中，分别得到所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域、所述浆膜层区域。

具体的，所述有效区域的水平外切矩形为水平方向处所述有效区域的外接矩形，例如，若所述有效区域中左上角处于所述有效区域中最高位置，右下角处于所述有效区域中的最低位置，则所述水平外接矩形的左上角位于所述有效区域中左上角，右下角位于所述有效区域中右下角，则水平外接矩形的右上角则与左上角处于同一水平位置，即位于所述有效区域中右上角的上方，所述水平外接矩形的左下角与右下角处于同一水平位置，即位于所述有效区域中左下角的下方。

在本实施例中，所述第二神经网络模型包括第一UNet神经网络、第二UNet神经网络、第三UNet神经网络、第四UNet神经网络以及第五UNet神经网络。所述有效区域的水平外切矩形依次通过凸包算法、旋转卡尺算法得到。所述水平外切矩形分别输入所述第一UNet神经网络、所述第二UNet神经网络、第三UNet神经网络、第四UNet神经网络以及所述第五UNet神经网络中，便可得到所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域、所述浆膜层区域。

S140、依次生成所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域以及所述浆膜层区域的最小外切矩形。

其中，所述粘膜层区域的最小外切矩形、所述粘膜肌层区域的最小外切矩形、所述粘膜下层区域的最小外切矩形、所述固有肌层区域的最小外切矩形以及所述浆膜层区域的最小外切矩形均依次通过各自区域的轮廓点而生成的最小面积的矩形，通过对各自区域的最小外切矩形进行分类识别，便可精准的识别出所述超声内镜图像中消化道肿瘤浸润层，进而解决了现有技术中超声内镜图像的消化道肿瘤浸润层区域的识别率较低的技术问题。

在其他发明实施例中，如图4所示，步骤S140包括子步骤S141和S142。

S141、根据凸包算法依次生成所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域以及所述浆膜层区域的凸多边形；

S142、根据旋转卡尺算法依次对每个所述凸多边形进行处理，得到每个所述最小外切矩形。

其中，凸包算法的核心思想为：通过给定的一些点形成一个多边形，该多边形恰好将给定的点框住，同时该多边形中所有的顶点都是由给定的部分点组成。旋转卡尺算法为将通过凸包算法形成的多边形的两个顶点卡住进行旋转以得到多边形中两个顶点的最大距离和最小距离以生成该多边形的最小矩形。在本实施例中，预先获取能形成各自区域轮廓的点集合并采用所述凸包算法形成对应的凸多边形，然后采用旋转卡尺算法卡住各自区域的凸多边形中两个顶点进行旋转以得到各自区域的凸多边形中任意的两个顶点的最长距离和最短距离以获取各自区域的凸多边形的最小外接矩形，该最小外接矩形即为区域中的最小外切矩形。

S150、根据每个所述最小外切矩形识别所述超声内镜图像中的消化道肿瘤浸润层区域。

在本实施例中，分别识别所述粘膜层区域的最小外切矩形、所述粘膜肌层区域的最小外切矩形、所述粘膜下层区域的最小外切矩形、所述固有肌层区域的最小外切矩形以及所述浆膜层区域的最小外切矩形中是否出现断开区域以得到所述超声内镜图像中的消化道的管壁中是否存在肿瘤浸润层，然后判断出现肿瘤浸润层在消化道的管壁上的层次以得到所述超声内镜图像中的消化道肿瘤浸润层的级别。

在其他发明实施例中，如图5所示，步骤S150包括子步骤S151和S152。

S151、计算长度最长的最小外切矩形与长度最短的外切矩形之间的长度比值；

S152、若所述长度比值小于预设阈值，根据每个所述最小外切矩形识别所述消化道肿瘤浸润层区域。

具体的，所述长度比值为长度最长的最小外切矩形的长度除以长度最短的最小外切矩形的长度而得到的比值，所述预设阈值为预先设定长度最长的最小外切矩形的长度除以长度最短的最小外切矩形的长度而得到的比值所达到的临界值。在本实施例中，所述预设阈值为3/2，若所述长度比值大于3/2，则所述内镜图像的各个区域的分割效果较差，此时需停止进行消化道肿瘤浸润层区域的识别；若小于3/2，则分别测量所有的最小外切矩形中是否存在区域断开的情况，若任意一个最小外切矩形中区域断开的情况，则继续识别该最小外切矩形中区域的深层区域是否出现断开的情况，若不存在，则该最小外切矩形所在的区域即为所述超声内镜图像中消化道肿瘤浸润层的区域，若不存在，继续往更深层进行识别，以识别出消化道肿瘤浸润层区域。

在其他发明实施例中，如图6所示，步骤S152包括子步骤S1521和S1522。

S1521、依次对每个所述最小外切矩形进行分类，得到每个所述最小外切矩形的分类结果；

S1522、根据每个所述最小外切矩形的分类结果识别所述消化道肿瘤浸润层区域。

在本实施例中，每个最小外切矩形的长度均为各自对应区域的长度，通过对各自对应区域的长度进行二分类以得到各自对应区域的长度中是否出现断开的分类结果来识别所述超声内镜图像中的消化道肿瘤浸润层区域。若所有区域的长度均未出现断开的情况，则所述超声内镜图像中不存在消化道肿瘤浸润层，若所有区域的长度均出现断开的情况，则所述超声内镜图像中的消化道肿瘤浸润到最深层，即消化道管壁的浆膜层。

在本发明实施例所提供的消化道肿瘤浸润层的识别方法中，通过接收预设的超声内镜图像；将所述超声内镜图像输入至预先训练的第一神经网络模型中，得到所述超声内镜图像的有效区域；将所述有效区域输入至预先训练的第二神经网络模型中，分别得到所述超声内镜图像中消化道管壁的粘膜层区域、粘膜肌层区域、粘膜下层区域、固有肌层区域、浆膜层区域；依次生成所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域以及所述浆膜层区域的最小外切矩形；根据每个所述最小外切矩形识别所述超声内镜图像中的消化道肿瘤浸润层区域。本发明所述的消化道肿瘤浸润层的识别方法克服了现有的技术瓶颈，采用人工智能技术辅助内镜医师在超声内镜下准确的识别出消化道肿瘤浸润层，降低了消化道肿瘤浸润层识别的门槛，同时利于改善病人预后。

本发明实施例还提供了一种消化道肿瘤浸润层的识别装置100，该装置用于执行前述消化道肿瘤浸润层的识别方法的任一实施例。

具体地，请参阅图7，图7是本发明实施例提供的消化道肿瘤浸润层的识别装置100的示意性框图。

如图7所示，所述的消化道肿瘤浸润层的识别装置100，该装置包括：接收单元110、第一输入单元120、第二输入单元130、第一生成单元140和第一识别单元150。

接收单元110，用于接收预设的超声内镜图像。

第一输入单元120，用于将所述超声内镜图像输入至预先训练的第一神经网络模型中，得到所述超声内镜图像的有效区域。

在另一实施例中，所述第一输入单元120包括：下采样单元、上采样单元、第一融合单元、第二融合单元和第三融合单元。

下采样单元，用于对所述超声内镜图像依次进行四次下采样，分别得到所述超声内镜图像的第一特征图、第二特征图、第三特征图以及第四特征图；上采样单元，用于对所述第四特征图进行第一次上采样，得到所述超声内镜图像的第五特征图；第一融合单元，用于对所述第五特征图进行第二次上采样并基于残差连接与所述第三特征图进行融合，得到所述超声内镜图像的第六特征图；第二融合单元，用于对所述第六特征图进行第三次上采样并基于所述残差连接与所述第二特征图进行融合，得到所述超声内镜图像的第七特征图；第三融合单元，用于对所述第七特征图进行第四次上采样并基于所述残差连接与所述第一特征图进行融合，得到所述有效区域。

第二输入单元130，用于将所述有效区域输入至预先训练的第二神经网络模型中，分别得到所述超声内镜图像中消化道管壁的粘膜层区域、粘膜肌层区域、粘膜下层区域、固有肌层区域、浆膜层区域。

在另一实施例中，所述第二输入单元130包括：第二生成单元和第三输入单元。

第二生成单元，用于生成所述有效区域的水平外切矩形；第三输入单元，用于将所述水平外切矩形输入至所述第二神经网络模型中，分别得到所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域、所述浆膜层区域。

第一生成单元140，用于依次生成所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域以及所述浆膜层区域的最小外切矩形。

在另一实施例中，所述第一生成单元140包括：第三生成单元和处理单元。

第三生成单元，用于根据凸包算法依次生成所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域以及所述浆膜层区域的凸多边形；处理单元，用于根据旋转卡尺算法依次对每个所述凸多边形进行处理，得到每个所述最小外切矩形。

第一识别单元150，用于根据每个所述最小外切矩形从所述超声内镜图像中识别出消化道肿瘤浸润层区域。

在另一实施例中，所述第一识别单元150包括：计算单元和第二识别单元。

计算单元，用于计算长度最长的最小外切矩形与长度最短的外切矩形之间的长度比值；第二识别单元，用于若所述长度比值小于预设阈值，根据每个所述最小外切矩形识别所述消化道肿瘤浸润层区域。

在另一实施例中，所述第二识别单元包括：分类单元和第三识别单元。

分类单元，用于依次对每个所述最小外切矩形进行分类，得到每个所述最小外切矩形的分类结果；第三识别单元，用于根据每个所述最小外切矩形的分类结果识别所述消化道肿瘤浸润层区域。

本发明实施例所提供的消化道肿瘤浸润层的识别装置100用于执行上述接收预设的超声内镜图像；将所述超声内镜图像输入至预先训练的第一神经网络模型中，得到所述超声内镜图像的有效区域；将所述有效区域输入至预先训练的第二神经网络模型中，分别得到所述超声内镜图像中消化道管壁的粘膜层区域、粘膜肌层区域、粘膜下层区域、固有肌层区域、浆膜层区域；依次生成所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域以及所述浆膜层区域的最小外切矩形；根据每个所述最小外切矩形识别所述超声内镜图像中的消化道肿瘤浸润层区域。

请参阅图8，图8是本发明实施例提供的计算机设备的示意性框图。

参阅图8，该设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。

该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行消化道肿瘤浸润层的识别方法。

该处理器502用于提供计算和控制能力，支撑整个设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行消化道肿瘤浸润层的识别方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图8中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的设备500的限定，具体的设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：接收预设的超声内镜图像；将所述超声内镜图像输入至预先训练的第一神经网络模型中，得到所述超声内镜图像的有效区域；将所述有效区域输入至预先训练的第二神经网络模型中，分别得到所述超声内镜图像中消化道管壁的粘膜层区域、粘膜肌层区域、粘膜下层区域、固有肌层区域、浆膜层区域；依次生成所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域以及所述浆膜层区域的最小外切矩形；根据每个所述最小外切矩形识别所述超声内镜图像中的消化道肿瘤浸润层区域。

本领域技术人员可以理解，图8中示出的设备500的实施例并不构成对设备500具体构成的限定，在其他实施例中，设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，设备500可以仅包括存储器及处理器502，在这样的实施例中，存储器及处理器502的结构及功能与图8所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器502、数字信号处理器502(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器502可以是微处理器502或者该处理器502也可以是任何常规的处理器502等。

在本发明的另一实施例中提供计算机存储介质。该存储介质可以为非易失性的计算机可读存储介质，也可以是易失性的存储介质。该存储介质存储有计算机程序5032，其中计算机程序5032被处理器502执行时实现以下步骤：接收预设的超声内镜图像；将所述超声内镜图像输入至预先训练的第一神经网络模型中，得到所述超声内镜图像的有效区域；将所述有效区域输入至预先训练的第二神经网络模型中，分别得到所述超声内镜图像中消化道管壁的粘膜层区域、粘膜肌层区域、粘膜下层区域、固有肌层区域、浆膜层区域；依次生成所述粘膜层区域、所述粘膜肌层区域、所述粘膜下层区域、所述固有肌层区域以及所述浆膜层区域的最小外切矩形；根据每个所述最小外切矩形识别所述超声内镜图像中的消化道肿瘤浸润层区域。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备500 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。