具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于所描述的本申请的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

除非另作定义，此处使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。

下面，结合附图描述本申请的实施例。

图1是根据本申请实施例的用于检测活体组织结节的系统的模块图。

参见图1，根据本申请的实施例，提供一种用于检测活体组织结节的系统，包括超声图获取模块、定位分割模块、人工审核模块和输出模块，现分述如下。

超声图获取模块通过对患者的检查生成活体组织的超声图像。根据本申请的实施例，超声图获取模块例如可为常规B超机。然而，本申请的实施例不限于此，而是超声图获取模块也可为通过常规B型超声获取预定位置活体组织的常规二维超声图像的任何其它装置，例如，A型超声、M型超声、D型超声、彩超等装置。

对于超声图获取模块来说，常见的检查为甲状腺、颈部淋巴结、女性乳腺、腹腔B超、肝脏B超、前列腺B超等。下面仅以甲状腺B超为例进行描述。

定位分割模块与超声图获取模块通信连接，接收来自超声图获取模块生成的活体组织的超声图像，并且在对超声图像进行预处理后，通过其上加载的Unet++网络和MedicalTransformer网络对活体组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像。

图2是根据本申请实施例的用于检测活体组织结节的系统的分割网络流程图。图3是根据本申请实施例的用于检测活体组织结节的系统的Unet++网络模型图。图4是根据本申请实施例的用于检测活体组织结节的系统的Medical Transformer网络模型结构图。

如图2和3所示，将上传的甲状腺B超图像，先对图像进行预处理，去掉与超声影像无关的部分，并且调整图像大小为256*256，利用分割模型对B超图片进行第一阶段的分割，一阶段的网络为粗分割网络，目的在于得到甲状腺结节的位置以及大致的形状信息，以便下一步精分割中缩小感兴趣视野，以期望得到更好的分割效果。

在得到粗分割结果后，计算结节的最小外接正方形，如果外接正方形大小大于80，那么外扩20个像素，否则外扩30个像素。截取的结节，并且缩放至512*512大小，作为二阶段分割网络的输入。二阶段网络是一个精分割网络。

本申请的粗分割网络Unet++网络，具体描述如下：

该网络采用了卷积神经网络Unet++网络，该模型是分割经典网络Unet的改进版本，相较于Unet，其将Unet网络中间的空缺部分，用多个小的Unet结构来填充，这样可以提高网络的学习能力。输入模型的图像会经过四次卷积和降采样过程，获取输入图像不同层次特征。随后，各级网络均进行多次上采样，直至恢复至原来的尺寸。在各级的卷积节点中，同级的特征会通过skip-connect操作将其特征传递至同级的后续卷积模块中，用来丰富各级特征，并且避免出现梯度消失的情况。当网络训练结束之后，可以在X12、X13、X14、X15后增加1x1的卷积模块，对各个输出情况进行监督，获取每个分支的输出。根据学习的能力，可以进行不同程度的剪枝，在不过多影响网络性能的情况下，来减小最终模型大小，增加模型的可移植性。

如图4所示，本申请的细分割网络采用了Medical Transformer网络，具体描述如下：

该网络采用了卷积神经网络和Transformer模块相结合。该模型采取了局部-全局训练的策略，有两条并行的训练网络同时对图片特征进行学习、提取。上面的是局部训练模块，使用的是卷积模块，对输入模型进行两次的下采样后进行上采样，这样可以获取到的图像的局部特征。下方的训练模为全局训练模块，使用了Transformer模块来增加网络的感受野。它使用了首先会经过一个卷积层以进行特征提取，接下来通过Transformer模块，对图像中的特征进行整合，细化特征，解码器部分使用了级联的上采样器，它拥有四次上采样过程，用于解码隐藏特征以输出最终的分割结果，解码器中的每一层都采用skip-connect操作，增加了Transformer的特征，使得不同层次的特征可以更好的混合在一起，提高模型的精确度。最终，将全局分支和局部分支的结果相加，得到最终的分割结果。

训练中采用了dice系数和交叉熵的混合的方法，既可以集中于目标区域，又解决了类别不平衡(背景多、结节小)的问题。

综上所述：

根据本申请的实施例，超声图像的预处理可包括去除与超声波影像无关的部分，并且调整图像大小与灰度等图像属性，图像大小调整至256*256。

根据本申请的实施例，Unet++网络可为粗分割网络，计算结节的最小外接正方形，如果外接正方形大小大于80，那么外扩20个像素，否则外扩30个像素，以将截取的结节缩放至512*512大小。

根据本申请的实施例，Medical Transformer网络采用卷积神经网络和Transformer模块相结合，可包括局部训练模块、全局训练模块和整合模块。

根据本申请的实施例，局部训练模块可使用卷积模块，对输入模型进行两次下采样后进行上采样，以获取到图像的局部特征；全局训练模块可使用Transformer模块来增加网络的感受野，以获取图像的全局特征；整合模块可将全局特征和局部特征叠加，得到最终的分割结果。

回过来参见图1，输出模块，输出人工审核模块形成的人工判断的结果。

根据本申请的实施例，用于检测活体组织结节的系统还可包括显示模块，显示模块可显示定位分割模块对活体组织的超声图像上的结节进行定位和分割的过程、人工审核模块对一个或多个待查结节区域图像的每一个进行人工判断的过程、以及输出模块输出的人工判断的结果。

根据本申请的实施例，人工审核模块可包括输入对人工判断的结论性报告，并且指示输出模块输出人工判断的结论性报告。

根据本申请的实施例，用于检测活体组织结节的系统还可包括优化模块，优化模块可从输出模块接收人工判断的结论性报告，并且通过机器深入学习和训练而不断优化定位分割模块。

根据本申请的实施例，定位分割模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。

根据本申请的实施例，定位分割模块、人工审核模块和输出模块可集成在一台PC中。优选地，定位分割模块、人工审核模块、输出模块、显示模块和优化模块可集成在一台PC中。

根据本申请的实施例，用于检测活体组织结节的系统还可包括针对分割中类别不均匀的情况，使用Dice系数结合二进制交叉熵函数作为训练的损失函数。

根据本申请的实施例，超声图获取模块可包括常规B超机，并且活体组织结节可包括甲状腺结节。

图5是根据本申请实施例的用于检测活体组织结节的方法的流程图。

参见图3，根据本申请的实施例，提供一种通过用于检测活体组织结节的系统进行用于检测活体组织结节的方法。在下面的描述中，为了避免冗余，将省略与参照图1-2描述的根据本申请实施例的用于检测活体组织结节的系统重复的描述。

用于检测活体组织结节的系统包括超声图获取模块、定位分割模块、人工审核模块输出模块，优选地，还可包括显示模块和优化模块。

用于检测活体组织结节的方法包括如下步骤：采用超声图获取模块通过对患者的检查生成活体组织的超声图像；采用与超声图获取模块通信连接的定位分割模块接收来自超声图获取模块生成的活体组织的超声图像，并且在对超声图像进行预处理后，通过其上加载的Unet++网络和Medical Transformer网络对活体组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像；采用人工审核模块对一个或多个待查结节区域图像的每一个进行人工判断；以及采用输出模块输出人工审核模块形成的人工判断的结果。

根据本申请的实施例，用于检测活体组织结节的方法还可包括采用显示模块显示定位分割模块对活体组织的超声图像上的结节进行定位和分割的过程、人工审核模块对一个或多个待查结节区域图像的每一个进行人工判断的过程、以及输出模块输出的人工判断的结果。

根据本申请的实施例，人工审核模块可包括输入对人工判断的结论性报告，并且指示输出模块输出人工判断的结论性报告。

根据本申请的实施例，用于检测活体组织结节的方法还可包括采用优化模块从输出模块接收人工判断的结论性报告，并且通过机器深入学习和训练而不断优化定位分割模块。

根据本申请的实施例，定位分割模块与超声图获取模块的通信连接可包括有线连接和无线连接之一或二者。

根据本申请的实施例，定位分割模块、人工审核模块和输出模块可集成在一台PC中。优选地，定位分割模块、人工审核模块、输出模块、显示模块和优化模块可集成在一台PC中。

根据本申请的实施例，超声图像的预处理可包括去除与超声波影像无关的部分，并且调整图像大小与灰度等图像属性，图像大小调整至256*256。

根据本申请的实施例，Unet++网络可为粗分割网络，计算结节的最小外接正方形，如果外接正方形大小大于80，那么外扩20个像素，否则外扩30个像素，以将截取的结节缩放至512*512大小。

根据本申请的实施例，Medical Transformer网络采用卷积神经网络和Transformer模块相结合，可包括局部训练模块、全局训练模块和整合模块。

根据本申请的实施例，局部训练模块可使用卷积模块，对输入模型进行两次下采样后进行上采样，以获取到图像的局部特征；全局训练模块可使用Transformer模块来增加网络的感受野，以获取图像的全局特征；整合模块可将全局特征和局部特征叠加，得到最终的分割结果。

根据本申请的实施例，用于检测活体组织结节的系统还可包括针对分割中类别不均匀的情况，使用Dice系数结合二进制交叉熵函数作为训练的损失函数。

根据本申请的实施例，超声图获取模块可包括常规B超机，并且活体组织结节可包括甲状腺结节。

与现有技术相比，根据本申请实施例的用于检测活体组织结节的系统和方法至少可实现如下有益效果：

因为根据本申请实施例的用于检测活体组织结节的系统和方法中，采用超声图获取模块，通过对患者的检查生成活体组织的超声图像，超声图获取模块可为常规B超机，所以对传统的B超机不需要做任何改变，因此免去了对现有设备的改造成本。

定位分割模块与超声图获取模块通信连接，并且该通信连接可为有线连接或无线连接。这样，以定位分割模块为代表的处理与分析部分可与B超机彼此相邻设置，或者二者之间可为远程连接。在远程连接的情况下，方便了远程医疗诊断。

定位分割模块在对超声图像进行预处理后，通过其上加载的Unet++网络和Medical Transformer网络对活体组织的超声图像上的结节进行定位和分割，以形成一个或多个待查结节区域图像。一个或多个待查结节区域图像的每一个都是值得进行进一步分析的图像，因此不会漏掉任何可能的病灶。

人工审核模块对一个或多个待查结节区域图像的每一个进行人工判断。定位分割模块所生成的一个或多个待查结节区域图像对于人工审核模块或超声波医生来说具有较好的识别性，因此可以给出相对准确的判断。这大大提高了检测效率和准确性。

输出模块输出人工审核模块形成的人工判断的结果，同时也可输出人工判断的结论性报告。这样的结果和报告除了可以打印成书面报告外，还可将其反馈给优化模块，从而对定位分割模块上的软件进行不断训练、深入学习和优化。

根据本申请实施例的用于检测活体组织结节的系统和方法可提供快速、准确的辅助诊断结果，因此具有良好的医用价值和很好的社会价值。

以上所述仅是本申请的示范性实施方式，而非用于限制本申请的保护范围，本申请的保护范围由所附的权利要求确定。