阅读说明：本技术 一种软骨图像分割方法、装置、可读存储介质及终端设备 (Cartilage image segmentation method and device, readable storage medium and terminal equipment ) 是由 李佳颖 胡庆茂 张晓东 于 2019-08-19 设计创作，主要内容包括：本申请适用于图像处理技术领域,尤其涉及软骨图像分割方法及装置。所述方法包括获取待分割的目标软骨图像；将目标软骨图像输入至预设的软骨图像分割模型,软骨图像分割模型包括空洞卷积模块、与空洞卷积模块连接的金字塔空洞池化模块、与金字塔空洞池化模块连接的注意力机制模块以及分别与空洞卷积模块和注意力机制模块连接的融合模块；通过空洞卷积模块对目标软骨图像进行特征提取,得到第一特征图；通过金字塔空洞池化模块对第一特征图进行池化处理,得到第二特征图,并通过注意力机制模块对第二特征图进行加权处理,得到第三特征图；通过融合模块对第三特征图进行上采样,并将采样得到的第四特征图与第一特征图进行融合,得到软骨分割结果。(The application is applicable to the technical field of image processing, and particularly relates to a cartilage image segmentation method and device. The method comprises the steps of obtaining a target cartilage image to be segmented; inputting a target cartilage image into a preset cartilage image segmentation model, wherein the cartilage image segmentation model comprises a cavity convolution module, a pyramid cavity pooling module connected with the cavity convolution module, an attention mechanism module connected with the pyramid cavity pooling module and a fusion module respectively connected with the cavity convolution module and the attention mechanism module; extracting the characteristics of the target cartilage image through a cavity convolution module to obtain a first characteristic diagram; pooling the first characteristic diagram through a pyramid hole pooling module to obtain a second characteristic diagram, and weighting the second characteristic diagram through an attention mechanism module to obtain a third characteristic diagram; and the third feature map is up-sampled through a fusion module, and the fourth feature map obtained by sampling is fused with the first feature map to obtain a cartilage segmentation result.)

一种软骨图像分割方法、装置、可读存储介质及终端设备

技术领域

本申请属于图像处理技术领域，尤其涉及一种软骨图像分割方法、装置、计算机可读存储介质及终端设备。

背景技术

在医学领域中，经常需要对软骨图像进行分割来得到分割出的软骨，从而可通过计算软骨厚度、体积等参数来方便对软骨情况进行评估，进而方便进行软骨疾病的诊断。目前的软骨图像分割方法主要为基于卷积神经网络模型的分割方法，而由于软骨特征的特殊性，现有的基于卷积神经网络模型的分割方法仍然存在分割精度较低的问题。

发明内容

本申请实施例提供了一种软骨图像分割方法、装置、计算机可读存储介质及终端设备，可以解决现有的软骨图像分割精度低的问题。

第一方面，本申请实施例提供了一种软骨图像分割方法，包括：

获取待分割的目标软骨图像；

将所述目标软骨图像输入至预设的软骨图像分割模型，其中，所述软骨图像分割模型包括空洞卷积模块、与所述空洞卷积模块连接的金字塔空洞池化模块、与所述金字塔空洞池化模块连接的注意力机制模块以及分别与所述空洞卷积模块和所述注意力机制模块连接的融合模块；

通过所述空洞卷积模块对所述目标软骨图像进行特征提取，得到所述目标软骨图像对应的第一特征图；

通过所述金字塔空洞池化模块对所述第一特征图进行池化处理，得到所述目标软骨图像对应的第二特征图，并通过所述注意力机制模块对所述第二特征图进行加权处理，得到所述目标软骨图像对应的第三特征图；

通过所述融合模块对所述第三特征图进行上采样，并将采样得到的第四特征图与所述第一特征图进行融合，得到所述软骨图像分割模型输出的所述目标软骨图像的软骨分割结果。

第二方面，本申请实施例提供了一种软骨图像分割装置，包括：

目标图像获取模块，用于获取待分割的目标软骨图像；

目标图像输入模块，用于将所述目标软骨图像输入至预设的软骨图像分割模型，其中，所述软骨图像分割模型包括空洞卷积模块、与所述空洞卷积模块连接的金字塔空洞池化模块、与所述金字塔空洞池化模块连接的注意力机制模块以及分别与所述空洞卷积模块和所述注意力机制模块连接的融合模块；

特征提取模块，用于通过所述空洞卷积模块对所述目标软骨图像进行特征提取，得到所述目标软骨图像对应的第一特征图；

池化加权处理模块，用于通过所述金字塔空洞池化模块对所述第一特征图进行池化处理，得到所述目标软骨图像对应的第二特征图，并通过所述注意力机制模块对所述第二特征图进行加权处理，得到所述目标软骨图像对应的第三特征图；

结果输出模块，用于通过所述融合模块对所述第三特征图进行上采样，并将采样得到的第四特征图与所述第一特征图进行融合，得到所述软骨图像分割模型输出的所述目标软骨图像的软骨分割结果。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述软骨图像分割方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述软骨图像分割方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的软骨图像分割方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

本申请实施例中，通过空洞卷积模块和金字塔空洞池化模块对目标软骨图像提取多尺度的图像信息，并通过融合模块对多尺度的图像信息进行融合，可有效保留图像的细节信息，提高图像的边界分割能力，提高软骨图像的分割精度。另外，通过注意力机制模块来进行图像信息的加权处理，可有效增强软骨图像的分割能力，提高软骨图像的分割准确性和分割精度。

附图说明

图1是本申请一实施例提供的软骨图像分割方法的流程示意图；

图2是本申请一实施例提供的软骨图像分割模型的结构框图；

图3是本申请一实施例提供的空洞卷积模块的结构示意图；

图4是本申请一实施例提供的通道空洞卷积层的卷积示意图；

图5是本申请一实施例提供的软骨图像分割方法在一个应用场景中获取第二特征图的流程示意图；

图6是本申请一实施例提供的金字塔空洞池化模块的结构示意图；

图6a是本申请一实施例提供的不同采样率的卷积示意图；

图7是本申请一实施例提供的注意力机制模块的结构示意图；

图8是本申请一实施例提供的软骨图像分割方法在一个应用场景中获取第三特征图的流程示意图；

图9a是人工标记金标准的软骨分割图；

图9b是本申请实施例中的软骨图像分割方法分割的软骨分割图；

图10是本申请实施例提供的软骨图像分割装置的结构示意图；

图11是本申请实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1示出了本申请实施例提供的软骨图像分割方法的示意性流程图，所述软骨图像分割方法包括：

步骤S101、获取待分割的目标软骨图像；

本申请实施例的执行主体可为终端设备，所述终端设备包括但不限于：桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。在需要进行软骨分割时，可以将待分割的目标软骨图像发送至所述终端设备，其中，所述目标软骨图像可以为包含软骨的磁共振成像(MRI)图像，例如，可以为膝关节的MRI图像。

步骤S102、将所述目标软骨图像输入至预设的软骨图像分割模型，其中，所述软骨图像分割模型包括空洞卷积模块、与所述空洞卷积模块连接的金字塔空洞池化模块、与所述金字塔空洞池化模块连接的注意力机制模块以及分别与所述空洞卷积模块和所述注意力机制模块连接的融合模块；

具体地，所述终端设备获取到所述目标软骨图像后，即可以调用如图2所示的软骨图像分割模型，并可以将所述目标软骨图像输入至所述软骨图像分割模型中。

在一种可能的实现方式中，所述将所述目标软骨图像输入至预设的软骨图像分割模型，可以包括：

步骤a、获取所述目标软骨图像对应的原始分辨率和原始采样距离；

步骤b、根据所述原始分辨率、所述原始采样距离和预设的目标分辨率确定目标采样距离；

步骤c、利用所述目标采样距离对所述目标软骨图像进行重采样，并将重采样得到的目标软骨图像输入至预设的软骨图像分割模型。

其中，所述根据所述原始分辨率、所述原始采样距离和预设的目标分辨率确定目标采样距离，包括：

根据下式确定所述目标采样距离：

spacing为所述目标采样距离，spacing′为所述原始采样距离，ImageRe’为所述原始分辨率，ImageRe为所述目标分辨率。

对于上述步骤a至步骤c，所述原始分辨率可为任意的分辨率，所述原始采样距离可为任意的距离，所述目标分辨率可为513×513像素的分辨率，以通过确定目标采样距离进行图像的重采样来将所述目标软骨图像裁剪至目标分辨率，方便所述软骨图像分割模型进行图像的特征提取，提高所述软骨图像分割模型的分割效率，并可以减少对所述目标软骨图像的尺寸限制，以方便用户使用，提升用户体验。

步骤S103、通过所述空洞卷积模块对所述目标软骨图像进行特征提取，得到所述目标软骨图像对应的第一特征图；

应理解，所述终端设备将所述目标软骨图像输入至所述软骨图像分割模型后，所述软骨图像分割模型的空洞卷积模块即可以对所述目标软骨图像进行图像特征的提取，从而得到所述目标软骨图像对应的第一特征图。

在一种可能的实现方式中，如图3所示，所述空洞卷积模块为基于Xception网络结构的卷积模块，其中，所述Xception网络结构包括平面空洞卷积层和通道空洞卷积层，所述平面空洞卷积层的采样率为1或3，所述通道空洞卷积层的采样率为6。应理解，所述平面空洞卷积层和所述通道空洞卷积层的卷积核尺寸均可以为3×3。

具体地，所述Xception网络结构可包括输入单元、中间处理单元和输出单元，所述输入单元可包括串联的第一3×3卷积层(即卷积核尺寸为3×3的卷积层，下述类似表述含义相同)、第二3×3卷积层、第一卷积子单元、第二卷积子单元和第三卷积子单元，其中，所述第一卷积子单元、第二卷积子单元和第三卷积子单元均可包括第一1×1卷积层以及串联的第一平面空洞卷积层(图3中所示为平面卷积)、第二平面空洞卷积层(图3中所示为平面卷积)和第一通道空洞卷积层(图3中所示为空洞卷积)；所述中间处理单元可包括串联的16个第四卷积子单元，所述第四卷积子单元可包括串联的3个第三平面空洞卷积层；所述输出单元可包括串联的第五卷积子单元和第六卷积子单元，所述第五卷积子单元可包括第二1×1卷积层以及串联的第四平面空洞卷积层、第五平面空洞卷积层和第二通道空洞卷积层，所述第六卷积子单元可包括串联的第六平面空洞卷积层、第三通道空洞卷积层和第七平面空洞卷积层。

需要说明的是，在所述第一1×1卷积层、所述第二1×1卷积层和所述第一通道空洞卷积层之后还可分别依次连接标准化输出层和Relu激活层。如图4所示，所述第一通道空洞卷积层、所述第二通道空洞卷积层和所述第三通道空洞卷积层主要是采用深度方向的空洞卷积，具体可以由卷积核大小为3x3的空洞卷积和跨模块的卷积核大小为1x1的卷积串联组成，可减少模型参数，提高卷积效率。

如图3所示，在所述终端设备将所述目标软骨图像输入至所述软骨图像分割模型之后，所述空洞卷积模块的输入单元可首先对所述目标软骨图像进行特征提取，并可将所提取的特征图A输入至所述空洞卷积模块的中间处理单元，所述中间处理单元则可对特征图A进行特征提取，并可将提取的特征图B输入至所述空洞卷积模块的输出单元，所述输出单元则可进一步对特征图B进行特征提取，得到所述目标软骨图像对应的第一特征图。

具体地，所述输入单元对所述目标软骨图像进行特征提取的过程可以为：所述输入单元的第一3×3卷积层可首先对所述目标软骨图像进行特征提取，并可将提取的特征图R输入至所述输入单元的第二3×3卷积层；所述第二3×3卷积层则可对特征图R进行进一步的特征提取，并可将提取的特征图T输入至所述输入单元的第一卷积子单元。在此，所述第一卷积子单元的第一1×1卷积层则可以对特征图T进行特征提取，得到所提取的特征图T1，同时所述第一卷积子单元的第一平面空洞卷积层也可对特征图T进行特征提取，得到所提取的特征图T2，并可将特征图T2输入至所述第一卷积子单元的第二平面空洞卷积层，所述第二平面空洞卷积层则可对特征图T2进行特征提取，并可将提取的特征图T21输入至所述第一卷积子单元的第一通道空洞卷积层，所述第一通道空洞卷积层则可对特征图T21进行特征提取，得到特征图S。随后所述第一卷积子单元则可以对特征图T1和特征图S进行融合，并将融合得到的特征图L输入至所述输入单元的第二卷积子单元。所述第二卷积子单元则可对特征图L进行特征提取，并将提取的特征图H输入至所述输入单元的第三卷积子单元，所述第三卷积子单元则可对特征图H进行特征提取，以此得到所述输入单元提取的特征图A。在此，所述第二卷积子单元对特征图L进行的特征提取过程以及所述第三卷积子单元对特征图H进行的特征提取过程与所述第一卷积子单元对特征图T进行的特征提取过程相似，基本原理相同，为简明起见，在此不再赘述。

相应地，所述中间处理单元对特征图A进行特征提取的过程可为：第一个第四卷积子单元的第一个第三平面空洞卷积层可首先对特征图A进行特征提取，并可将所提取的特征图A1输入至该第一个第四卷积子单元的第二个第三平面空洞卷积层，该第二个第三平面空洞卷积层则可对特征图A1进行特征提取，并可将提取的特征图A11输入至该第一个第四卷积子单元的第三个第三平面空洞卷积层，该第三个第三平面空洞卷积层则可对特征图A11进行特征提取，得到特征图G；随后该第一个第四卷积子单元则可对特征图A和特征图G进行融合，并可将融合得到的特征图K输入至第二个第四卷积子单元，该第二个第四卷积子单元则可对特征图K进行特征提取，并将提取的特征图输入至第三个第四卷积子单元，以此类推，直到将特征图输入至第十六个第四卷积子单元，并通过该第十六个第四卷积子单元对特征图进行特征提取，以此得到所述中间处理单元提取的特征图B。在此，第二个第四卷积子单元、第三个第四卷积子单元，……，第十六个第四卷积子单元进行特征提取的过程与第一个第四卷积子单元对特征图A进行特征提取的过程相似，基本原理相同，为简明起见，在此不再赘述。

相应地，所述输出单元对特征图B进行特征提取的过程可以为：所述输出单元的第五卷积子单元可首先对特征图B进行特征提取，并可将提取的特征图F输入至所述输出单元的第六卷积子单元，在此，所述第五卷积子单元对特征图B进行特征提取的过程与所述输入单元的第一卷积子单元对特征图T进行特征提取的过程相似，基本原理相同，为简明起见，在此不再赘述。随后所述第六卷积子单元的第六平面空洞卷积层则可对特征图F进行特征提取，并可将提取的特征图F1输入至所述第六卷积子单元的第三通道空洞卷积层，所述第三通道空洞卷积层则可对特征图F1进行特征提取，并可将提取的特征图F11输入至所述第六卷积子单元的第七平面空洞卷积层，并可通过所述第七平面空洞卷积层对特征图F11进行特征提取，以此得到所述目标软骨图像对应的第一特征图。

需要说明的是，本申请实施例中的Xception网络结构为类似残差网络的结构，因此基于Xception网络结构的空洞卷积模块可有效降低梯度衰减率，避免网络结构的退化，从而确保软骨图像分割的准确性。另外，所述空洞卷积模块中采用不同采样率的空洞卷积层对所述目标软骨图像进行特征提取，可增大感受野，增加特征图所包含的信息量，有效保留图像的细节信息，提高软骨图像的分割精度。

步骤S104、通过所述金字塔空洞池化模块对所述第一特征图进行池化处理，得到所述目标软骨图像对应的第二特征图，并通过所述注意力机制模块对所述第二特征图进行加权处理，得到所述目标软骨图像对应的第三特征图；

应理解，所述软骨图像分割模型的空洞卷积模块、金字塔空洞池化模块和注意力机制模块依次串联连接，因此，所述空洞卷积模块提取出所述目标软骨图像对应的第一特征图后，即可将所述第一特征图输入至所述金字塔空洞池化模块，所述金字塔空洞池化模块即可对所述第一特征图进行池化处理，从而得到所述第一特征图对应的第二特征图，并可将所述第二特征图输入至所述注意力机制模块，所述注意力机制模块即可对所述第二特征图进行加权处理，从而得到所述目标软骨图像对应的第三特征图，以通过金字塔空洞池化模块来多尺度提取图像信息，提高图像的边界分割能力，提高软骨图像的分割精度，同时通过注意力机制模块来进行图像信息的加权处理，可有效提高软骨图像的分割准确性和分割精度。

在一种可能的实现方式中，所述金字塔空洞池化模块包括相互并行的多个第一卷积分支；

具体地，如图5所示，所述通过所述金字塔空洞池化模块对所述第一特征图进行池化处理，得到所述目标软骨图像对应的第二特征图，可以包括：

步骤S501、分别通过各所述第一卷积分支对所述第一特征图进行特征采样，得到所述第一特征图分别对应的第一采样特征图、第二采样特征图、第三采样特征图和第四采样特征图；

步骤S502、对所述第一采样特征图、所述第二采样特征图、所述第三采样特征图和所述第四采样特征图进行拼接，得到拼接后的拼接特征图；

步骤S503、对所述拼接特征图进行均值池化处理，得到所述目标软骨图像对应的第二特征图。

需要说明的是，所述第一卷积分支包括采样率不同的第一空洞卷积单元、第二空洞卷积单元和第三空洞卷积单元，所述第一空洞卷积单元与所述第二空洞卷积单元连接，所述第二空洞卷积单元与所述第三空洞卷积单元连接。

具体地，如图6所示，所述金字塔空洞池化模块可以包括相互并行的4个第一卷积分支，每一个第一卷积分支可以包括依次串联的第一空洞卷积单元、第二空洞卷积单元和第三空洞卷积单元，其中，所述第一空洞卷积单元可以包括如图6a所示的采样率为6的卷积层以及第一Relu激活层和第一dropout层，所述第二空洞卷积单元可以包括如图6a所示的采样率为12的卷积层以及第二Relu激活层和第二dropout层，所述第三空洞卷积单元可以包括如图6a所示的采样率为18的卷积层。可选地，所述金字塔空洞池化模块还可以包括与所述采样率为18的卷积层连接的拼接层以及与所述拼接层连接的均值池化层。

应理解，所述金字塔空洞池化模块获取到所述空洞卷积模块提取的第一特征图后，即可通过并行的4个第一卷积分支分别对所述第一特征图进行特征采样，得到所述第一特征图分别对应的第一采样特征图、第二采样特征图、第三采样特征图和第四采样特征图。在此，所述第一卷积分支对所述第一特征图进行特征采样得到所述第一采样特征图的过程均可以为：首先可通过采样率为6的卷积层对所述第一特征图进行特征采样，并可将采样得到的采样特征图C输入至所述第一Relu激活层；其次可通过所述第一Relu激活层对采样特征图C进行处理，并可将处理得到的采样特征图C1输入至所述第一dropout层；再次可通过所述第一dropout层对采样特征图C1进行处理，并可将处理得到的采样特征图C2输入至采样率为12的卷积层；随后可通过采样率为12的卷积层对采样特征图C2进行进一步的特征采样，并可将采样得到的采样特征图C3输入至所述第二Relu激活层；然后可通过所述第二Relu激活层对采样特征图C3进行处理，并可将处理得到的采样特征图C4输入至所述第二dropout层，以通过所述第二dropout层对采样特征图C4进行处理，并可将处理得到的采样特征图C5输入至采样率为18的卷积层；最后，可通过采样率为18的卷积层对采样特征图C5进行特征采样，以此得到所述第一特征图对应的第一采样特征图。其中，其他各所述第一卷积分支对所述第一特征图进行特征采样得到所述第二采样特征图、所述第三采样特征图和所述第四采样特征图的过程与上述得到第一采样特征图的过程相似，基本原理相同，为简明起见，在此不再赘述。

需要说明的是，所述第一卷积分支得到所述第一采样特征图、所述第二采样特征图、所述第三采样特征图和所述第四采样特征图后，即可将所述第一采样特征图、所述第二采样特征图、所述第三采样特征图和所述第四采样特征图分别输入至所述金字塔空洞池化模块的拼接层，所述拼接层即可对所述第一采样特征图、所述第二采样特征图、所述第三采样特征图和所述第四采样特征图进行拼接，如可将所述第一采样特征图、所述第二采样特征图、所述第三采样特征图和所述第四采样特征图进行求和拼接，得到拼接后的拼接特征图，并可将所得到的拼接特征图输入至所述金字塔空洞池化模块的均值池化层，所述均值池化层即可对所述拼接特征图进行均值池化处理，从而得到所述目标软骨图像对应的第二特征图。

在一种可能的实现方式中，如图7所示，所述注意力机制模块可以包括相互并行的多个第二卷积分支，例如可以包括相互并行的3个第二卷积分支，其中，各所述第二卷积分支均可以包括卷积核尺寸为1×1、步长为2的卷积层。

具体地，如图8所示，所述通过所述注意力机制模块对所述第二特征图进行加权处理，得到所述目标软骨图像对应的第三特征图，可以包括：

步骤S801、分别通过各所述第二卷积分支对所述第二特征图进行卷积处理，得到所述第二特征图分别对应的第一卷积特征图、第二卷积特征图和第三卷积特征图；

步骤S802、对所述第一卷积特征图进行转置处理，并将转置得到的转置特征图与所述第二卷积特征图进行矩阵相乘处理，得到第五特征图；

步骤S803、对所述第五特征图进行归一化处理，并将归一化处理后的第五特征图与所述第三卷积特征图进行矩阵相乘处理，得到所述第二特征图对应的加权系数矩阵；

步骤S804、通过所述加权系数矩阵对所述第二特征图进行加权处理，得到所述目标软骨图像对应的第三特征图。

对于步骤S801至步骤S804，所述金字塔空洞池化模块得到所述目标软骨图像对应的第二特征图后，即可以将所述第二特征图输入至所述注意力机制模块，所述注意力机制模块可首先通过并行的3个1×1卷积层对所述第二特征图进行卷积处理，得到所述第二特征图对应的三个卷积特征图，即通过3个1×1卷积层对所述第二特征图进行降维处理，以生成保留细节信息的第一卷积特征图、第二卷积特征图和第三卷积特征图；然后可对所述第一卷积特征图进行转置处理，并可将转置得到的转置特征图与所述第二卷积特征图进行矩阵相乘处理，得到第五特征图；随后，可对所述第五特征图进行归一化处理，如可通过softmax函数对所述第五特征图进行归一化处理，并可将归一化处理后的第五特征图与所述第三卷积特征图进行矩阵相乘处理，得到所述第二特征图对应的加权系数矩阵，即得到特征图中每一个位置相对于其他位置的注意力；最后可通过所述加权系数矩阵对所述第二特征图进行加权处理，得到所述目标软骨图像对应的第三特征图，如可通过将所述第二特征图和所述加权系数矩阵在预设系数的基础上进行求和，得到加权后的第三特征图。

步骤S105、通过所述融合模块对所述第三特征图进行上采样，并将采样得到的第四特征图与所述第一特征图进行融合，得到所述软骨图像分割模型输出的所述目标软骨图像的软骨分割结果。

在一种可能的实现方式中，所述通过所述融合模块对所述第三特征图进行上采样，并将采样得到的第四特征图与所述第一特征图进行融合，得到所述软骨图像分割模型输出的所述目标软骨图像的软骨分割结果，可以包括：

步骤d、通过所述融合模块对所述第三特征图进行双线性上采样，得到所述第四特征图；

步骤e、通过所述融合模块的第三卷积分支对所述第一特征图进行卷积处理，得到所述第一特征图对应的第六特征图；

步骤f、对所述第四特征图和所述第六特征图进行融合处理，得到融合后的第七特征图；

步骤g、对所述第七特征图进行双线性上采样，得到所述软骨图像分割模型输出的所述目标软骨图像的软骨分割结果。

对于上述步骤d至步骤g，应理解，所述双线性上采样可以为4倍双线性上采样，所述融合模块的第三卷积分支可以包括卷积核尺寸为1×1的卷积层，其中，所述第三卷积分支可与所述空洞卷积模块连接，以获取所述空洞卷积模块输出的第一特征图，并可对所述第一特征图进行卷积处理，从而得到所述第一特征图对应的第六特征图。所述融合模块则可进一步对所述第四特征图和所述第六特征图进行融合处理，即对所述第四特征图和所述第六特征图进行层拼接，以保留所述空洞卷积模块输出的特征图中的有用信息，提高软骨图像的分割精度和分割准确性；最后可通过对融合后的第七特征图进行4倍双线性上采样来恢复原特征图的大小。

需要说明的是，本申请实施例中，所述软骨图像分割模型可通过下述步骤训练得到：

步骤h、获取第一预设数量的第一训练软骨图像；

步骤i、利用预设扩展方式对所述第一训练软骨图像进行扩展，得到第二预设数量的第二训练软骨图像，所述第二训练软骨图像包括所述第一训练软骨图像，所述第二预设数量大于所述第一预设数量；

步骤j、利用所述第二训练软骨图像和预设的损失函数对所述软骨图像分割模型进行训练，所述损失函数为：

其中，B为训练软骨图像的数量，N为各训练软骨图像的像素数，p_ij为第i个训练软骨图像的第j个像素属于软骨的概率，α＝0.75，γ＝2。

对于上述步骤h至步骤j，在训练所述软骨图像分割模型时，可首先从医学影像控制系统mimics中获取第一预设数量(如440张)的不同分辨率的第一训练软骨图像；随后，可对各第一训练软骨图像进行预处理，即可获取各第一训练软骨图像对应的原始分辨率和原始采样距离，分别根据各第一训练软骨图像对应的原始分辨率、原始采样距离和预设的目标分辨率确定对应的目标采样距离，并利用各目标采样距离对对应的第一训练软骨图像进行重采样，以使得所有第一训练软骨图像在同一原点和同一方向，在此，此处的目标采样距离的确定方式与前述所述的目标采样距离的确定方式相同；然后，可通过对各第一训练软骨图像沿xy平面做对称、拉伸及旋转放射变换来扩展第一训练软图像的数量，即扩展得到第二预设数量的第二训练软骨图像，其中，所述第二训练软骨图像可包括第一训练软骨图像；最后，可在Focal loss方法的指导下利用第二训练软骨图像对所述软骨图像分割模型进行训练，以获得最优的模型参数，即可采用Focal loss定义所述软骨图像分割模型训练时的损失函数loss，并基于Adam批量梯度下降算法最小化损失函数loss来获得最优的模型参数。

应理解，在训练过程中还可使用dropout率为0.9的dropout层来提高训练效率。

下表1显示了本申请实施例中的软骨图像分割方法和基于Deeplab v3结构的软骨图像方法、基于U-net结构的软骨图像方法进行软骨图像分割的对比结果，其中，Dice为相似度系数(Dice similarity coefficient，DSC)，是评估软骨分割效果的参数，Dice越大，则分割精度越高，而平均表面距离越小，则分割精度越高。由下表1所示的对比结果可知，本申请实施例中的软骨图像分割方法明显优于基于Deeplab v3结构的软骨图像方法和基于U-net结构的软骨图像方法。

表1

另外，图9a和图9b示出了人工标记金标准和本申请实施例中的软骨图像分割方法的软骨分割结果的对比示意图，其中，图9a为人工标记金标准，图9b为本申请实施例中的软骨图像分割方法的软骨分割结果，由图9a和图9b可以看出，本申请实施例中的软骨图像分割方法可达到人工标记金标准的分割精度。

本申请实施例中，通过空洞卷积模块和金字塔空洞池化模块对目标软骨图像提取多尺度的图像信息，并通过融合模块对多尺度的图像信息进行融合，可有效保留图像的细节信息，提高图像的边界分割能力，提高软骨图像的分割精度。另外，通过注意力机制模块来进行图像信息的加权处理，可有效增强软骨图像的分割能力，提高软骨图像的分割准确性和分割精度。

对应于上文实施例所述的软骨图像分割方法，图10示出了本申请实施例提供的软骨图像分割装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图10，所述软骨图像分割装置包括：

目标图像获取模块1001，用于获取待分割的目标软骨图像；

目标图像输入模块1002，用于将所述目标软骨图像输入至预设的软骨图像分割模型，其中，所述软骨图像分割模型包括空洞卷积模块、与所述空洞卷积模块连接的金字塔空洞池化模块、与所述金字塔空洞池化模块连接的注意力机制模块以及分别与所述空洞卷积模块和所述注意力机制模块连接的融合模块；

特征提取模块1003，用于通过所述空洞卷积模块对所述目标软骨图像进行特征提取，得到所述目标软骨图像对应的第一特征图；

池化加权处理模块1004，用于通过所述金字塔空洞池化模块对所述第一特征图进行池化处理，得到所述目标软骨图像对应的第二特征图，并通过所述注意力机制模块对所述第二特征图进行加权处理，得到所述目标软骨图像对应的第三特征图；

结果输出模块1005，用于通过所述融合模块对所述第三特征图进行上采样，并将采样得到的第四特征图与所述第一特征图进行融合，得到所述软骨图像分割模型输出的所述目标软骨图像的软骨分割结果。

在一种可能的实现方式中，所述目标图像输入模块1002，包括：

原始采样距离获取单元，用于获取所述目标软骨图像对应的原始分辨率和原始采样距离；

目标采样距离确定单元，用于根据所述原始分辨率、所述原始采样距离和预设的目标分辨率确定目标采样距离；

图像重采样单元，用于利用所述目标采样距离对所述目标软骨图像进行重采样，并将重采样得到的目标软骨图像输入至预设的软骨图像分割模型。

可选地，所述目标采样距离确定单元，具体用于根据下式确定所述目标采样距离：

spacing为所述目标采样距离，spacing′为所述原始采样距离，ImageRe’为所述原始分辨率，ImageRe为所述目标分辨率。

在一种可能的实现方式中，所述空洞卷积模块为基于Xception网络结构的卷积模块，其中，所述Xception网络结构包括平面空洞卷积层和通道空洞卷积层，所述平面空洞卷积层的采样率为1或3，所述通道空洞卷积层的采样率为6。

可选地，所述金字塔空洞池化模块包括相互并行的多个第一卷积分支；

所述池化加权处理模块1004，包括：

特征采样单元，用于分别通过各所述第一卷积分支对所述第一特征图进行特征采样，得到所述第一特征图分别对应的第一采样特征图、第二采样特征图、第三采样特征图和第四采样特征图；

特征拼接单元，用于对所述第一采样特征图、所述第二采样特征图、所述第三采样特征图和所述第四采样特征图进行拼接，得到拼接后的拼接特征图；

均值池化单元，用于对所述拼接特征图进行均值池化处理，得到所述目标软骨图像对应的第二特征图。

需要说明的是，所述第一卷积分支包括采样率不同的第一空洞卷积单元、第二空洞卷积单元和第三空洞卷积单元，所述第一空洞卷积单元与所述第二空洞卷积单元连接，所述第二空洞卷积单元与所述第三空洞卷积单元连接。

在一种可能的实现方式中，所述注意力机制目标包括相互并行的多个第二卷积分支；

所述池化加权处理模块1004，包括：

第一卷积处理单元，用于分别通过各所述第二卷积分支对所述第二特征图进行卷积处理，得到所述第二特征图分别对应的第一卷积特征图、第二卷积特征图和第三卷积特征图；

矩阵相乘单元，用于对所述第一卷积特征图进行转置处理，并将转置得到的转置特征图与所述第二卷积特征图进行矩阵相乘处理，得到第五特征图；

归一化处理单元，用于对所述第五特征图进行归一化处理，并将归一化处理后的第五特征图与所述第三卷积特征图进行矩阵相乘处理，得到所述第二特征图对应的加权系数矩阵；

加权处理单元，用于通过所述加权系数矩阵对所述第二特征图进行加权处理，得到所述目标软骨图像对应的第三特征图。

可选地，所述结果输出模块1005，包括：

第一上采样单元，用于通过所述融合模块对所述第三特征图进行双线性上采样，得到所述第四特征图；

第二卷积处理单元，用于通过所述融合模块的第三卷积分支对所述第一特征图进行卷积处理，得到所述第一特征图对应的第六特征图；

融合处理单元，用于对所述第四特征图和所述第六特征图进行融合处理，得到融合后的第七特征图；

第二上采样单元，用于对所述第七特征图进行双线性上采样，得到所述软骨图像分割模型输出的所述目标软骨图像的软骨分割结果。

在一种可能的实现方式中，所述软骨图像分割装置，包括：

训练图像获取模块，用于获取第一预设数量的第一训练软骨图像；

训练图像扩展模块，用于利用预设扩展方式对所述第一训练软骨图像进行扩展，得到第二预设数量的第二训练软骨图像，所述第二训练软骨图像包括所述第一训练软骨图像，所述第二预设数量大于所述第一预设数量；

分割模型训练模块，用于利用所述第二训练软骨图像和预设的损失函数对所述软骨图像分割模型进行训练，所述损失函数为：

其中，B为训练软骨图像的数量，N为各训练软骨图像的像素数，p_ij为第i个训练软骨图像的第j个像素属于软骨的概率，α＝0.75，γ＝2。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图11为本申请一实施例提供的终端设备的结构示意图。如图11所示，该实施例的终端设备11包括：至少一个处理器1100(图11中仅示出一个)处理器、存储器1101以及存储在所述存储器1101中并可在所述至少一个处理器1100上运行的计算机程序1102，所述处理器1100执行所述计算机程序1102时实现上述任意各个软骨图像分割方法实施例中的步骤。

所述终端设备11可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器1100、存储器1101。本领域技术人员可以理解，图11仅仅是终端设备11的举例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备等。

所称处理器1100可以是中央处理单元(Central Processing Unit，CPU)，该处理器1100还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器1101在一些实施例中可以是所述终端设备11的内部存储单元，例如终端设备11的硬盘或内存。所述存储器1101在另一些实施例中也可以是所述终端设备11的外部存储设备，例如所述终端设备11上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器1101还可以既包括所述终端设备11的内部存储单元也包括外部存储设备。所述存储器1101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器1101还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。