阅读说明：本技术 一种基于机器学习检测胎儿颅脑异常的方法和系统 (Method and system for detecting fetal craniocerebral abnormality based on machine learning ) 是由 李胜利 李肯立 文华轩 谭光华 于 2019-09-09 设计创作，主要内容包括：本发明公开了一种基于机器学习检测胎儿颅脑异常的方法,具体是在胎儿颅脑的发育过程中,检测颅脑的主要组织结构是否存在异常和异常会导致哪些相关的颅脑疾病。本发明主要通过获取不同孕周系列颅脑标准切面的数据,对数据预处理,训练一个模型来检测颅脑主要组织结构是否存在异常。采用深度卷积网络提取特征,区域生成网络RPN生成候选区域,感兴趣池化层层收集输入的特征图和候选区域,并利用softmax分类器进行分类和回归检测,最后利用检测结果来分析主要的结构是否存在异常。如果未发现存在异常,则判断为正常。本发明旨在利用计算机辅助诊断,不需要医生或者人为的过多参与诊断的情况下,辅助诊断颅脑是否异常。(The invention discloses a method for detecting fetal craniocerebral abnormality based on machine learning, and particularly detects whether the main tissue structure of the craniocerebral is abnormal or not and which related craniocerebral diseases can be caused by the abnormality in the development process of the fetal craniocerebral. The method mainly comprises the steps of obtaining data of a series of craniocerebral standard sections of different gestational weeks, preprocessing the data, and training a model to detect whether the main tissue structure of the craniocerebral is abnormal or not. Extracting features by adopting a deep convolutional network, generating a candidate region by using a region generation network RPN, collecting an input feature map and the candidate region layer by layer in an interested pooling, carrying out classification and regression detection by using a softmax classifier, and finally analyzing whether the main structure is abnormal or not by using a detection result. If no abnormity exists, the system is judged to be normal. The invention aims to utilize computer-aided diagnosis to assist in diagnosing whether the cranium is abnormal or not under the condition that doctors or artificial excessive diagnosis is not needed.)

一种基于机器学习检测胎儿颅脑异常的方法和系统

技术领域

本发明属于计算机辅助诊断技术领域，更具体地，涉及一种基于机器学习检测胎儿颅脑异常的方法和系统。

背景技术

在胎儿整个身体的发育过程中，颅脑的健康发育具有异常重要的意义，颅脑发育不全会直接影响胎儿的智力，严重会引起脑瘫、精神运动发育迟缓、智力低下、癫痫等。鉴于此，产前超声对胎儿颅脑进行详细的检查非常必要。

然而，现有超声对胎儿颅脑检测存在一些不可忽略的缺点：第一，由于胎儿颅脑检测过程相当复杂，而目前临床经验丰富、擅长胎儿颅脑异常产前检查的超声医师严重缺乏，因而大大的加大了那些有经验超声医师的工作任务，并造成优质医疗资源不平衡的问题；第二，利用超声采集颅脑图像时，存在的诸多干扰因素(例如超声伪像的干扰、超声医师的技术不娴熟等)都会造成超声图像采集的质量不高，从而导致最终难以根据检测结果对胎儿的颅脑发育状况做出准确分析；第三，胎儿颅脑的产前超声检查对于超声医师的技术要求非常高，不同水平的超声医师针对同样的检测对象，可能会得出不同的颅脑检测结果，从而影响最终检测结果的准确性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于机器学习检测胎儿颅脑异常的方法和系统，其目的在于，通过人工智能(Artificial intelligence，简称AI)深度学习大样本量的正常和异常胎儿颅脑超声影像数据，解决现有基于超声成像的胎儿颅脑检测中存在的上述技术问题，本发明在对胎儿进行实时超声扫描过程中，结合胎儿的孕周和病史等资料，实时不间断地监测与分析胎儿颅脑超声影像智能识别出胎儿颅脑发育的系列标准切面，自动化获取并存储智能识别出的标准切面，最后自动测量和分析胎儿颅脑的发育参数，并识别出可能存在的胎儿颅脑异常。

为实现上述目的，按照本发明的一个方面，提供了一种基于机器学习检测胎儿颅脑异常的方法，包括以下步骤：

(1)获取不同孕周系列的胎儿颅脑标准切面数据集；

(2)对步骤(1)获取的胎儿颅脑标准切面数据集进行预处理，以得到预处理后的胎儿颅脑标准切面数据集；

(3)将步骤(2)预处理后的胎儿颅脑标准切面数据集输入训练好的颅脑组织检测网络中，以获得胎儿颅脑中各关键组织的检测结果。

(4)根据步骤(3)得到的胎儿颅脑中各关键组织的检测结果判断胎儿颅脑中的至少一个关键组织是否存在异常，如果不存在异常，则提示胎儿颅脑正常，过程结束；如果存在异常，则提示胎儿可能存在哪些相关的颅脑异常，过程结束。

优选地，步骤(2)包括以下子步骤：

(2-1)针对胎儿颅脑标准切面数据集中的每一幅标准切面图像而言，利用自适应均值滤波法对该标准切面图像进行去噪处理，并将去噪处理后的标准切面图像裁剪成统一的尺寸，以得到裁剪后的标准切面图像；

(2-2)利用自适应中值滤波法对步骤(2-1)得到的裁剪后的每一幅标准切面图像进行去噪处理，将去燥处理后的每一幅标准切面图像发送到放射科专家处进行标记，并获得标记后的每一幅标准切面图像；

(2-3)对步骤(2-2)得到的标记后的每一幅标准切面图像进行归一化处理，以获得归一化后的标准切面图像，所有归一化后的标准切面图像构成预处理后的胎儿颅脑标准切面数据集。

优选地，具体而言，标准切面图像的颅脑部分中的关键组织包括标记外侧沟、丘脑、脉络丛、透明间隔腔、第三脑室、脑中线、颅骨等。

优选地，颅脑组织检测网络包括顺次连接的深度卷积神经网络、RPN网络、ROI池化层、以及分类与回归部分。

优选地，颅脑组织检测网络中的深度卷积神经网络结构为：

第一层是输入层，输入为512*512*3的像素矩阵。

第二层是第一卷积层，其接收来自输入层的512*512*3的像素矩阵，该层使用32个大小为3*3的卷积核，该层步长为1，后面接入RELU激活函数和BN，该层输出矩阵大小为512*512*32；

第三层是第二卷积层，该层使用64个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，该层输出矩阵为512*512*64；

第四层是第三卷积层，使用64个大小尺寸为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，该层的输出的矩阵为512*512*64；

第五层为第一池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为256*256*64；

第六层是第四卷积层，该层使用128个大小为3*3的卷积核，步长为1，输出的矩阵为256*256*128；

第七层是第五卷积层，该层使用256个大小为3*3的卷积核，步长为2，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；

第八层是第六卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；

第九层为第二池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为64*64*256；

第十层是第七卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；

第十一层是第八卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；

第十二层是第九卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为64*64*256；

第十三层为第三池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为32*32*256；

第十四层是第十卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的特征矩阵为32*32*256。

优选地，颅脑组织检测网络中的RPN网络结构为：

第一层为输入层，其输入是步骤(3-1)得到的大小为32*32*256的特征矩阵；

第二层为卷积层，该层使用3*3的卷积核，得到一个32*32*256的矩阵；

第三层为一个1*1的卷积核的卷积层，其输入为32*32*256矩阵，经过卷积，随后接入Sigmoid函数激活，得到32*32*18矩阵，包括32*32*9个结果，每个结果包含2个得分分数，分别是前景和后景的得分分数。

第四层为一个1*1的卷积核的卷积层，其输入为第二层的输出，也是32*32*256矩阵，经过卷积，随后接入线性函数激活，得到32*32*36矩阵，包括32*32*9个结果，每个结果包含4个坐标，这4个坐标对应一个用于锚点平移缩放的候选区域，每个候选区域分别与第三层输出的2个得分分数对应；

第五层是输出层，其输入是第三层输出的32*32*18矩阵、以及第四层的输出的32*32*36矩阵，然后从输出的9个背景区域中选出前景分数最高的N个候选区域，然后非极大值法从得到的N个候选区域中选取前景分数最高的M个候选区域，这M个候选区域被送入ROI池化层。

颅脑组织检测网络中的ROI池化层首先接收颅脑组织检测网络最后一层输出的大小为32*32*256的特征、以及RPN网络筛选得到的M个候选区域作为输入，然后采用RoiPoolingConv函数对其进行处理，从而将多个候选区域映射为固定大小的特征图，并输出该固定大小的特征图。

优选地，颅脑组织检测网络中的分类与回归部分结构为：

第一层为第一全连接层，该层接收ROI池化层得到的特征图，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合。

第二层为第二全连接层，该层接收第一全连接层输出的4096个特征向量，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合。

第三层为第三全连接层，该层接收第二全连接层输出的4096个特征向量，输出节点为7，并接入Softmax激活函数，以得到7个分类得分值。

第四层为第四全连接层，该层接收第二全连接层输出的4096个特征向量，以得到7*4维向量，4个维度表示检测框的四个坐标。

优选地，颅脑组织检测网络是通过以下步骤训练得到的：

(a1)获取胎儿颅脑的标准切面图像；

(a2)利用深度卷积神经网络对步骤(a1)得到的数据集进行特征提取，以得到特征图，利用RPN网络在得到的特征图上提取候选框，利用ROI池化层获取特征图和提取的候选框，将候选框对应的候选区域映射到特征图中，以将该特征图池化为统一大小的区域特征图，将该区域特征图送入全连接层，从而得到固定大小的特征图，将该特征图输入分类与回归部，经过该分类与回归部中全连接层的两个分支后，得到胎儿颅脑中关键组织的分类、以及关键组织的精确位置坐标。

(a3)利用Adam算法对颅脑组织检测网络进行优化，并利用Keras框架对优化后的颅脑组织检测网络进行迭代训练。

优选地，优化过程中的学习率lr＝0.001，迭代训练过程中，批次大小batchsize＝32，共有165个批次，迭代次数为200次。

按照本发明的另一方面，提供了一种基于机器学习检测胎儿颅脑异常的系统，包括：

第一模块，用于获取不同孕周系列的胎儿颅脑标准切面数据集；

第二模块，用于对第一模块获取的胎儿颅脑标准切面数据集进行预处理，以得到预处理后的胎儿颅脑标准切面数据集；

第三模块，用于将第二模块预处理后的胎儿颅脑标准切面数据集输入训练好的颅脑组织检测网络中，以获得胎儿颅脑中各关键组织的检测结果。

第四模块，用于根据第三模块得到的胎儿颅脑中各关键组织的检测结果判断胎儿颅脑中的至少一个关键组织是否存在异常，如果不存在异常，则提示胎儿颅脑正常，过程结束；如果存在异常，则提示胎儿可能存在哪些相关的颅脑异常，过程结束。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)由于本发明使用了深度卷积网络、RPN网络、网络、ROI池化层、以及分类与回归部分联合训练来训练模型，不需要有经验的医师就可以智能地检测的颅脑中的关键组织是否存在异常，通过该检测结果对颅脑标准切面进行正常和异常的分析和判断，并可以根据先验专家知识来自动判断具体的胎儿颅脑发育状况，从而大大降低了超声医师的工作任务，在一定程度上缓解了优质医疗资源不平衡的情况。并填补了目前计算机辅助超声技术检测胎儿颅脑发育疾病这一领域的空白；

(2)由于本发明自适应均值滤波法对该标准切面图像进行去噪处理，降低图像的超声噪声干扰，同时利用深度卷积网络来提取高阶抽象特征，从而采用计算机辅助医生对胎儿颅脑主要组织结构是否异常做出较为准确性诊断；

(3)由于本发明采用了步骤(2)对数据进行标注和检测，并采取主要细胞结构的矩形框标记，因此本发明的方法能够检测到颅脑的细胞结构层面，并保证检测结果的高准确性。

附图说明

图1是本发明基于机器学习检测胎儿颅脑异常的方法流程的示意图；

图2是本发明方法中使用的颅脑组织检测网络的网络架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种基于机器学习检测胎儿颅脑异常的方法，包括以下步骤：

(1)获取不同孕周系列的胎儿颅脑标准切面数据集；

具体而言，胎儿颅脑标准切面数据集是从市场上主流厂商的超声设备获取的多张胎儿颅脑的标准切面图像所构成。

由于医生对胎儿颅脑异常是否的诊断是通过胎儿颅脑标准切面图像中组织结构是否存在、形态是否异常、径线是否异常等指标来实现，所以本步骤主要是收集胎儿颅脑标准切面数据集。

(2)对步骤(1)获取的胎儿颅脑标准切面数据集进行预处理，以得到预处理后的胎儿颅脑标准切面数据集；

本步骤包括以下子步骤：

(2-1)针对胎儿颅脑标准切面数据集中的每一幅标准切面图像而言，利用自适应均值滤波法对该标准切面图像进行去噪处理，并将去噪处理后的标准切面图像裁剪成统一的尺寸，以得到裁剪后的标准切面图像；

具体而言，在本步骤中，裁剪后的标准切面图像大小是512x512像素；

(2-2)利用自适应中值滤波法对步骤(2-1)得到的裁剪后的每一幅标准切面图像进行去噪处理，将去燥处理后的每一幅标准切面图像发送到放射科专家处进行标记，并获得标记后的每一幅标准切面图像；

具体而言，由于标准切面图像中的斑点噪声会影响诊断的准确性和可靠性，同时源数据的噪声会直接影响最终的诊断结果，因此本步骤利用自适应中值滤波法去除噪声；

产前超声胎儿颅脑诊断专家是手动对去燥处理后的每一幅标准切面图像进行标注，具体是使用矩形框标记出标准切面图像的颅脑部分中的关键组织，即标记外侧沟(lateral sulcus，简称LS)、丘脑(Thalamus，简称T)、脉络丛(Choroid plexus，简称CP)、透明间隔腔(Cavitation of septum pellucidum，简称CSP)、第三脑室(Third ventricle，简称TV)、脑中线(Brain middle，简称BM)、颅骨(Skull，简称S)等。

(2-3)对步骤(2-2)得到的标记后的每一幅标准切面图像进行归一化处理，以获得归一化后的标准切面图像，所有归一化后的标准切面图像构成预处理后的胎儿颅脑标准切面数据集。

具体而言，归一化过程采用以下公式：

该方法实现对原始图像的等比例缩放，其中X_norm为归一化后的标准切面图像，X为标记后的标准切面图像，X_max、X_min分别为标记后的标准切面图像的最大像素值和最小像素值。归一化后的标准切面图像的灰度值落在[0,1]之间。

(3)将步骤(2)预处理后的胎儿颅脑标准切面数据集输入训练好的颅脑组织检测网络中，以获得胎儿颅脑中各关键组织的检测结果。

具体而言，本步骤中使用的颅脑组织检测网络包括顺次连接的深度卷积神经网络、区域生成网络(Region Proposal Network，简称RPN)、感兴趣区域(Region ofinterest，简称ROI)池化(Pooling)层、以及分类与回归部分，如图2所示。

颅脑组织检测网络中的深度卷积神经网络结构为：

第一层是输入层，输入为512*512*3的像素矩阵。

第二层是第一卷积层，其接收来自输入层的512*512*3的像素矩阵，该层使用32个大小为3*3的卷积核，该层步长为1，后面接入RELU激活函数和批量正则化(BatchNormalization，简称BN)，该层输出矩阵大小为512*512*32；

第三层是第二卷积层，该层使用64个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，该层输出矩阵为512*512*64；

第四层是第三卷积层，使用64个大小尺寸为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，该层的输出的矩阵为512*512*64；

第五层为第一池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为256*256*64；

第六层是第四卷积层，该层使用128个大小为3*3的卷积核，步长为1，输出的矩阵为256*256*128；

第七层是第五卷积层，该层使用256个大小为3*3的卷积核，步长为2，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；

第八层是第六卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为128*128*256；

第九层为第二池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为64*64*256；

第十层是第七卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；

第十一层是第八卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的矩阵为64*64*256；

第十二层是第九卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入Droupt操作、RELU激活函数和BN，输出的矩阵为64*64*256；

第十三层为第三池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为32*32*256；

第十四层是第十卷积层，该层使用256个大小为3*3的卷积核，步长为1，后面接入RELU激活函数和BN，输出的特征矩阵为32*32*256；

颅脑组织检测网络中的RPN网络结构为：

第一层为输入层，其输入是步骤(3-1)得到的大小为32*32*256的特征矩阵；

第二层为卷积层，该层使用3*3的卷积核，得到一个32*32*256的矩阵；

第三层为一个1*1的卷积核的卷积层，其输入为32*32*256矩阵，经过卷积，随后接入sigmoid函数激活，得到32*32*18矩阵，包括32*32*9个结果，每个结果包含2个得分分数，分别是前景和后景的得分分数。

第四层为一个1*1的卷积核的卷积层，其输入为第二层的输出，也是32*32*256矩阵，经过卷积，随后接入线性(Linear)函数激活，得到32*32*36矩阵，包括32*32*9个结果，每个结果包含4个坐标，这4个坐标对应一个用于锚点(Anchor)平移缩放的候选区域，每个候选区域分别与第三层输出的2个得分分数对应；

第五层是输出层，其输入是第三层输出的32*32*18矩阵、以及第四层的输出的32*32*36矩阵，然后从输出的9个背景区域中选出前景分数最高的N个候选区域(N的取值范围是2000到10000，优选是2000、2500或3000)，然后非极大值法从得到的N个候选区域中选取前景分数最高的M个候选区域(M的取值范围是200到1000，优选是200或300)，这M个候选区域(Proposal)被送入ROI池化层。

颅脑组织检测网络中的ROI池化层首先接收颅脑组织检测网络最后一层输出的大小为32*32*256的特征、以及RPN网络筛选得到的M个候选区域作为输入，然后采用RoiPoolingConv函数对其进行处理，从而将多个候选区域映射为固定大小的特征图，并输出该固定大小的特征图；

颅脑组织检测网络中的分类与回归部分结构为：

第一层为第一全连接层，该层接收ROI池化层得到的特征图，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合。

第二层为第二全连接层，该层接收第一全连接层输出的4096个特征向量，输出节点为4096，得到4096个特征向量，后接入Droupt操作，防止过拟合。

第三层为第三全连接层，该层接收第二全连接层输出的4096个特征向量，输出节点为7，并接入Softmax激活函数，以得到7个分类得分值。

第四层为第四全连接层，该层接收第二全连接层输出的4096个特征向量，以得到7*4维向量，4个维度表示检测框的四个坐标。

本发明的颅脑组织检测网络是通过以下步骤训练得到的：

(a1)获取胎儿颅脑的标准切面图像；

具体而言，数据集包括6600张胎儿发育中期的胎儿颅脑的标准切面图像，数据集被随机划分为3个部分，其中80％数据集用于训练模型，10％用于测试模型，10％数据集用于验证模型。使用80％的胎儿颅脑标准切面数据集对该颅脑组织检测网络进行训练。

(a2)利用深度卷积神经网络对步骤(a1)得到的数据集进行特征提取，以得到特征图，利用RPN网络在得到的特征图上提取候选框(包括候选框的分数和候选框的坐标)，利用ROI池化层获取特征图和提取的候选框，将候选框对应的候选区域映射到特征图中，以将该特征图池化为统一大小的区域特征图，将该区域特征图送入全连接层，从而得到固定大小的特征图，将该特征图输入分类与回归部，经过该分类与回归部中全连接层的两个分支后，得到胎儿颅脑中关键组织的分类、以及关键组织的精确位置坐标。

(a3)利用Adam算法对颅脑组织检测网络进行优化，并利用Keras框架对优化后的颅脑组织检测网络进行迭代训练。

具体而言，优化过程中的学习率lr＝0.001。

迭代训练过程中，批次大小batchsize＝32，共有165个批次，迭代次数为200次。

利用Keras框架进行训练，得到可以检测胎儿颅脑组织结构完成性与常见疾病之间映射关系的颅脑组织检测网络。

(4)根据步骤(3)得到的胎儿颅脑中各关键组织的检测结果判断胎儿颅脑中的至少一个关键组织是否存在异常，如果不存在异常，则提示胎儿颅脑正常，过程结束；如果存在异常，则提示胎儿可能存在哪些相关的颅脑异常，过程结束。

例如：

透明间隔缺如，表明胎儿可能患有孤立性透明隔缺如、视隔发育不良、全前脑等疾病。

外侧沟形态异常，表明胎儿可能存在无脑回/巨脑回、多小脑回、脑裂畸形等。

丘脑出现异常，表明胎儿可能存在无叶或半叶全前脑、脑干脑桥发育不良、豆纹动脑病变、丘脑岀血等。

脉络丛出现异常，表明胎儿可能存在脉络丛囊肿、全前脑、脑室内出血、脉络丛***瘤等。

性能测试结果

以下我们利用来自660张孕期中期产检的超声颅脑图片数据，进行测试，以准确率(Accuracy)和召回率(Recall)来对孕妇的三个孕期都进行测试，平均的准确率和召回率如下表1所示。

表1

	准确率	召回率
			外侧沟(LS)	94.96％	87.90％
丘脑(T)	90.16％	89.20％
			脉络丛(CP)	94.96％	88.90％
透明间隔腔(CSP)	95.96％	89.90％
			第三脑室(TV)	90.96％	91.90％
脑中线(BM)	88.96％	84.90％
			颅骨(S)	93.96％	88.90％

通过上表1可以看出：在三个孕期的准确率和召回率都较高，根据缺失的结构然后给出胎儿颅脑发育可能患有的发育疾病做出智能的判断，总体上本发明的识别判断还是相当理想。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。