甲状旁腺mibi图像分析系统、计算机设备及存储介质
阅读说明：本技术 甲状旁腺mibi图像分析系统、计算机设备及存储介质 (Parathyroid MIBI image analysis system, computer device, and storage medium ) 是由 赵婉君 苏安平 魏涛 于 2021-09-27 设计创作，主要内容包括：本发明属于甲状旁腺功能疾病诊断技术领域,具体涉及一种甲状旁腺MIBI图像分析系统、计算机设备及存储介质。本发明的计算机设备用于实现如下甲状旁腺MIBI图像分析的步骤：步骤1,对甲状旁腺的MIBI图像进行预处理后输入深度学习模型；步骤2,深度学习模型进行计算后,输出所述甲状旁腺的MIBI图像的分类结果；其中,所述深度学习模型通过如下方法构建得到：对四种卷积神经网络模型分别建模并融合,构建最终的深度学习模型。本发明还提供了实现上述分析步骤的系统,包括子模型训练模块、子模型融合模块、测试模块、使用模块、降噪模块和增强模块。本发明通过对多种子模型的融合,具有扬长避短的效果,提高了准确性和鲁棒性,具有很好的应用前景。(The invention belongs to the technical field of parathyroid gland functional disease diagnosis, and particularly relates to a parathyroid gland MIBI image analysis system, computer equipment and a storage medium. The computer device of the present invention is used to implement the following parathyroid MIBI image analysis steps: step 1, preprocessing an MIBI image of parathyroid gland and inputting the preprocessed MIBI image into a deep learning model; step 2, after the deep learning model is calculated, outputting a classification result of the MIBI image of the parathyroid gland; the deep learning model is constructed by the following method: and respectively modeling and fusing the four convolutional neural network models to construct a final deep learning model. The invention also provides a system for realizing the analysis steps, which comprises a sub-model training module, a sub-model fusion module, a test module, a use module, a noise reduction module and an enhancement module. The method has the advantages of improving the advantages and avoiding the disadvantages by fusing multiple sub-models, improving the accuracy and robustness and having good application prospect.)
技术领域
本发明属于甲状旁腺功能疾病诊断技术领域，具体涉及一种甲状旁腺MIBI图像分析系统、计算机设备及存储介质。
背景技术
甲状旁腺是维持机体钙离子平衡的重要器官，甲状旁腺相关疾病多因甲状旁腺主细胞分泌的甲状旁腺激素异常,从而引起钙磷代谢紊乱,进而引起一系列泌尿、消化、神经和皮肤等多系统和多器官病变及功能障碍。甲状旁腺疾病分为甲状旁腺功能亢进和功能减退两大类,其中以甲状旁腺功能亢进最为常见。甲状旁腺功能亢进一般缺乏特异性临床表现，多以其结构改变导致的影像学改变为重要临床依据，其中包括甲状旁腺腺瘤、甲状旁腺增生、甲状旁腺癌及甲状旁腺囊肿。因此，准确定位并评估甲状旁腺的问题病灶对甲状旁腺相关疾病的诊疗至关重要。
99m锝-甲氧基异丁基异腈(99mTc-MIBI，简称MIBI)显像是甲状旁腺影像检查最常用且最准确的方法。目前临床上,99mTcMIBI双时相显像法常用于定位病变甲状旁腺。原理是利用甲状腺和甲状旁腺对99mTc-MIBI清除率不同,从而定性和定位诊断机能亢进的甲状旁腺组织。MIBI平面显像为二维图像且分辨率较低，同时甲状旁腺本身有体积小、疾病差别肉眼辨识差别都低的特点，对甲状旁腺MIBI显像的辨识对临床医生的经验和专业度要求极高。
深度学习神经网络算法是较为有效的图像识别方法。神经网络算法是模拟大脑神经元的生物活动非线性模型，其优势在于可以快速识别线性类型，对于混杂及不完全数据的处理，高容错能力和训练数据推广的能力等。深度学习是一种深层的人工神经网络。它是一种非线性的多层特征学习模型，通过自动检测原始数据(例如像素、字符等)的特征信息并进行分类，然后按照非线性模块化的方式学习到多个层次上的特征，再逐步简化及整合并产生最终的结果。目前，利用神经网络算法对甲状旁腺相关的疾病进行诊断的方法已有相关的研究，中国发明专利申请“CN111062953A一种超声图像中甲状旁腺增生的识别方法”提供了一种识别甲状旁腺增生的方法，获取包括超声图像以及相应诊断结果的训练样本；其中，超声图像为对患者的甲状旁腺亢进患病区域进行超声成像后得到的图像；采用混合γ-CLAHE方法对训练样本进行数据增强处理；利用增强处理后的训练样本输入Faster R-CNN网络得到训练好网络模型；再将待识别颈部超声图像输入训练好的Faster R-CNN模型中，即可得到训练后模型输出的识别结果。然而，该专利申请中使用的图像数据是超声图像，超声图像对甲状旁腺的辨识度极低，在临床上也不常规将彩超作为甲状旁腺的影像学检查；同时其只能够针对甲状旁腺增生这一种病灶进行识别，对甲状旁腺功能疾病其他类型的病灶并不适用。
目前，国内外无成熟的MIBI显像人工智能识别技术能够实现对的甲状旁腺多种病灶进行识别。
发明内容
针对现有技术的缺陷，本发明提供一种甲状旁腺MIBI图像分析系统、计算机设备及存储介质，目的在于提供一种准确率高、鲁棒性好的方法，实现利用深度学习模型对甲状旁腺MIBI图像进行正常甲状旁腺、甲状旁腺腺瘤、甲状旁腺增生、甲状旁腺癌及甲状旁腺囊肿的识别和分类。
一种计算机设备，用于甲状旁腺MIBI图像分析，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下甲状旁腺MIBI图像分析的步骤：
步骤1，对甲状旁腺的MIBI图像进行预处理后输入深度学习模型；
步骤2，深度学习模型进行计算后，输出所述甲状旁腺的MIBI图像的分类结果；
其中，所述深度学习模型通过如下方法构建得到：
步骤A，对VGG模型、ResNet模型、DenseNet模型和EfficientNet模型四种卷积神经网络模型采用多头注意力机制分别建模；
步骤B，采用多数投票方式进行神经模型融合，构建最终的深度学习模型。
优选的，步骤A中，所述VGG模型的层数为19层，所述ResNet模型的层数为18层、50层或152层中的至少一种，所述DenseNet模型的层数为169层或264层中的至少一种，所述EfficientNet模型的版本为b0、b4或b7中的至少一种。
优选的，步骤A中，对19层的VGG模型，18层、50层和152层的ResNet模型，169层和264层的DenseNet模型，以及b0、b4和b7版本的EfficientNet模型进行建模，分别得到9个子模型；
步骤B中，进行神经模型融合的结果为：
Result＝k1×VGG19+k2×ResNet18+k3×ResNet50+k4×ResNet152+k5×DenseNet169+k6×DenseNet264+k7×EfficientNetb0+k8×EfficientNetb4+k9×EfficientNetb7；
其中，Result为最终深度学习模型对甲状旁腺MIBI图像的分类结果，k1、k2、k3、k4、k5、k6、k7、k8和k9为子模型的系数，其满足k1+k2+k3+k4+k5+k6+k7+k8+k9＝1，VGG19、ResNet18、ResNet50、ResNet152、DenseNet169、DenseNet264、EfficientNetb0、EfficientNetb4和EfficientNetb7分别为9个子模型对甲状旁腺MIBI图像的分类结果。
优选的，步骤1中，所述预处理包括降噪或超分辨数据增强中的至少一种。
优选的，所述降噪的方法为采用自适应中值滤波器对图像进行处理。
优选的，所述超分辨数据增强采用测试时序增强技术实现。
优选的，所述深度学习模型输出的分类结果为所述MIBI图像属于正常甲状旁腺、甲状旁腺腺瘤、甲状旁腺增生、甲状旁腺癌及甲状旁腺囊肿的概率。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现上述甲状旁腺MIBI图像分析的步骤。
本发明还提供一种用于甲状旁腺的MIBI图像分析的系统，包括：
子模型训练模块，用于对VGG模型、ResNet模型、DenseNet模型和EfficientNet模型四种卷积神经网络模型采用多头注意力机制分别建模；
子模型融合模块，用于采用多数投票方式进行神经模型融合，构建最终的深度学习模型；
测试模块，用于将测试集输入子模型融合模块构建的深度学习模型，评估模型的准确性；
使用模块，用于将甲状旁腺的MIBI图像输入子模型融合模块构建的深度学习模型，并输出所述甲状旁腺的MIBI图像的分类结果。
优选的，所述系统还包括：
降噪模块，用于对甲状旁腺的MIBI图像进行降噪预处理；
增强模块，用于对甲状旁腺的MIBI图像进行超分辨数据增强预处理。
本发明的技术方案具有如下的有益效果：
1、本发明基于深度学习的甲状腺旁腺的MIBI显像图像识别方法及其装置，用于辅助医生对甲状旁腺及其相关疾病的影像学识别，具有准确率高的优点。甲状旁腺MIBI显像图像辨识的准确率高达95％，对临床辅助诊断有重要意义，尤其的基层医院缺少甲状腺彩超专科的情况下的初筛，具有重要的临床意义。
2、本发明从临床出发，与临床逻辑思维和实际使用场景高度契合，操作便捷，实用度高。
3、在优选方案中，进行图像深度学习前，对MIBI图像进行降噪处理，减少图像质量对训练模型的干扰，提高准确性。采用ATT技术对训练集进行数据增强，增加训练集数据的丰富度。使用VGG、ResNet、DenseNet和EfficientNet四种卷积网络模型的9个不同层级和版本的子模型进行训练，上述模型均为最新且在医学图像上有较好表现的大型深度学习网络。最终模型结合了上述四种卷积网络模型的9个不同层级和版本的子模型进行融合，对子模型扬长避短，提高了训练模型的准确性和鲁棒性。在使用该模型时，对新输入的的图像均进行降噪处理，这有益于和模型的适配度，提高该系统的准确度。
显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。
以下通过实施例形式的
具体实施方式
，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
图1为本发明实施例1的流程示意图；
图2为本发明实施例1中的系统结构示意图。
具体实施方式
需要特别说明的是，实施例中未具体说明的数据采集、传输、储存和处理等步骤的算法，以及未具体说明的硬件结构、电路连接等均可通过现有技术已公开的内容实现。
实施例1用于甲状旁腺MIBI图像分析的系统
本实施例提供用于甲状旁腺MIBI图像分析的系统，包括：降噪模块、增强模块、子模型训练模块、子模型融合模块、测试模块和使用模块。
其中：
子模型训练模块，用于对VGG模型、ResNet模型、DenseNet模型和EfficientNet模型四种卷积神经网络模型采用多头注意力机制分别建模；
子模型融合模块，用于采用多数投票方式进行神经模型融合，构建最终的深度学习模型；
测试模块，用于将测试集输入子模型融合模块构建的深度学习模型，评估模型的准确性；
使用模块，用于将甲状旁腺的MIBI图像输入子模型融合模块构建的深度学习模型，并输出所述甲状旁腺的MIBI图像的分类结果；
降噪模块，用于对甲状旁腺的MIBI图像进行降噪预处理；
增强模块，用于对甲状旁腺的MIBI图像进行超分辨数据增强预处理。
上述系统可在一种计算及设备中实现，所述计算及设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的甲状旁腺MIBI图像分析步骤。所述甲状旁腺MIBI图像分析的具体过程如下：
1、提取数据：通过回顾性收集已做甲状旁腺手术患者的术后病理资料以及术前的甲状旁腺MIBI显像图片，进行原始数据匹配、脱敏和提取。
2、对甲状旁腺MIBI显像原始图片进行标记方法：以图像名称(分类结果)作为标记标签，标签分为正常甲状旁腺，甲状旁腺腺瘤、甲状旁腺增生、甲状旁腺癌及甲状旁腺囊肿。
3、降噪预处理：采用自适应中值滤波器对图像进行降噪处理。其包括两个工作过程：
进程A：
A1＝zmed-zmin
A2＝zmed-zmax
如果A1＞0且A2＜0，则转到进程B；
否则增大图像尺寸；
如果窗口尺寸≤Smax，则重复进程A；
否则输出zmed；
进程B：
B1＝zxy-zmin
B2＝zxy-zmax
如果B1＞0且B2＜0，则输出zxy
否则输出xmed
其中：符号的含义如下：
Sxy为需降噪处理的图像数据；
zmin为Sxy中最小灰度值；
zmax为Sxy中最大灰度值；
zmed为Sxy中灰度值的中值；
zxy为坐标(x，y)处的灰度值；
Smax为Sxy允许的最大尺寸。
4、降噪后的MIBI显像图像采用随机分配的方式分为训练图像集和测试图像集，其中训练集占80％，测试集占20％。本实施例中，已标记的甲状旁腺MIBI图像有5000张，其中4000张作为训练集，1000张作为测试集。
5、采用测试时序增强(TTA)技术进行数据增强，对每个模型的训练集图像进行翻转，旋转，裁剪，变形，缩放等后增加训练集图片量后再输入训练模型，即测试时序增强(TTA)技术。
6、定义选取的子模型及其层数或版本号，本实施例中，选择了9种子模型，分别为：19层的VGG模型，18层、50层和152层的ResNet模型，169层和264层的DenseNet模型，以及b0、b4和b7版本的EfficientNet模型。分别利用训练集对9个子模型采用多头注意力机制进行训练建模。
7、采用多数投票方式进行神经模型融合，为每个子模型设立参数，进行神经模型融合的结果为：
Result＝k1×VGG19+k2×ResNet18+k3×ResNet50+k4×ResNet152+k5×DenseNet169+k6×DenseNet264+k7×EfficientNetb0+k8×EfficientNetb4+k9×EfficientNetb7；
其中，Result为最终深度学习模型对甲状旁腺MIBI图像的分类结果(即预测MIBI图像为正常甲状旁腺，甲状旁腺腺瘤、甲状旁腺增生、甲状旁腺癌及甲状旁腺囊肿分类的概率)，k1、k2、k3、k4、k5、k6、k7、k8和k9为子模型的系数，其满足k1+k2+k3+k4+k5+k6+k7+k8+k9＝1，VGG19、ResNet18、ResNet50、ResNet152、DenseNet169、DenseNet264、EfficientNetb0、EfficientNetb4和EfficientNetb7分别为9个子模型对甲状旁腺MIBI图像的分类结果。
8、将测试集数据输入上述融合模型进行内部测试，评估该模型的准确性。
9、将待分类的甲状旁腺MIBI图像经过降噪预处理后输入上述最终的深度学习模型，得到待分类的甲状旁腺MIBI图像的分类结果。
为了进一步说明本发明的技术方案，下面通过实验例对本发明的有益效果作进一步的说明。
实验例1模型准确率的考察
本实验例采用与实施例1相同的方法进行深度学习模型的建模，得到的九个子模型(GG19、ResNet18、ResNet50、ResNet152、DenseNet169、DenseNet264、EfficientNet-b0、EfficientNet-b4和EfficientNet-b7)和1个融合后的深度学习模型[Ensemble(TTA)]的准确性、AUC(ROC曲线下方面积)、F1和k值结果如下表所示：
通过表中数据可以看到，9个子模型的准确性、AUC、F1和k值均明显低于融合后的深度学习模型。这表明本申请对9个子模型的融合实现了对这些子模型进行扬长避短的效果，从而提高了模型的准确性和鲁棒性。
通过上述实施例和实验例可以看到，本发明提供了一种利用深度学习模型对甲状旁腺MIBI图像进行正常甲状旁腺、甲状旁腺腺瘤、甲状旁腺增生、甲状旁腺癌及甲状旁腺囊肿的识别和分类的方法、系统和装置。本发明通过将VGG模型、ResNet模型、DenseNet模型和EfficientNet模型四种卷积神经网络模型融合的方式，实现了对不同的模型进行扬长避短的效果，使得用于甲状旁腺MIBI图像分析的深度学习模型具有很高的准确性和很好的鲁棒性。因此，本发明的甲状旁腺MIBI图像分析技术具有很好的应用前景。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种呼吸正异常识别方法及装置