一种基于深度学习的双视野眼底图像融合方法
阅读说明：本技术 一种基于深度学习的双视野眼底图像融合方法 (Double-view eyeground image fusion method based on deep learning ) 是由 姜璐璐 侯君临 邵金杰 冯瑞 于 2021-02-24 设计创作，主要内容包括：本发明提供了一种基于深度学习的双视野眼底图像融合方法,具有这样的特征,包括以下步骤,步骤S1,对两张待测图像进行预处理获得两张预处理图像；步骤S2,搭建卷积神经网络模型,对卷积神经网络模型进行训练,从而得到训练后的卷积神经网络模型,称为M-net；步骤S3,将M-net分成两部分,称为M-net PartⅠ和M-net PartⅡ；步骤S4,将两张预处理图像分别放入M-net PartⅠ进行特征提取,获得两张图像特征图；步骤S5,将两张图像特征图进行拼接,得到拼接图像；步骤S6,将拼接图像放入M-net PartⅡ进行特征融合。(The invention provides a double-vision-field fundus image fusion method based on deep learning, which has the characteristics that the method comprises the following steps of S1, preprocessing two images to be detected to obtain two preprocessed images; step S2, building a convolutional neural network model, and training the convolutional neural network model to obtain a trained convolutional neural network model which is called M-net; step S3, dividing M-net into two parts, namely M-net Part I and M-net Part II; step S4, respectively putting the two preprocessed images into an M-net Part I for feature extraction to obtain two image feature maps; step S5, splicing the two image feature maps to obtain a spliced image; and step S6, putting the spliced image into an M-net Part II for feature fusion.)
技术领域
本发明涉及计算机视觉技术领域，具体涉及到一种基于深度学习的双视野眼底图像融合方法。
背景技术
医学影像技术迅速发展，已经成为医疗诊断中不可或缺的技术。进入数字影像时代以来，海量数据的产生为医学影像未来的发展提供了更多的可能性。因此，如何对医学影像大数据做进一步分析和挖掘、如何从医学图像高维度数据中提取有价值的信息、如何将现代医学影像的发展与精准医疗紧密结合，成为医学影像未来发展的重要课题。
近年来，随着计算能力的增强和数据的爆炸式增加，以深度学习为代表的人工智能技术取得了长足的进步，并开始应用于生产生活中的各个领域。深度学习算法可以自动提取特征，避免了对高维度医学影像数据的复杂处理。在越来越多的公开的医学影像数据资源、开源的人工智能算法资源以及开放的高性能计算资源的共同推动下，深度学习算法将进一步在医学影像领域中飞速发展。
糖尿病视网膜病变(diabetic retinopathy,DR)，简称为糖网病，是常见致盲性眼病。中国是全球2型糖尿病患者最多的国家，随着糖尿病患者的增多，糖尿病视网膜病变的患病率、致盲率也逐年升高，是目前工作年龄人群第一位的致盲性疾病。
截至2015年，我国糖尿病患者约1.1亿人，按此推算我国糖尿病视网膜病变患者约2700万人。目前，87％的糖尿病患者就诊于县级及以下医疗机构。50％以上糖尿病患者未被告知应定期眼底检查。
眼底彩色照相可作为一种糖网病的快速筛查工具，为基层糖网病的防治工作提供一种简便易行的观察检测手段。眼底照相所检查的是整个视网膜的形态学改变。其原理就是用一种特制的照相机记录眼底镜下所看到的景象。眼底照相能够观察到视网膜、视盘、黄斑区、视网膜血管的形态，以及视网膜上有无出血、渗出、血管瘤、视网膜变性区、视网膜裂孔、新生血管、萎缩斑、色素紊乱等改变。
眼底照相有两种拍摄位置，分别是单视野拍摄法和双视野拍摄法。单视野拍摄法是以黄斑和视盘连线的中点为拍摄视野的中心，成像至少涵盖60％视网膜区域。双视野拍摄法中视野1以黄斑中心凹为拍摄视野的中心，成像至少涵盖45°视网膜区域，视野2以视盘为拍摄视野的中心，成像至少涵盖45°视网膜区域。
《国际临床糖尿病视网膜病变严重程度分级标准》将糖网病分为5个严重等级，分别是无明显糖尿病视网膜病变、轻度NPDR、中度NPDR、中度NPDR、增值性糖尿病视网膜病变PDR。目前公开数据集，例如IDRiD、Messidor、Kaggle数据集，都是采用单视野的图片，而在临床和基层中常采用双视野拍摄法。已有的糖网病分级算法绝大多数也是使用单张图像。在使用卷积神经网络进行分类时，需要对双视野的图像进行融合。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于深度学习的双视野眼底图像融合方法。
本发明提供了一种基于深度学习的双视野眼底图像融合方法，具有这样的特征，包括以下步骤：步骤S1，对两张待测图像进行预处理获得两张预处理图像；步骤S2，搭建卷积神经网络模型，对卷积神经网络模型进行训练，从而得到训练后的卷积神经网络模型，称为M-net；步骤S3，将M-net分成两部分，称为M-net PartⅠ和M-net PartⅡ；步骤S4，将两张预处理图像分别放入M-net PartⅠ进行特征提取，获得两张图像特征图；步骤S5，将两张图像特征图进行拼接，得到拼接图像；步骤S6，将拼接图像放入M-net PartⅡ进行特征融合。
在本发明提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，在步骤S1中，两张待测图像为双视野眼底图像，即两个视角下对一只待检查眼球的照片。
在本发明提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，在步骤S1中，预处理包括水平翻转，调整亮度、对比度以及饱和度，以及大小归一化。
在本发明提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，步骤S2包含如下子步骤，步骤S2-1，构建卷积神经网络模型，其包含的模型参数为随机设置；步骤S2-2，将训练集中的各个训练图像依次输入卷积神经网络模型并进行一次迭代；步骤S2-3，迭代后，计算出损失误差，然后将损失误差反向传播，从而更新模型参数；步骤S2-4，重复步骤S2-2至步骤S2-3直至达到训练完成条件，得到M-net。
在本发明提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，步骤S6包含如下子步骤，步骤S6-1，将拼接图像放入M-net PartⅡ进行特征融合；步骤S6-2，在M-net PartⅡ后紧跟全连接层，映射到一个概率向量，该概率向量表示该图像属于糖网病严重程度等级的概率，选取概率最大的等级作为该对双视野图像的糖网病严重程度等级。
在本发明提供的基于深度学习的双视野眼底图像融合方法，还可以具有这样的特征：其中，步骤S2中，卷积神经网络模型的模型结构为VGG、Resnet以及Inception-ResNet中的一种。
发明的作用与效果
根据本发明所涉及的一种基于深度学习的双视野眼底图像融合方法，由于根据双视野的眼底图像进行特征融合，本发明所涉及的基于深度学习的双视野眼底图像融合方法能够得到更多特征，眼病分级诊断结果更加准确，且本发明所涉及的基于深度学习的双视野眼底图像融合方法实现简单，可用于现有的多种卷积神经网络模型上，简单便捷。
附图说明
图1是本发明的实施例中基于深度学习的双视野眼底图像融合方法流程图；
图2是本发明的实施例中基于深度学习的双视野眼底图像融合方法的示意图；以及
图3是本发明的实施例中采用的卷积神经网络的模型结构。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明所涉及的基于深度学习的双视野眼底图像融合方法作具体阐述。
＜实施例＞
本实施例的数据集采用上海市眼病防治中心收集的尚未公开的社区基层数据集，该数据集包含2000名患者的双视野图像以及根据《国际临床糖尿病视网膜病变严重程度分级标准》糖尿病视网膜病变严重程度而分为5个等级的标注。本实施例将数据集分为训练集和测试集。
另外，本实施例实现的硬件平台需要一张NVIDIA TITANX显卡(GPU加速)。
图1为本实施例的基于深度学习的双视野眼底图像融合方法的流程图，图2为本实施例的基于深度学习的双视野眼底图像融合方法的示意图。如图1和图2所示，本实施例的基于深度学习的双视野眼底图像融合方法包括如下步骤：
步骤S1，对两张待测图像进行预处理获得两张预处理图像。
该两张待测图像为双视野眼底图像，即对患者一只眼睛进行双视野拍摄法得到的两张图像。
预处理包括水平翻转，增加获取的图像数量，实现数据扩充；调整亮度、对比度和饱和度，实现图像增强；以及大小归一化到224x224像素。
步骤S2，搭建卷积神经网络模型，对卷积神经网络模型进行训练，从而得到训练后的卷积神经网络模型，称为M-net。
该卷积神经网络模型采用Inception-ResNet-v1结构，由深度学习框架Pytorch搭建而得。
图3为本实施例的卷积神经网络模型的结构示意图。由图3可知，Inception-ResNet-v1包含三种Inception-resnet块，分别为Inception-resnet-A、Inception-resnet-B以及Inception-resnet-C。该三种Inception-resnet块最后都用1*1的卷积提升维度，都加入了ResNet的直连结构使网络更深和收敛更快。
其中，Inception-resnet-A模块使用32通道的3*3卷积核，Inception-resnet-B模块使用128通道的1*7卷积核和7*1卷积核。Inception-resnet-C模块使用192通道的1*3卷积核和3*1卷积核。
步骤S2包含如下子步骤：
步骤S2-1，构建卷积神经网络模型，其包含的模型参数为随机设置。
步骤S2-2，将训练集中的各个训练图像经过步骤S1中的预处理后，依次输入卷积神经网络模型并进行一次迭代。
步骤S2-3，迭代后，利用卷积神经网络模型最后一层的模型参数，计算出损失误差，然后将损失误差反向传播，从而更新模型参数。
步骤S2-4，重复步骤S2-2至步骤S2-3直至达到训练完成条件，得到训练后的卷积神经网络模型，即M-net。
步骤S3，将M-net分成两部分，称为M-net PartⅠ和M-net PartⅡ。M-net PartⅠ为图3中Input模块至Reduction-B模块，M-net PartⅡ为图3中Inception-resnet-C模块至Softmax模块。
步骤S4，将两张预处理图像分别放入M-net PartⅠ进行特征提取，获得两张图像特征图，即feature map 1和feature map 2。
步骤S5，将两张图像特征图进行拼接，得到拼接图像；
步骤S6，将拼接图像放入M-net PartⅡ进行特征融合，随后进行糖网病严重程度分级。
其中，步骤S6包含如下子步骤：
步骤S6-1，将拼接图像放入M-net PartⅡ进行特征融合。
步骤S6-2，在M-net PartⅡ后紧跟全连接层，映射到一个概率向量，该概率向量表示该图像属于糖网病严重程度等级的概率，选取概率最大的等级作为该对双视野图像的糖网病严重程度等级。
本实施例将测试集的的各个测试图像经过步骤S1中的预处理后，依次输入M-net进行测试，M-net对测试集的糖网病分类准确率为80.1％。
实施例的作用与效果
根据本实施例所涉及的一种基于深度学习的双视野眼底图像融合方法，由于根据双视野的眼底图像进行特征融合，本实施例所涉及的基于深度学习的双视野眼底图像融合方法能够得到更多特征，对糖网病分级诊断结果更加准确，且本实施例所涉及的基于深度学习的双视野眼底图像融合方法实现简单，可用于现有的多种卷积神经网络模型上，简单便捷。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。
本实施例应用的是糖网病分级诊断任务，本发明还可应用于青光眼等眼疾。