角膜共聚焦图像中菌丝识别方法及装置

文档序号:191384 发布日期:2021-11-02 浏览:20次 >En<

阅读说明:本技术 角膜共聚焦图像中菌丝识别方法及装置 (Method and device for recognizing hyphae in corneal confocal image ) 是由 洪晶 秦晓冉 彭荣梅 程健 陈炜 于 2021-07-08 设计创作,主要内容包括:本发明提供一种角膜共聚焦图像中菌丝识别方法及装置,该方法包括:获取待识别的角膜共聚焦图像;将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图;对预分割结果图进行自动修正得到最终分割结果图;根据所述最终分割结果图判断是否存在菌丝。本发明提供的角膜共聚焦图像中菌丝识别方法及装置,通过将角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据菌丝-神经纤维分割模型输出预分割结果图,对预分割结果图进行自动修正得到最终分割结果图,根据最终分割结果图判断是否存在菌丝,实现对图像中菌丝和神经纤维的准确区分,由此可以实现角膜共聚焦图像中菌丝的自动化准确识别。(The invention provides a method and a device for recognizing hyphae in a corneal confocal image, wherein the method comprises the following steps: acquiring a corneal confocal image to be identified; inputting the corneal confocal image into a hypha-nerve fiber segmentation model, and outputting a pre-segmentation result image according to the hypha-nerve fiber segmentation model; automatically correcting the pre-segmentation result graph to obtain a final segmentation result graph; and judging whether hyphae exist according to the final segmentation result graph. According to the method and the device for recognizing the hyphae in the corneal confocal image, the corneal confocal image is input into the hypha-nerve fiber segmentation model, the pre-segmentation result image is output according to the hypha-nerve fiber segmentation model, the pre-segmentation result image is automatically corrected to obtain the final segmentation result image, and whether the hyphae exist is judged according to the final segmentation result image, so that the hyphae and the nerve fiber in the image are accurately distinguished, and the automatic and accurate recognition of the hyphae in the corneal confocal image can be realized.)

角膜共聚焦图像中菌丝识别方法及装置

技术领域

本发明涉及医学图像处理技术领域,尤其涉及一种角膜共聚焦图像中菌丝识别方法及装置。

背景技术

角膜共聚焦图像中菌丝的出现是判断真菌性角膜炎的重要依据,但有时角膜共聚焦图像中菌丝和神经纤维会同时存在,菌丝和神经纤维都是线状结构,形态类似、很难区分,需要很有经验的眼科医生找准两者的不同点,仔细辨别,因此可能会由于不同医生的主观经验不同,造成漏诊和误诊。现有技术没有考虑菌丝和神经纤维的区分技术,然而这正是菌丝识别的难点所在。

发明内容

为解决现有技术中的问题,本发明提供一种角膜共聚焦图像中菌丝识别方法及装置。

本发明提供一种角膜共聚焦图像中菌丝识别方法,包括:获取待识别的角膜共聚焦图像;将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图;其中,所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签,进行机器学习训练得到的;对所述预分割结果图进行自动修正得到最终分割结果图;根据所述最终分割结果图判断是否存在菌丝。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,在所述获取待识别的角膜共聚焦图像之前,所述方法还包括:获取所述角膜共聚焦图像样本,以及基于所述角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本;其中,所述区域标注图像样本中表示菌丝和神经纤维的像素具有不同的像素值。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,所述对所述预分割结果图进行自动修正得到最终分割结果图,具体包括:获取所述预分割结果图中的各个菌丝分段和各个神经纤维分段;计算所述菌丝分段和所述神经纤维分段的预设特征指标,并将所述预设特征指标和预设特征指标的阈值进行比较,根据比较结果对所述预分割结果图中所述菌丝分段和所述神经纤维分段进行类别修正,得到所述最终分割结果图。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,所述预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,所述方法还包括:将所述最终分割结果图和所述角膜共聚焦图像进行叠加,得到可视化图像,并展示所述可视化图像。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,所述将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图,具体包括:将所述角膜共聚焦图像输入到编码器的骨架网络块,输出第一特征图;将所述第一特征图输入到所述编码器的大核可分离卷积块,输出第二特征图;将所述第二特征图输入到所述编码器的自注意力块,输出第三特征图;将所述第三特征图输入到解码器,输出所述预分割结果图。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,所述骨架网络块的部分深层卷积层调整为可变形卷积层;所述大核可分离卷积块,将输入的所述第一特征图分成两个分支,一个分支通过串联的1*k卷积和k*1卷积,另一个分支通过串联的k*1卷积和1*k卷积,然后将所述两个分支获得的特征图逐点相加得到所述第二特征图。

本发明还提供一种角膜共聚焦图像中菌丝识别装置,包括:图像获取模块,用于:获取待识别的角膜共聚焦图像;菌丝预分割模块,用于:将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图;其中,所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签,进行机器学习训练得到的;预分割结果自动修正模块,用于:对所述预分割结果图进行自动修正得到最终分割结果图;菌丝识别模块,用于:根据所述最终分割结果图判断是否存在菌丝。

本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述角膜共聚焦图像中菌丝识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述角膜共聚焦图像中菌丝识别方法的步骤。

本发明提供的角膜共聚焦图像中菌丝识别方法及装置,通过将角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据菌丝-神经纤维分割模型输出预分割结果图,对预分割结果图进行自动修正得到最终分割结果图,根据最终分割结果图判断是否存在菌丝,实现对图像中菌丝和神经纤维的准确区分,由此可以实现角膜共聚焦图像中菌丝的自动化准确识别。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明提供的角膜共聚焦图像中菌丝识别方法流程图之一;

图2是本发明提供的角膜共聚焦图像中菌丝识别方法流程图之二;

图3是本发明提供的角膜共聚焦图像中菌丝识别装置的结构示意图;

图4示例了一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

下面结合图1-图4描述本发明的角膜共聚焦图像中菌丝识别方法及装置。

图1是本发明提供的角膜共聚焦图像中菌丝识别方法流程图之一。如图1所示,所述方法包括:

步骤101、获取待识别的角膜共聚焦图像;

步骤102、将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图;其中,所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签,进行机器学习训练得到的;

步骤103、对所述预分割结果图进行自动修正得到最终分割结果图;

步骤104、根据所述最终分割结果图判断是否存在菌丝。

首先获取利用共聚焦显微镜拍摄的待识别的角膜共聚焦图像。然后将角膜共聚焦图像输入到预先训练好的菌丝-神经纤维分割模型,根据菌丝-神经纤维分割模型输出预分割结果图。菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签,进行机器学习训练得到的。可以通过对角膜共聚焦图像样本进行菌丝区域标注和/或神经纤维区域标注后得到的区域标注图像样本,根据区域标注图像样本设置对应角膜共聚焦图像样本各个像素点的输出标签。比如,可将背景类像素的输出标签设置为0,菌丝类像素的输出标签设置为1,神经纤维类像素的输出标签设置为2。

在训练菌丝-神经纤维分割模型时,首先获取角膜共聚焦图像样本和区域标注图像样本用于机器学习训练。采集到拟用于机器学习训练的所有角膜共聚焦图像后,首先一个专业医生根据图像质量进行筛选,选出含有菌丝和神经纤维(两种都有或至少有一种)的清晰度高的图像。然后,由若干个经过菌丝和神经纤维分辨方法培训的专业医生,对图像中的菌丝区域和神经纤维区域分别进行标注,从而得到区域标注图像样本。当然,若不存在菌丝区域则不对菌丝区域进行标注,若不存在神经纤维区域则不对神经纤维区域进行标注。若一张角膜共聚焦图像中既包含菌丝区域也包含神经纤维区域,则对菌丝区域和神经纤维区域均要标注。区域标注图像样本中菌丝区域和神经纤维区域要区分开,比如用不同的像素值分别表示菌丝区域和神经纤维区域。然后,以角膜共聚焦图像样本作为输入、以角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签,进行机器学习训练得到菌丝-神经纤维分割模型。

在进行角膜共聚焦图像中菌丝识别时,将角膜共聚焦图像输入到菌丝-神经纤维分割模型后,输出是一张同时给出菌丝区域和神经纤维区域的预分割结果图。预分割结果图中的每个像素点被预测为背景类、菌丝类或神经纤维类。其中,菌丝区域的像素点为菌丝类,神经纤维区域的像素点为神经纤维类。非菌丝区域及非神经纤维区域的其他区域的像素点为背景类。对所述预分割结果图进行自动修正得到最终分割结果图,比如对预分割结果图中的像素点的类别进行自动修正得到最终分割结果图。根据最终分割结果图是否包含菌丝区域,可以实现角膜共聚焦图像中的菌丝识别。

本发明提供的角膜共聚焦图像中菌丝识别方法,通过将角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据菌丝-神经纤维分割模型输出预分割结果图,对预分割结果图进行自动修正得到最终分割结果图,根据最终分割结果图判断是否存在菌丝,实现对图像中菌丝和神经纤维的准确区分,由此可以实现角膜共聚焦图像中菌丝的自动化准确识别。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,在所述获取待识别的角膜共聚焦图像之前,所述方法还包括:获取所述角膜共聚焦图像样本,以及基于所述角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本;其中,所述区域标注图像样本中表示菌丝和神经纤维的像素具有不同的像素值。

在利用菌丝-神经纤维分割模型进行菌丝识别之前,首先需要通过机器学习训练得到菌丝-神经纤维分割模型。在训练菌丝-神经纤维分割模型之前,首先需要获取角膜共聚焦图像样本及区域标注图像样本。角膜共聚焦图像样本可以直接通过共聚焦显微镜拍摄角膜图像获取。区域标注图像样本通过对角膜共聚焦图像样本进行菌丝区域标注和/或神经纤维区域标注后获取。在对角膜共聚焦图像样本进行菌丝区域标注和/或神经纤维区域标注时,可以沿着菌丝的中线进行描绘进行菌丝区域标注,沿着神经纤维的中线进行描绘进行神经纤维区域标注,从而得到区域标注图像样本。标注工具可以使用GIMP图像处理软件。

区域标注图像样本中菌丝和神经纤维的描绘结果图要区分开,比如,区域标注图像样本中表示菌丝和神经纤维的像素具有不同的像素值以进行菌丝区域和神经纤维区域的区分。

标注完成之后,构建了包含菌丝区域标注和神经纤维区域标注的角膜共聚焦图像样本库,按照预设比例将图像数据随机分成训练数据集和验证数据集,用于训练和验证模型。该样本库可用于例如角膜共聚焦图像的菌丝识别与分割、神经纤维识别与分割以及相关基础指标计算工作。本实施例中,用于菌丝-神经纤维分割模型的训练。

本发明提供的角膜共聚焦图像中菌丝识别方法,通过获取角膜共聚焦图像样本,以及基于角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本,提高了菌丝区域和神经纤维区域标注的精确性。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,所述对所述预分割结果图进行自动修正得到最终分割结果图,具体包括:获取所述预分割结果图中的各个菌丝分段和各个神经纤维分段;计算所述菌丝分段和所述神经纤维分段的预设特征指标,并将所述预设特征指标和预设特征指标的阈值进行比较,根据比较结果对所述预分割结果图中所述菌丝分段和所述神经纤维分段进行类别修正,得到所述最终分割结果图。

在利用菌丝-神经纤维分割模型进行菌丝和神经纤维的区域提取之后,可以进一步对预分割结果图进行结果修正。可以通过利用菌丝分段和神经纤维分段的特征指标进行结果修正。具体方法可以是获取预分割结果图中的菌丝分段和神经纤维分段,计算菌丝分段和神经纤维分段的预设特征指标,并将预设特征指标和预设特征指标的阈值进行比较,根据比较结果对预分割结果图中菌丝分段和神经纤维分段进行类别修正,得到最终分割结果图。

预设特征指标的阈值可以根据经验获取,或根据训练过程中的样本的统计值获取。在设置预设特征指标的阈值时,通过对菌丝分段的预设特征指标进行统计分析,得到对应于菌丝的预设特征指标的阈值;通过对神经纤维分段的预设特征指标进行统计分析,得到对应于神经纤维的预设特征指标的阈值。因此,预设特征指标的阈值包括菌丝的预设特征指标的阈值及神经纤维的预设特征指标的阈值。菌丝的预设特征指标的阈值及神经纤维的预设特征指标的阈值均可以是单个值或是一区间范围。

在对菌丝-神经纤维分割模型输出的预分割结果图进行修正时,计算菌丝分段和神经纤维分段的预设特征指标,可以分别将得到的预设特征指标与菌丝的预设特征指标的阈值及神经纤维的预设特征指标的阈值进行比对,实际的预设特征指标属于哪个阈值范围,则修改为相应的类别。比如,对于某个菌丝分段进行计算得到预设特征指标之后,将得到的预设特征指标与菌丝的预设特征指标的阈值进行比较后,发现实际计算的预设特征指标不满足菌丝的预设特征指标的阈值范围;在将得到的预设特征指标与神经纤维的预设特征指标的阈值进行比较后,发现实际计算的预设特征指标满足神经纤维的预设特征指标的阈值范围,则将相应的菌丝分段的类别修改为神经纤维类。

本发明提供的角膜共聚焦图像中菌丝识别方法,通过获取预分割结果图中的菌丝分段和神经纤维分段,计算菌丝分段和神经纤维分段的预设特征指标,并将预设特征指标和预设特征指标的阈值进行比较,根据比较结果对预分割结果图中菌丝分段和神经纤维分段进行类别修正,得到最终分割结果图,进一步提高了分割结果的准确性。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,所述预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种。

基于菌丝-神经纤维分割模型输出的预分割结果图,先计算预分割结果中菌丝分段和神经纤维分段的特征指标,包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种,并根据标注数据中的统计信息给每个特征指标设定阈值,然后分别判断各个特征指标结果是否满足阈值要求,以此来对预分割结果中的菌丝分段和神经纤维分段进行类别修正,得到菌丝和神经纤维的最终分割结果图。

在设置多个预设特征指标的情况下,可以设置所有的预设特征指标均满足相应阈值的情况下才进行结果修正。

本发明提供的角膜共聚焦图像中菌丝识别方法,通过设置预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种,进一步提高了分割结果的准确性。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,所述方法还包括:将所述最终分割结果图和所述角膜共聚焦图像进行叠加,得到可视化图像,并展示所述可视化图像。

最终分割结果图中,菌丝区域和神经纤维区域可以通过不同的像素值区分显示,对于背景类像素,其像素值可以设置为0。可以将最终分割结果图和输入的待识别的角膜共聚焦图像进行叠加,得到可视化图像,并展示可视化图像。可视化图像中,可以同时展示菌丝区域和神经纤维区域,也可以根据需要只展示菌丝区域或只展示神经纤维区域。

通过上述处理,可以得到待识别的角膜共聚焦图像中区分菌丝和神经纤维的最终分割结果图,根据最终分割结果图中是否存在菌丝区域可以给出识别结果;另外,将最终分割结果图与待诊断图像进行叠加,得到可视化图像。检测报告上可以给出菌丝识别结果和可视化图像,这样可以通过展示菌丝区域实现直观的展示。

本发明提供的角膜共聚焦图像中菌丝识别方法,通过将最终分割结果图和角膜共聚焦图像进行叠加,得到可视化图像,并展示可视化图像,提高了识别结果展示的直观性。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,所述将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图,具体包括:将所述角膜共聚焦图像输入到编码器的骨架网络块,输出第一特征图;将所述第一特征图输入到所述编码器的大核可分离卷积块,输出第二特征图;将所述第二特征图输入到所述编码器的自注意力块,输出第三特征图;将所述第三特征图输入到解码器,输出所述预分割结果图。

菌丝-神经纤维分割模型包括编码器和解码器。其中,编码器利用骨架网络块、大核可分离卷积块和自注意力块提取图像特征,输出下采样的特征图。骨架网络块的部分深层卷积层调整为可变形卷积层,可变形卷积层通过使用平行网络在输入特征图的每个采样点上学习一个偏移量,自适应学习感受野大小(传统卷积是固定感受野大小的),集中于感兴趣区域或目标,更适用于菌丝和神经纤维这样尺度多样、几何形变不定的物体。大核可分离卷积块,将输入的特征图分成两个分支,一个分支通过串联的1*k卷积和k*1卷积,另一个分支通过串联的k*1卷积和1*k卷积,然后将两个分支获得的特征图逐点相加得到输出特征图,大核可分离卷积可以在计算量不大的情况下,获得较大感受野。k一般取大于3的正整数。自注意力块自适应地学习注意力权重,对输入的特征图进行加权,使编码器更关注与菌丝和神经纤维有关的全局特征。解码器包括反卷积层、卷积层和softmax层,反卷积层通过逐层上采样的方式对解码器输出的特征图进行特征提取,输出上采样的特征图。解码器的最后通过一个卷积层用于对反卷积层输出的特征图进行维度变换,根据类别数量输出维度数等于类别数量的特征图。Softmax层用于对输入的特征图上每个像素位置的特征向量进行归一化处理,得到每个像素为背景类、菌丝类或神经纤维类的概率,将概率值最大的类别作为相应像素的类别。解码器可以采用U-Net的跳跃连接结构,在上采样过程中,将反卷积层输出的特征图与编码过程中对应大小的特征图进行拼接,拼接后的特征图可以通过多个卷积层,实现浅层特征和深层特征的融合。

骨架网络块可以使用各种现有的卷积神经网络的骨架网络,包括但不限于使用VGG、ResNet、DenseNet等。

本发明提供的角膜共聚焦图像中菌丝识别方法,通过利用包括骨架网络块、大核可分离卷积块和自注意力块的编码器提取特征,以及利用解码器输出预分割结果图,保障了菌丝-神经纤维分割模型的功能实现。

根据本发明提供的一种角膜共聚焦图像中菌丝识别方法,其特征在于,所述骨架网络块的部分深层卷积层调整为可变形卷积层;所述大核可分离卷积块,将输入的所述第一特征图分成两个分支,一个分支通过串联的1*k卷积和k*1卷积,另一个分支通过串联的k*1卷积和1*k卷积,然后将所述两个分支获得的特征图逐点相加得到所述第二特征图。

针对考虑菌丝和神经纤维在连贯性、长度、分支角度等不同,菌丝-神经纤维分割模型结构重点在于,第一点,菌丝和神经纤维的尺度多样、几何形变不定的特点;第二点,菌丝和神经纤维的细长形态;第三点,关注周边较大范围的特征,增大模型感受野。将骨架网络块的部分深层卷积层调整为可变形卷积层,可变形卷积通过平行网络在输入特征图的每个采样点上学习一个偏移量,自适应学习感受野大小,集中于感兴趣区域或目标。使用大核可分离卷积块,大核可分离卷积块中的k*1卷积和1*k卷积可以计算量不大的情况下,获得较大感受野。

本发明提供的角膜共聚焦图像中菌丝识别方法,通过令骨架网络块调整为可变形卷积层,以及利用k*1卷积和1*k卷积构建大核可分离卷积块,进一步保障了菌丝-神经纤维的功能实现。

本发明提供了一种角膜共聚焦图像中菌丝的识别方法,该方法通过提取菌丝和神经纤维两种区域、提取结果自动修正这两步之后,实现对图像中菌丝和神经纤维的准确区分,从而准确识别出图像中的菌丝。另外,还可以生成菌丝检测结果报告,可视化展示图像中菌丝和神经纤维区域,给医生直观的检查结果。

图2是本发明提供的角膜共聚焦图像中菌丝识别方法流程图之二。本发明提供的角膜共聚焦图像中菌丝识别方法包括如下步骤:

S1、获取待识别的角膜共聚焦图像;

S2、将待识别的角膜共聚焦图像输入到已训练的菌丝-神经纤维分割模型,得到菌丝和神经纤维的预分割结果图;

S3、基于预分割结果图,计算菌丝分段和神经纤维分段的特征指标,并将各个特征指标与统计信息得到的阈值比较,进行提取结果的自动修正,得到菌丝和神经纤维的最终分割结果图;

S4、基于最终分割结果图,识别出待识别的角膜共聚焦图像中是否存在菌丝区域,给出角膜共聚焦图像中菌丝的识别结果。

本发明提供的角膜共聚焦图像中菌丝识别方法,针对菌丝和神经纤维进行区分,获得准确的菌丝区域,从而完成角膜共聚焦图像中菌丝的准确识别。

下面对本发明提供的角膜共聚焦图像中菌丝识别装置进行描述,下文描述的角膜共聚焦图像中菌丝识别装置与上文描述的角膜共聚焦图像中菌丝识别方法可相互对应参照。

图3是本发明提供的角膜共聚焦图像中菌丝识别装置的结构示意图。如图3所示,所述装置包括图像获取模块10、菌丝预分割模块20、预分割结果自动修正模块30及菌丝识别模块40,其中:图像获取模块10用于:获取待识别的角膜共聚焦图像;菌丝预分割模块20用于:将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图;其中,所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签,进行机器学习训练得到的;预分割结果自动修正模块30用于对所述预分割结果图进行自动修正得到最终分割结果图;菌丝识别模块40用于根据所述最终分割结果图判断是否存在菌丝。

本发明提供的角膜共聚焦图像中菌丝识别装置,通过将角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据菌丝-神经纤维分割模型输出预分割结果图,对预分割结果图进行自动修正得到最终分割结果图,根据最终分割结果图判断是否存在菌丝,实现对图像中菌丝和神经纤维的准确区分,由此可以实现角膜共聚焦图像中菌丝的自动化准确识别。

根据本发明提供的一种角膜共聚焦图像中菌丝识别装置,所述装置还包括样本构建模块,所述样本构建模块用于:获取所述角膜共聚焦图像样本,以及基于所述角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本;其中,所述区域标注图像样本中表示菌丝和神经纤维的像素具有不同的像素值。

本发明提供的角膜共聚焦图像中菌丝识别装置,通过获取角膜共聚焦图像样本,以及基于角膜共聚焦图像样本沿着菌丝和/或神经纤维的中线分别进行描绘获取区域标注图像样本,提高了菌丝区域和神经纤维区域标注的精确性。

根据本发明提供的一种角膜共聚焦图像中菌丝识别装置,所述预分割结果自动修正模块30在用于对所述预分割结果图进行自动修正得到最终分割结果图时,具体用于:获取所述预分割结果图中的各个菌丝分段和各个神经纤维分段;计算所述菌丝分段和所述神经纤维分段的预设特征指标,并将所述预设特征指标和预设特征指标的阈值进行比较,根据比较结果对所述预分割结果图中所述菌丝分段和所述神经纤维分段进行类别修正,得到所述最终分割结果图。

本发明提供的角膜共聚焦图像中菌丝识别装置,通过获取预分割结果图中的菌丝分段和神经纤维分段,计算菌丝分段和神经纤维分段的预设特征指标,并将预设特征指标和预设特征指标的阈值进行比较,根据比较结果对预分割结果图中菌丝分段和神经纤维分段进行类别修正,得到最终分割结果图,进一步提高了分割结果的准确性。

根据本发明提供的一种角膜共聚焦图像中菌丝识别装置,所述预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种。

本发明提供的角膜共聚焦图像中菌丝识别装置,通过设置预设特征指标包括分段中交叉点处分支间角度、分段长度、分段弯曲度中的至少一种,进一步提高了分割结果的准确性。

根据本发明提供的一种角膜共聚焦图像中菌丝识别装置,所述装置还包括可视化展示模块,所述可视化展示模块用于:将所述最终分割结果图和所述角膜共聚焦图像进行叠加,得到可视化图像,并展示所述可视化图像。

本发明提供的角膜共聚焦图像中菌丝识别装置,通过将最终分割结果图和角膜共聚焦图像进行叠加,得到可视化图像,并展示可视化图像,提高了识别结果展示的直观性。

根据本发明提供的一种角膜共聚焦图像中菌丝识别装置,菌丝预分割模块20在用于将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图时,具体用于:将所述角膜共聚焦图像输入到编码器的骨架网络块,输出第一特征图;将所述第一特征图输入到所述编码器的大核可分离卷积块,输出第二特征图;将所述第二特征图输入到所述编码器的自注意力块,输出第三特征图;将所述第三特征图输入到解码器,输出所述预分割结果图。

本发明提供的角膜共聚焦图像中菌丝识别装置,通过利用包括骨架网络块、大核可分离卷积块和自注意力块的编码器提取特征,以及利用解码器输出预分割结果图,保障了菌丝-神经纤维分割模型的功能实现。

根据本发明提供的一种角膜共聚焦图像中菌丝识别装置,所述骨架网络块的部分深层卷积层调整为可变形卷积层;所述大核可分离卷积块,将输入的所述第一特征图分成两个分支,一个分支通过串联的1*k卷积和k*1卷积,另一个分支通过串联的k*1卷积和1*k卷积,然后将所述两个分支获得的特征图逐点相加得到所述第二特征图。

本发明提供的角膜共聚焦图像中菌丝识别装置,通过令骨架网络块调整为可变形卷积层,以及利用k*1卷积和1*k卷积构建大核可分离卷积块,进一步保障了菌丝-神经纤维的功能实现。

图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行角膜共聚焦图像中菌丝识别方法,该方法包括:获取待识别的角膜共聚焦图像;将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图;其中,所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签,进行机器学习训练得到的;对所述预分割结果图进行自动修正得到最终分割结果图;根据所述最终分割结果图判断是否存在菌丝。

此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的角膜共聚焦图像中菌丝识别方法,该方法包括:获取待识别的角膜共聚焦图像;将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图;其中,所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签,进行机器学习训练得到的;对所述预分割结果图进行自动修正得到最终分割结果图;根据所述最终分割结果图判断是否存在菌丝。

又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的角膜共聚焦图像中菌丝识别方法,该方法包括:获取待识别的角膜共聚焦图像;将所述角膜共聚焦图像输入到菌丝-神经纤维分割模型,根据所述菌丝-神经纤维分割模型输出预分割结果图;其中,所述菌丝-神经纤维分割模型是以角膜共聚焦图像样本作为输入、以所述角膜共聚焦图像样本中每个像素点属于菌丝区域、神经纤维区域或背景区域的标注结果作为输出标签,进行机器学习训练得到的;对所述预分割结果图进行自动修正得到最终分割结果图;根据所述最终分割结果图判断是否存在菌丝。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

16页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于单视角的人脸三维轮廓特征重建装置及重建方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!