一种深度网络和光流机制结合的肺结节检测方法及装置

文档序号:1848131 发布日期:2021-11-16 浏览:21次 >En<

阅读说明:本技术 一种深度网络和光流机制结合的肺结节检测方法及装置 (Lung nodule detection method and device combining depth network and optical flow mechanism ) 是由 邵立伟 黄德皇 马力 王艳芳 于 2021-08-24 设计创作,主要内容包括:本发明涉及一种深度网络和光流机制结合的肺结节检测方法及装置,所述方法包括以下步骤:获取3D肺部CT图像,同时对所述3D肺部CT图像进行预处理;对所述3D肺部CT图像进行特征提取及分析;构建深度光流网络对所述3D肺部CT图像中肺结节进行检测识别;得到肺结节检测结果,生成检测报告;本发明增强对3D肺部CT图像的检测精度,提高检测效率。(The invention relates to a pulmonary nodule detection method and a device combining a depth network and an optical flow mechanism, wherein the method comprises the following steps: acquiring a 3D lung CT image, and preprocessing the 3D lung CT image; performing feature extraction and analysis on the 3D lung CT image; constructing a depth optical flow network to detect and identify lung nodules in the 3D lung CT image; obtaining a pulmonary nodule detection result and generating a detection report; the invention enhances the detection precision of the 3D lung CT image and improves the detection efficiency.)

一种深度网络和光流机制结合的肺结节检测方法及装置

技术领域

本发明涉及医疗辅助诊断技术领域,更具体地说,涉及一种深度网络和光流机制结合的肺结节检测方法及装置。

背景技术

早期的肺结节通常很小,没有固定的形状,因此肉眼难以辨别,当良性肺结节不断发展成恶性肺结节,肺癌由此产生。现实中,通常通过肺部CT图像来检测肺结节。肺结节作为肺癌的早期表现,检测肺结节对预测肺癌有重大的意义。然而,肺结节体积小,传统的C影像肺结节检测方法不仅步骤繁琐、处理速度慢;临床上肺结节检测方法为医师通过观察肺部的CT图像,来识别病人是否有肺结节,而通常一个病人的完整CT序列数量较多,工作量大,易被遗漏,造成肺结节的检测精度低。

发明内容

本发明的目的在于提出一种深度网络和光流机制结合的肺结节检测方法及装置,以解决现有技术中肺部的CT图像中肺结节的检测精度低的问题。

本发明的上述技术目的是通过以下技术方案得以实现的:

在第一方面,本申请实施例提供了一种深度网络和光流机制结合的肺结节检测方法,所述方法包括以下步骤:

获取3D肺部CT图像,同时对所述3D肺部CT图像进行预处理;

对所述3D肺部CT图像进行特征提取及分析;

构建深度光流网络对所述3D肺部CT图像中肺结节进行检测识别;

得到肺结节检测结果,生成检测报告。

在其中一些实施例中,所述构建深度光流网络对所述3D肺部CT图像中肺结节进行检测识别,包括:

自动将所述3D肺部CT图像处理成CETS可读的3D肺部影像;

利用TNet肺结节3D检测分类网络检测所述3D肺部CT图像的肺结节区域,并对肺结节进行分类,同时将提取的肺结节输入TNet或TNet-VQ肺结节3D检测分类网络。

在其中一些实施例中,所述对所述3D肺部CT图像进行特征提取及分析,包括:

所述3D肺部CT图像输入至特征提取网络,通过判断是否是结节的二分类输出以及边界框预测,获得结节的建议区域;将获得的建议区域输入到RoIpooling层进行特征图的尺寸标准化处理;通过两个全连接层输出至分类概率预测层与边界框预测层;

利用训练好的三个疑似肺结节检测模型对待检测CT图像进行检测,获得的疑似结节的分类概率和其边界框,再利用训练好的三个弱分类模型,进行分类,对三个弱分类模型的分类结果进行多数投票选出最终的分类结果。

在其中一些实施例中,所述利用训练好的三个疑似肺结节检测模型对待检测CT图像进行检测之前,还包括:

对于训练数据中正负样本做预处理来平衡正负样本的比例,之后,还利用预筛选模型对于预处理后的负样本进行分类,筛选出分类错误的负样本;再利用预处理与筛选后的训练数据来训练出三个弱分类模型。

在其中一些实施例中,所述对所述3D肺部CT图像进行预处理,包括:

对所述3D肺部CT图像进行量化和平滑处理。

在第二方面,本申请实施例提供了一种深度网络和光流机制结合的肺结节检测装置,包括:

图像获取模块,用于获取3D肺部CT图像,同时对所述3D肺部CT图像进行预处理;

特征提取模块,用于对所述3D肺部CT图像进行特征提取及分析;

网络构建模块,用于构建深度光流网络对所述3D肺部CT图像中肺结节进行检测识别;

报告生成模块,用于得到肺结节检测结果,生成检测报告。

在其中一些实施例中,所述网络构建模块,包括:

预处理单元,用于自动将所述3D肺部CT图像处理成CETS可读的3D肺部影像;

分类单元,用于利用TNet肺结节3D检测分类网络检测所述3D肺部CT图像的肺结节区域,并对肺结节进行分类,同时将提取的肺结节输入TNet或TNet-VQ肺结节3D检测分类网络。

在第三方面,本申请实施例提供了一种计算机设备,包括存储器以及一个或多个处理器;

所述存储器,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的深度网络和光流机制结合的肺结节检测方法。

在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的深度网络和光流机制结合的肺结节检测方法。

本发明的有益效果是:本发明获取3D肺部CT图像,同时对所述3D肺部CT图像进行预处理;对所述3D肺部CT图像进行特征提取及分析;构建深度光流网络对所述3D肺部CT图像中肺结节进行检测识别;得到肺结节检测结果,生成检测报告;增强对3D肺部CT图像的检测精度,提高检测效率。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

图1是一种深度网络和光流机制结合的肺结节检测方法的步骤示意图;

图2是一种深度网络和光流机制结合的肺结节检测装置的结构示意图;

图3是一种深度网络和光流机制结合的肺结节检测方法的计算机设备示意图。

具体实施方式

下面,结合附图以及具体实施方式,对本发明做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

请参照图1,示出了本发明的一种深度网络和光流机制结合的肺结节检测方法,所述方法包括以下步骤:

100、获取3D肺部CT图像,同时对所述3D肺部CT图像进行预处理。

可选的,对所述3D肺部CT图像进行量化和平滑处理。

200、对所述3D肺部CT图像进行特征提取及分析。

具体的,所述3D肺部CT图像输入至特征提取网络,通过判断是否是结节的二分类输出以及边界框预测,获得结节的建议区域;将获得的建议区域输入到RoIpooling层进行特征图的尺寸标准化处理;通过两个全连接层输出至分类概率预测层与边界框预测层;

本发明实施例中对训练集中每一3D肺部CT图像,根据标注的结节位置,提取过结节中心的切片图像、以及其上下相邻两个切片图像,针对每一种切片图像训练一个疑似肺结节检测模型,测试过程中每个切片输入三个模型得到疑似结节。图1所示的模型图是针对一种切片图像而言,另外两种切片图像执行过程相同,从而获得三个疑似肺结节检测模型。我们是用这三个疑似肺结节检测模型进行肺结节检测,检测的时候也是利用与训练时相同的方式,选取待检测CT图像的三种切片图像,然后分别输入到三个疑似肺结节检测模型进行肺结节检测,最后获得分类概率预测结果与边框预测结果,然后,根据这些结果确定是否为肺结节。

本发明实施例中,已有数据集中包含2N个子集,每次从中选出2N-1个子集作为训练集来训练特征提取网络,剩余的1个子集作为测试集,采用交叉验证的方式,由于共进行2N次测试,每次选用1个子集做测试得到其结果,所以最后合并2N次测试结果,也就是取并集,从而得到全部子集的测试结果。

示例性的,已有数据集可以为LUNA16中的数据,其包含10个子集,我们进行交叉验证,每次取出9个子集来训练网络,1个子集做测试,最后合并十次测试的结果。

本发明实施例中,RoIpooling(RegionofInterest)感兴趣区域池化层首先截取建议区域在反卷积层对应的特征图上的区域,然后对截取的区域进行Maxpooling(最大池化),从而对尺寸大小不一样的建议区域,产生固定大小(例如7×7)的特征图输出。

具体的,对于训练数据中正负样本做预处理来平衡正负样本的比例,之后,还利用预筛选模型对于预处理后的负样本进行分类,筛选出分类错误的负样本;再利用预处理与筛选后的训练数据来训练出三个弱分类模型。

本发明实施例中,通过预处理与筛选,可以获得每一组训练数据中预处理后的正样本,以及筛选出的分类错误的负样本,这两种类型的样本数据将用于后续的弱分类模型训练。首先,从三组训练数据中选取第一组预处理与筛选后的训练数据(即预处理后的正样本与筛选出的分类错误的负样本),训练AlexNet分类模型;对于训练后的AlexNet分类模型,用同样的训练数据进行模型测试,将分类错误的数据选出,作为第二个分类器的训练数据;其次,使用第二组预处理与筛选后的训练数据与上一次分类错误的数据重新训练第二个AlexNet分类模型,用同样的数据进行模型测试,将分类错误的数据选出,作为第三个分类器的训练数据;然后,取前两次分类错误的数据和第三组预处理与筛选后的训练数据重新训练第三个AlexNet分类模型;最终训练完成的三个AlexNet分类模型即为三个弱分类模型。

具体的,利用训练好的三个疑似肺结节检测模型对待检测CT图像进行检测,获得的疑似结节的分类概率和其边界框,再利用训练好的三个弱分类模型,进行分类,对三个弱分类模型的分类结果进行多数投票选出最终的分类结果。

在检测过程中,利用训练好的三个疑似肺结节检测模型对待检测CT图像进行检测,将CT图像的每个切片都利用三个疑似肺结节检测模型进行检测,每一个疑似肺结节检测模型都会输出一份疑似结节的分类概率和其边界框的数据;这三份数据全部都输出至训练好的三个弱分类模型,每一个弱分类模型都会输出针对每一部分数据的分类结果,也就是一个弱分类模型输出三份数据的分类结果,三个弱分类模数输出9个分类结果,然后对三个弱分类模型的分类结果进行多数投票选出最终的分类结果。

300、构建深度光流网络对所述3D肺部CT图像中肺结节进行检测识别。

具体的,利用TNet肺结节3D检测分类网络检测所述3D肺部CT图像的肺结节区域,并对肺结节进行分类,同时将提取的肺结节输入TNet或TNet-VQ肺结节3D检测分类网络。

400、得到肺结节检测结果,生成检测报告。

上述,本发明通过获取3D肺部CT图像,同时对所述3D肺部CT图像进行预处理;对所述3D肺部CT图像进行特征提取及分析;构建深度光流网络对所述3D肺部CT图像中肺结节进行检测识别;得到肺结节检测结果,生成检测报告;增强对3D肺部CT图像的检测精度,提高检测效率。

请参照图2,示出了本发明的一种深度网络和光流机制结合的肺结节检测装置,包括:图像获取模块101、特征提取模块102、网络构建模块103和报告生成模块104。

所述图像获取模块用于获取3D肺部CT图像,同时对所述3D肺部CT图像进行预处理;所述特征提取模块用于对所述3D肺部CT图像进行特征提取及分析;所述网络构建模块用于构建深度光流网络对所述3D肺部CT图像中肺结节进行检测识别;所述报告生成模块用于得到肺结节检测结果,生成检测报告。

在其中一些实施例中,所述网络构建模块,包括:预处理单元和分类单元;所述预处理单元用于自动将所述3D肺部CT图像处理成CETS可读的3D肺部影像;所述分类单元用于利用TNet肺结节3D检测分类网络检测所述3D肺部CT图像的肺结节区域,并对肺结节进行分类,同时将提取的肺结节输入TNet或TNet-VQ肺结节3D检测分类网络。

所述图像扫描模块用于使用电子扫描镜对红细胞涂片进行扫描,得到扫描图像;所述图像处理模块用于对所述扫描图像进行图像预处理处理,得到待检测的细胞图像;所述图像分类模块用于将所述待检测的细胞图像输入到训练后的细胞检测模型中,得到所述待检测的细胞图像对应的分类结果;所述计算判断模块用于根据分类结果计算所述待检测的细胞图像中红细胞聚集指数,从而判断心脑血管病的几率。

本申请实施例还提供了一种计算机设备,该计算机设备可集成本申请实施例提供的深度网络和光流机制结合的肺结节检测装置。图3是本申请实施例提供的一种计算机设备的结构示意图。参考图3,该计算机设备包括:输入装置43、输出装置44、存储器42以及一个或多个处理器41;所述存储器42,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器41执行,使得所述一个或多个处理器41实现如上述实施例提供的深度网络和光流机制结合的肺结节检测方法。其中输入装置43、输出装置44、存储器42和处理器41可以通过总线或者其他方式连接,图3中以通过总线连接为例。

处理器41通过运行存储在存储器42中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的深度网络和光流机制结合的肺结节检测方法。

上述提供的计算机设备可用于执行上述实施例提供的深度网络和光流机制结合的肺结节检测方法,具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种深度网络和光流机制结合的肺结节检测方法,该深度网络和光流机制结合的肺结节检测方法包括:获取3D肺部CT图像,同时对所述3D肺部CT图像进行预处理;对所述3D肺部CT图像进行特征提取及分析;构建深度光流网络对所述3D肺部CT图像中肺结节进行检测识别;得到肺结节检测结果,生成检测报告。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机装置存储器或随机存取存储器,诸如DRAM、DDRRAM、SRAM、EDORAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机装置中,或者可以位于不同的第二计算机装置中,第二计算机装置通过网络(诸如因特网)连接到第一计算机装置。第二计算机装置可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机装置中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的深度网络和光流机制结合的肺结节检测方法,还可以执行本申请任意实施例所提供的深度网络和光流机制结合的肺结节检测方法中的相关操作。

上述实施例中提供的深度网络和光流机制结合的肺结节检测装置、存储介质及计算机设备可执行本申请任意实施例所提供的深度网络和光流机制结合的肺结节检测方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的深度网络和光流机制结合的肺结节检测方法。

上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

9页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:用药策略确定方法、装置、计算机设备和存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!