一种基于深度学习的食管区域图像自动配准方法及系统
阅读说明：本技术 一种基于深度学习的食管区域图像自动配准方法及系统 (Esophagus region image automatic registration method and system based on deep learning ) 是由 李登旺 洪亭轩 张建东 侯勇 黄浦 虞刚 李续然 陆华 王建波 朱慧 李婕 吴 于 2021-07-15 设计创作，主要内容包括：本发明提供了一种基于深度学习的食管区域图像自动配准方法及系统,获取原始固定图像和运动图像,对图像进行预处理,选取感兴趣区域；利用全卷积神经网络作为生成器,利用卷积神经网络作为鉴别器,形成自动配准模型,对感兴趣区域图像进行配准；将配准后的图像和真实图像进行比较,判断配准后的图像是否对齐,根据判断结果优化自动配准模型的参数；利用优化后的自动配准模型,对获取的图像进行再处理,得到配准后的食管图像。本发明基于深度学习的方法,在获得较高配准速度的同时,也确保较高的稳定性和鲁棒性。(The invention provides an esophagus region image automatic registration method and system based on deep learning, which are used for acquiring an original fixed image and a moving image, preprocessing the image and selecting an interested region; forming an automatic registration model by using a full convolution neural network as a generator and a convolution neural network as a discriminator, and registering the images of the region of interest; comparing the registered image with the real image, judging whether the registered image is aligned or not, and optimizing the parameters of the automatic registration model according to the judgment result; and reprocessing the acquired image by using the optimized automatic registration model to obtain a registered esophagus image. The method based on deep learning ensures higher stability and robustness while obtaining higher registration speed.)
技术领域
本发明属于医学图像处理技术领域，具体涉及一种基于深度学习的食管区域图像自动配准方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的
背景技术
信息，不必然构成在先技术。图像引导放射治疗(IGRT)或三维适形放疗(3DCRT)加手术等多模式治疗策略可以提高晚期食管癌患者的生存率。对于食管癌的最佳放射治疗，通常需要考虑其几何不确定性，例如呼吸运动和肿瘤的日常位置变化。为了补偿这些不确定性，通常采用计划靶区(PTV)边距。但是PTV边距较大，对所有患者的PTV都是相等的。因此，邻近临床靶区(CTV)的器官将暴露于高水平的辐射中，导致急性放射病的风险增加。精准确定肿瘤位置、呼吸运动和感兴趣区域(ROI)可以改善食管癌的放射治疗。
图像引导放射治疗(IGRT)包括在不同时间获得不同模态图像、术前计划、术中可视化以及术后评估。患者图像主要分为术前图像和术中图像，术前图像能够反映出患者的解剖信息，术中图像能够反映出患者肿瘤的物理空间。术前图像和术中图像相应的感兴趣区域图像配准，能够极大地帮助临床医生在手术中进行正确的指导。IGRT的目的是改善符合靶区范围的剂量分布，减少对正常组织的射线损伤，因此需要准确描述食管癌肿瘤体积和纵隔淋巴结位置。IGRT中放疗计划的常规成像方式是计算机断层扫描(CT)。然而CT图像并不总能区分恶性食管肿瘤和正常食管组织的近端和远端界限，CT图像也不能很好地显示出纵隔淋巴结的轮廓。但是，X射线成像可以提供食管以及周围组织的数字化X射线摄影(DR)，并且DR图像能够显示出食管以及纵隔淋巴结的清晰轮廓。所以将食管组织的三维CT图像与二维DR图像进行多模态图像配准，可以辅助临床医生制定放疗计划，减少射线对正常组织的伤害。
IGRT技术基于医学图像信息辅助临床医生进行定性诊断和精确切除肿瘤。图像配准是IGRT中的一项基本任务，其主要目的是为临床医生提供更好的可视化导航。在IGRT中，配准的目标是将同一器官的不同图像中的对应信息集成到一个公共坐标系中。此外，图像配准还可以对不同时间拍摄的医学图像进行定量比较，从中可以推断出肿瘤随时间演变的信息，这些信息有助于临床医生监测食管癌肿瘤随时间的生长情况。多模态图像配准技术是寻找从一个坐标空间到另一个坐标空间的最优变换问题。在医学背景下，图像配准在匹配术前和术中图像数据方面起着至关重要的作用。术前图像(如CT扫描)通常在实际手术前几天拍摄，以执行手术计划，而术中图像(如X射线)则用于实时的导航和监控。在没有图像配准的情况下，临床医生必须依靠自己的临床经验在术前和术中图像之间进行心理映射。因此，自动的图像配准对于简化手术流程、减少心理负担以及潜在地改善临床结果是非常重要的。
随着深度学习领域的快速发展，一些基于深度学习的图像配准模型被广泛提出。最初是采用深度学习来增强迭代方法的配准，然后，引入深度学习来预测配准中的感兴趣区域。近年来，有人提出了空间变换网络(STN)，STN能够生成密集的可变形变换来进行图像配准，并在仿射变换等方法中得到了广泛应用。该方法计算在优化过程中反向传播形变误差的梯度，极大的提升基于深度学习方法配准的速度和鲁棒性。然而，由于上述方法都侧重于单模态图像配准，不同维度的医学图像配准仍有待探索。
发明内容
本发明为了解决上述问题，提出了一种基于深度学习的食管区域图像自动配准方法及系统，本发明基于深度学习的方法，在获得较高配准速度的同时，也确保较高的稳定性和鲁棒性。
根据一些实施例，本发明采用如下技术方案：
一种基于深度学习的食管区域图像自动配准方法，包括以下步骤：
获取原始固定图像和运动图像，对图像进行预处理，选取感兴趣区域；
利用全卷积神经网络作为生成器，利用卷积神经网络作为鉴别器，形成自动配准模型，对感兴趣区域图像进行配准；
将配准后的图像和真实图像进行比较，判断配准后的图像是否对齐，根据判断结果优化自动配准模型的参数；
利用优化后的自动配准模型，对获取的图像进行处理，得到配准后的食管图像。
一种基于深度学习的食管区域图像自动配准系统，包括：
图像预处理模块，被配置为获取原始固定图像和运动图像，对图像进行预处理，选取感兴趣区域；
自动配准模块，被配置为对感兴趣区域图像进行配准；
配准评价模块，被配置为对配准后的图像和真实图像进行比较，判断配准后的图像是否对齐，根据判断结果优化自动配准模块的参数；
结果输出模块，被配置为输出配准后的食管图像。
作为可选择的实施方式，所述图像预处理模块被配置为对固定图像和运动图像进行归一化和标准化的初步预处理，再对固定图像和运动图像分别进行降噪处理，选取感兴趣区域，去除对配准过程产生影响的区域。
作为可选择的实施方式，所述图像预处理模块被配置为将处理后的数据进行划分，主要划分为训练集、验证集和测试集。
作为可选择的实施方式，所述自动配准模块包括依次连接的生成器模块和鉴别器模块。
作为进一步的，所述生成器模块使用全卷积神经网络，利用自动编码器获取隐藏向量，将其作为包括多个全连接层的全卷积神经网络，生成二维空间到三维空间的形变场。
作为进一步的，所述鉴别器模块，采用训练卷积神经网络，用于编码从输入医学图像到输出分类值的直接映射，将配准后图像连接到相应的中间层进行非刚性形变，且所述鉴别器模块，引入短残差连接和长残差连接，以加强配准图像信息的传播。
作为可选择的实施方式，所述配准评价模块，被配置为利用交叉熵损失函数来评价自动配准模块的预测值与真实值相似程度。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明通过基于全卷积神经网络(FCN)的生成器模块和基于卷积神经网络(CNN)的鉴别器模块来学习CT和DR图像信息，并通过不断调整形变场的的方式做出响应。
本发明利用深度学习网络，通过训练数据自动建立特征，并结合不同领域的图像特征进行配准。深度学习寻求通过特征学习的多个阶段来表示，能够自动学习丰富的特征层次。与传统的配准方法相比，基于深度学习的方法在获得较高配准速度的同时，也确保较高的稳定性和鲁棒性，从而能够实现一种端到端的配准。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是基于深度学习的食管区域图像自动配准方法流程示意图；
图2是基于对抗性网络配准方法示意图。
具体实施方式
：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一：
一种基于深度学习的食管区域图像自动配准系统主要包括四个部分：1.图像预处理单元；2.基于FCN的生成器单元；3.基于CNN的鉴别器单元；4.模型评价单元。
1.图像预处理单元
通过收集在医院接受图像引导放射治疗患者的CT与DR图像数据，经过图像预处理单元的数据清洗与整理，输入到对抗性图像配准网络中进行迭代配准。在2D-3D图像配准中，由于成像协议(如准直因子)的变化，目标物体的位置和大小在三维CT图像中可能会有很大的变化，在二维DR图像中可能还存在来自医疗设备的各种伪影的干扰。所以首先对CT与DR图像进行归一化和标准化的初步预处理，其次将数据集中的CT与DR图像分别进行降噪处理，然后再选取感兴趣区域(ROI)，去除对配准过程产生影响的区域。最后将所述数据集进行划分，主要划分为训练集、验证集和测试集。
2.基于FCN的生成器单元
虽然基于卷积神经网络(CNN)的方法提高了2D-3D配准的稳健性，但它仅限于固体模型或固定形状(例如：刚性金属装置)等高度不透明对象的配准，它不能解决在不同患者之间和具有不同形状解剖结构的多模态配准。而使用全卷积神经网络(FCN)作为生成器，可以直接生成形变场，输出配准后的图像，再输入到基于CNN的鉴别器中进行判断。为了按顺序配准每个图像，该系统采用一个低维向量(隐藏向量)作为输入，隐藏向量是通过自动编码器来获得的，自动编码器是由编码器和解码器两部分构成的网络结构。然后通过具有n个全连接层的FCN网络生成二维空间到三维空间的形变场。基于FCN的生成器在优化时，不仅会更新网络参数，还会更新输入的隐藏向量。
基于深度学习的食管区域图像自动配准方法采用基于全卷积神经网络(FCN)的训练策略，能够训练每个反向传播中的所有观测区域。该策略可以减少配准过程中形变场的自由度，因此与标准的基于CNN的训练方法相比，训练效率可以得到提高，以实现高效的2D-3D配准。当存在严重的图像伪影或遮挡时，例如在使用过金属螺钉或导丝的图像中进行配准时，该方法的性能明显优于基于单个神经网络的方法。与现有的配准方法相比，该方法具有更高的配准精度，实现了端到端的图像配准。
3.基于CNN的鉴别器单元
基于深度学习的食管区域图像自动配准方法采用训练卷积神经网络(CNN)来编码从输入医学图像到输出分类值的直接映射。这样分类值测量和权重分配就可以通过神经网络以一种“最优参数”的方式共同实现。考虑到多模态医学图像的不同成像模式，该系统采用了基于图像金字塔的多尺度融合方法，使配准过程更符合人类的视觉感知。此外，该系统还采用基于局部相似度的策略对输入多模态医学图像的分解系数进行自适应调整融合。为了更好的融合DR和CT图像,该系统CNN网络的输入采用“双通道”输入形式，能够更加快速的处理图像数据。
CNN网络在各种计算机视觉和医学图像处理任务中表现出惊人的速度与能力。该系统利用基于CNN的鉴别器网络将配准后图像连接到相应的中间层进行非刚性形变，在鉴别器网络中引入短残差连接和长残差连接，以加强配准图像信息的传播。从基于FCN的生成器中训练得到的配准图像进行空间随机采样，以及相应的真实值图像信息，被用来训练基于CNN的鉴别器。在鉴别器中引入反馈机制，代替单次的配准估计，并对形变参数进行迭代调整。基于CNN的鉴别器网络采用混合卷积神经网络和迭代求和相结合的方法，实现可靠、高效的在线2D-3D图像配准。
4.模型评价单元
模型评价单元主要使用损失函数(Loss Function)来评价模型的预测值和真实值的相似程度，损失函数越精确，通常模型的性能越好。在基于深度学习的食管区域图像自动配准系统中，配准的质量由损失函数来衡量，损失函数用来衡量配准后图像的对齐程度。在该系统中主要使用了交叉熵损失函数，该函数的形式如下:
在该函数中L表示交叉熵损失函数，N表示样本的总数量，i表示图像样本，yi表示样本i的样本标签，pi表示样本i预测为正类的概率。交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在深度学习中表示为真实概率分布与预测概率分布之间的差异。交叉熵损失函数使用逻辑函数得到概率，并结合交叉熵来计算损失函数，计算速度较快，能够提高术前影像数据与术中物理解剖结构配准的速度和鲁棒性。
上述实施例主要是利用对抗性网络，能够自动学习图像之间的相似性度量，训练成一个可变形的图像配准网络。对抗性图像配准网络由配准生成器和配准鉴别器两个子网络组成。更具体地说，生成器网络是一个预测形变场的配准网络，鉴别器网络是判别图像是否良好对准，并在训练期间将未对准信息反馈到生成器网络的辨别网络。生成器网络和鉴别器网络是通过对抗性训练学习的，学习的衡量标准为图像间是否达到良好的配准。通过同时训练两个多层次神经网络，一个作为生成器，另一个作为鉴别器，不仅得到一个图像配准网络，还得到一个帮助评价图像配准质量的度量网络。
实施例二：
基于深度学习的食管区域图像自动配准方法，如图1所示，包括以下步骤：
输入的CT和DR图像经过预处理模块的裁剪和降噪处理后，分为运动图像和固定图像，其中DR图像作为运动图像，CT图像作为固定图像，然后，输入到对抗性图像配准网络中进行配准。
在对抗性图像配准网络中，如图2所示，生成器直接估计输入的CT图像与DR图像之间的形变场参数。然后，图像重采样模块使用生成器网络估计的变换和真实值变换来插值输入运动图像，以获得重采样后的新运动图像。鉴别器网络试图判断它的输入图像是否使用生成器网络估计的变换和真实值变换进行对准。
随着训练的进行，生成器网络和鉴别器网络都在迭代更新。鉴别器的反馈将被用来改进生成器，最终生成器将被训练好以产生接近真实变换的图像，以通过鉴别器的测试。
实施例二提供的方法不仅利用生成器网络的高效反馈通道直接估计变换参数，而且还利用鉴别器网络评价配准的质量，这使得它非常适合于图像引导放射治疗等应用。该配准方法在进行多模态图像配准中在配准精度、计算时间、以及对异常值(如手术器械产生的异常值)的鲁棒性都具有较高的水平。
具体步骤过程介绍如下：
步骤1.对输入图像进行预处理。
通过收集在医院接受图像引导放射治疗患者的CT与DR图像数据，经过图像预处理单元的数据清洗与整理，输入到对抗性图像配准网络中进行配准。首先对CT与DR图像进行归一化和标准化的初步预处理，其次将数据集中的CT与DR图像分别进行降噪处理，然后再选取感兴趣区域(ROI)去除对配准过程产生影响的区域。最后将所述数据集进行划分，主要划分为训练集、验证集和测试集。
步骤2.通过基于FCN的生成器生成配准图像。
将经过预处理步骤之后的CT与DR图像，再进行降维处理后输入到基于FCN的配准图像生成器，使用FCN作为生成器，可以直接生成形变场，输出配准后的图像，再输入到基于CNN的鉴别器中进行判断。为了按顺序配准每个图像，该系统采用一个低维向量(隐藏向量)作为输入，隐藏向量是通过自动编码器来获得，自动编码器是由编码器和解码器两部分构成的网络结构。然后通过具有n个全连接层的FCN网络生成二维空间到三维空间的形变场。基于FCN的生成器在优化时，不仅会更新网络参数，还会更新输入的隐藏向量。基于FCN的训练策略，能够训练每个反向传播中的所有观测区域。该策略减少配准过程中形变场的自由度，可以提高训练的效率，与现有的配准方法相比，该方法具有更高的配准精度，实现了端到端的图像配准。
步骤3.通过基于CNN的鉴别器分辨配准后的图像是否对齐。
将经过生成器网络生成的配准后图像输入到鉴别器网络，然后，鉴别器训练CNN网络来编码从输入的配准后图像到输出分类值的直接映射。这样分类值测量和权重分配就可以通过神经网络以一种“最优参数”的方式共同实现。考虑到多模态医学图像的不同成像模式，该系统采用基于图像金字塔的多尺度融合方法，使配准过程更符合人类的视觉感知。此外，该系统还采用基于局部相似度的策略对输入多模态医学图像的分解系数进行自适应调整。该系统利用基于CNN的鉴别器网络将配准后图像连接到相应的中间层进行非刚性形变，在鉴别器网络中引入短残差连接和长残差连接，以加强配准图像信息的传播。在鉴别器中引入反馈机制，代替单次的配准估计，并对形变参数进行迭代调整，实现可靠、高效的在线2D-3D图像配准。
步骤4.对配准模型进行评价
模型评价单元主要使用损失函数(Loss Function)来评价模型的预测值和真实值相似程度，损失函数越精确，通常模型的性能越好。在基于深度学习的食管区域图像自动配准系统中，配准的质量由损失函数来衡量，损失函数用来衡量配准后图像的对齐程度。在该系统中主要使用了交叉熵损失函数，交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在深度学习中表示为真实概率分布与预测概率分布之间的差异。交叉熵损失函数使用逻辑函数得到概率，并结合交叉熵来计算损失函数，计算速度较快，能够提高术前影像数据与术中物理解剖结构配准的速度和鲁棒性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，本领域技术人员不需要付出创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种林区点云快速配准方法