基于可变形图谱的医学影像配准网络训练数据集扩充方法
阅读说明：本技术 基于可变形图谱的医学影像配准网络训练数据集扩充方法 (Medical image registration network training data set expansion method based on deformable atlas ) 是由 韩璐 朱闻韬 饶璠 张铎 祁二钊 于 2021-09-09 设计创作，主要内容包括：本发明公开了一种基于可变形图谱的医学影像配准网络训练数据集扩充方法。该方法首先在尽可能避免引入不符合形态学变形的前提下,将输入的训练数据配准到不同形态的图谱上。随后,评估配准后训练数据和图谱的差异,修正图谱的参数向不引入不合理变形的方向微调。接着,在最大化配准精度的条件下,将输入的训练数据配准到不同形态的修正后的图谱上,恢复出训练数据第一次配准时未变形完全的细节。最后,计算相关性度量参数,剔除不满足预期的变形数据,从而生成与输入训练数据集形态不同且反应人体形态真实变化规律的扩充数据集。本发明可以有效地扩充医学影像配准网络的训练数据集,从而降低构建数据集的时间成本、人力成本和费用成本。(The invention discloses a medical image registration network training data set expansion method based on a deformable atlas. The method firstly registers input training data to atlases of different forms on the premise of avoiding introducing non-conforming morphological deformation as much as possible. Subsequently, the differences between the registered training data and the atlas are evaluated, and the parameters of the corrected atlas are fine-tuned in a direction that does not introduce unreasonable deformation. Then, under the condition of maximizing the registration accuracy, registering the input training data to the corrected atlas in different forms, and recovering the details which are not completely deformed when the training data is registered for the first time. And finally, calculating a correlation measurement parameter, and eliminating deformation data which do not meet expectations, thereby generating an expansion data set which has a shape different from that of the input training data set and reflects the real change rule of the human body shape. The invention can effectively expand the training data set of the medical image registration network, thereby reducing the time cost, the labor cost and the expense cost for constructing the data set.)
技术领域
本发明属于图像数据扩充领域，具体涉及一种基于可变形图谱的医学影像配准网络训练数据集扩充方法。
背景技术
近年来，深度学习越来越广泛地应用于医学图像分析研究中。其中，基于深度学习的医学图像配准方法取得了很好的效果，具有很大的优势和潜力。相较于传统的配准方法，基于深度学习的配准方法可以在获得一致或更高的配准精度的前提下，实现运算时间数量级上的缩短。但是，训练数据集的匮乏在很多情况下限制了深度学习方法的优势。因此目前亟需一种有效构建深度学习训练数据集的方法，这对深化深度学习在医学图像分析研究中的应用有很好的实际意义。
随着大数据时代的到来，采用统计建模的方法可以从大量真实的人体形态数据样本中学习到图谱变形的特征参数，使得可变形图谱通过调整这些特征参数来表征个体形态差异信息。个性化三维可变形图谱技术越来越多地被应用在医学领域，为医患交流、模拟仿真、临床诊疗提供了有价值的参考数据。
可变形图谱技术以平均人体解剖模型为基础形态，通过对基础形态施加变形向量实现模型的变形，其变形方程为：X = X 0 +∑ k a k V k 。其中，X 0表示图谱基础形态的网格顶点坐标，描述为X 0 = [x 1,y 1,z 1,…, x i ,y i ,z i ,…x n ,y n ,z n ] T ，(x i ,y i ,z i )第i个顶点的坐标；X表示图谱变形后的网格顶点坐标；V k 表示第k个特征对应的形状特征向量，由大量真实人体形态数据统计生成V k = [v k,1(x), v k,1(y), v k,1(z),…, v k, i (x), v k, i (y), v k,i (z),…,v k, n (x), v k, n (y), v k,n (z),] T ，( v k, i (x), v k, i (y), v k,i (z))为第k个特征中针对第i个顶点的位移向量；a k 为对应的形态特征控制参数，a k 的取值决定图谱的变形结果。
发明内容
本发明针对现存的深度学习配准网络训练数据集的匮乏的问题，提出了一种基于可变形图谱的医学影像配准网络训练数据集扩充方法。该方法利用可变形图谱真实反映人体形态个体差异的特点，首先将输入的训练数据集配准到不同个体形态的图谱上，接着微调图谱的形态特征参数向不引入不符合形态学变形的方向修正，最后将输入的训练数据配准到修正后的不同个体形态的图谱上，并计算相关性度量参数，经过筛选，输出与训练数据集形态不同的能够表征个体形态差异且变形符合形态学规律的扩充数据集。本发明利用了配准变形的平滑约束以及可变形图谱统计得到的特征来约束不合理的变形，从而在保证形态学变化规律的条件下生成形态不一的扩充训练数据。
本发明的技术方案具体如下：
一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，包括以下步骤：
步骤一：通过手动调节或算法自动调节图谱模型的形态特征控制参数生成与输入的训练数据图像形态不同的变形图谱；
步骤二：在保证配准变形平滑性的条件下，将训练数据图像一一配准到形态不同的变形图谱上得到配准后的训练数据图像；
步骤三：根据对应的配准后的训练数据图像和变形图谱形状拟合和/或灰度拟合后的结果修正变形图谱的参数，向不引入不合理变形的方向微调，输出修正后的变形图谱；
步骤四：在保证配准精度的条件下，将训练数据图像一一配准到对应的修正后的变形图谱上，恢复出步骤一训练数据第一次配准时未变形完全的细节，得到扩充数据集；
步骤五：一一计算对应的扩充数据集图像与训练数据图像的相关性度量参数，筛选出与训练数据集形态不同且反应人体形态真实变化规律的扩充数据集。
进一步地，所述步骤一中，所述图谱模型的变形方程表示为：
X = X 0 +∑ k a k V k
其中X表示变形图谱的网格顶点坐标，X 0表示图谱基础形态的网格顶点坐标，V k 表示第k个特征对应的形状特征向量，a k 为对应的形态特征控制参数；
图谱的不同形态是图谱在默认特征参数的基础形态下，依据图谱的变形方程通过调节图谱的形态特征控制参数来实现的，或依据自动调节图谱形态特征的算法进行调整，具体如下：
将图谱模型中基础形态对应的图谱一一配准到输入的训练数据图像上，再通过计算拟合出配准后图谱的形态特征控制参数a k ，再以a k 为基准利用随机数随机生成新的形态特征控制参数a’ k ，生成与输入的训练数据形态不同的变形图谱。
进一步地，所述步骤二和步骤四中，配准的工具为训练好的配准网络、SimpleITK、ANTs和Elastix中的一种或两种。
进一步地，所述训练好的配准网络训练时的损失函数具体为，其中f、m分别表示配准时的固定图像和浮动图 像，ϕ为变形场，m ◦ ϕ 为配准后的浮动图像，L sim 为配准后的浮动图像与原始的浮动图 像的误差损失，L smooth 为配准变形平滑性损失，λ是正则化系数，通过控制训练时的损失函数 的正则化系数调节配准变形平滑性和配准精度，其中，λ越小配准精度越高，配准变形平滑 性越低。在步骤二中，配准为非线性配准，且正则化因子足够大，在一定配准精度的条件下， 尽可能多的抑制不符合形态学的变形。在步骤四中，配准为非线性配准，且正则化因子足够 小，最大化配准的精度，恢复出步骤二配准中未形变完全的细节信息。从而使得扩充数据集 在步骤四保证变形合理的前提下，尽可能反映个体形态差异。
进一步地，所述保证配准变形平滑性的条件为：λ取值0.01~0.1，所述保证配准精度的条件为：λ取值0.001~0.01。
进一步地，所述步骤三中，形状拟合具体为：
计算步骤二得到的配准后的训练数据图像与步骤一生成的变形后的图谱中对应两个点云之间的位移差异，利用图谱模型里的各个形状特征向量来逼近对应两个点云之间的位移差；根据求解得到的各个形状特征向量的数值分量变化对步骤一生成的变形后的图谱进行修正；
灰度拟合具体为：计算步骤二得到的配准后的训练数据图像与步骤一生成的变形后的图谱两个图像之间的灰度差异，利用图谱模型里的各个灰度特征向量来拟合两个图像之间的灰度变化；根据求解得到的各个灰度特征向量的数值分量变化对步骤一生成的变形后的图谱的灰度进行修正。
通过对图谱形态特征参数的修正，结合所述步骤四中配准精度的最大化，使得扩充数据集在保证变形合理的前提下，尽可能真实反映个体形态差异。
进一步地，所述步骤五中相关性度量参数为相关性和/或互信息参数。
进一步地，所述训练数据图像为CT图像、MRI图像、超声图像、PET图像或SPECT图像。
进一步地，该方法所适用的人体器官不受限，可应用于肺、肝脏等器官。
本发明的有益效果在于：
本发明利用可变形图谱真实反映人体形态个体差异的特点，提出了一种构建医学影像配准网络训练数据集的方法。该方法在保证扩充数据集变形合理的前提下，尽可能地真实反映个体形态差异。
本发明能大大降低构建医学影像配准网络数据集的时间成本、人力成本和费用成本，帮助深度学习方法发挥在医学图像分析上的优势。
附图说明
图1是本发明一种基于可变形图谱的医学影像配准网络训练数据集扩充方法的流程图；
图2是调节图谱模型的形态特征控制参数生成不同个体形态图谱的示意图；
图3是一种无监督非线性的医学图像配准网络的网络结构示意图。
具体实施方式
本发明提供了一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，通过借助可变形图谱的表征个体形态差异信息的优势，将用于深度学习的有限的训练样本利用配准的方法进行扩充，经过修正和筛选后，输出与输入训练数据集形态不同的扩充数据集。本发明可以有效地扩充医学影像配准网络的训练数据集，从而降低构建数据集的时间成本、人力成本和费用成本。
下面根据实施例和附图，对本发明作进一步的详细说明。
实施例1
图1是基于可变形图谱针对肺部医学影像配准网络训练数据集扩充方法的流程图，具体包括以下步骤：
步骤一：手动调节图谱模型的形态特征控制参数生成与输入的训练数据图像形态不同的变形图谱，如图2所示。其中，肺部可变形的图谱模型的构建遵循以下步骤：
a.对大量健康受试者的CT影像数据进行肺的分割，并利用等值面提取算法绘制分割曲面；
采用点云配准算法将专业的三维模型网站得到的解剖模板配准到所有绘制了分割曲面的CT影像数据样本上，使曲面顶点在不同样本中对应相同的解剖学位置，从而得到样本间解剖结构的对应关系。
b.对配准后的所有样本的点云进行广义普式分析，即在空间位置、方向和尺寸上进行归一化处理。
c.对归一化处理后的样本进行主成分分析，提取变形向量，具体如下：
归一化处理后的样本集表示为，其中，M为样本个数，第i个样本用 顶点坐标集合的列向量表示，n为每个 样本的顶点坐标数，则基础形态。基于X求协方差矩阵，对C做特征向量分解，选择特征值最大的前k个特征对应的特 征向量V k 作为可变形图谱形状的估计。
d.可变形图谱技术以平均人体解剖模型为基础形态，通过改变a k 实现模型的变形，其变形方程为：X = X 0 +∑ k a k V k 。
步骤二：在保证配准变形平滑性的条件下，将训练数据图像一一配准到形态不同 的变形图谱上，从而获得尽量符合形态学变形的配准后的训练数据图像。本实施例中，利用 无监督非线性的医学图像配准网络来实现配准，网络结构为UNet，具体结构如图3所示。网 络的输入为固定图像f和浮动图像m（分别对应于变形图谱和训练数据图像）拼接在一起的 双通道三维图像(f,m)，利用卷积核大小为3、步长为2的三维卷积操作进行编码和解码。图 中每个矩形框代表一个3D 卷积，下方标注了其空间分辨率相较于输入的变化。解码阶段的 箭头表示连接编码和解码阶段的特征作为该层的输入；输出为变形场和配准后的浮动图 像。利用收集的归一化后的CT影像数据进行训练获得，在训练时，损失函数为，其中，f、m分别表示配准时的固定图像和浮动 图像，ϕ 为变形场，m ◦ ϕ 为配准后的浮动图像，λ是正则化系数，L sim 为配准后的浮动图 像与原始的浮动图像的误差损失，L smooth 为配准变形平滑性损失，分别表示如下：
，
,
，，
其中，p是图像空间Ω中的某个体素，表示固定图像f关于p的表示函数，表示配准后的浮动图像关于p的表示函数，||*||为范数，p x ,p y ,p z 分别表示p在x、 y、z三个方向上的索引位置。u表示固定图像f和配准后的浮动图像关于p的变形函数。
正则化系数需要足够大，从而可以保证配准变形的平滑性，尽量避免不符合形态学的变形，推荐设置为0.01至0.1。
步骤三：通过形状拟合和灰度拟合对图谱进行修正。形状拟合时需要计算配准后的训练数据图像与步骤一生成的变形后的图谱中对应两个点云之间的位移差异。由于步骤二得到的配准后的训练数据图像与步骤一生成的变形后的图谱的曲面顶点具有一致性，两者点云的个数顺序相同，且对应相同的解剖学位置。因而，形状拟合的核心是利用图谱模型里的各个形状特征向量即V k 来逼近配准后的训练数据图像与步骤一生成的变形后的图谱中对应两个点云之间的位移差，可以用奇异值分解解方程AY=b，其中，A是形状特征向量V k 构成的矩阵，b是两个点云作差得到的位置差，Y是待求解的各个形状特征向量的数值分量，根据Y对图谱的形态特征控制参数进行修正向不引入不合理变形的方向微调；灰度拟合与形状拟合类似，不同点在于其利用图谱模型里的各个灰度特征向量来拟合两个图像之间的灰度变化，通过奇异值分解解方程AY=b，此时A是灰度特征向量构成的矩阵，b是两个图像作差得到的灰度差，Y是待求解的各个灰度特征的变形向量的数值分量，根据Y对步骤一生成的变形后的图谱不合理的灰度变化进行修正。
步骤四：在保证配准精度的条件下，将训练数据图像通过如图3所示的配准网络一一非线性配准到对应的修正后的变形图谱上得到扩充数据集。为最大化配准的精度，配准网络训练时的正则化系数需要足够小，推荐设置为0.001至0.01，从而可以恢复出步骤一训练数据图像第一次配准时未变形完全的细节。图1箭头示意了第一次配准时由于变形的平滑约束，配准精度不足导致的未变形完全的细节，对图谱进行修正后，通过第二次配准则获得了与输入训练数据集形态不同且反应人体真实形态的图像。
步骤五：一一计算扩充数据集图像与训练数据图像的相关性度量参数NCC归一化 相关性系数，，其中，f、m分别表示配准时 的固定图像和浮动图像，ϕ 为变形场，m ◦ ϕ 为配准后的浮动图像， 和 分别代 表固定图像、配准后的浮动图像的灰度均值：，，p是图像空间Ω中的某个体素。根据NCC剔除与输入训练数据 集过于雷同的扩充数据集，筛选出与输入训练数据集形态不同且反应人体形态真实变化规 律的扩充数据集。
实施例2
作为另一优选方案，本发明还可以采用特定算法自动调节图谱的形态特征参数生成与输入训练数据形态不同的变形后的图谱，且配准可以利用传统医学图像配准的方法，借助SimpleITK、ANTs、Elastix等工具包来实现，具体如下：
步骤一：将图谱模型中基础形态对应的图谱一一配准到输入的训练数据图像上，再通过计算拟合出配准后图谱的形态特征控制参数a k ，再以a k 为基准利用随机数随机生成新的形态特征控制参数a’ k ，生成与输入的训练数据形态不同的变形图谱。
步骤二：利用Elastix工具包将训练数据图像一一配准到形态不同的变形图谱上得到配准后的训练数据图像。Elastix工具包使用命令行程序elastix来进行配准，最基础的配准运行命令为：elastix -f fixedImage –m movingImage -out outputDirectory -pparameterFile.txt，其中parameterFile.txt是重要的参数文件，定义了配准的度量、优化和参数等内容。根据Elastix的官方说明手册，可以修改parameterFile.txt参数文件中的Penalty terms来调节配准变形的平滑程度和配准精度，参考配置如下：
(Metric "AnySimilarityMetric" "TransformBendingEnergyPenalty")
(Metric0Weight 1.0)
(Metric1Weight <weight>)
其中，weight越大，变形的平滑程度越高；weight越小，变形的平滑程度越低。
步骤三：结合配准后的训练数据和步骤一生成的变形后的图谱，利用Elastix工具包的transformix将图谱的顶点映射到步骤二得到的配准后训练数据上，相应的调用命令是transformix -def inputPoints.txt -out outputDirectory -tpTransformParameters.txt，其中，inputPoints.txt记录了用户指定变形的一组顶点。然后，通过形状拟合和灰度拟合修正图谱的参数向不引入不合理变形的方向微调，输出修正后的变形图谱。
步骤四：在最大化配准精度的条件下，将训练数据图像一一配准到对应的修正后的变形图谱上，恢复出步骤一训练数据第一次配准时未变形完全的细节，得到扩充数据集。
步骤五：一一计算对应的扩充数据集图像与训练数据图像的相关性度量参数，筛选出与训练数据集形态不同且反应人体形态真实变化规律的扩充数据集。
需要指出的是，示例中采用CT图像进行说明，但本发明不限于CT图像，也可包括超声图像、MRI图像、PET图像以及SPECT图像。同时，所适用的人体器官不受限，可应用于肺、肝脏等器官。
另外，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：基于深度学习的多模态医学图像融合方法及系统