阅读说明：本技术 基于双正则约束的mvct图像纹理增强方法 (MVCT image texture enhancement method based on double regular constraints ) 是由 缑水平 刘豪锋 卢云飞 顾裕 毛莎莎 焦昶哲 刘芳 李阳阳 于 2019-09-03 设计创作，主要内容包括：本发明公开了一种基于双正则约束的MVCT图像纹理增强方法,主要解决现有技术不能进行MVCT图像增强的问题。其方案是：1)从人体同一部位获取多张KVCT和MVCT图像；2)对获得的CT图像数据集进行归一化,再在每对CT图像上进行取块,得到CT图像块数据集；3)建立一个13层的MVCT图像纹理增强网络,使用CT图像块数据集作为训练数据,使用梯度下降算法优化该网络,得到训练好的网络；4)输入一张完整的MVCT图像到该训练好的网络中,即可输出增强后的MVCT图像。本发明能在图像纹理增强的同时,较好地保持图像的边缘和细节,提高图像质量,便于医生对MVCT图像阅片诊断,修正病灶位置误差,保证放疗的准确性。(The invention discloses an MVCT image texture enhancement method based on double regular constraints, which mainly solves the problem that the MVCT image enhancement cannot be carried out in the prior art. The scheme is as follows: 1) acquiring a plurality of KVCT and MVCT images from the same part of a human body; 2) normalizing the obtained CT image data sets, and then taking blocks from each pair of CT images to obtain CT image block data sets; 3) establishing a 13-layer MVCT image texture enhancement network, using a CT image block data set as training data, and optimizing the network by using a gradient descent algorithm to obtain a trained network; 4) and inputting a complete MVCT image into the trained network, and outputting the enhanced MVCT image. The invention can better keep the edge and the detail of the image while enhancing the image texture, improve the image quality, facilitate the diagnosis of the MVCT image reading by a doctor, correct the position error of the focus and ensure the accuracy of the radiotherapy.)

基于双正则约束的MVCT图像纹理增强方法

技术领域

本发明属于医学图像处理技术领域，特别涉及一种MVCT图像纹理增强的方法，可用于提高CT图像质量和成像器官、组织的可视效果。

背景技术

兆伏计算机断层扫描MVCT和千伏计算机断层扫描KVCT是X射线CT中常见的两种形式。相比于KVCT，MVCT设备成像管电压较高，可以发现组织器官中的癌变区域，广泛用于肿瘤和癌症的术前放射治疗中。但是MVCT噪声大，不适合跟踪治疗。目前主流的做法是治疗前使用MVCT成像，与放疗计划的KVCT图像配准，修正病灶位置误差从而保证放疗的准确性。随着人们对CT辐射的关注，对人体伤害较少的MVCT的使用率会逐渐提升。这对改善MVCT图像的质量达到医生阅片诊断的标准提出了要求。通常，在治疗过程中获取的MVCT图像缺少对应的高对比度及无噪图像作为参考和评价，难以通过学习的方式进行MVCT图像的增强。所以，急需一种有效的方法以提高MVCT图像的质量。

当前，MVCT图像增强主要集中在图像去噪方向，其采取的方法有两类，一类是基于投影域的方法，其包括双边滤波、静态小波变换，最大后验概率估计等，这些方法对原始信号依赖性强，去噪之后的图像在分辨率上会有一定的降低；另一类是基于神经网络的方法，其包括RED-CNN，降噪自动编码机，DnCNN等，这些方法去噪之后的图像在视觉效果以及对比度上没有显著提升，并且会出现软组织边缘模糊等现象。

此外，所述这两类方法的最大不足是：由于只将MVCT图像的增强任务简化为去噪任务，而这种单纯的去噪既不能很大地改善图像质量，而且还会损失MVCT图像的对比度和细节信息。导致在治疗过程中的病人仍然需要进行KVCT成像来提供CT图像的细节信息，辅助医生更好的制定治疗方案。

发明内容

本发明目的在于针对上述方法在图像增强过程中的不足，提供一种基于双正则约束的MVCT图像纹理增强方法，以在保持MVCT图像灰度信息和梯度信息，及去除MVCT图像噪声的同时，增强MVCT图像纹理，减少模糊边缘和损失细节的现象，提高图像的质量。

为实现上述目的，其实现方案包括如下：

1.一种基于双正则约束的MVCT图像纹理增强方法，其特征在于，包括如下：

(1)使用兆伏计算机断层扫描MVCT设备和千伏计算机断层扫描KVCT设备对人体同一部位进行成像，得到多张成对的MVCT图像X和KVCT图像Y，记为{X,Y}，其中，MVCT成像时能量为6MV，KVCT成像时能量为120KV，将多个{X,Y}记为图像数据集D_A；

(2)对图像数据集D_A中每张MVCT和KVCT图像进行归一化操作，即将CT图像的亨氏单位Hu值映射到区间[0,1]；

(3)对图像数据集D_A中每对MVCT图像和KVCT图像进行取块，建立图像块数据集D_P；

(4)搭建基于双正则约束的MVCT图像纹理增强网络N，并初始化：

(4a)根据得到的图像块数据集D_P，通过交叉验证设置一个包括输入层、边缘算子层、残差层、反卷积层和输出层的13层网络，构成基于双正则约束的MVCT图像纹理增强网络N，网络的输入为MVCT图像，输出为增强后的MVCT图像；

(4b)用MSRA初始化方法初始化网络的权值W，并将网络的所有偏置b初始化为0；

(5)使用图像块数据集D_P，训练基于双正则约束的MVCT图像纹理增强网络N：

(5a)打乱图像块数据集D_P中图像块对的顺序，依次从D_P中选择MVCT图像的一个训练块X_P和KVCT图像的一个训练块Y_P，记为一个训练样本对{X_P,Y_P}；

(5b)将X_P和Y_P输入到网络N中，经过前向传播，在反卷积层第一次卷积后得到输出结果和第二次卷积后得到输出结果和网络的输出为增强后的MVCT图像块A_T；

(5c)根据两次反卷积的输出结果和计算KVCT和MVCT图像特征图之间的差异，得到图像纹理增强网络N的双正则约束损失L_a；

(5d)根据图像纹理增强网络N的输入X_P、Y_P和增强后的MVCT图像块A_T，分别计算生成式网络GAN的损失L_b和循环生成式网络Cycle GAN的损失L_c；

(5e)对图像纹理增强网络N的双正则约束损失L_a、生成式网络GAN的损失L_b和循环生成式网络Cycle GAN损失L_c进行线性加权，得到图像纹理增强网络N的整体损失：

L_N＝α×L_a+β×L_b+γ×L_c，

其中α为双正则约束损失L_a的权重系数，β为生成式网络GAN的损失L_b的权重系数，γ为循环生成式网络Cycle GAN损失L_c的权重系数；

(5f)根据图像纹理增强网络N的输入X_P、Y_P和增强后的MVCT图像块A_T，计算判别函数D_Y的损失L_d和判别函数D_X的损失L_e；

(5g)在边缘算子层使用Laplace卷积核g卷积输入图像纹理增强网络N的MVCT图像训练块X_P，得到该训练块的梯度图G_x；

(5h)更新图像纹理增强网络N的权值W和所有偏置b：

(5h1)根据图像纹理增强网络N的整体损失L_N和判别函数D_Y的损失L_d，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；

(5h2)根据图像纹理增强网络N的整体损失L_N和判别函数D_X的损失L_e，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；

(5i)重复以上步骤(5a)到(5h)，直到达到网络训练的最大迭代次数T＝5000，得到训练好的MVCT图像纹理增强网络N_T；

(6)将一张完整的MVCT图像X_T输入到训练好的图像纹理增强网络N_T中，经过该增强网络N_T的前向传播，得到增强后的MVCT图像A_T。

本发明与现有技术相比具有以下优点：

1.本发明由于在MVCT图像纹理增强网络的整体损失L_N加入双正则约束损失L_a，在生成式网络GAN中加入判别函数D_Y的损失L_d和判别函数D_X的损失L_e，在训练过程中优化L_N、L_d和L_e，通过生成式网络和判别函数的博弈，对图像纹理增强网络和判别函数的权值不断更新，可使得增强后的MVCT图像不仅在视觉效果上接近KVCT图像，而且在图像统计信息上也尽可能地符合KVCT图像的灰度统计分布规律。

2.本发明由于在MVCT图像纹理增强网络的训练过程中，使用双正则约束损失对网络的反卷积层进行约束，使得输入MVCT图像在一系列卷积操作后获得的高阶特征图，经过图像纹理增强网络的重构后，输出的增强MVCT图像更加逼近KVCT图像，并能恢复出比较清晰的纹理信息。

3.本发明由于使用边缘算子将MVCT图像提取的边缘信息加入到图像纹理增强网络的输出层，使得输出MVCT图像边缘这一高频信息与输入MVCT图像保持一致，增强了MVCT图像中的组织边缘信息。

4.本发明是直接在图像域进行去噪和增强，应用范围更广泛。

附图说明

图1是本发明的实现流程图；

图2是本发明中所使用的MVCT图像；

图3是本发明中所使用的KVCT图像；

图4是本发明中的图像取块示例图；

图5是本发明中构建的基于双正则约束的MVCT图像纹理增强网络；

图6是用本发明对MVCT图像纹理增强后的结果图。

具体实施方式

以下结合附图，对本发明的具体实施例和效果作进一步的解释和说明：

参照图1，本发明基于双正则约束的MVCT图像纹理增强方法，其实现步骤如下：

步骤1：数据准备。

1a)使用兆伏计算机断层扫描MVCT设备和千伏计算机断层扫描KVCT设备对人体同一部位进行成像，得到多张成对的MVCT图像X和KVCT图像Y，将每对记为{X,Y}，其中，MVCT成像时能量为6MV，如图2所示，图像的大小为512*512；KVCT成像时能量为120KV，如图3所示，图像的大小为512*512，将多个{X,Y}对组成图像数据集D_A；

1b)对图像数据集D_A中每张MVCT和KVCT图像进行归一化操作：

(1b1)将输入CT图像的亨氏单位Hu值范围[-1024,3071]线性平移至[0,4095]，得到Hu值范围线性平移后的图像

其中，X为输入的CT图像；

(1b2)将平移后的Hu值范围[0,4095]归一化到[0,1]，得到归一化后的图像y：

其中为平移后的CT图像，表示平移后CT图像Hu值的最小值，表示平移后CT图像Hu值的最大值；

1c)对图像数据集D_A中归一化后的中每对CT图像进行取块，建立图像块数据集D_P；

参照图4，本步骤的具体实现如下：

(1c1)在MVCT图像上的中心区域随机选择位置，记录此位置，并以此位置从左上角向右下方截取尺寸为64*64的图像块X_P，共计取32个；

(1c2)在KVCT图像上，根据在MVCT图像上记录的取块位置，并以此位置从左上角向右下方截取尺寸为64*64的图像块Y_P，共计取32个；

(1c3)将截取的图像块X_P和Y_P，记为CT图像块对{X_P,Y_P}；

(1c4)重复操作(1c1)到(1c3)，依次处理D_A中每一对CT图像，同时去除部分孔洞图像，得到CT图像块数据集D_P。

步骤2：构成基于双正则约束的MVCT图像纹理增强网络N。

根据得到的图像块数据集D_P，通过交叉验证设置一个包括输入层、边缘算子层、残差层、反卷积层和输出层的13层网络，网络的输入为MVCT图像，输出为增强后的MVCT图像。

参照图5，本步骤的具体实现如下：

2a)第1到第3层是输入层，每层包含一个卷积层Conv和一个修正线性单元激活层Relu，其中第一个卷积层Conv的卷积核大小为7*7，移动步长为1，第二个卷积层Conv和第三个卷积层Conv的卷积核大小均为3*3，移动步长为2；

2b)第4层到第9层是残差层Res block，每层都由同一种模块构造，该模块由依次连接的一个卷积层Conv、一个修正线性单元激活层Relu和一个卷积层Conv组成，其中每个卷积层Conv均含有64个卷积核，每个卷积核大小为3*3；

2c)第10层到第11层是反卷积层，每层包含一个反卷积层Deconv和一个修正线性单元激活层Relu，其中，反卷积层Deconv只包含一个卷积核，卷积核大小为3*3；

2d)第12层是边缘算子层，其包含一个卷积核大小为3*3的Laplace；

2e)第13层是输出层，其包含一个卷积核大小为3*3卷积层Conv和一个修正线性单元激活层tanh。

上述网络N中的卷积层，其数学形式如下：

其中，表示网络第l层的第i个特征图，当l＝0时，F⁰表示网络输入的MVCT图像块，表示网络第l层的第i个卷积核的权值，表示网络第l层的第i个卷积核的偏置，n_l表示网络第l层的卷积核数量，表示图像卷积运算，该卷积运算采用“same”方式，以保持卷积前后图像大小不变；

上述图像增强网络N中的修正线性单元激活层ReLU，其数学形式如下：

其中，x表示输入数据。

步骤3，对图像纹理增强网络N的权值W和偏置b进行初始化。

3a)使用MSRA方法对网络N的权值W进行初始化，其公式如下：

其中，W表示网络的权值，N(·,·)表示高斯分布，即网络的权值W服从均值为0，标准差为的高斯分布；

3b)将网络N的所有偏置b均初始化为数值0。

步骤4：使用图像块数据集D_P，训练图像纹理增强网络N。

4a)打乱图像块数据集D_P中图像块对的顺序，依次从D_P中选择MVCT图像的一个训练块X_P和KVCT图像的一个训练块Y_P，记为一个训练样本对{X_P,Y_P}；

4b)选择边缘检测算子Laplace卷积核g，根据Laplace卷积核g得到输入MVCT图像块的边缘特征图G_x：

其中，X_P表示MVCT图像块，表示图像卷积运算，该卷积运算采用“same”方式，以保持卷积前后图像大小不变；

4c)将X_P和Y_P输入到网络N中，经过前向传播，在反卷积层第一次卷积后得到输出结果和第二次卷积后得到输出结果和网络的输出为增强后的MVCT图像块A_T，根据两次反卷积的输出结果和计算KVCT和MVCT图像特征图之间的差异，得到图像纹理增强网络N的双正则约束损失L_a：

其中，X_P是符合MVCT分布规律p(X)的图像，Y_P是符合KVCT分布规律p(Y)的图像，和分别表示图像纹理增强网络N中的第一个反卷积层和第二个反卷积层，分别表示X_P和Y_P对应的输出特征图；

4d)计算生成式网络GAN的损失L_b：

其中，G(.)是将符合MVCT分布规律p(X)的图像通过图像纹理增强网络N生成符合KVCT分布规律p(Y)的图像的函数，D_Y(.)是判别函数。

4e)计算循环生成式网络Cycle GAN的损失L_c：

其中，X_P是符合MVCT分布规律p(X)的图像，Y_P是符合KVCT分布规律p(Y)的图像，G(.)是将符合MVCT分布规律p(X)的图像通过图像纹理增强网络N生成符合KVCT分布规律p(Y)的图像，F(.)是将符合KVCT分布规律p(Y)的图像通过图像纹理增强网络N生成符合MVCT分布规律p(X)的图像。

4f)根据4c)到4e)的结果，计算图像纹理增强网络N的整体损失L_N，按如下公式进行：

L_N＝α×L_a+β×L_b+γ×L_c，

其中，α为图像纹理增强网络N双正则约束损失L_a的权重系数，其值设为1，β是生成式网络GAN损失L_b的权重系数，其值设为10，γ是循环生成式网络Cycle GAN损失L_c的权重系数，其值设为0.1；

4g)计算图像纹理增强网络N的判别函数D_Y的损失L_d和D_X的损失L_e：

其中，X_P是符合MVCT分布规律p(X)的，Y_P是符合KVCT分布规律p(Y)的图像，G(.)是将符合MVCT分布规律p(X)的图像通过图像纹理增强网络N生成符合KVCT分布规律p(Y)的图像，F(.)是将符合KVCT分布规律p(Y)的图像通过图像纹理增强网络N生成符合MVCT分布规律p(X)的图像。

4h)更新图像纹理增强网络N的权值W和所有偏置b:

(4h1)根据图像纹理增强网络N的整体损失L_N和判别函数D_Y的损失L_d，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；

(4h2)根据图像纹理增强网络N的整体损失L_N和判别函数D_X的损失L_e，使用自适应矩估计优化器对网络的权值W和所有偏置b进行更新；

其中，通过下式对当前的网络权值更新：

其中，W(k)表示第k次训练后得到的网络权值，W(k+1)表示第k+1次训练后得到的网络权值，b(k)表示第k次训练后得到的网络偏置，b(k+1)表示第k+1次训练后得到的网络偏置；μ表示图像纹理增强网络N的学习率，其初始学习率的值设为0.0002，经过1000次训练后使用多项式衰减函数将学习率调整为0.0001；

4i)重复步骤(4a)到(4h)，直到达到网络训练的最大迭代次数T＝5000，得到训练好的图像纹理增强网络N_T。

步骤5：使用训练好的图像纹理增强网络N_T对MVCT图像进行增强。

将一张完整的MVCT图像X_T，如图6(A)所示，输入到训练好的MVCT图像纹理增强网络N_T中，经过该图像纹理增强网络N_T的前向传播，得到增强后的CT图像A_T，如图6(B)所示。

从图6可以看出，在图像恢复的过程中同时考虑图像灰度信息的重建和图像梯度的保持，得到的增强的后图像细节更丰富、清晰，可视性更好。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。