一种基于残差特征聚合注意块的图像去马赛克方法
阅读说明：本技术 一种基于残差特征聚合注意块的图像去马赛克方法 (Image demosaicing method based on residual error feature aggregation attention block ) 是由 孙帮勇 魏凌云 于 2021-08-10 设计创作，主要内容包括：本发明公开了一种基于残差特征聚合注意块的图像去马赛克方法,步骤包括：步骤1,构建绿通道恢复网络,输入为Bayer滤光片阵列采样后的raw图,输出为重建的绿通道图；步骤2,构建红通道恢复网络,输入为红采样图和重建的绿通道图；输出为重建的红通道图；步骤3,构建蓝通道恢复网络；步骤4,将重建得到的红通道图、绿通道图和蓝通道图融合成重建的RGB图；步骤5,根据上述搭建的基于残差特征聚合注意块的网络模型,计算重建的RGB图与相对应的真实图像之间的平均绝对误差,以最小化L1损失函数为目标,优化该网络模型。本发明的方法,可以使网络学习更多的特征,提高重建效果,获得高质量的重建图像。(The invention discloses an image demosaicing method based on residual error feature aggregation attention blocks, which comprises the following steps: step 1, constructing a green channel recovery network, inputting a raw image sampled by a Bayer optical filter array, and outputting a reconstructed green channel image; step 2, constructing a red channel recovery network, and inputting a red sampling graph and a reconstructed green channel graph; outputting a reconstructed red channel map; step 3, constructing a blue channel recovery network; step 4, fusing the red channel image, the green channel image and the blue channel image which are obtained by reconstruction into a reconstructed RGB image; and 5, calculating the average absolute error between the reconstructed RGB image and the corresponding real image according to the constructed network model based on the residual error feature aggregation attention block, and optimizing the network model by taking the minimized L1 loss function as a target. The method of the invention can lead the network to learn more characteristics, improve the reconstruction effect and obtain the high-quality reconstruction image.)
技术领域
本发明属于图像处理与深度学习技术领域，涉及一种基于残差特征聚合注意块的图像去马赛克方法。
背景技术
彩色图像一般是由红(R)绿(G)蓝(B)三种颜色成分表示出来的，每种颜色成分称为一个颜色通道。现如今RGB数码相机记录彩色图像最普遍，而大部分的数码相机采用单个传感器的成像结构，传感器表面覆盖滤光片，曝光成像时，传感器的每个像素位置只采集一种颜色，这种直接采样获取的图像称为raw图，而重建出每个像素位置上没有直接采样到的其他两种颜色成分信息的过程被称为图像去马赛克。
当前RGB数码相机中，最常见的彩色滤光片阵列是Bayer滤光片阵列，其成像区域是由2×2的重复阵列组成，每组2×2阵列包含2个绿(G)、1个红(R)、1个蓝(B)像素。这样就会造成2/3的颜色信息丢失，而采样到的1/3的颜色信息大部分被噪声所污染，从而影响重建图像的质量。图像去马赛克处于图像处理流程中的第一步，应为后续一系列的图像处理任务打好基础，因此重建得到高质量的图像具有重要意义。
当前图像去马赛克的方法可大致分为三类：基于插值的方法、基于稀疏表示的方法和基于深度学习的方法。基于插值的方法中，有的算法忽略了通道间的相关性，而有的算法即使考虑到通道间的相关性，其在边缘、纹理等区域的重建效果也不令人满意。基于稀疏表示的方法，虽然精度高，但是也具有较高的复杂度，在实际应用中有所限制。基于深度学习的方法，通过设计神经网络，学习raw图中的特征以及各通道各相邻像素之间的相关性，进行重建图像，取得了一定的进步；但有的网络会先将raw图下采样到半尺寸的四通道图，使得分辨率降低，图像细节丢失，RGB之间的相对位置信息丢失，使重建图像不准确；而且有的网络模型存在复杂且训练困难的问题。
发明内容
本发明的目的是提供一种基于残差特征聚合注意块的图像去马赛克方法，解决了现有技术基于深度学习去马赛克时，重建图像出现伪影、模糊、训练困难和重建精度低的问题。
本发明的技术方案是，一种基于残差特征聚合注意块的图像去马赛克方法，按照以下步骤具体实施：
步骤1，构建绿通道恢复网络，该绿通道恢复网络的输入为Bayer滤光片阵列采样后的raw图，输出为重建的绿通道图；
步骤2，构建红通道恢复网络，输入为红采样图和重建的绿通道图，输出为重建的红通道图；
步骤3，构建蓝通道恢复网络；
步骤4，将重建得到的红通道图、绿通道图和蓝通道图融合成重建的RGB图；
步骤5，计算重建的RGB图与相对应的真实图像之间的平均绝对误差，以最小化L1损失函数为目标，优化该网络模型。
本发明的有益效果是，包括以下几个方面：
1)本发明提出通过级联残差特征聚合块构建网络模型学习raw图的特征重建绿通道图，与绿采样图相比，raw图拥有更多的图像信息，使网络学习更多的特征，提高重建效果。
2)本发明提出将残差块中提取的特征进行特征聚合处理，传统残差块中的前块特征必须经过很长的路径传播到后块，经过一系列的操作形成更复杂的融合特征，从而未完全利用较干净的残差特征；而特征聚合处理可以充分利用残差分支的分层特征和中间层的信息。
3)本发明提出多尺度注意块，学习特征图之间的层间和层内依赖关系，在多尺度上根据它们的相对重要性进行加权，使得网络可以重点学习有用特征，抑制无用特征。
4)现有技术中，将重建得到的绿通道图用作引导图像或作为先验信息来重建红通道和蓝通道的图像时，大多采用简单的操作，如拼接、加法和元素乘法等操作，但不能有效地挖掘先验信息的特征。本发明提出特征引导块，在特征域里运用非齐次线性映射模型来有效地融合绿通道图的先验信息，从而能够获得高质量的重建图像。
附图说明
图1是本发明方法的总体流程框图；
图2是本发明构建的绿通道恢复网络的框图；
图3是本发明构建的残差特征聚合注意块的框图；
图4是本发明构建的残差块的框图；
图5是本发明构建的多尺度注意块的框图；
图6是本发明构建的红/蓝通道恢复网络的框图；
图7是本发明构建的特征引导块的框图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明主要是一种基于残差特征聚合注意块的去马赛克方法，整体思路为：首先，将图片进行预处理操作，运用Bayer滤光片阵列将图片进行采样操作，得到raw图，并将得到的raw图进行通道拆分得到红采样图、绿采样图和蓝采样图；然后，进行绿通道的恢复，raw图通过残差特征聚合注意块学习特征，重建绿通道图；其次，将重建得到的绿通道图作为先验信息，用于指导红通道和蓝通道的特征学习，分别重建红通道图和蓝通道图；最后，将得到的三通道图进行合并，得到最终重建的RGB图。
如图1所示，本发明方法主要包括四部分，分别为绿通道恢复、红通道恢复、蓝通道恢复和融合成重建的RGB图。绿通道恢复主要是通过级联残差特征聚合注意块构建网络模型，充分利用残差分支的分层特征和来自中间层的信息，有效学习特征，从而得到重建的绿通道图。红通道恢复主要是由特征引导块和残差特征聚合注意块组成，特征引导块用于指导基于绿通道先验信息的红通道特征学习。蓝通道恢复方法与红通道恢复过程相同。最后将得到的重建红通道图、绿通道图和蓝通道图融合成RGB三通道图，最终得到重建的RGB图。
本发明的方法，利用上述原理及网络框架，按照以下步骤具体实施：
步骤1，构建绿通道恢复网络，绿通道恢复网络的主要作用是重建绿通道图，该绿通道恢复网络的输入为Bayer滤光片阵列采样后的raw图，大小为H×W×3，其中H和W分别表示输入图像的高度和宽度；输出为重建的绿通道图，大小为H×W×1，
如图2所示，绿通道恢复网络由级联的残差特征聚合注意块组成，图2中的为在维度为1上进行拼接，为按元素进行加法操作；绿通道恢复网络结构依次为：raw图(H×W×3)作为输入→第一个卷积层(Conv1)→第二个卷积层(Conv2)→残差特征聚合注意块1→第二个卷积层(Conv2)的输出与残差特征聚合注意块1的输出在维度为1上进行拼接操作→第三个卷积层(Conv3)→残差特征聚合注意块2→上一个拼接操作的输出与残差特征聚合注意块2的输出在维度为1上进行拼接操作→第四个卷积层(Conv4)→残差特征聚合注意块3→上一个拼接操作的输出与残差特征聚合注意块3的输出在维度为1上进行拼接操作→第五个卷积层(Conv5)→第二个卷积层(Conv2)的输出与第五个卷积层(Conv5)的输出按元素进行加法操作→第六个卷积层(Conv6)→第七个卷积层(Conv7)→输出重建的绿通道图(H×W×1)；
其中，Conv1卷积核大小为1×1，步长为1，特征映射总数为3个；Conv2卷积核大小为3×3，步长为3，特征映射总数为64个；Conv3、Conv4和Conv5卷积核大小均为3×3，步长均为3，特征映射总数均为64个，并且均通过ReLU激活；Conv6卷积核大小为3×3，步长为3，特征映射总数为3个；Conv7卷积核大小为1×1，步长为1，特征映射总数为1个。
残差特征聚合注意块的作用是充分利用中间层的信息，学习特征图之间的层间和层内依赖关系。
如图3所示，残差特征聚合注意块的结构依次为：输入→残差块1→残差块2→残差块3→第一个卷积层(Conv1)→最初输入与Conv1输出按元素进行加法操作→第二个卷积层(Conv2)→多尺度注意块→最初输入与多尺度注意块的输出按元素进行加法操作→输出；其中，残差块1、残差块2和残差块3的结构均相同，其结构见下文；Conv1的作用是将三个残差块的输出进行合并，输入为三个残差块的输出，卷积核大小为1×1，步长为1，特征映射总数均为64个；Conv2卷积核大小为3×3，步长为3，特征映射总数为64个，并通过ReLU激活；多尺度注意块的作用是在多尺度上根据它们的相对重要性进行加权，其结构见下文。
残差块的作用是学习残差特征，如图4所示，残差块的结构依次为：输入→第一个卷积层(Conv1)→第二个卷积层(Conv2)→最初的输入与Conv2的输出按元素进行加法操作→输出；其中，Conv1和Conv2卷积核大小均为3×3，步长均为3，特征映射总数均为64个，并且均通过ReLU激活。
多尺度注意块的作用是学习多尺度特征，并根据其相对重要性进行加权。如图5所示，多尺度注意块的结构依次为：输入→自适应平均池化→并行通过三个膨胀卷积层提取特征(Conv1、Conv2、Conv3)→将三个卷积层的输出在维度为1上进行拼接操作→第四个卷积层(Conv4)→最初输入与Conv4的输出按元素进行相乘操作→输出；其中，Conv1的卷积核大小为3×3，步长为3，特征映射总数为4个，膨胀率(dilation)为3，并通过ReLU激活；Conv2的卷积核大小为3×3，步长为3，特征映射总数为4个，膨胀率(dilation)为5，并通过ReLU激活；Conv3的卷积核大小为3×3，步长为3，特征映射总数为4个，膨胀率(dilation)为7，并通过ReLU激活；Conv4的卷积核大小为3×3，步长为3，特征映射总数为64个，并通过Sigmoid激活函数得到多尺度特征的权重。
步骤2，构建红通道恢复网络，该红通道恢复网络的输入为红采样图(大小为H×W×1)和重建的绿通道图(大小为H×W×1)；输出为重建的红通道图，大小为H×W×1；红通道恢复网络的作用是将重建的绿通道图作为先验信息，来引导红通道图的重建。
如图6所示，红通道恢复网络的结构依次为：红采样图和重建的绿通道图作为输入→特征引导块→残差特征聚合注意块→红采样图与残差特征聚合注意块的输出按元素进行加法操作→第一个卷积层(Conv1)→重建的红通道图；其中，特征引导块用作基于绿通道先验信息的红通道的特征提取，其结构见下文；本实施例中，Conv1的卷积核大小为1×1，步长为1，特征映射总数为1个。
由于大部分去马赛克方法通常使用简单的操作，如拼接、加法和元素乘法等操作来融合绿通道图的先验信息来重建红通道和蓝通道图，不能有效的挖掘先验信息来获得高质量图像。特征引导块主要是在特征域里运用非齐次线性映射模型来有效地融合的绿通道图的先验信息。
如图7所示，特征引导块的结构依次为：红采样图作为输入→第一个卷积层(Conv1)→Conv1的输出与重建的绿通道图经过第三个卷积(Conv3)操作的输出按元素做乘法操作→上一个乘法操作的输出与重建的绿通道图经过第四个卷积(Conv4)操作的输出按元素做加法操作→第二个卷积层(Conv2)→输出；本实施例中，Conv1和Conv4的卷积核大小均为3×3，步长均为3，特征映射总数均为64个；Conv2的卷积核大小为3×3，步长为3，特征映射总数为3个；Conv3的卷积核大小为3×3，步长为3，特征映射总数为64个，并通过Sigmoid函数激活。
步骤3，构建蓝通道恢复网络，如图6所示，蓝通道恢复网络的结构与红通道恢复网络的结构相似，区别是，输入为蓝采样图(大小为H×W×1)和重建的绿通道图(大小为H×W×1)；输出为重建的蓝通道图，大小为H×W×1。
步骤4，将重建得到的红通道图(大小为H×W×1)、绿通道图(大小为H×W×1)和蓝通道图(大小为H×W×1)融合成重建的RGB图(大小为H×W×3)。
步骤5，根据上述搭建的基于残差特征聚合注意块的网络模型，计算重建的RGB图与相对应的真实图像(Ground Truth)之间的平均绝对误差，以最小化L1损失函数为目标，优化该网络模型；
L1损失函数主要是衡量重建的RGB图像与对应的真实图像(Ground Truth)之间的差异性，主要是保护图像的颜色和结构信息，L1损失函数的表达式是：其中，N为每一批次图像的数量，Xi为网络模型重建的图像，为对应的真实图像(即Ground Truth)。