基于级联注意力机制的改正单图生成对抗网络的设计方法
阅读说明：本技术 基于级联注意力机制的改正单图生成对抗网络的设计方法 (Design method for generating countermeasure network by correcting simple graph based on cascade attention mechanism ) 是由 刘宝弟 赵丽飞 姜文宗 王延江 刘伟锋 于 2021-09-18 设计创作，主要内容包括：本发明公开了一种基于级联注意力机制的改正单图生成对抗网络的设计方法,属于模式识别技术领域,在生成对抗网络的基础上,嵌入级联注意力机制的注意力信息,用于图像处理任务,能够很好的利用图像特征中通道和像素信息的重要程度,提高生成对抗网络模型对于图像特征的学习性能。设计的级联通道注意力机制和级联空间注意力机制,可以有效的消除单一图像中特殊点对注意力机制的影响,通过将输入图像特征与注意力机制级联,进一步提高生成对抗网络模型的稳定性和生成图像的质量,将所述级联注意力机制构成网络模块集成在改正单图生成对抗网络中,使得改正单图生成对抗网络可以更好地学习图像复杂的全局特征。(The invention discloses a design method for generating an confrontation network by a correction simple graph based on a cascade attention mechanism, which belongs to the technical field of pattern recognition. The designed cascade channel attention mechanism and the cascade space attention mechanism can effectively eliminate the influence of special points in a single image on the attention mechanism, further improve the stability of a generated confrontation network model and the quality of generated images by cascading the characteristics of input images and the attention mechanism, and integrate a network module formed by the cascade attention mechanism into a correction single image generation confrontation network so that the correction single image generation confrontation network can better learn the complex global characteristics of the images.)
技术领域
本发明涉及模式识别技术领域，特别涉及一种基于级联注意力机制的改正单图生成对抗网络的设计方法。
背景技术
在卷积神经网络(CNNs)的影响下，生成对抗网络(GANs)在图像合成方面取得了重大进展，适用于各种图像处理任务，例如图像超分辨率、图像去噪、文本-图像合成、图像-图像翻译等。生成对抗网络由两部分组成：生成器和鉴别器，生成器通过训练来学习、模拟真实数据的分布规律，使其输入的噪声数据分布逐渐逼近于真实预期的数据分布；而鉴别器则是判别生成器产生的数据的分布是否符合真实数据的分布特性，并通过输出一个0至1之间的数字来表达数据的真实程度，当鉴别器输出的数字越接近于1时，说明生成数据越符合真实数据的分布规律；反之，越接近0时则说明生成的数据越不符合真实数据的分布规律，在这种对抗博弈下使得生成器和判别器不断提高性能，最终达到纳什平衡。
生成对抗网络的结构设计作为模式识别系统的一个重要环节，一直以来都是模式识别领域研究的核心问题之一。然而，现有的生成对抗网络在图像处理过程中，稳定性不好，影响生成图像的质量。
发明内容
为了解决现有生成对抗网络在图像处理过程中存在的问题，本发明实施例提供一种基于级联注意力机制的改正单图生成对抗网络的设计方法，在生成对抗网络的基础上，嵌入级联注意力机制的注意力信息，用于图像处理任务，从而提高生成对抗网络模型的稳定性和生成图像的质量。所述技术方案如下：
本发明提供了一种基于级联注意力机制的改正单图生成对抗网络的设计方法，包括：
利用输入噪声训练生成对抗网络模型，得到噪声到低分辨率图像的特征映射，获得低分辨率图像的图像特征；
将获得的低分辨率图像特征作为级联通道注意力机制的输入，计算级联通道注意力特征F'：
其中，F∈RC×H×W表示输入的低分辨率图像的图像特征，C表示通道数，H和W分别表示低分辨率图像的图像特征的高度和宽度；[·；·]表示级联操作；表示对元素的乘法；M包括7×7的卷积、正则化和ReLU函数；Tc表示通道注意力权重；
将获得的低分辨率图像特征作为级联空间注意力机制的输入，计算级联空间注意力特征F”：
其中，F∈RC×H×W表示输入的低分辨率图像的图像特征，C表示通道数，H和W分别表示低分辨率图像的图像特征的高度和宽度；[·；·]表示级联操作；表示对元素的乘法；M包括7×7的卷积、正则化和ReLU函数；Ts表示空间注意力权重；
构造级联注意力机制网络，得到第一阶段的注意力图像特征其中，
其中，[·；·；·]表示级联操作；M包括7×7的卷积、正则化和ReLU函数；
将上一阶段的注意力图像特征作为下一阶段的输入图像特征，并添加额外随机噪声，重复上述步骤，直至图片达到目标分辨率；
将原始图像用于重建损失，对重建损失和对抗损失的加权损失L进行优化，得到：
其中，Ladv(Gn,Dn)表示WGAN-GP对抗损失，Lrec(Gn)表示重建损失，Gn表示生成器，Dn表示马尔可夫判别器，α为重建损失Lrec的权重。具体的，其中，xn表示原始图像，x0表示xn的下采样版本经过训练后得到的特定分辨率重建阶段n的图像。
在上述的基于级联注意力机制的改正单图生成对抗网络的设计方法中，可选的是，通道注意力权重为：
Tc＝Sigmoid(f1×1[Favg；Fmax])
其中，[·；·]表示级联操作；Favg∈RC×1×1表示平均池化特征；Fmax∈RC×1×1表示最大池化特征；f1×1表示滤波器的大小为1x1的卷积运算；Sigmoid表示Sigmoid激活函数。
在上述的基于级联注意力机制的改正单图生成对抗网络的设计方法中，可选的是，平均池化特征和最大池化特征，是利用平均池化和最大池化对输入图像特征进行压缩得到。
在上述的基于级联注意力机制的改正单图生成对抗网络的设计方法中，可选的是，空间注意力权重为：
Ts＝Sigmoid(f1×1(F))
其中，f1×1表示滤波器的大小为1x1的卷积运算；Sigmoid表示Sigmoid激活函数。
本发明实施例提供的技术方案带来的有益效果是：
本发明实施例提供的一种基于级联注意力机制的改正单图生成对抗网络的设计方法，在生成对抗网络的基础上，嵌入级联注意力机制的注意力信息，用于图像处理任务，能够很好的利用图像特征中通道和像素信息的重要程度，提高生成对抗网络模型对于图像特征的学习性能。设计的级联通道注意力机制和级联空间注意力机制，可以有效的消除单一图像中特殊点对注意力机制的影响，通过将输入图像特征与注意力机制级联，进一步提高生成对抗网络模型的稳定性和生成图像的质量，将所述级联注意力机制构成网络模块集成在改正单图生成对抗网络中，使得改正单图生成对抗网络可以更好地学习图像复杂的全局特征。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于级联注意力机制的改正单图生成对抗网络的设计方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
下面将结合附图1，对本发明实施例的一种基于级联注意力机制的改正单图生成对抗网络的设计方法进行详细说明。
参考附图1所示，本发明实施例的一种基于级联注意力机制的改正单图生成对抗网络的设计方法包括：
步骤110：利用输入噪声训练生成对抗网络模型，得到噪声到低分辨率图像的特征映射，获得低分辨率图像的图像特征。
在第0阶段，将随机噪声作为生成器的输入，通过由3×3的卷积核组成的卷积层得到卷积特征作为低分辨率的图像特征。
步骤120：将步骤110中获得的低分辨率图像特征作为级联通道注意力机制的输入，级联通道注意力机制即对图像特征的不同通道特征赋予不同的权重。
计算级联通道注意力特征F'：
其中，F∈RC×H×W步骤110中的低分辨率图像的图像特征，C表示通道数，H和W分别表示低分辨率图像的图像特征的高度和宽度；[·；·]表示级联操作；表示对元素的乘法；M包括7×7的卷积、正则化和ReLU函数；Tc表示通道注意力权重。
需要说明的是，首先，将通道注意力权重与输入的低分辨率图像的图像特征相乘，得到通道注意力机制的图像特征，得到的通道注意力机制的图像特征表示不同通道的重要性，提高生成对抗网络模型对于图像特征的学习性能；然后，将输入的低分辨率图像的图像特征与得到的通道注意力机制的图像特征级联，提高生成对抗网络模型的稳定性和生成图像的质量；最后，将级联后的通道注意力机制的图像特征通过卷积层，归一化和ReLU函数得到级联通道注意力特征F'。
其中，通道注意力权重为：
Tc＝Sigmoid(f1×1[Favg；Fmax])
其中，[·；·]表示级联操作；Favg∈RC×1×1表示平均池化特征；Fmax∈RC×1×1表示最大池化特征；f1×1表示滤波器的大小为1x1的卷积运算；Sigmoid表示Sigmoid激活函数。
需要说明的是，首先，利用平均池化和最大池化，对输入图像特征进行压缩，得到平均池化特征Favg∈RC×1×1和最大池化特征Fmax∈RC×1×1，平均池化是将图像特征所有像素值相加求平均，得到一个数值，用该数值表示对应图像特征，最大池化是取图像特征中所有像素中的最大值，用该数值表示对应图像特征；然后，通过级联操作聚合平均池化特征和最大池化特征；最后，将聚合后的平均池化特征和最大池化特征通过卷积层和Sigmoid激活函数，得到通道注意力权重Tc∈RC×1×1。
步骤130：将步骤110中获得的低分辨率图像特征作为级联空间注意力机制的输入，级联空间注意力机制即对图像特征的不同空间特征赋予不同的权重，计算级联空间注意力特征F”：
其中，F∈RC×H×W为步骤110中的低分辨率图像的图像特征，C表示通道数，H和W分别表示低分辨率图像的图像特征的高度和宽度；[·；·]表示级联操作；表示对元素的乘法；M包括7×7的卷积、正则化和ReLU函数；Ts表示空间注意力权重。
需要说明的是，级联空间注意力机制是级联通道注意力机制的补充，起到辅助作用。与级联通道注意力机制一样，首先，利用1×1的卷积运算和Sigmoid函数得到空间注意力权重Ts。随后，将空间注意力权重与输入的低分辨率图像的图像特征进行元素相乘，得到带有权重的空间注意力机制的图像特征；然后，将输入的低分辨率图像的图像特征与带有权重的空间注意力机制特征级联；最后，将级联后的空间注意力机制的图像特征通过卷积层，归一化和ReLU函数得到级联空间注意力特征F”。
其中，空间注意力权重为：
Ts＝Sigmoid(f1×1(F))
其中，f1×1表示滤波器的大小为1x1的卷积运算；Sigmoid表示Sigmoid激活函数。
需要说明的是，与级联通道注意力机制一样，将低分辨率图像的图像特征F∈RC ×H×W作为输入，通过一层卷积层和Sigmoid激活函数得到空间注意力权重Ts∈R1×H×W。
步骤140：构造级联注意力机制网络，得到第一阶段的注意力图像特征其中，
其中，[·；·；·]表示级联操作；M包括7×7的卷积、正则化和ReLU函数。
需要说明的是，级联注意力机制包括级联通道注意力机制和级联空间注意力机制，将得到的级联通道注意力特征F'、级联空间注意力特征F”与输入的低分辨率图像的图像特征F进行级联，然后通过一层卷积层和Sigmoid激活函数得到级联注意力机制网络。级联注意力机制网络的输出为带有不同权重大小的图像特征，通过四层卷积核为3×3大小的卷积层，输出得到本阶段的低分辨率图像。
步骤150：将上一阶段的注意力图像特征作为下一阶段的输入图像特征，并添加额外随机噪声，重复上述步骤，直至图片达到目标分辨率。
需要说明的是，从第一阶段开始，将获得的前一阶段的级联注意力特征作为输入，并加入额外的随机噪声，重复步骤110到步骤140，将步骤140最后一层卷积层的输出，进行上采样并添加噪声，此步骤目的是提高生成对抗网络的多样性和鲁棒性。其输出作为输入通过三层卷积核为3×3大小的卷积层，将此步骤得到的特征与输入特征进行加和后，作为输入通过一个卷积核为3×3大小的卷积层，得到第一阶段的粗糙图像样本。鉴别器通过WGAN-GP对抗损失，鉴别本阶段生成的图像。重复步骤110到150步骤，直至图片达到目标分辨率。
步骤160：将原始图像用于重建损失，对重建损失和对抗损失的加权损失L进行优化，得到：
其中，Ladv(Gn,Dn)表示WGAN-GP对抗损失，Lrec(Gn)表示重建损失，Gn表示生成器，Dn表示马尔可夫判别器，α为重建损失Lrec的权重。具体的，其中，xn表示原始图像，x0表示xn的下采样版本经过训练后得到的特定分辨率重建阶段n的图像。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种脉冲神经网络建模方法、系统及其应用