具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种序列图像红外小目标超分辨方法，该方法包括以下步骤：

步骤100：获取多帧序列图像。

将多帧序列图像中超分辨的图像作为为参考帧，其余帧序列图像按照时域顺序进行编号，得到多帧邻域帧序列图像。

步骤102：构建序列图像红外小目标超分辨网络。

序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块。

特征提取模块采用中心差分残差组对序列图像进行特征提取。

注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐。

渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合。

图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像。

中心差分残差组利用了红外小目标的局部显著先验可以进行梯度感知、大感受野、密集采样率的特征提取，从而提升小目标的对比度。红外小目标的局部显著先验即目标在各个方向上的梯度都很大，而背景杂波仅仅在某一个或者某几个方向上比较大。

利用中心差分残差组，对输入的图像序列进行梯度感知、大感受野、密集采样率的特征提取。

时空局部注意力模块利用了红外小目标的时空局部邻域先验，可以进行隐式的帧间对齐，从而充分利用时空域的补充信息提升增强局部特征。红外小目标的时空局部邻域先验即由于目标与成像距离通常很远，且目标的机动性有限，则目标在邻域帧之间的运动较小。时空局部注意力模块利用帧间局部特征的补充信息提升对局部特征(尤其是小目标)的重建效果。

渐进融合模块利用了时域距离先验，可以进行由粗到精的特征融合，提升超分辨的性能。时域距离先验即参考帧和邻域帧之间的距离信息。

步骤104：将多帧序列图像作为训练样本对序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型。

步骤106：获取待测多帧序列图像，将待测多帧序列图像输入到序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像。

上述序列图像红外小目标超分辨方法中，所述方法获取多帧序列图像；构建序列图像红外小目标超分辨网络，该网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；特征提取模块采用中心差分残差组对序列图像进行特征提取；注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像；将多帧序列图像作为训练样本对序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型，利用该模型对待测多帧序列图像进行处理，得到重构的高分辨率参考帧图像。本方法可以提高图像的分辨率，增大小目标的对比度，恢复小目标的高保真度细节信息，从而提升红外弱小目标的检测性能。

在其中一个实施例中，序列图像红外小目标超分辨网络结构图如图2所示。特征提取模块包括卷积网络和中心差分残差组；注意力特征对齐模块包括两个时空局部注意力模块；步骤104包括：将多帧序列图像作为训练样本；将训练样本输入到特征提取模块的卷积网络中，得到序列图像卷积特征；将序列图像卷积特征输入到中心差分残差组中，得到序列图像特征；将序列图像特征输入到第一个时空局部注意力模块中，并将得到的第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征；将时空局部注意力特征输入到渐进融合模块中，得到融合特征；将融合特征输入到图像重构模块中，得到预测重构高分辨率参考帧图像；根据预测重构高分辨率参考帧图像和训练样本，对序列图像红外小目标超分辨网络进行反向训练，得到序列图像红外小目标超分辨模型。

在其中一个实施例中，中心差分残差组包括：D个中心差分残差密集连接块和1个1×1卷积，其中D为大于1的整数；步骤104还包括：将序列图像卷积特征输入到中心差分残差组中，经过D个中心差分残差密集连接块提取分层特征；将D个中心差分残差密集连接块输出的分层特征级联后输入到1×1卷积中，得到序列图像特征。

在其中一个实施例中，中心差分残差密集连接块包括1个中心差分卷积模块、K个卷积模块和1个点卷积层；其中K为大于1的整数；卷积模块的卷积核为1×1，中心差分卷积模块的卷积核为1×1；步骤104包括：将序列图像卷积特征输入到第一个中心差分残差密集连接块的中心差分卷积模块中，得到第一个中心差分残差密集连接块的中心差分卷积模块的输出特征；将第一个中心差分残差密集连接块的中心差分卷积模块的输出特征、序列图像卷积特征串联后输入到第一个中心差分残差密集连接块的第一个卷积模块中，得到第一个中心差分残差密集连接块的第一个卷积模块的输出特征；依此类推，将序列图像卷积特征与第一个中心差分残差密集连接块的中心差分卷积模块和前k-1个卷积模块的输出特征串联后输入到第一个中心差分残差密集连接块中的第k个卷积模块中，得到第一个中心差分残差密集连接块的第k个卷积模块的输出特征；其中k为大于1且小于K的整数；将序列图像卷积特征、第一个中心差分残差密集连接块的中心差分卷积模块和K个卷积模块的输出特征输入到第一个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将得到的点卷积特征与序列图像卷积特征相加后得到第一分层特征；第一分层特征指的是第一个中心差分残差密集连接块提取的分层特征；将第d-1个中心差分残差密集连接块提取的分层特征与第d个中心差分残差密集连接块的中心差分卷积模块和前K-1个卷积模块的输出特征串联后输入到第d个中心差分残差密集连接块的第K个卷积模块中，得到第d个中心差分残差密集连接块的第K个卷积模块的输出特征；将第d个中心差分残差密集连接块的中心差分卷积模块前K个卷积模块的输出特征与第d-1个中心差分残差密集连接块提取的分层特征输入到第d个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将点卷积结果与序列图像卷积特征相加后得到第d分层特征；其中d为大于1且小于等于D的整数。

其中卷积模块包括卷积层和ReLU层。

具体的，利用中心差分残差组，对输入的图像序列进行梯度感知、大感受野、密集采样率的特征提取。具体流程如图3所示：

(1)中心差分残差组的结构如图3中(a)所示，输入的特征经过D个中心差分残差密集连接块提取分层特征，随后将这D个中心差分残差密集连接块输出的分层特征级联后输入到1×1卷积得到输出特征。

(2)中心差分残差组的核心模块是中心差分残差密集连接块，其结构如图3中(b)所示，输入特征经过1个3×3中心差分卷积模块和K个3×3卷积模块实现梯度感知、大感受野、密集采样的特征表示，其中每个卷积的增长率为G。具体来说，第d个中心差分残差密集连接块中的第k个卷积模块，其输入特征由d-1个中心差分残差密集连接块的输出特征与第d个中心差分残差密集连接块的中心差分卷积模块和前面k-1个卷积的输出特征串联而成，通道数为(C+G×(k-1))，其中C为特征通道数，例如：灰度图像的通道数C为1，RGB图像的通道数C为3，G为每个卷积的增长率，k为卷积的序号，最后一个1×1卷积将的前面所有层的输出特征级联后融合，并通过局部残差连接与输入特征相加后生成输出特征。

(3)中心差分卷积的结构如图3中(c)所示，3×3的感受野范围内，每一个像素首先减去中间像素，随后与权重相乘相加。中心卷积聚合了中心方向的梯度信息，实现梯度感知的特征提取。

在其中一个实施例中，序列图像特征包括：参考帧特征和邻域帧特征；时空局部注意力模块包括点卷积、点积以及softmax；步骤104还包括：采用点卷积将序列图像特征中的参考帧特征和邻域帧特征的特征维度进行压缩，得到参考帧压缩特征和邻域帧压缩特征；将参考帧压缩特征空域中任意一点与邻域帧压缩特征中对应点邻域内的所有点的相互作用，并将得到结果按特征维度相加后采用softmax进行归一化处理得到局部注意力特征；将邻域帧特征的空间坐标p₀处提取局部邻域特征与局部注意力特征图对应位置点积，得到第一时空局部注意力特征坐标p₀处的值；采用相同的方法得到第一时空局部注意力特征所有坐标处的值；将第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征。

具体的，利用时空局部注意模块生成参考帧和邻域帧之间的局部响应，隐式进行帧间对齐，利用帧间局部特征的补充信息提升对局部特征(尤其是小目标)的重建效果。具体流程如图4所示，其中图中＜·,·＞符号代表矩阵点乘，计算规则为：对应点相乘相加，例如：[a1,a2]与[b1,b2]做矩阵点乘为1*b1+a2*b2。

1)参考帧特征和邻域帧特征首先分别通过1×1卷积conv_q和conv_k对特征维度进行压缩生成特征其中特征通道压缩比cr＝8。如下述公式：

F₀＝H_{conv_q}(F_ref)

F₁＝H_{conv_k}(F_nbr)

2)首先计算特征F₀空域中任意一点与F₁中对应点邻域内的所有点的相互作用，随后按特征维度相加并用softmax归一化生成局部注意力特征M。如下述公式：

其中，p₀为特征F₀上任一空间坐标，p_n代表以坐标p₀为中心，窗口大小为kern，扩张率为dila的局部邻域G(p₀,kern,dila)中的第n个坐标值。图4中3×3网格即为局部邻域参数(kern＝3,dila＝1)时生成的局部注意力特征图M。不同参数下的时空局部注意力模块示意图如图5所示，其中(a)为参考帧、(b)为局部邻域参数(kern＝3,dila＝1)时的时空局部注意力模块，(c)为局部邻域参数(kern＝3,dila＝2)时的时空局部注意力模块，(d)为局部邻域参数(kern＝3,dila＝4)时的时空局部注意力模块，(e)为局部邻域参数(kern＝5,dila＝1/2)时的时空局部注意力模块，(f)为局部邻域参数(kern＝9,dila＝1/4)时的时空局部注意力模块。如图5中(d)和(e)所示，dila＞1代表计算量不变的情况下扩大感受野，dila＜1能够捕获帧间的亚像元位移。

3)从输入的邻域帧特征F_nbr的空间坐标p₀处提取局部邻域特征与局部注意力特征图M对应位置点积生成输出特征F′_nbr坐标p₀处的值。如下述公式：

在其中一个实施例中，渐进融合模块包括两级特征融合模块，特征融合模块包括残差组和点卷积层；残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；步骤104还包括：将多帧序列图像的时空局部注意力特征按照与参考帧的时域距离分成三组；将得到的三组特征内的多个特征级联后分别输入到第一级特征融合模块的残差组和点卷积层中进行特征粗融合，得到三个粗融合特征；将三个粗融合特征级联后输入到第二级特征融合模块的残差组和卷积层中进行特征精融合，得到融合特征。

具体的，根据本发明的第三方面，可以利用渐进融合模块，基于邻域帧与参考帧之间的时域距离先验进行由粗到精的渐进式特征融合。具体流程如图6所示：

1)输入的7帧序列图像特征{F′_nbr1,F′_nbr2,F′_nbr3,F_ref,F′_nbr4,F′_nbr5,F′_nbr6}，其中F_ref为参考帧序列图像特征，F′_nbri为第i个邻域帧序列图像特征，其中i＝1,2,3,4,5,6，首先按照与参考帧的时域距离分成三组，分别为{F′_nbr2F_ref,F′_nbr5},{F′_nbr1,F_ref,F′_nbr6},{F′_nbr3,F_ref,F′_nbr6}。、

2)将得到的三组特征内的三个特征级联后分别输入到残差组和一个1×1卷积中进行特征粗融合。其中，残差组为中心差分残差组中的中心残差卷积全部替换为普通卷积。

3)将三个粗融合特征级联后输入到残差组和一个1×1卷积进行特征精融合生成输出特征。

在其中一个实施例中，图像重构模块包括残差组、卷积和像素混洗模块；残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；步骤104还包括：将融合特征输入到残差组中，并将得到的输出特征输入到点卷积层中，得到点卷积特征；将点卷积特征输入到像素混洗模块中，将像素混洗得到的特征输入到点卷积层中，得到预测重构高分辨率参考帧图像。

在一个实施例中，如图2所示的网络结构，提供了一种序列图像红外小目标超分辨方法，具体包含以下步骤：

S1：将7帧序列图像输入超分辨网络，经过1×1卷积和参数为(D＝4,K＝5,G＝32)的中心差分残差组进行人特征提取。

S2：将提取出的特征输入两个参数分别为(kern＝3,dila＝3)，(kern＝3,dila＝1)时空局部注意力模块进行帧间对齐。

S3：将对齐后的特征输入渐进融合模块进行特征融合。其中，两个残差组的参数均设置为(D＝1,K＝3,G＝32)。

S4：融合后的特征输入到残差组、1×1卷积、像素混洗层、1×1卷积层中，重建高分辨率参考帧图像。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种序列图像红外小目标超分辨装置，包括：图像获取模块、序列图像红外小目标超分辨网络构建模块、序列图像红外小目标超分辨模型确定模块和高分辨率参考帧图像重构模块，其中：

图像获取模块，用于获取多帧序列图像。

序列图像红外小目标超分辨网络构建模块，用于构建序列图像红外小目标超分辨网络，序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；特征提取模块采用中心差分残差组对序列图像进行特征提取；注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，图像重构模块根据融合后的特征进行重构得到重构的高分辨率参考帧图像。

序列图像红外小目标超分辨模型确定模块，用于将多帧序列图像作为训练样本对序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型。

高分辨率参考帧图像重构模块，用于获取待测多帧序列图像，将待测多帧序列图像输入到序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像。

在其中一个实施例中，特征提取模块包括卷积网络和中心差分残差组；注意力特征对齐模块包括两个时空局部注意力模块；步骤104包括：将多帧序列图像作为训练样本；将训练样本输入到特征提取模块的卷积网络中，得到序列图像卷积特征；将序列图像卷积特征输入到中心差分残差组中，得到序列图像特征；将序列图像特征输入到第一个时空局部注意力模块中，并将得到的第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征；将时空局部注意力特征输入到渐进融合模块中，得到融合特征；将融合特征输入到图像重构模块中，得到预测重构高分辨率参考帧图像；根据预测重构高分辨率参考帧图像和训练样本，对序列图像红外小目标超分辨网络进行反向训练，得到序列图像红外小目标超分辨模型。

在其中一个实施例中，中心差分残差组包括：D个中心差分残差密集连接块和1个1×1卷积，其中D为大于1的整数；序列图像红外小目标超分辨模型确定模块，还用于将序列图像卷积特征输入到中心差分残差组中，经过D个中心差分残差密集连接块提取分层特征；将D个中心差分残差密集连接块输出的分层特征级联后输入到1×1卷积中，得到序列图像特征。

在其中一个实施例中，中心差分残差密集连接块包括1个中心差分卷积模块、K个卷积模块和1个点卷积层；其中K为大于1的整数；卷积模块的卷积核为3×3，中心差分卷积模块的卷积核为3×3；序列图像红外小目标超分辨模型确定模块，还用于

将序列图像卷积特征输入到第一个中心差分残差密集连接块的中心差分卷积模块中，得到第一个中心差分残差密集连接块的中心差分卷积模块的输出特征；将第一个中心差分残差密集连接块的中心差分卷积模块的输出特征、序列图像卷积特征串联后输入到第一个中心差分残差密集连接块的第一个卷积模块中，得到第一个中心差分残差密集连接块的第一个卷积模块的输出特征；依此类推，将序列图像卷积特征与第一个中心差分残差密集连接块的中心差分卷积模块和前k-1个卷积模块的输出特征串联后输入到第一个中心差分残差密集连接块中的第k个卷积模块中，得到第一个中心差分残差密集连接块的第k个卷积模块的输出特征；其中k为大于1且小于K的整数；将序列图像卷积特征、第一个中心差分残差密集连接块的中心差分卷积模块和K个卷积模块的输出特征输入到第一个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将得到的点卷积特征与序列图像卷积特征相加后得到第一分层特征；第一分层特征指的是第一个中心差分残差密集连接块提取的分层特征；将第d-1个中心差分残差密集连接块提取的分层特征与第d个中心差分残差密集连接块的中心差分卷积模块和前K-1个卷积模块的输出特征串联后输入到第d个中心差分残差密集连接块的第K个卷积模块中，得到第d个中心差分残差密集连接块的第K个卷积模块的输出特征；将第d个中心差分残差密集连接块的中心差分卷积模块前K个卷积模块的输出特征与第d-1个中心差分残差密集连接块提取的分层特征输入到第d个中心差分残差密集连接块的点卷积层中，并通过局部残差连接将点卷积结果与序列图像卷积特征相加后得到第d分层特征；其中d为大于1且小于等于D的整数。

在其中一个实施例中，序列图像特征包括：参考帧特征和邻域帧特征；时空局部注意力模块包括点卷积、点积以及softmax；序列图像红外小目标超分辨模型确定模块，还用于

采用点卷积将序列图像特征中的参考帧特征和邻域帧特征的特征维度进行压缩，得到参考帧压缩特征和邻域帧压缩特征；将参考帧压缩特征空域中任意一点与邻域帧压缩特征中对应点邻域内的所有点的相互作用，并将得到结果按特征维度相加后采用softmax进行归一化处理得到局部注意力特征；将邻域帧特征的空间坐标p₀处提取局部邻域特征与局部注意力特征图对应位置点积，得到第一时空局部注意力特征坐标p₀处的值；采用相同的方法得到第一时空局部注意力特征所有坐标处的值；将第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征。

在其中一个实施例中，渐进融合模块包括两级特征融合模块，特征融合模块包括残差组和点卷积层；残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；序列图像红外小目标超分辨模型确定模块，还用于将多帧序列图像的时空局部注意力特征按照与参考帧的时域距离分成三组；将得到的三组特征内的多个特征级联后分别输入到第一级特征融合模块的残差组和点卷积层中进行特征粗融合，得到三个粗融合特征；将三个粗融合特征级联后输入到第二级特征融合模块的残差组和卷积层中进行特征精融合，得到融合特征。

在其中一个实施例中，图像重构模块包括残差组、卷积和像素混洗模块；残差组是将中心差分残差组中的中心差分卷积替换为普通卷积得到的；序列图像红外小目标超分辨模型确定模块，还用于将融合特征输入到残差组中，并将得到的输出特征输入到点卷积层中，得到点卷积特征；将点卷积特征输入到像素混洗模块中，将像素混洗得到的特征输入到点卷积层中，得到预测重构高分辨率参考帧图像。

关于序列图像红外小目标超分辨装置的具体限定可以参见上文中对于序列图像红外小目标超分辨方法的限定，在此不再赘述。上述序列图像红外小目标超分辨装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种设备，该设备可以是终端，其内部结构图可以如图8所示。该设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该设备的处理器用于提供计算和控制能力。该设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种序列图像红外小目标超分辨方法。该设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该设备的输入装置可以是显示屏上覆盖的触摸层，也可以是设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。