具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进 一步地详细描述。

随着硬件和算法的不断进步，数字视频在分辨率越来越高和颜色越来越丰富的同时，未 经压缩的视频也包含了越来越多的数据量。视频压缩编码能够有效的减少视频数据量，但不 可避免的导致了主观和客观质量的下降，为了增强压缩视频的主观和客观质量，本发明实施 例提供的一种无需运动补偿的压缩视频多帧质量增强方法。在描述本发明实施例之前，对所 涉及的相关术语名词进行注释如下：

H.265/HEVC：是继H.264之后所制定的新的视频编码标准，保留了原有的H.264编码标 准的某些技术，同时对一些技术加以改进。使用的新技术以改善码流、编码质量、延时和算 法复杂度之间的关系，以求达到最优化设置。

GOP，Group of pictures(图像组)：指两个I帧之间的距离。

I帧，Intra-coded picture(帧内编码图像帧)：不参考其他图像帧，只利用本帧的信 息进行编码。

P帧，Predictive-coded picture(预测编码图像帧)：利用之前的I帧或P帧，采用运 动预测的方式进行帧间预测编码。

Low Delay P(LDP)：只有第一帧是I帧编码，而其他的都是P帧编码。

Peak Signal to Noise Ratio(PSNR)：峰值信噪比，一种评价图像的客观标准。

structural similarity(SSIM)：结构相似性，是一种全参考的图像质量评价指标，它 分别从亮度、对比度、结构三方面度量图像相似性。

振铃效应：对于图像里的强边缘，由于高频交流系数的量化失真，解码后会在边缘周围 产生波纹现象，这种失真被称为振铃效应。

PQF：峰值质量帧，即GOP中的高质量帧，也可以看作是GOP中的I帧。

non-PQF：非峰值质量帧，即GOP中的低质量帧，也可看作是GOP中P帧。

在一种可能的实现方案中，本发明实施例提供的一种无需运动补偿的压缩视频多帧质量 增强方法包括下列步骤：

对待增强的压缩视频，将压缩视频序列的一个低质量帧和其相邻的两个高质量帧组成一 个输入序列，例如将输入序列定义为X，其中X＝{x_-1，x₀，x₊₁}，x₀表示该输入序列的低质量 帧(即原始帧y₀的压缩帧x₀)，x_-1和x₊₁表示与x₀相邻的高质量帧，从而使得当前输入的低质 量帧在其相邻的高质量帧的帮助下而得到增强；

将各输入序列输入质量增强网络，得到当前输入序列的增强的低质量帧；

所述质量增强网络包括一个预处理模块(Pre-processing Module)和一个增强模块 (Enhancement Module)，如图1所示；

其中，预处理模块包括一个特征提取模块和(Feature Extraction Module)和一个特征 融合模块(Feature Fusion Module)，所述特征提取模块用于提取输入序列的每一帧的空间 特征，得到每一帧的特征图；所述融合模块用于融合相邻帧间的事件信息得到第一融合特征 图并输入增强模块；

增强模块，包括非线性映射模块(Non-linear Mapping Module)和重建模块(Reconstruction Module)，所述非线性映射模块用于对第一融合特征图进行非线性映射，得到第二融合特征并输入重建模块；所述重建模块基于卷积层堆积而成(至少包括两层卷积 层)，用于预测增强残图，再基于增强残差图与输入序列的低质量帧的融合得到增强的低质量 帧。

本发明实施例的目的，就是根据原始帧y0的压缩帧x₀推断出其高质量的帧即即增强 的低质量帧。通过预处理模块来提取和融合输入的x_-1、x₀和x₊₁的特征图，然后用一个增强 模块来减少x₀的压缩伪影从而得到从而可以实现压缩视频中的低质量帧的质量通过充分 利用其相邻的高质量帧的信息而得到增强。

在一种可能实现的方式中，本发明实施例中，采用的特征提取模块为基于多尺度特征提 取策略的特征提取网络。

参见图2，本发明实施例中，采用了多层的卷积的特征提取网络，例如4层结构，前三 层的每层卷积层之后设置有ReLU激活函数，按照网络的前向传播方向，各卷积层的卷积核尺 寸依次设置为：3×3，5×5，7×7，3×3。

该特征提取网络用来提取输入序列X中的每一帧x_t的空间特征，得到各帧的特征图T(x_t)：

T(x_t)＝W^t*M(S(x_t)；W^M，B^M)+b^t；

S(x_t)＝ReLU(Conv₁(x_t))；

其中，Conv₁表示特征提取网中的第一个卷积层，M表示权重为W^M、偏置为B^M的多尺度 特征提取函数，符号“*”指不同尺度的特征拼接后的卷积操作，W^t和b^t分别代表其卷积层的权重和偏置。

在一种可能的实现方式中，特征融合模块得到的融合后的特征，即第一融合特征图F(x₀)：

F(x₀)＝Conv([T(x_-1)，T(x₀)，T(x₊₁)])，

其中[·，·，]表示拼接操作，T(x_-1)，T(x₀)，T(x₊₁)分别表示x_-1、x₀和x₊₁的特征图。

在增强处理模块中，首先用非线性映射模块来计算第一融合特征图F(x₀)的更有用的表示 U(x₀)，得到第二融合特征图U(x₀)。然后，将U(x₀)输入到至少2个卷积层堆积而组成的重建 模块中来预测(学习)增强残差图R(x₀)。注意，增强残差图是指原始帧与增强帧之间的差值。 最后，将学习到的增强残差图片(x₀)与输入的x₀逐元素求和后得到增强的低质量帧即

在一种可能的实现方式中，所述非线性映射模块基于分层残差和通道注意力机制构建而 成，即非线性映射模块是基于分层残差和通道注意力机制的非线性映射模块。

进一步的，本发明实施例中，非线性映射模块包括多个分层残差模块(Hierarchicai Residual block，HR_block)和通道注意力机制模块(Channel Attentionblock，CA_block)， 参见图3和图4，所采用的HR_block的网络结构包括：下采样层、残差块(Residual block)、 RA_block、卷积层和上采样层，基于输入的特征图及其处理输出来介绍所采用的HR_block 的网络结构。

为了方便表示，将输入HR_block的特征图表示为Z(即U(x₀))。首先，将Z输入到一个 由至少2个卷积层和Relu激活函数组成的Residual block得到Z^S：

Z^S＝Conv(ReLU(Conv(ReLU(Z))))+Z；

然后，将特征图经下采样层后来实现分层操作得到下采样特征图Z_D，再将特征图Z_D输入 到一个Residual block中，但此时卷积操作采用的是瓶颈卷积且在Residual block中添加 了一个CA_block来提取分层特征的残差在不同通道上的信息(表示为)，并将此添加了 CA_block的Residual block称为RA_block。将RA_blcok的输出记为随后将经过上 采样层后得到特征图最后，将特征图与Z^S按通道拼接后(即经过一层Concat层)输 入到一个的卷积层得到分层残差模块输出的特征图HR(Z)：

需要注意的时，特征图也经过相同的上采样层得到特征图作为后续网络的输入。

参见图3，作为一种可能的实现方式，本发明实施例中，非线性映射模块的优选网络结 构包括3个HR_block和2个CA_block，其中，第一HR_block的输入特征图为Z，第一HR_block 的输出的特征图HR(Z)与特征图Z相减后输入第二HR_block，第二HR_block输出的特征图 HR(Z)与特征图Z相加后输入第一CA_block，将第一CA_block的输入特征图与其输出特征图 相加后再输入第三HR_block；再将特征图Z、第一HR_block的输出的特征图HR(Z)和输入第 三HR_bloc的特征图经Concat层融合后得到第三融合特征图；以及将第一HR_block输出的 特征图第一CA_block的输出特征图和第三HR_block输出的特征图经Concat层融合 (按通道拼接)后得到第四融合特征图；最后，最后，将经过一层卷积层的第三融合特征图 和依次经过一层卷积层和一个第二CA_block的四融合特征图相加，得到非线性映射模块的输 出特征图。

优选的，Residual block中采用的卷积层的卷积核尺寸为5×5，输出特征图HR(Z)的卷 积层的卷积核大小为3×3。

优选的，下采样层的下采样策略可以采用文献“Sajjadi M S M，Vemulapalli R，Brown M.Frame-recurrent video super-resolution[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2018：6626-6634”或“SunW，He X，Chen H， et a1.A quality enhancement framework with noisedistributioncharacteristics for high efficiency video coding[J].Neurocomputing，2020，411：428-441”中所给出的方 式，本发明对下采样层的下采样策略不做具体限定。同样的，对于上采样层的上采样策略也 不做具体限定，优选采用文献“Shi W，Caballero J，Huszár F，et al.Real-time single image and video super-resolution using an efficientsub-pixel convolutional neural network[C]//Proceedings of the IEEE conferenceon computer vision and pattern recognition.2016：1874-188”所给出的上采样策略，例如，对于特组图其上采样后的 特组图可以表示为：

在一种可能的实现方式中，参见图5，采用的CA_block的结构包括顺次连接的池化层、 卷积层及其激活函数(层数可调整)、卷积层和sigmoid激活函数。sigmoid激活函数的输 出与CA_block的输出相乘得到CA_block的输出。

为了便于描述该层次结构，定义V＝[v₁，v₂，...，v_c]来表示CA_block的输入特征图，它由 C(输入通道数)个空间大小为H×W的特征图v_i组成。这些特征图首先通过池化方式为均值 池化(average pooling)的池化层在空间维上进行降维，得到第c个通道的池化结果：

其中，v_i(i，j)为第c个通道在位置(i，j)处的值，e_c表示第c个通道averagepooling后的值。 随后一个sigmoid激活函数作为门控机制用来得到最相关的特征图：

α_c＝σ(Conv(ReLU(Conv(e_c))))

其中，σ表示sigmoid激活函数，定义E＝[e₁，e₂，...，e_c]。最终基于通道权重α＝[α₁，α₂，...，α_C]来重新调整输入特征图V的通道之间的相互依赖：

作为一种优选的方式，CA_block的输入通道数为C，CA_block的第一个卷积层的输出通 道数设置为CA_block的池化层的核大小为1×1，卷积核大小为1×1。

在本发明实施例中，对于所采用的质量增强网络的网络参数的训练可以基于惯用的神经 网络参数的训练方式进行，作为中优选的方式，对本发明实施例提供的质量增强网络的预处 理模块和增强模块以端到端的方式联合训练，且网络不需要先训练收敛某一子网，因此损失 函数只由一项组成。例如采用L₂-norm作为网络的损失函数：

在示例性实施例中，本发明实施例还提供了一种计算机设备，该计算机设备包括处理器 和存储器，该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个 以上处理器加载并执行，以实现上述任一种无需运动补偿的压缩视频多帧质量增强方法。

在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存 储介质中存储有至少一条计算机程序，该至少一条计算机程序由计算机设备的处理器加载并 执行，以实现上述任一种无需运动补偿的压缩视频多帧质量增强方法。

在一种可能实现方式中，上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory， ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact DiscRead-Only Memory，CD-ROMD)、磁带和光数据存储设备等。

需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别 类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况 下可以互换，以便这里描述的本发明的实施例方式并不代表与本发明相一致的所有实施方式。 想法，它们仅是与如所附权利要求书中所详细的、本发明的一些方面相一致的装置和方法的 例子。

为了定性地和定量地评估了本发明实施例提供的无需运动补偿的压缩视频多帧质量增强 方法的增强性能，本实施例采用图1至图5所示的质量增强网络对选取的待增强的压缩视频 进行质量增强处理，定量评估则根据ΔPSNR和ΔSSIM与现有的增强方案DCAD、DS-CNN、MFQE 和MFQE 2.0进了比较，如表1和2所示；定性评估则与MFQE 2.0进行了比较，如图6所示。 其中，增强方案DCAD可参考文献“Wang T,Chen M,Chao H.A novel deeplearning-based method of improving coding efficiency from the decoder-end forHEVC[C]//2017Data Compression Conference(DCC).IEEE,2017:410-419”，增强方案DS-CNN可参考文献“Yang R,Xu M,Wang Z.Decoder-side HEVC quality enhancement withscalable convolutional neural network[C]//2017IEEE International Conferenceon Multimedia and Expo(ICME). IEEE,2017:817-822”，增强放弃MFQE可参考文献“YangR,Xu M,Wang Z,et al.Multi-frame quality enhancement for compressed video[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2018:6664-6673”。

表1

表2

表1给出了ΔPSNR和ΔSSIM在每个测试序列的所有帧上的平均结果，共计五个QP点上HEVC 标准测试序列的ΔPSNR(dB)和ΔSSIM((×10^-4)的总体比较。可以看出，本发明实施例所提 供的增强方案(ours)始终优于其他的视频质量增强方法。具体来说，在QP＝37时，本发实 施例的最大ΔPSNR值达到了1.154dB，平均ΔPSNR为0.632dB，比MFQE 2.0(0.562dB)高 出12.5％，比MFQE(0.455dB)高出38.9％，比DCAD(0.322dB)高出96.3％，比DS-CNN(0.300 dB)高出110.7％。在其他的QP点时，本发明实施例在ΔPSNR和ΔSSIM上也都优于其他的方法。 此外，还用BD-rate的降低来对比了网络的性能，如表2所示，我们的网络的BD-rate平均 降低了17.18％，优于目前最好的MFQE 2.0(14.06％)。

表2给出了测试序列相较于HEVC基准下降的BD-rate(％)，在QP＝22、27、32、37和42五个点上计算得到。

图6展示了序列BasketballPass、PartyScene和BQMall在QP＝37时的主观质量表现。 从图中可以看出，本发明实施例提供的增强方案比于MFQE 2.0方法可以减少更多的压缩伪影， 实现了更好的视觉体验。

对于无损视频，其在经过压缩过后，视频帧之间会存在一定的质量波动，如图7所示(HEVC 所对应的线条)，而在增强方案MFQE 2.0(可参考文献“Guan Z，Xing Q，Xu M，etal.MFQE 2.0：A new approach for multi-frame quality enhancement on compressedvideo[J].IEEE transactions on pattern analysis and machine intelligence，2019”)使用相邻的高质 量帧增强中间低质量帧后的结果如7所示，可以看出高质量帧与低质量帧之间的PSNR波动依 然非常明显。同时，图7中还给出本发明实施例所提供的方案(ours)的PSNR波动。可以看 出本发明实施例所提供的增强方法比现有的MFQE 2.0更好地利用了高质量帧的信息，表现出 更低的增强质量波动。且增强方案MFQE 2.0是公开号CN108307193A的增强方案的改进方案。 即，本发明实施例提出的一种无需运动补偿的压缩视频多帧质量增强网络，通过充分利用相 邻高质量的信息帧来对低质量帧进行增强，使得压缩视频的主观和客观质量都得到明显的增 强。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照 前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前 述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修 改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本 发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。