具体实施方式

为便于本领域技术人员理解本发明的技术内容，首先对以下技术术语进行解释：

H.265/HEVC：是继H.264之后所制定的新的视频编码标准，保留了原有的H.264编码标准的某些技术，同时对一些技术加以改进。使用的新技术用以改善码流、编码质量、延时和算法复杂度之间的关系，以求达到最优化设置。

GOP，Group of pictures(图像组)：指两个I帧之间的距离。

I帧，Intra-coded picture(帧内编码图像帧)：不参考其他图像帧，只利用本帧的信息进行编码。

P帧，Predictive-coded picture(预测编码图像帧)：利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码。

Low Delay P(LDP)：只有第一帧是I帧编码，而其他的都是P帧编码。

Peak Signal to Noise Ratio(PSNR)：峰值信噪比，一种评价图像的客观标准。

structural similarity(SSIM)：结构相似性，是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。

振铃效应：对于图像里的强边缘，由于高频交流系数的量化失真，解码后会在边缘周围产生波纹现象，这种失真被称为振铃效应。

PQF：峰值质量帧，即GOP中的高质量帧，也可以看作是GOP中的I帧。

non-PQF：非峰值质量帧，即GOP中的低质量帧，也可看作是GOP中P帧。

Deformable 2D Convolution(D2D)：可变形2D卷积。

3D Convolution(C3D)：3D卷积。

Rectified Linear Unit(ReLU)：一种激活函数，增加神经网络各层之间的非线性关系。

以下结合附图对本发明的内容做详细阐述：

本发明方案提出的质量增强网络如图1所示，包括四个部分组成：粗略融合模块(Coarse Fusion Module，CFModule)、多级残差融合模块(Multi-level Residual FusionModule，MLRF)、D2D融合模块(D2D Fusion Module，D2DF)和重建模块(ReconstructionModule，REModule)。给定一个含2N+1个连续的低质量的压缩视频帧序列，其中是参考帧，其他帧是其相邻帧。本发明的目的是根据原始帧的压缩帧推断出高质量的帧

首先将输入序列经过由p个3DConvolution(C3D)所组成的CFModule来粗略地融合输入帧而得到粗略的融合特征图F_c。然后用一个MLRF模块从不同级生成全局和局部的精细融合特征F_L。

由以上由粗到细生成的融合特征F_L来联合预测所有用于对齐的可变形偏移，而不是像光流估计那样一次仅预测一个偏移。

然后将经D2DF对齐后的融合特征图F_f输入到由几个密集连接块所组成的REModule而得到增强残差最后增强残差与当前帧逐元素相加而得到重建帧

图1中I_TN表示输入的2N+1帧沿着通道拼接后的特征。

以下分别对四个模块进行详细阐述：

粗略融合模块(CFModule)

它由两个伴随着ReLU激活函数的C3D来粗略地提取和融合输入序列 中的时空信息：

其中，H×W表示输入帧的大小，T＝2N+1表示输入序列长度，C表示通道数，O_C3D代表2个C3D操作。

然后用一个1×1的瓶颈卷积(bottleneck)从时间维度上进一步融合提取的特征F_3D∈R^{C′×T×H×W}得到粗略的融合特征图F_c∈R^C″×H×W：

F_c＝O_B(F_3D)

其中，C′表示C3D滤波器的数量，C″表示瓶颈卷积的滤波器的数量，O_B代表瓶颈卷积操作，R表示维度记号，R的右上角的表示多少维，比如这里的R^{C′×T×H×W}表示四维张量。注意，本发明在F_3D输入到瓶颈卷积之前，首先将其转化为3维的张量C·T×H×W。

多级残差融合模块(MLRF)

多级残差融合模块的示意图如图2所示，它包括三个级：L1、L2和L3。

L1级被用来提取与F_c图像大小相同的全局特征，并融合来自L2级相应阶段的输出特征。它主要由一个残差块组成，L1级可以表示为：

其中，分别表示L1和L2级中第一个残差块的输出。表示L1级第一个残差块操作。O_tc表示转置卷积操作。F_L1表示L1级输出的特征图。

L2级主要由一个下采样块和一个上采样块以及多个残差块组成。与L1级不同，本发明使用一个步长为2的3×3的步长卷积和一个3×3的卷积来对输入的粗略的融合特征F_c进行下采样。然后使用几个残差块来提取和融合来自L3级的特征。最终用一个转置卷积和一个3×3的卷积将提取的特征上采样到F_c图像大小。L2级可以表示为：

其中，和分别指一次下采样和一次上采样操作(比例都为2)。分别表示L2和L3级中第一个残差块的输出。分别表示L2级中第一个残差块和第二个残差块操作。F_L2表示L2级输出的特征图。本发明在图2中给出了残差模块具体的实现结构，本领域技术人员应知残差模块为深度学习中的基础模块，其具体实现结构在本实施例中不再做详细阐述。

L3级主要指逐步向上采样的结构，以提取按4的比例向下采样的信息特征。首先，用两个比例为2的下采样块对F_c进行操作。然后下采样的特征被逐步输入到一些残差块和上采样块中。L3级可以表示为：

其中，和分别指两次下采样和两次上采样操作(比例都为2)。指L3级中第一个残差块的输出。分别表示L3级中第一个残差块和第二个残差块操作。F_L3表示L3级输出的特征图。

L2和L3中的残差块个数越多，一般性能越好，但模型越复杂，计算量也越，本实施例中采用2个残差块。

最终，从L1、L2和L3级提取的特征逐元素相加后输入到一个3×3的卷积来融合提取的全局和局部的精细融合特征F_L：

F_L＝O_C(F_L1+F_L2+F_L3)

其中，O_C指卷积操作。

通过以上由粗到细的融合策略，使本发明的网络能够更好地预测生成可变形偏移所需的融合特征。

D2D融合模块(D2DF)

令X和Y分别表示一个常规卷积的输入和输出。对于每一个Y上的位置p，一个卷积操作可以描述为：

其中，p_k代表具有K个采样位置的采样网格，w_k代表每个位置的权重。例如，K＝9和p_k∈{(-1,-1),(-1,0),…,(0,1),(1,1)}表示一个3×3的卷积核。在调制可变型卷积中，预测的偏移和调制掩膜被添加到采样网格中，使卷积核发生空间变化。这里，本发明使用调制可变形卷积“Zhu X,Hu H,Lin S,et al.Deformable convnets v2:More deformable,better results[C]//Proceedings of the IEEE/CVF Conference on Computer Visionand Pattern Recognition.2019:9308-9316.”来得到对齐的融合特征图F_f。调制可变型卷积的操作如下：

其中，Δp_k和Δm_k分别是第k个位置可学习的偏移和调制掩膜。I_TN表示输入序列沿着通道拼接后的特征。卷积将在具有动态权重的不规则位置上进行操作，以实现对输入特征I_TN的自适应采样。相应的可变型采样参数可通过如下学习得到：

其中，表示一个用于生成可变形偏移ΔP的常规卷积，其滤波器数量为(2N+1)·2k²。指一个用于生成调制掩膜ΔM的常规卷积，其滤波器数量为(2N+1)·k²。Δp_k∈ΔP,Δm_k∈ΔM。因为Δp_k可能是分数，我们也使用双线性插值，如“Dai J,Qi H,Xiong Y,etal.Deformable convolutional networks[C]//Proceedings of the IEEEinternational conference on computer vision.2017:764-773.”一样。

重建模块(REModule)

所提出的重建模块如图3所示。本发明首先用一个3×3的卷积层来提取对齐后的融合特征图F_f中更有用的特征F_fu：

F_fu＝O_C(F_f)

然后，跟随“Mehta S,Kumar A,Reda F,et al.EVRNet:Efficient VideoRestoration on Edge Devices[J].arXiv preprint arXiv:2012.02228,2020.”，本发明结合特征相减和特征求和作为一个有效避免计算复杂性的操作:

F_fus＝F_fu+D(F_fu-D(F_fu))

其中，D指密集连接操作，即首先用一个ReLU激活函数来增加网络的非线性性，然后依次经过三个卷积层，最终，将不同层的卷积输出和输入沿着通道拼接后作为整个模块的输出。

进一步地，将F_fus输入到一个密集连接块和一个3×3的卷积层来得到不同层的融合特征F_H：

F_H＝O_C([F_fu,D(E_fu),F_fus,D(F_fus)])

其中，O_C代表一个3x3的卷积操作。最终F_H与F_fu逐元素相加后经过两个卷积层而得到增强残差

其中，代表两个卷积层。

网络的损失函数

在本发明的方法中，粗略融合模块、多级残差融合模块、D2D融合模块和重建模块以端到端的方式联合训练(即原始帧到重建结果的端到端训练方式)，且网络不需要先训练收敛某一子网，因此损失函数只由一项组成。本发明使用L₂-norm作为本发明网络的损失函数：

其中，||·||₂表示2范数。

本实施例定性地和定量地评估了本发明的方法的有效性，其中定量评估则根据ΔPSNR和ΔSSIM与MFQE(Yang R,Xu M,Wang Z,et al.Multi-frame quality enhancementfor compressed video[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2018:6664-6673.)、SDTS(Meng X,Deng X,Zhu S,etal.Enhancing quality for VVC compressed videos by jointly exploiting spatialdetails and temporal structure[C]//2019 IEEE International Conference onImage Processing(ICIP).IEEE,2019:1193-1197.)、MFQE2.0(Guan Z,Xing Q,Xu M,etal.MFQE 2.0:A new approach for multi-frame quality enhancement on compressedvideo[J].IEEE transactions on pattern analysis and machine intelligence,2019.)、MGANet(Meng X,Deng X,Zhu S,et al.Mganet:A robust model for qualityenhancement of compressed video[J].arXiv preprint arXiv:1811.09150,2018.)、MGANet2.0(Meng X,Deng X,Zhu S,et al.A Robust Quality Enhancement Method Basedon Joint Spatial-Temporal Priors for Video Coding[J].IEEE Transactions onCircuits and Systems for Video Technology,2020.)、FastMSDD(Xiao W,He H,Wang T,et al.The Interpretable Fast Multi-Scale Deep Decoder for the Standard HEVCBitstreams[J].IEEE Transactions on Multimedia,2020,22(7):1680-1691.)和STDF(Deng J,Wang L,Pu S,et al.Spatio-temporal deformable convolution forcompressed video quality enhancement[C]//Proceedings of the AAAI Conferenceon Artificial Intelligence.2020,34(07):10696-10703.)进了比较；定性评估则与MFQE2.0和STDF进行了比较。

表1五个QP点上HEVC标准测试序列的ΔPSNR(dB)和ΔSSIM((×10^-4)的总体比较

定量评估：表1给出了ΔPSNR和ΔSSIM在每个测试序列的所有帧上的平均结果。可以看出，我们的方法始终优于其他的视频质量增强方法。具体来说，在输入帧半径N＝1和QP＝22时，我们的方法平均ΔPSNR值达到了0.707dB，比STDF-N1(0.556dB)高出27.1％，比MFQE2.0(0.458dB)高出54.4％，比FastMSDD(0.350dB)高出102％。随着输入帧的半径N增加到3时，我们的方法平均ΔPSNR值达到了0.845dB，比STDF(0.646dB)高出30.8％，比MFQE2.0(0.458dB)高出84.5％，比FastMSDD(0.350dB)高出141.4％。

在其他的QP点时，本发明的方法在ΔPSNR和ΔSSIM上也都优于其他的方法。此外，本发明还用BD-rate的降低来对比了网络的性能，如表2所示，本发明的网络的BD-rate平均降低了24.69％，优于先进的方法STDF(21.61％)。

表2和FastMSDD[11]、MFQE[8]、MFQE2.0[3]、STDF[4]的BD-rate(％)比较结果

定性评估：图4展示了序列BasketballPass、RaceHorses和PartyScene在QP＝37时的主观质量表现。从图4中可以看出，本发明的方法相比于MFQE2.0和STDF方法可以减少更多的压缩伪影，实现了更好的视觉体验。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。