阅读说明：本技术 一种结合卷积神经网络的hevc视频质量增强算法框架 (HEVC video quality enhancement algorithm framework combined with convolutional neural network ) 是由 何小海 孙伟恒 熊淑华 卡恩·普拉迪普 苏姗 卿粼波 滕奇志 于 2019-08-21 设计创作，主要内容包括：本发明提出了一种结合卷积神经网络的HEVC视频质量增强算法框架,所提框架分为两个部分：首先在编码端对I帧构建CNN环路滤波网络IFN-ND,以此替代HEVC原有的环路滤波器,这样就提升了I帧的质量。I帧作为后续P帧的参考帧,其质量的提升能够减少残差并初步提高P帧的质量；在解码端针对P帧构建了CNN后处理网络PQEN-ND对解码后的P帧质量进行进一步的提升。算法框架还从码流信息中提取HEVC压缩噪声分布信息,加入到所提卷积神经网络中,以进一步提升网络效果。实验结果表明,所提算法框架能够显著地提升压缩视频质量。本发明可广泛应用于数字电影拍摄传输、文体活动直播、远程教育培训和目标检测等领域。(The invention provides an HEVC video quality enhancement algorithm framework combined with a convolutional neural network, which is divided into two parts: firstly, a CNN loop filter network IFN-ND is constructed on an I frame at a coding end to replace an original loop filter of HEVC, so that the quality of the I frame is improved. The I frame is used as a reference frame of a subsequent P frame, and the improvement of the quality of the I frame can reduce residual errors and preliminarily improve the quality of the P frame; and a CNN post-processing network PQEN-ND is constructed for the P frame at a decoding end, so that the quality of the decoded P frame is further improved. The algorithm framework also extracts HEVC compression noise distribution information from the code stream information and adds the HEVC compression noise distribution information into the convolutional neural network so as to further improve the network effect. Experimental results show that the algorithm framework can remarkably improve the quality of compressed video. The invention can be widely applied to the fields of digital film shooting and transmission, living broadcast of cultural and physical activities, remote education and training, target detection and the like.)

一种结合卷积神经网络的HEVC视频质量增强算法框架

技术领域

本发明涉及图像通信领域中的视频编码及视频处理技术问题，尤其是涉及结合卷积神经网络的搭建和优化。

背景技术

近年来，随着智能手机和可穿戴智能设备的迅速发展，更多的视频应用逐渐开始被人们所使用在社交媒体、智能监控等领域。但受限于传输带宽和存储资源的不足，视频通常要经过有损压缩，目前主流的压缩标准HEVC于2013年2月被正式公布，它显著地提升了视频的编码效率。相较于前代视频编码标准H.264/AVC，在客观质量基本不变的前提下可节约50％的码率。然而，在有损压缩过程中尤其是在低码率段，会使视频中出现一定的压缩效应，如块效应，振铃效应，模糊等。这些压缩效应除了会使得解码端的视频质量严重下降，除了导致不佳的观看体验，也会影响一些视频处理应用的效果和精度，如目标识别和分类。因此，非常有必要去研究如何在编解码端两端有效提升解码视频质量。

受到深度学习在图像质量增强取得的成功的启发，许多学者尝试将深度卷积神经网络引入至压缩视频的质量增强。与压缩图片质量增强的思路相类似，一些学者提出在解码端对视频进行质量增强，Wang等人提出了一种非常深的卷积神经网络叫做DCAD，通过利用比特流和外部图像中剩余的未充分利用的信息，自动去除伪像并增强HEVC压缩视频的细节。Li等人采用了深度更深的网络及更丰富的数据集进行训练，提出了FECNN，在帧内编码实现了5.5％的码率提升。考虑到视频的时间冗余性，即视频的相邻帧往往比较相似。Yang等人提出了一种多帧增强的网络MFQE，首先在解码视频中检测质量高的帧，再利用解码视频中质量较高的帧对质量较低的帧进行质量提升，取得非常不错的效果。后续的作者在MFQE的基础上又继续提出了MFQE2.0，在主体思路不变的基础上构建了更大的数据集，优化了部分算法，进一步提升了多帧视频质量增强的效果。

考虑到视频的编码过程与图像编码不同，还包括帧间编码。在一帧编码完成后，编码端中所包含解码器会将编码好的码流重建为重建帧，作为后续P帧的参考帧，因此，提升重建帧的视频质量除了可以提升当前帧的视频质量更可以减少后续帧的预测误差，达到降低码率的作用。Park和Kim首先提出一种使用卷积神经网络来进行环内滤波的方法，称为IFCNN，采用神经网络替换HEVC后处理技术中的SAO，引入残差网络的思想提升训练的速度。Dai等人基于ARCNN和IFCNN的思想提出了VRCNN，完全替换HEVC的标准环路滤波器DF和SAO。

发明内容

针对HEVC压缩视频的质量提升问题，较少的工作考虑到利用编码信息和编码规律，以及考虑同时在编解码两端构建质量提升算法。针对以上问题，本文发明提出一种结合卷积神经网络的HEVC视频质量增强算法框架，在合理的时间复杂度范围内，尽可能地提高压缩视频质量。

本发明的基本思想是充分结合压缩视频码流中的噪声分布信息，在编解码两端分别构建卷积神经网络来充分去除压缩视频中的各类压缩效应，来达到提升HEVC压缩视频质量的目的。首先，关闭HEVC标准内置的环路滤波器SAO和DF，将原始视频通过HEVC压缩后，从码流中提取压缩噪声分布信息，将这些信息与所提的I帧环路滤波网络IFN-ND进行结合，从而提升I帧的编码质量；在解码端用类似的方式提取噪声分布信息，并与所提的P帧质量增强网络PQEN-ND进行结合，提升视频中P帧的质量。

具体主要包括以下过程步骤：

(1)构建一种从码流信息中提取噪声分布信息的方法。首先考虑到噪声主要分布于CU的块边界和视频中所包含对象的边缘区域，我们从码流信息中提取CU的分割信息，并利用Canny算子计算视频帧的梯度信息，通过二值化获得对应的边缘信息分布图，将二者进行合并，得到噪声信息分布图。这一过程如图1所示。

(2)构建了结合噪声分布信息的I帧环路滤波卷积神经网络IFN-ND，其网络结构如图2所示，分为特征提取、特征增强部分和重建三部分。首先采用一个卷积层提取噪声分布图和输入压缩图像的初步特征，而后这些特征通过Concat操作融合在一起。经过一个Decimation Layer能将原先的特征图下采为四个不丢失信息的小图，这样可以减少网络的复杂度，同时由于感受野的提升，也可以一定程度提高网络效果。然后经过多个级联的IMSRB模块输出不同层次的特征，再采用一个瓶颈层(Bottleneck Layer)从各层特征中自适应地提取有用信息。其中每一个IMSRB包含若干个1×1、3×3和5×5的卷积核来检测不同尺度的编码帧特征，还包含的卷积核来降低网络参数。网络中利用了大量局部残差学习和全局残差学习的方式让网络变得更加高效。

(3)将原始视频经H.265/HEVC编码，其中在编码端中嵌入了所提出的结合噪声分布信息的I帧环路滤波网络IFN-ND，得到压缩后的视频码流，对视频码流经H.265/HEVC解码后得到解码视频。

(4)在解码端提出了针对P帧质量增强的卷积神经网络PQEN-ND，其网络结构如图3所示考虑到P帧压缩效应产生的原因比只有帧内编码模式的I帧编码更为复杂，需要同时抑制帧内编码块和帧间编码块造成的失真，在IFN-ND的基础上PQEN-ND具有双路结构，能达到更好的效果。

(5)将所提出的PQEN-ND嵌入解码端，构建成完整的HEVC压缩视频质量增强算法框架，如图4所示。原始视频在通过HEVC压缩时，其I帧通过编码端IFN-ND进行质量提升，I帧的质量更好，后续将I帧作为参考帧的P帧编码时可以获得更准确的预测编码，能一定程度降低编码码率，同时初步提升P帧的质量，在解码端，通过PQEN-ND对这些P帧进一步提升质量。

实验结果表明，本发明的HEVC压缩视频质量增强算法框架相比HEVC，能获得更优的质量提升。

附图说明

图1压缩噪声分布信息提取图；

图2(a)结合噪声分布信息的I帧环路滤波网络(IFN-ND)框图,(b)IMSRB模块；

图3结合噪声分布信息的P帧质量增强网络(PQEN-ND)框图；

图4所提HEVC压缩视频质量增强算法框图。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

本发明的结合卷积神经网络的HEVC视频质量增强算法框架，与H.265/HEVC标准测试模型HM16.0比较过程如下：

1.配置文件为encoder_lowdelay_P_main.cfg，H.265/HEVC标准量化步长(QP)和本发明算法量化步长(QP)均选取27，32，37，42，47；

2.编码的对象为标准测试视频序列来自HEVC标准测试序列的5个Class的18个视频序列，其分辨率包括：2560×1600、1920×1080、1280×720、832×480、416×240；

3.将所提出的结合噪声分布信息的I帧环路滤波卷积神经网络IFN-ND嵌入至HEVC编码端，替代标准环路滤波器SAO和DF。

4.将待编码视频分别利用HM16.0标准方法和本发明所提算法框架进行编码和处理，本算法框架在解码端还要对解码视频通过所提出的结合噪声分布信息的P帧质量增强卷积神经网络PQEN-ND进行质量提升，计算得到的解码视频的客观参数PSNR；

5.实验结果如表1所示，统计显示，本发明方法PSNR超过H.265/HEVC。

表1本发明方法与H.265/HEVC标准PSNR的比较