阅读说明：本技术 一种基于深度学习的多模式分像素插值方法 (Multi-mode sub-pixel interpolation method based on deep learning ) 是由 刘家瑛 夏思烽 胡越予 郭宗明 于 2019-03-12 设计创作，主要内容包括：本发明公开了一种基于深度学习的多模式分像素插值方法,其步骤包括：1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测,生成两种模式下的分像素预测值；模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差,并将左上角整像素与预测残差相加,得到一组目标亚像素值；模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一整像素的残差,计算对应的目标亚像素预测值；2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一和模式二生成的亚像素级参考块,对待编码块进行帧间编码,然后基于三种编码的编码效果选择最佳亚像素级参考块,并将供解码器端使用的相应信息存储到码流。(The invention discloses a multi-mode sub-pixel interpolation method based on deep learning, which comprises the following steps: 1) the difference prediction network adopts two modes to predict the input coded integer pixel reference block to generate sub-pixel prediction values under the two modes; in the mode I, the differential prediction network predicts the residual errors from all target sub-pixels to the upper left corner whole pixel of the whole pixel reference block, and adds the upper left corner whole pixel and the predicted residual errors to obtain a group of target sub-pixel values; in the second mode, the difference prediction network predicts the residual error between the target sub-pixel and an integral pixel outside the upper left corner of the integral pixel reference block and calculates the corresponding target sub-pixel predicted value; 2) the encoder respectively uses the sub-pixel level reference block generated by the existing interpolation method and the sub-pixel level reference block generated by the mode I and the mode II to perform interframe coding on a block to be coded, then selects the optimal sub-pixel level reference block based on the coding effects of the three kinds of coding, and stores corresponding information used by a decoder end into a code stream.)

一种基于深度学习的多模式分像素插值方法

技术领域

本发明属于视频编码领域，主要涉及一种帧间运动补偿的分像素插值方法。可以用于提升视频压缩率。

背景技术

在数字视频的使用传播过程中，视频编解码是一项不可或缺的关键技术。视频编解码技术通过对视频进行编码端的编码压缩以及解码端的解码恢复，极大地降低了数字视频在存储和传输过程中的开销，使得数字视频在日常生活得以被普遍使用。其中，运动补偿是视频编解码技术里利用帧间冗余信息提升视频压缩率的一个关键方法。

在运动补偿过程中，编码器会在已编码压缩的视频帧中搜索与当前待编码视频帧块相似的已编码参考块，基于相似的已编码参考块，编码器可以仅编码记录待编码块与参考块之间的残差和参考块的索引信息，而无需再编码完整的待编码块信息，从而减少编码所需存储空间，提升压缩率。然而，由于视频采样的离散化特性，在运动补偿寻找已编码参考块的过程中，当待编码块与参考块之间的运动偏移处于亚像素精度时，在参考帧中将难以找到与待编码块足够相似的参考块。

为此，在运动补偿技术中，分像素插值算法被用于对已编码相邻帧中的参考块进行亚像素级的插值，生成处于不同亚像素精度的分像素块，从而获取更多的参考信息，得到更加相似的参考块以进一步辅助编码压缩。目前编码技术普遍插值出达到1/4像素精度的共15个亚像素级参考块作为额外的帧间参考，整像素与分像素的相对位置关系示意如附图1所示，对于整像素块I^A中的每个整像素有对应的3个1/2位像素以及12个1/4位像素

目前的编码技术普遍采取手工设计的简单固定的插值滤波器进行插值，这一类插值方法由于采取的插值滤波器简单而固定，往往不能很好地处理多样的视频信号。

受启发于深度神经网络技术在图像处理问题中的成功应用，一些方法在分像素插值算法中引入了深度神经网络，并获得了一定的性能提升。但是，已有的方法仍然在构建深度神经网络时将分像素插值问题建模为传统的插值问题，利用单一位置的整像素预测所有的分像素。即现有方法仍仅仅通过预测分像素与左上角整像素之间的残差来实现对分像素的预测，预测结果不够准确。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于深度学习的多模式分像素插值方法，通过预测分像素与不同位置整像素之间的残差，实现对分像素的多种模式的预测，并将多模式预测的结果提供给编码器选择，从而获取更佳的编码性能。

本发明的技术方案为：

一种基于深度学习的多模式分像素插值方法，其步骤包括：

1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测，生成两种模式下的分像素预测值；其中，模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差，并将左上角整像素与预测残差相加，得到一组目标亚像素值；模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一个整像素的残差，并基于得到的残差得到对应的目标亚像素预测值；

2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一生成的亚像素级参考块和模式二生成的亚像素级参考块，对待编码块进行帧间编码，然后基于三种编码的编码效果选择最佳亚像素级参考块，并将供解码器端使用的相应信息存储到码流。

进一步的，训练所述差分预测网络的方法为：

11)获取多个样本图片，对每一样本图片进行隔点采样以及编码重建得到整像素块并对该样本图片进行隔点采样以及模糊得到分像素块，得到该样本图片对应的训练数据；

12)将整像素块送入差分预测网络中，进行差分预测网络的前向计算，获取残差预测值，然后将预测的残差值与所属预测模式对应位置的整像素相加，获取目标分像素；

13)计算步骤12)得到的计算结果与训练数据中的目标分像素块的均方差；

14)将计算的均方差反向传播到差分预测网络各层，以更新各层权值；

15)重复步骤11)-步骤14)直到差分预测网络的均方差收敛。

进一步的，所述模式一包括1/2像素位的分像素插值模型和1/4像素位的分像素插值模型；所述模式二包括1/2像素位的分像素插值模型和1/4像素位的分像素插值模型。

进一步的，对于1/2分像素插值，每个样本图像对应的训练数据为整像素块和对应的3个1/2分像素块；对于1/4分像素插值，每个样本图像对应的训练数据为整像素块和12个1/4分像素块。

进一步的，所述模式二为：差分预测网络预测目标亚像素与右上角、左下角或右下角整像素的残差，并基于得到的残差得到对应的目标亚像素预测值。

进一步的，所述模式二为：差分预测网络预测目标亚像素与最近邻整像素的残差，并基于得到的残差得到对应的目标亚像素预测值。

本发明通过研究发现，对于部分分像素，其他位置整像素距离其更近，比如附图1中示意的分像素其距离整像素比整像素更近，到的残差可以被更加准确地预测；因此本发明在原有的统一基于左上角整像素预测所有分像素的基础上，为每个分像素额外选取另一个位置的整像素，提供另一组对分像素的预测结果。两组预测结果共同作为亚像素级的帧间参考，提供给编码器使用。

本发明预测过程主要基于一个差分预测网络进行实现，网络将一个已编码的参考块也就是整像素块作为输入，基于预先准备的训练数据学习一组非线性映射参数，并基于此获取对整像素块的亚像素级的预测，得到所需的分像素块。

在此基础上，本发明设计了两种预测模式，两种模式如附图2和图3所示。在两种预测模式中，网络结构和输入保持一致，输入是已编码的整像素参考块，但两种模式会预测输入整像素参考块的对应目标亚像素到整像素参考块的不同位置整像素的残差。在第一种模式中，如附图2所示，网络预测所有目标亚像素到整像素参考块的左上角整像素的残差，并将左上角整像素与预测残差相加，获取15个目标亚像素值；第二种模式对每一个待预测目标亚像素，从它的右上角、左下角以及右下角三个位置的整像素中选取最近邻位置的整像素，预测目标亚像素与选取的整像素的残差，以获取第二种模式的目标亚像素预测值。具体选取的方式如附图3所示。在获取到的两种模式的亚像素预测值的基础上，编码器使用已有插值方法生成的亚像素级参考块以及本发明生成的两组亚像素级参考块对待编码块进行帧间编码，基于实际编码效果，编码器选择最佳参考块，并将对应信息(即获取最佳参考块的方法，包括是使用编码器原始插值方法，还是使用本发明插值方法，以及选取哪种插值模式)存储到码流，以供解码器端使用。

接下来描述本发明方法的主要步骤。

本发明中训练了两种模式下1/2像素位和1/4像素位的共四个分像素插值模型。假设要实现1/N像素位对应模式的分像素插值算法，需要先收集足够多样的图片，经过隔点采样、模糊和编码模拟等步骤生成训练数据，获取一批整像素块和分像素块的图片对。让生成的整像素块流过网络，得到最后预测出的分像素位块，将预测出的分像素位块与生成的训练数据中的分像素块进行均方差的计算，计算结果作为误差值，反向传播到网络各层，更新网络中的权值。以此迭代，直到神经网络模型收敛，具体如下：

步骤1：收集一批图片，对图片进行隔点采样以及编码重建得到整像素块，对图片进行隔点采样以及模糊得到分像素块，构建出训练数据对。

步骤2：将整像素块送入网络中，进行网络的前向计算。网络获取对应的残差预测值后，基于训练模型所属的预测模式，将对应位置的整像素与预测的残差值相加，获取目标分像素。

步骤3：步骤2得到计算结果，与训练数据中的目标分像素块进行均方差的计算。

步骤4：把计算的均方差反向传播到神经网络各层，以更新各层权值，在下次迭代中使得结果更接近目标效果。

步骤5：重复步骤1-步骤4直到神经网络的均方差收敛。

在获取训练完毕的网络模型后，将模型应用到编码器的帧间运动补偿算法中，生成两种模式下的分像素预测值，并通过3遍编码，使编码器分别使用原有插值算法生成的分像素块进行编码，模式1预测的分像素块进行编码以及模式2预测的分像素块进行编码，根据三种编码结果选取最优分像素块，并记录相应的选择结果传给解码器，以保证编解码的匹配。

与现有技术相比，本发明的积极效果为：

通过预测分像素与不同位置整像素之间的残差，实现对分像素的多种模式的预测，并将多模式预测的结果提供给编码器选择，从而获取更佳的编码性能。通过使用本发明生成的分像素，在通测序列上进行测试，对比原编码器的编码结果，在占视频数据主体的亮度分量上，可平均提升2.8％的压缩率，具体提升效果如下：

附图说明

图1为整像素与分像素相对位置的示意图；

图2为本发明分像素预测模式1的示意图；

图3为本发明分像素预测模式2的示意图；

图4为本发明生成训练数据的流程示意图。

具体实施方式

为了对本发明的技术方法进一步阐述，下面结合说明书附图和具体实例，对本发明的分像素插值方法进行进一步的详细说明。

本实例将重点详细阐述该技术方法中神经网络的训练过程。假设目前我们已经构建了所需的卷积神经网络模型，并且有N张训练图像{I₁,I₂,...,I_N}作为训练集，训练1/4精度在模式2下的分像素块插值网络。

结合附图本实例方法如下：

一、训练过程：

步骤1：将训练集{I₁,I₂,...,I_N}中的每一张图像I_k进行如图4的训练数据生成。对于整像素块的生成，首先隔点下采样得到初步的整像素块，然后利用编码器进行编码，得到编码重建的结果对于分像素块的生成，首先对图片进行标准差值为区间[0.5,0.6]内随机数的高斯模糊图片(1/2块生成时为0.4到0.5)。对高斯模糊图片再进行隔点采样得到1/4分像素块

如此即可获取所需训练数据集后续训练过程会基于训练数据迭代更新网络权值，每次随机选取生成的训练数据对进行网络的训练。

步骤2：以一次迭代为例，假设本次迭代将

作为输入，则网络基于现有参数进行前向传播，得到目标分像素块与整像素块之间的残差

结合附图1和附图3，在模式2下，最终基于下式得到目标分像素块中每个分像素位置(i,j)的值：

为网络预测的目标分像素块。

步骤3：利用步骤2预测的分像素块和训练数据中的标签分像素块计算网络预测的均方误差。

步骤4：获得均方误差值之后，反向传播误差值梯度，以训练网络更新网络参数，以降低网络的预测误差。

步骤5:重复步骤2-步骤4直到神经网络收敛，即网络预测值和原始目标值的均方误差不再降低。

二、编码过程：

在训练完成两种模式的1/2和1/4分像素插值网络后，在编码器实际测试中，将搜索到的已编码参考块输入训练完成的两种模式的1/2和1/4分像素插值网络中，获取两种模式的共30个分像素块的插值预测结果，与编码器原本的分像素插值结果一起，交由编码器进行三遍运动补偿的尝试，基于实际运动补偿的结果，选取对应的分像素插值方法。

图1描述了整像素与分像素之间的相对位置，图2和图3总结了本发明的两种分像素预测模式，图4总结了本发明的训练数据生成方法。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。