具体实施方式

现在将详细参考示例实施例，附图中图示了这些实施例的示例。以下描述均参考附图，在附图中，除非另有说明，否则不同附图中的相同参考标记表示相同或相似的要素。以下示例实施例描述中阐述的实施方式并不表示与本公开一致的所有实施方式。而是，它们仅仅是与所附权利要求中叙述的与本公开相关的方面一致的装置和方法的示例。

本公开中使用的术语仅出于描述特定实施例的目的，而不旨在限制本公开。如在本公开和所附权利要求中使用的，单数形式“一个(a)”、“一种(an)”和“所述(the)”旨在也包括复数形式，除非上下文另有明确指示。还应当理解，本文中使用的术语“和/或”旨在表示并包括相关联列举项目中的一个或多个项目的任何或所有可能组合。

应该理解的是，尽管本文可以使用术语“第一”、“第二”、“第三”等来描述各种信息，但是这些信息不应受这些术语的限制。这些术语仅仅是用来将一类信息与另一类信息进行区分。例如，在不脱离本公开的范围的情况下，第一信息可以被称为第二信息；并且类似地，第二信息也可以被称为第一信息。如本文所使用的，根据上下文，术语“如果”可以被理解为意指“当……时”或“在……时”或“响应于判断”。

HEVC标准的第一版本于2013年10月完成，其与上一代视频编解码标准H.264/MPEGAVC相比，提供了大约50％的比特率节省或同等的感知质量。尽管HEVC标准提供了优于其前身的显著编解码改进，但有证据表明，可以使用额外的编解码工具实现优于HEVC的编解码效率。在此基础上，VCEG和MPEG都开始了新编解码技术的探索工作，以实现未来的视频编解码标准化。ITU-T VECG和ISO/IEC MPEG于2015年10月成立了一个联合视频探索小组(JVET)，开始对能够大幅提高编解码效率的先进技术进行重大研究。JVET通过在HEVC测试模型(HM)的基础上整合多个附加编解码工具来维护一种称为联合探索模型(JEM)的参考软件。

2017年10月，ITU-T和ISO/IEC发布了关于具有超越HEVC的能力的视频压缩的联合提案(CfP)。2018年4月，第10届JVET会议上接收并评估了23份CfP回复，论证了压缩效率比HEVC提高约40％。基于这样的评估结果，JVET启动了开发名为通用视频编解码(VVC)的新一代视频编解码标准的新项目。同月，建立了一个称为VVC测试模型(VTM)的参考软件代码库，用于演示VVC标准的参考实施。

与HEVC一样，VVC在基于块的混合视频编解码框架上构建。图1给出了通用的基于块的混合视频编码系统的框图。具体地，图1示出了典型的编码器100。编码器100具有视频输入110、运动补偿112、运动估计114、帧内/帧间模式决策116、块预测值140、加法器128、变换130、量化132、预测相关信息142、帧内预测118、图片缓冲器120、反量化134、逆变换136、加法器126、存储器124、环路滤波器122、熵编解码138以及比特流144。

输入视频信号被逐块(称为编码单元(CU))进行处理。在VTM-1.0中，CU可以高达128×128像素。然而，不同于仅仅基于四叉树来分割块的HEVC，在VVC中，一个编码树单元(CTU)被划分成多个CU，以适应基于四/二/三叉树而不同的局部特性。另外，HEVC中的多种分割单元类型的概念被移除了，即，CU、预测单元(PU)和变换单元(TU)的区分不再存在于VVC中；相反，每个CU始终用作预测和变换两者的基本单元，而不进行进一步分割。在多类型树结构中，一个CTU首先按照四叉树结构分割。然后，每个四叉树叶节点可以进一步按照二叉树结构和三叉树结构分割。

如图3A、图3B、图3C、图3D和图3E所示，有五种划分类型，四元分割、水平二元分割、垂直二元分割、水平三元分割以及垂直三元分割。

图3A示出了图示根据本公开的多类型树结构中的块四元分割的图。

图3B示出了图示根据本公开的多类型树结构中的块垂直二元分割的图。

图3C示出了图示根据本公开的多类型树结构中的块水平二元分割的图。

图3D示出了图示根据本公开的多类型树结构中的块垂直三元分割的图。

图3E示出了图示根据本公开的多类型树结构中的块水平三元分割的图。

在图1中，可以执行空间预测和/或时间预测。空间预测(或“帧内预测”)使用来自同一视频图片/条带中的已经编解码的相邻块的样点(被称为参考样点)的像素来预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也被称为“帧间预测”或“运动补偿预测”)使用来自已编码的视频图像的重建像素来预测当前视频块。时间预测减少了在视频信号中固有的时间冗余。给定CU的时间预测信号通常由指示当前CU与当前CU的时间参考之间的运动量和运动方向的一个或多个运动矢量(MV)用信号发送。同样，如果支持多个参考图片，则另外发送一个参考图片索引，该参考图片索引用于标识时间预测信号来自参考图片存储中的哪个参考图片。在进行空间和/或时间预测之后，编码器中的模式决策块，例如基于率失真优化方法，来选择最佳预测模式。然后，从当前视频块减去预测块，并且使用变换对预测残差进行解相关并进行量化。对经量化的残差系数进行反量化和逆变换以形成重建残差，然后将该重建残差加回预测块以形成CU的重建信号。进一步地，在将重建的CU置于参考图片存储中并用于对未来的视频块进行编解码之前，可以对重建的CU应用如去块滤波器、样点自适应偏移(SAO)和自适应环路滤波器(ALF)等环路滤波。为了形成输出视频比特流，将编码模式(帧间或帧内)、预测模式信息、运动信息、以及量化残差系数都发送至熵编码单元，以进行进一步压缩和打包来形成比特流。

图2给出了基于块的视频解码器的一般框图。具体地，图2示出了典型的解码器200的框图。解码器200具有比特流210、熵解码212、反量化214、逆变换216、加法器218、帧内/帧间模式选择220、帧内预测222、存储器230、环路滤波器228、运动补偿224、图片缓冲器226、预测相关信息234以及视频输出232。

在图2中，首先在熵解码单元处对视频比特流进行熵解码。将编码模式和预测信息发送到空间预测单元(在帧内编码的情况下)或时间预测单元(在帧间编码的情况下)以形成预测块。将残差变换系数发送到反量化单元和逆变换单元以重建残差块。然后，将预测块和残差块相加。重建块可以进一步通过环路滤波，然后被存储在参考图片存储中。然后，将参考图片存储中的重建视频发送出去以驱动显示设备，并用于预测未来的视频块。

双向光流

视频编解码中的常规双向预测是对从已经重建的参考图片获得的两个时间预测块的简单组合。然而，由于基于块的运动补偿的限制，可能仍有可以在两个预测块的样点之间观察到的剩余的小运动，因此降低了运动补偿预测的效率。为了解决该问题，在VVC中应用BDOF以降低针对一个块内的每个样点的这种运动的影响。

具体地，如图4所示，当使用双向预测时，BDOF是在基于块的运动补偿预测之上执行的在样点级别的运动细化。图4示出了根据本公开的BDOF模型的图示。

在每个4×4子块周围的一个6×6窗口Ω内部应用BDOF之后，通过最小化L0与L1预测样点之间的差，来计算该子块的运动细化(v_x，v_y)。具体地，(v_x，v_y)的值推导为

其中，是向下取整函数；clip3(min.max，x)是将给定值x限幅到[min，max]范围内的函数；符号＞＞表示逐比特右移运算；符号＜＜表示逐比特左移运算；th_BDOF是用于防止由于不规律的局部运动导致的传播误差的运动细化阈值，其等于2^13-BD，其中，BD是输入视频的比特深度。例如，比特深度表示用于定义每个像素的比特数。在(1)中，

S₁、S₂、S₃、S₅和S₆的值计算为

其中，

θ(i，j)＝(I⁽¹⁾(i，j)＞＞6)-(I⁽⁰⁾(i，j)＞＞6)

其中，I^(k)(i，j)是在列表k(k＝0，1)中的预测信号的坐标(i，j)处的样点值，这些样点值以中高精度(即，16比特)生成；和分别是通过直接计算样点的两个相邻样点之间的差而获得的该样点的水平梯度和垂直梯度，即，

基于在(1)中得出的运动细化，基于光流模型，通过沿运动轨迹对L0/L1预测样点进行内插来计算CU的最终双向预测样点，如下式所示

其中，shift和o_offset是被应用以组合用于双向预测的L0预测信号和L1预测信号的右移位值和偏移值，分别等于15-BD和1＜＜(14-BD)+2·(1＜＜13)。表1示出了在BDOF过程中涉及的中间参数的具体比特宽度。如表中所示，整个BDOF过程的内部比特宽度不超过32比特。另外，具有最差可能输入的乘法发生在等式(1)中的乘积v_xS_2，m处，其中，输入S_2，m和v_x分别具有15比特和4比特。因此，15比特乘法器对于BDOF就足够了。

表1 VVC中BDOF的中间参数的比特宽度

双向预测的效率

尽管BDOF可以提高双向预测的效率，但是仍然有机会进一步改进BDOF的设计。具体地，本公开发现了VVC的现有BDOF设计中，用于控制中间参数的比特宽度的以下问题。

如表1所示，参数θ(i，j)(即，L0预测样点和L1预测样点之差)以及参数ψ_x(i，j)和ψ_y(i，j)(即，水平/垂直L0和L1梯度值的总和)都以相同的11比特比特宽度表示。尽管这种方法可以促进对BDOF的内部比特宽度的总体控制，但是其在得到的运动细化的精度方面是次优的。如等式(4)所示，部分原因可能是将梯度值计算为相邻预测样点之差。由于这种过程的高通本质，在存在噪声(例如，在原始视频中捕获的噪声和在编解码过程期间生成的编解码噪声)的情况下，得到的梯度的可靠性会降低。因此，以高比特宽度表示梯度值可能并不总是有益的。

如表1所示，整个BDOF过程中的最大比特宽度使用发生在计算垂直运动细化v_y时，其中，首先将S₆(27比特)向左移位3比特，然后减去((v_xS_2，m)＜＜12+v_xS_2，s)/2(30比特)。因此，当前设计的最大比特宽度等于31比特。在实际的硬件实施方式中，最大内部比特宽度大于16比特的编解码过程通常通过32比特的实施方式来实施。因此，现有的设计并未充分利用32比特实施方式的有效动态范围。这可能导致通过BDOF得到的运动细化的不必要的精度损失。

使用BDOF提高双向预测的效率

在本公开中，提出了一种改进的比特宽度控制方法，以解决在“问题陈述”部分中针对现有BDOF设计所指出的比特宽度控制方法的这两个问题。

图5示出了根据本公开的对视频信号进行编解码的比特深度控制方法。

在步骤510中，获得与视频块相关联的第一参考图片I⁽⁰⁾和第二参考图片I⁽¹⁾。按照显示顺序，第一参考图片I⁽⁰⁾在当前图片之前，并且第二参考图片I⁽¹⁾在当前图片之后。例如，参考图片可以是与被编码的当前图片相邻的视频图片。

在步骤512中，从第一参考图片I⁽⁰⁾中的参考块获得视频块的第一预测样点I⁽⁰⁾(i，j)，其中，i和j表示当前图片的一个样点的坐标。例如，第一预测样点I⁽⁰⁾(i，j)可以是使用运动矢量，在按显示顺序在先的参考图片的L0列表中的预测样点。

在步骤514中，从第二参考图片I⁽¹⁾中的参考块获得视频块的第二预测样点I⁽¹⁾(i，j)。例如，第二预测样点I⁽¹⁾(i，j)可以是使用运动矢量，在按显示顺序在后的参考图片的L1列表中的的预测样点。

在步骤516中，当编码比特深度大于12比特时，通过对内部BDOF参数应用右移来控制BDOF的内部比特深度。例如，BDOF使用内部BDOF参数，这些参数包括基于第一预测样点I⁽⁰⁾(i，j)、第二预测样点I⁽¹⁾(i，j)、以及第一预测样点I⁽⁰⁾(i，j)与第二预测样点I⁽¹⁾(i，j)之间的样点差得到的水平梯度值和垂直梯度值。

在步骤518中，基于BDOF被应用于视频块根据所述第一预测样点I⁽⁰⁾(i，j)和所述第二预测样点来获得视频块中的样点的运动细化。

在步骤520中，基于运动细化获得视频块的双向预测样点。

首先，为了克服梯度估计误差的负面影响，在所提出的方法中，在计算等式(4)中的梯度值和时引入附加的右移n_grad，即，以便降低梯度值的内部比特宽度。具体地，每个样点位置处的水平梯度和垂直梯度计算为

此外，将附加的比特移位n_adj引入到变量ψ_x(i，j)、ψ_y(i，j)和θ(i，j)的计算中，以控制整个BDOF过程，从而以合适的内部比特宽度来操作BDOF过程，如以下所描绘的：

如将在表2中看到的，由于在等式(6)和等式(7)中对向右移位的比特数量施加的修改，参数ψ_x(i，j)、ψ_y(i，j)和θ(i，j)的动态范围将是不同的，相比而言，在表1中所示的现有BDOF设计中，这三个参数都以相同的动态范围(即，21比特)表示。这种变化可能增加内部参数S₁、S₂、S₃、S₅和S₆的比特宽度，这可能会将内部BDOF过程的最大比特宽度增加到32比特以上。因此，为了确保32比特的实施方式，将两个附加的限幅操作引入到对S₂和S₆的值的计算中。具体地，在所提出的方法中，这两个参数的值计算为：

其中，B₂和B₆分别是用于控制S₂和S₆的输出动态范围的参数。应当注意，不同于梯度计算，在等式(8)中，限幅操作仅为计算一个BDOF CU内部的每个4×4子块的运动细化而被应用一次，即，基于4×4单元而被调用。因此，由于所提出的方法中引入的限幅操作而导致的对应复杂度增加是十分微不足道的。

实际上，可以应用不同值的n_grad、n_adj、B₂和B₆，以实现在中间比特宽度与内部BDOF推导的精度之间的不同折衷。作为本公开的一个实施例，提出将n_grad和n_adj设置为2，将B₂设置为25，并且将B₆设置为27。作为本公开的另一实施例，提出将n_grad设置为1，将n_adj设置为4，将B₂设置为26，并且将B₆设置为28。

表2示出了当将所提出的比特宽度控制方法应用于BDOF时，每个中间参数的对应比特宽度。在表2中，灰色突出显示了与VVC中的现有BDOF设计相比，在所提出的比特宽度控制方法中应用的变化。如表2所示，所提出的比特宽度控制方法使得整个BDOF过程的内部比特宽度不超过32比特。另外，通过所提出的设计，最大比特宽度刚好为32比特，因而可以充分利用32比特硬件实施方式的可用动态范围。另一方面，如表中所示，具有最差输入的乘法发生在乘积v_xS_2，m处，其中，输入S_2，m是14比特，并且输入v_x是6比特。因此，与现有的BDOF设计一样，当应用所提出的方法时，一个16比特乘法器也是足够大的。

表2所提出的方法的中间参数的比特宽度

图6示出了根据本公开的用于控制BDOF的内部比特深度的示例方法。

在步骤610中，基于第一预测样点I⁽⁰⁾(i+1，j)与第一预测样点I⁽⁰⁾(i-1，j)之差，获得第一预测样点I⁽⁰⁾(i，j)的第一水平梯度值。

在步骤612中，基于第二预测样点I⁽¹⁾(i+1，j)与第二预测样点I⁽¹⁾(i-1，j)之差，获得第二预测样点I⁽¹⁾(i，j)的第二水平梯度值。

在步骤614中，基于第一预测样点I⁽⁰⁾(i，j+1)与第一预测样点I⁽⁰⁾(i，j-1)之差，获得第一预测样点I⁽⁰⁾(i，j)的第一垂直梯度值。

在步骤616中，基于第二预测样点I⁽¹⁾(i，j+1)与第二预测样点I⁽¹⁾(i，j-1)之差，获得第二预测样点I⁽¹⁾(i，j)的第二垂直梯度值。

在步骤618中，将第一水平梯度值和第二水平梯度值右移第一移位值。

在步骤620中，将第一垂直梯度值和第二垂直梯度值右移第一移位值。

在上述方法中，添加了如等式(8)中的限幅操作，以避免在推导v_x和v_y时中间参数溢出。然而，仅当相关参数在大局部窗口中累积时才需要这种限幅。当应用一个小窗口时，可能不会发生溢出。因此，在本公开的另一实施例中，针对无需限幅的BDOF方法提出如下比特深度控制方法，如下所述。

首先，在每个样点位置处，等式(4)中的梯度值和计算为

其次，用于BDOF过程的相关参数ψ_x(i，j)、ψ_y(i，j)和θ(i，j)计算为：

第三，S₁、S₂、S₃、S₅和S₆的值计算为

第四，每个4×4子块的运动细化(v_x，v_y)推导为

第五，基于光流模型，通过沿运动轨迹对L0/L1预测样点进行内插来计算CU的最终双向预测样点，如下式所示

上述BDOF比特宽度控制方法建立在一个假设之上，即，用于对视频进行编码的内部比特深度不能超过12比特，使得来自运动补偿(MC)的输出信号的精度为14比特。换句话说，当内部比特深度大于12比特时，如等式(9)至等式(13)中指定的BDOF比特宽度控制方法不能保证内部BDOF操作的所有比特深度都在32比特以内。为了解决这种高内部比特深度的溢出问题，下面公开了一种改进的BDOF比特深度控制方法，其引入了附加的比特级别的右移，具体取决于在MC级之后所应用的内部比特深度。在这种方法中，当内部比特深度大于12比特时，MC的输出信号总是移位至14比特，使得为8至12比特的内部比特深度而设计的现有BDOF比特深度控制方法，可以重用于高比特深度视频的BDOF过程。具体地，假设bit-depth是内部比特深度，可以通过以下步骤来实施所提出的方法：

首先，在每个样点位置处，等式(4)中的梯度值和计算为

其次，用于BDOF过程的相关参数ψ_x(i，j)、ψ_y(i，j)和θ(i，j)计算为：

第三，S₁、S₂、S₃、S₅和S₆的值计算为

第四，每个4×4子块的运动细化(v_x，v_y)推导为

其中，th_BDOF是运动细化阈值，其基于内部比特深度计算为1＜＜max(5，bit-depth-7)。在另一个示例中，th_BDOF可以基于内部比特深度计算为1＜＜(bit-depth-7)。换句话说，为了控制BDOF运动细化的动态范围，将运动细化阈值确定为2的编码比特深度减7次幂。

图7示出了与用户界面760耦接的计算环境710。计算环境710可以是数据处理服务器的一部分。计算环境710包括处理器720、存储器740以及I/O接口750。

处理器720通常控制计算环境710的整体操作，比如与显示、数据获取、数据通信以及图像处理相关联的操作。处理器720可以包括一个或多个处理器以执行指令以执行上述方法中的所有或一些步骤。此外，处理器720可以包括促进处理器720与其他部件之间的交互的一个或多个模块。处理器可以是中央处理单元(CPU)、微处理器、单片机、GPU等。

存储器740被配置为存储各种类型的数据以支持计算环境710的操作。存储器740可以包括预定软件742。这种数据的示例包括在计算环境710上操作的任何应用或方法的指令、视频数据集、图像数据等。存储器740可以通过使用任何类型的易失性或非易失性存储器设备或其组合来实施，比如静态随机存取存储器(SRAM)、电可擦可编程只读存储器(EEPROM)、可擦可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。

I/O接口750提供处理器720与外围接口模块(比如键盘、点击轮、按钮等)之间的接口。按钮可以包括但不限于主页按钮、开始扫描按钮和停止扫描按钮。I/O接口750可以与编码器和解码器耦接。

在实施例中，还提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括多个程序，比如包含在存储器740中，可由计算环境710中的处理器720执行，用于执行上述方法。例如，该非暂态计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等。

该非暂态计算机可读存储介质中存储有用于由具有一个或多个处理器的计算设备执行的多个程序，其中，该多个程序在由该一个或多个处理器执行时，使该计算设备执行上述运动预测方法。

在实施例中，计算环境710可以用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、控制器、微控制器、微处理器、或其他电子部件来实施，用于执行上述方法。

已经出于说明目的呈现了对本公开的描述，并且所述描述不旨在是穷举的、或限于本公开。受益于前述描述和相关联附图中呈现的教导，许多修改、变体和替代性实施方式对于本领域普通技术人员将是显而易见的。

选择并描述实施例以便解释本公开的原理，并且使本领域其他技术人员能够理解本公开的各种实施方式并且最好地利用基本原理以及具有适合于预期的特定用途的各种修改的各种实施方式。因此，应当理解，本公开的范围不应受限于所公开的实施方式的具体示例，并且修改和其他实施方式旨在包括在本公开的范围内。