具体实施方式

本公开中使用的术语旨在说明特定示例，而不是限制本公开。本公开以及所附权利要求中使用的单数形式“一”、“一个”和“该”也指代复数形式，除非上下文中明确包含其他含义。应当理解，如本文所使用的术语“和/或”指代一个或更多个相关联的所列项目的任何或所有可能的组合。

应当理解，尽管本文可使用术语“第一”、“第二”、“第三”等来描述各种信息，但是信息不应受这些术语的限制。这些术语仅用于将一类信息与另一类信息区分开。例如，在不脱离本公开内容的范围的情况下，第一信息可被称为第二信息；并且类似地，第二信息也可被称为第一信息。如本文所使用的，根据上下文，术语“如果”可被理解为意指“当......时”或“在......时”或“响应于......”。

贯穿本说明书对单数或复数形式的“一个实施例”、“实施例”、“另一实施例”等的引用意指结合实施例描述的一个或更多个特定特征、结构或特性被包括在本公开的至少一个实施例中。因此，贯穿本说明书在各处以单数或复数形式出现的短语“在一个实施例中”或“在实施例中”、“在另一实施例中”等不一定都指代相同的实施例。此外，一个或更多个实施例中的特定特征、结构或特性可以以任何合适的方式组合。

在概念上，许多视频编解码标准类似，包括先前在背景技术部分中提到的那些视频编解码标准。例如，几乎所有视频编解码标准使用基于块的处理，并且共享类似视频编解码框架以实现视频压缩。

图1示出了可与许多视频编解码标准结合使用的示例性的基于块的混合视频编码器100的框图。在编码器100中，视频帧被分割为多个视频块以进行处理。对于每个给定视频块，基于帧间预测方法或帧内预测方法来形成预测。在帧间预测中，基于来自先前重建帧的像素，通过运动估计和运动补偿来形成一个或多个预测因子。在帧内预测中，基于当前帧中的重建像素来形成预测因子。通过模式决策，可选择最佳预测因子来预测当前块。

将表示当前视频块与其预测因子之间的差的预测残差发送到变换电路102。然后将变换系数从变换电路102发送到量化电路104以进行熵减少。然后将量化的系数馈送到熵编码电路106以生成压缩的视频比特流。如图1所示，来自帧间预测电路和/或帧内预测电路112的预测相关信息110(诸如视频块分割信息、运动矢量、参考图片索引和帧内预测模式)也通过熵编码电路106被馈送并保存到压缩的视频比特流114中。

在编码器100中，为了预测的目的，还需要解码器相关电路以便重建像素。首先，通过反量化116和逆变换电路118重建预测残差。该重建的预测残差与块预测因子120组合以生成当前视频块的未经滤波的重建像素。

为了提高编解码效率和视觉质量，通常使用环路滤波器。例如，去块滤波器在AVC、HEVC以及VVC的目前版本中可用。在HEVC中，将被称为SAO(样点自适应偏移)的附加环路滤波器定义为进一步提高编码效率。在VVC标准的当前版本中，正在积极地研究被称为ALF(自适应环路滤波器)的另外的环路滤波器，并且它很有可能被包括在最终标准中。

这些环路滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质量。它们也可根据由编码器100做出的决策被关闭，以节省计算复杂度。

应当注意，如果编码器100打开这些滤波器选项，则帧内预测通常基于未经滤波的重建像素，而帧间预测基于经过滤波的重建像素。

图2是阐述可与许多视频编解码标准结合使用的示例性的视频解码器200的框图。该解码器200类似于驻留在图1的编码器100中的重建相关部分。在解码器200(图2)中，首先通过熵解码202对输入的视频比特流201进行解码，以导出量化的系数等级和预测相关信息。然后通过反量化204和逆变换206对量化的系数等级进行处理，以获得重建的预测残差。在帧内/帧间模式选择器212中实现的块预测因子机制被配置为基于经解码的预测信息来执行帧内预测208或运动补偿210。通过使用求和器214对来自逆变换206的重建预测残差和由块预测因子机制生成的预测输出进行求和来获得一组未经滤波的重建像素。在打开环路滤波器的情况下，对这些重建像素执行滤波操作以导出最终重建视频。然后将参考图片存储器中的重建视频发送出去以驱动显示设备以及用于预测后面的视频块。

在诸如HEVC的视频编解码标准中，可基于四叉树对块进行分割。在诸如目前VVC的较新视频编解码标准中，采用更多的分割方法，并且可基于四叉树、二叉树或三叉树将一个编码树单元(CTU)划分为多个CU以适应变化的局部特性。在目前VVC中的大部分编码模式中不存在对CU、预测单元(PU)和变换单元(TU)的区分，并且每个CU总是用作用于预测和变换两者的基本单元，而无需进一步的分割。然而，在诸如帧内子分割编码模式的一些特定编码模式中，每个CU可仍包含多个TU。在多类型树结构中，首先通过四叉树结构对一个CTU进行分割。然后，可通过二叉树和三叉树结构进一步对每个四叉树叶节点进行分割。

图3示出了目前VVC中采用的五种划分类型，即四元分割301、水平二元分割302、垂直二元分割303、水平三元分割304和垂直三元分割305。

在诸如HEVC和目前VVC的视频编解码标准中，在参考图片集(RPS)的概念下，在解码图片缓冲器(DPB)中管理先前解码的图片以便用于参考。DPB中的图片可被标记为“用于短期参考”、“用于长期参考”或“不用于参考”。

当邻近块的参考图片不同于当前块的给定目标参考图片时，空间邻近块的缩放运动矢量可用作当前块的运动矢量预测因子。在针对空间运动候选的缩放过程中，基于当前图片与目标参考图片之间的图片顺序计数(POC)距离以及当前图片与邻近块的参考图片之间的POC距离来计算缩放因子。

在诸如HEVC和目前VVC的视频编解码标准中，基于针对空间运动候选的缩放过程中涉及的特定参考图片是长期参考图片还是非长期参考图片，对针对空间运动候选的缩放过程施加特定约束。当两个参考图片之一是长期参考图片并且另一个不是长期参考图片时，邻近块的MV被认为无效。当两个参考图片都是长期参考图片时，空间邻近块的MV被直接用作当前块的MVP，并且禁止缩放处理，这是因为两个长期参考图片之间的POC距离通常较大，因此缩放的MV可能不可靠。

类似地，在针对时间运动候选的缩放过程中，基于当前图片与目标参考图片之间的POC距离以及同位图片与时间邻近块(也称为同位块)的参考图片之间的POC距离来计算缩放因子。

在诸如HEVC和目前VVC的视频编解码标准中，还基于针对时间运动候选的缩放过程中涉及的特定参考图片是长期参考图片还是非长期参考图片，对针对时间运动候选的缩放过程施加特定约束。当两个参考图片之一是长期参考图片并且另一个不是长期参考图片时，邻近块的MV被认为无效。当两个参考图片都是长期参考图片时，空间邻近块的MV被直接用作当前块的MVP，并且禁止缩放处理，这是因为两个长期参考图片之间的POC距离通常较大，因此缩放的MV可能不可靠。

在诸如目前VVC的较新视频编解码标准中，已引入新的帧间模式编解码工具，并且新的帧间模式编解码工具的一些示例是：双向光流(BDOF)、解码器侧运动矢量修正(DMVR)、具有MVD的合并模式(MMVD)、对称MVD(SMVD)、具有加权平均的双向预测(BWA)、成对平均合并候选导出和基于子块的时间运动矢量预测(SbTMVP)。

视频编解码中的传统双向预测是从已经重建的参考图片获得的两个时间预测块的简单组合。然而，由于基于块的运动补偿的限制，可能存在可在两个预测块的样点之间观察到的其余的小运动，从而降低了运动补偿预测的效率。为了解决这个问题，在目前的VVC中应用BDOF，以降低这种运动对一个块内的每个样点的影响。

图4是BDOF过程的示例图。BDOF是在使用双向预测时紧接着基于块的运动补偿预测执行的基于样点的运动修正。在子块周围的一个6×6窗口内应用BDOF之后，通过最小化参考图片列表0(L0)预测样点和参考图片列表1(L1)预测样点之间的差来计算每个4×4子块的运动修正。基于如此导出的运动修正，通过基于光流模型沿运动轨迹对L0/L1预测样点进行插值来计算CU的最终双向预测样点。

DMVR是用于具有两个初始通知的MV的合并块的双向预测技术，其中所述MV是可通过使用双边匹配预测被进一步修正的MV。

图5是在DMVR中使用的双边匹配的示例图。双边匹配用于通过在两个不同参考图片中沿着当前CU的运动轨迹找到两个块之间的最接近匹配来导出当前CU的运动信息。在匹配过程中使用的代价函数是行子采样的绝对差之和(SAD)。在完成匹配过程之后，修正后的MV用于预测阶段中的运动补偿、去块滤波器中的边界强度计算、用于后续图片的时间运动矢量预测和用于后续CU的跨CTU空间运动矢量预测。在连续运动轨迹的假设下，指向两个参考块的运动矢量MV0和MV1应与当前图片与两个参考图片之间的时间距离(即，TD0和TD1)成比例。作为特殊情况，在当前图片在时间上介于两个参考图片之间并且从当前图片到两个参考图片的时间距离相同时，双边匹配变为基于镜像的双向MV。

除了现有的合并模式之外，目前的VVC还引入了MMVD。在现有的合并模式中，隐式导出的运动信息直接用于当前CU的预测样点生成。在MMVD模式中，在选择合并候选之后，通过通知的MVD信息进一步修正该合并候选。

在发送跳过标志和合并标志之后立即通知MMVD标志以指定MMVD模式是否用于CU。MMVD模式信息包括合并候选标志、用于指定运动幅度的距离索引和用于指示运动方向的方向索引。

在MMVD模式中，仅允许合并列表中的前两个候选之一被选择为起始MV，并且通知合并候选标志以指定使用这前两个候选中的哪一个。

图6是MMVD中使用的搜索点的示例图。将偏移添加到起始MV的水平分量或垂直分量以导出搜索点。距离索引指定运动幅度信息并且指示距起始点的预定义偏移，并且方向索引通过从方向索引到偏移符号的预定义映射来表示偏移相对于起始点的方向。

映射的偏移符号的含义可根据起始MV的信息而变化。当起始MV是单向预测MV或双向预测MV，其中，该双向预测MV所参考的参考图片指向当前图片的同一侧(即，多达两个参考图片的POC均大于当前图片POC，或均小于当前图片POC)时，映射的偏移符号指定添加到起始MV的MV偏移的符号。当起始MV是双向预测MV且其两个运动矢量指向当前图片的不同侧(即，一个参考图片的POC大于当前图片POC，并且另一参考图片的POC小于当前图片POC)时，映射的偏移符号指定添加到起始MV的L0运动矢量的MV偏移的符号和添加到起始MV的L1运动矢量的MV偏移的相反符号。

然后从通知的MMVD距离和符号导出MV偏移的两个分量，并且从MV偏移分量进一步导出最终MVD。

目前的VVC也引入了SMVD模式。在SMVD模式的情况下，包括L0和L1两者的参考图片索引以及L1的MVD的运动信息不通知而是被导出。在编码器中，SMVD运动估计从初始MV评估开始。初始MV候选的集合包括从单向预测搜索获得的MV、从双向预测搜索获得的MV和来自AMVP列表的MV。将具有最低率失真代价的初始MV候选选择为用于SMVD运动搜索的初始MV。

目前的VVC也引入了BWA。在HEVC中，通过对从两个参考图片获得的两个预测信号求平均和/或使用两个运动矢量来生成双向预测信号。在目前的VVC中，在BWA的情况下，双预测模式被扩展为允许两个预测信号的加权平均，而不止简单平均。

在目前的VVC中，在BWA中允许五个权重。对于每个双向预测的CU，以两种方式之一确定权重。对于非合并CU，在运动矢量差之后通知权重索引，而对于合并CU，基于合并候选索引从邻近块推断权重索引。加权平均双向预测仅应用于具有256或更多个亮度样点的CU(即，CU宽度乘以CU高度大于或等于256)。对于不使用后向预测的图片，使用所有五个权重。对于使用后向预测的图片，仅使用五个权重中的三个权重的预定义子集。

目前的VVC还引入了成对平均合并候选导出。在成对平均合并候选导出中，通过对现有合并候选列表中的预定义候选对求平均来生成成对平均候选。针对每个参考列表单独地计算平均运动矢量。当两个运动矢量在一个列表中都可用时，即使当这两个运动矢量指向不同的参考图片时，也对它们求平均；当只有一个运动矢量可用时，直接使用这一个运动矢量；并且当无运动矢量可用时，列表保持无效。当在添加成对平均合并候选之后合并列表不满时，在末尾插入零MVP，直到达到最大合并候选数量。

用于目前VVC的当前参考软件代码库(称为VVC测试模型(VTM))也引入了SbTMVP模式。类似于HEVC中的时间运动矢量预测(TMVP)，SbTMVP使用同位图片中的运动场来改进用于当前图片中的CU的运动矢量预测和合并模式。由TMVP使用的同一同位图片用于SbTMVP。SbTMVP与TMVP的不同之处在于以下两个主要方面：第一，TMVP在CU级预测运动，而SbTMVP在子CU级预测运动，并且第二，TMVP从同位图片中的同位块(该同位块是相对于当前CU的右下方块或中心块)提取时间运动矢量，而SbTMVP在从同位图片提取时间运动信息之前应用运动移位，其中该运动移位是从来自当前CU的空间邻近块之一的运动矢量获得。

图7A和图7B示出SbTMVP模式的操作。SbTMVP在两个步骤中预测当前CU内的子CU的运动矢量。图7A示出第一步骤，其中按照A1、B1、B0和A0的顺序检查空间邻居。一旦识别到具有使用同位图片作为其参考图片的运动矢量的第一空间相邻块，就将该运动矢量选择为将被应用的运动移位。当没有从空间邻居识别到这样的运动时，则将运动移位设置为(0,0)。图7B示出第二步骤，其中应用在第一步骤中识别到的运动移位(即，将运动移位添加到当前块的坐标)以从同位图片获得子CU级运动信息(运动矢量和参考索引)。图7B中采用的示例图示出了将运动移位设置到块A1的运动的示例。然后，对于每个子CU，同位图片中的其相应块(覆盖中心样点的最小运动网格)的运动信息用于导出子CU的运动信息。在识别到同位子CU的运动信息之后，以与HEVC的TMVP过程类似的方式将该运动信息转换为当前子CU的运动矢量和参考索引，其中应用时间运动缩放以将时间运动矢量的参考图片与当前CU的参考图片对准。

在VTM的第三版本(VTM3)中，包含SbTMVP候选和仿射合并候选两者的组合的基于子块的合并列表用于通知基于子块的合并模式。通过序列参数集(SPS)标志来启用或停用SbTMVP模式。当启用SbTMVP模式时，添加SbTMVP预测因子作为基于子块的合并候选的列表的第一条目，并且之后是仿射合并候选。在SPS中通知基于子块的合并列表的大小，并且基于子块的合并列表的最大允许大小在VTM3中固定为5。在SbTMVP中使用的子CU尺寸固定为8×8，并且如仿射合并模式那样，SbTMVP模式仅适用于宽度和高度两者均大于或等于8的CU。另外的SbTMVP合并候选的编码逻辑与其它合并候选的编码逻辑相同，即，对于P或B条带中的每个CU，执行另外的RD检查以决定是否使用SbTMVP候选。

目前的VVC引入了新的帧间模式编解码工具，然而，在HEVC和目前的VVC中存在的针对用于导出空间运动候选和时间运动候选的缩放过程的长期参考图片相关约束在一些新工具中没有很好地定义。在本公开中，我们提出了针对新帧间模式编解码工具的与长期参考图片相关的若干约束。

根据本公开，在对帧间模式编码块的帧间模式编解码工具的操作期间，将进行关于与帧间模式编解码工具的操作中涉及的帧间模式编码块相关联的参考图片中的一个或更多个参考图片是否是长期参考图片的确定，然后基于该确定，将在对帧间模式编码块的帧间模式编解码工具的操作时施加约束。

根据本公开的实施例，帧间模式编解码工具包括成对平均合并候选的生成。

在一个示例中，当在生成成对平均合并候选时涉及的平均合并候选是从包括作为长期参考图片的一个参考图片和不是长期参考图片的另一参考图片的预定义候选对生成时，将该平均合并候选认为无效。

在同一示例中，在从包括都是长期参考图片的两个参考图片的预定义候选对生成平均合并候选期间，禁止缩放过程。

根据本公开的另一实施例，帧间模式编解码工具包括BDOF，并且帧间模式编码块是双向预测块。

在一个示例中，当确定BDOF的操作中涉及的双向预测块的一个参考图片是长期参考图片并且BDOF的操作中涉及的双向预测块的另一参考图片不是长期参考图片时，禁止BDOF的执行。

根据本公开的另一实施例，帧间模式编解码工具包括DMVR，并且帧间模式编码块是双向预测块。

在一个示例中，当确定DMVR的操作中涉及的双向预测块的一个参考图片是长期参考图片并且DMVR的操作中涉及的双向预测块的另一参考图片不是长期参考图片时，禁止DMVR的执行。

在另一示例中，当确定DMVR的操作中涉及的双向预测块的一个参考图片是长期参考图片并且DMVR的操作中涉及的双向预测块的另一参考图片不是长期参考图片时，将DMVR的执行范围限制为整数像素DMVR的执行范围。

根据本公开的另一实施例，帧间模式编解码工具包括MMVD候选的导出。

在一个示例中，当确定在MMVD候选的导出中涉及的运动矢量候选具有指向作为长期参考图片的参考图片的运动矢量时，禁止使用该运动矢量候选作为基础运动矢量(也称为起始运动矢量)。

在第二示例中，当在MMVD候选的导出中涉及的帧间模式编码块的一个参考图片是长期参考图片并且在MMVD候选的导出中涉及的帧间模式编码块的另一参考图片不是长期参考图片时，并且进一步当基础运动矢量是双向运动矢量时，则对于指向长期参考图片并且也包含在双向基础运动矢量中的一个运动矢量，禁止通过所通知的运动矢量差(MVD)来修改这一个运动矢量。

在同一第二示例中，所提出的MVD修改过程将替代地如紧接此段落的框中所示，其中文本的强调部分示出所提出的来自目前VVC中的现有MVD修改过程的修改。

在第三示例中，当在MMVD候选的导出中涉及的帧间模式编码块的至少一个参考图片是长期参考图片时，并且进一步当基础运动矢量是双向运动矢量时，则在最终MMVD候选的导出中禁止缩放过程。

根据本公开的一个或更多个实施例，帧间模式编解码工具包括SMVD候选的导出。

在一个示例中，当确定运动矢量候选具有指向作为长期参考图片的参考图片的运动矢量时，禁止使用该运动矢量候选作为基础运动矢量。

在一些示例中，当在SMVD候选的导出中涉及的帧间模式编码块的至少一个参考图片是长期参考图片时，并且进一步当基础运动矢量是双向运动矢量时，则对于指向长期参考图片并且也包含在双向基础运动矢量中的一个运动矢量，禁止通过所通知的MVD修改这一个运动矢量。在其它示例中，当在SMVD候选的导出中涉及的帧间模式编码块的一个参考图片是长期参考图片并且在SMVD候选的导出中涉及的帧间模式编码块的另一参考图片不是长期参考图片时，并且进一步当基础运动矢量是双向运动矢量时，则对于指向长期参考图片并且也包含在双向基础运动矢量中的一个运动矢量，禁止通过所通知的MVD修改这一个运动矢量。

根据本公开的另一实施例，帧间模式编解码工具包括具有加权平均的双向预测，并且帧间模式编码块是双向预测块。

在一个示例中，当确定在具有加权平均的双向预测中涉及的双向预测块的至少一个参考图片是长期参考图片时，禁止使用不均衡加权。

根据本公开的另一实施例，帧间模式编解码工具包括运动矢量候选的导出，并且帧间模式编码块是SbTMVP编码块。

在一个示例中，在针对SbTMVP编码块的运动矢量候选的导出中使用与针对传统TMVP编码块的运动矢量候选的导出相同的限制。

在前一示例的一个改进中，对将在传统TMVP编码块和SbTMVP编码块两者上使用的运动矢量候选的导出的限制包括：一方面，如果在包括目标参考图片和邻近块的参考图片的两个参考图片内，一个参考图片是长期参考图片并且另一参考图片不是长期参考图片，则将时间邻近块的运动矢量视为无效，并且另一方面，当目标参考图片和邻近块的参考图片两者均是长期参考图片时，禁止对空间邻近块的运动矢量的缩放过程的操作，并且将空间邻近块的运动矢量直接用作当前块的运动矢量预测。

根据本发明的另一实施例，帧间模式编解码工具包括在运动矢量候选的导出中使用仿射运动模型。

在一个示例中，当确定在仿射运动模型的使用中涉及的参考图片是长期参考图片时，禁止在运动矢量候选的导出中使用仿射运动模型。

在一个或更多个示例中，所描述的功能可以以硬件、软件、固件或其任何组合来实现。如果以软件实现，则功能可作为一个或更多个指令或代码被存储在计算机可读介质上，或通过计算机可读介质被传输并且由基于硬件的处理单元执行。计算机可读介质可包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质，或包括促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何介质的通信介质。以此方式，计算机可读介质通常可对应于(1)非暂态的有形计算机可读存储介质、或(2)通信介质，诸如信号或载波。数据存储介质可以是可由一个或更多个计算机或一个或更多个处理器访问以检索用于实现本申请中描述的实施方式的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包括计算机可读介质。

此外，可使用包括一个或更多个电路的装置来实现上述方法，其中一个或更多个电路包括专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件。装置可与其他硬件或软件组件组合地使用电路以执行上述方法。上面公开的每个模块、子模块、单元或子单元可至少部分地使用一个或更多个电路来实现。

考虑到本文公开的本发明的说明书和实践，本发明的其他实施例对于本领域技术人员将是显而易见的。本申请旨在覆盖遵循本发明的一般原理的本发明的任何变化、用途或改编，并且包括在本领域已知或惯常实践内的与本公开的这种偏离。说明书和实施例旨在仅被认为是示例性的，本发明的真实范围和精神由所附权利要求指示。

应当理解，本发明不限于上述和附图中所示的确切示例，并且可在不脱离其范围的情况下进行各种修改和改变。本发明的范围旨在仅受所附权利要求的限制。