具体实施方式

现在将详细参照具体实施方式，附图中图示了这些实施方式的示例。在以下详细描述中，阐述了许多非限制性的具体细节，以便帮助理解本文提出的主题。但是对于本领域普通技术人员将显而易见的是，可以使用各种替代方案。例如，对于本领域普通技术人员将显而易见的是，本文提出的主题可以在具有数字视频能力的许多类型的电子设备上实施。

贯穿本说明书对“一个实施例”、“实施例”、“示例”、“一些实施例”、“一些示例”、或类似语言的提及意味着所描述的特定特征、结构、或特性包括在至少一个实施例或示例中。除非另有明确说明，否则结合一个或一些实施例描述的特征、结构、要素、或特性也适用于其他实施例。

贯穿本公开，术语“第一”、“第二”、“第三”等都用作命名法，仅用于提及相关要素，例如设备、部件、组分、步骤等，除非另有明确说明，否则不暗示任何空间或时间顺序。例如，“第一设备”和“第二设备”可以指两个单独形成的设备，或者同一设备的两个部分、部件或工作状态，并且可以任意命名。

如本文所使用的，取决于上下文，术语“如果”或“当……时”可以被理解为意指“在……时”或“响应于”。这些术语如果出现在权利要求中，可能并不指示相关限制或特征是有条件的或可选的。

术语“模块”、“子模块”、“电路(circuit)”、“子电路(sub-circuit)”、“电路(circuitry)”、“子电路(sub-circuitry)”、“单元”、或“子单元”可以包括存储器(共享、专用、或组)，存储器存储可以由一个或多个处理器执行的代码或指令。模块可以包括具有或不具有存储的代码或指令的一个或多个电路。模块或电路可以包括直接或间接连接的一个或多个部件。这些部件可能会或可能不会物理地附接到彼此或彼此相邻。

单元或模块可以纯软件实施，也可以纯硬件实施，也可以硬件与软件结合实施。例如，在纯软件实施方式中，单元或模块可以包括直接或间接链接在一起的功能相关的代码块或软件部件，以执行特定功能。

图1示出了图示可以与使用基于块的处理的许多视频编解码标准结合使用的示例性的基于块的混合视频编码器100的框图。在编码器100中，视频帧被分割成多个视频块以进行处理。对于每个给定的视频块，基于帧间预测方法或帧内预测方法来形成预测。在帧间预测中，基于来自先前重建的帧的像素，通过运动估计和运动补偿来形成一个或多个预测值。在帧内预测中，基于当前帧中的重建像素来形成预测值。通过模式决策，可以选择最佳预测值来预测当前块。

将表示当前视频块与其预测值之间的差的预测残差发送至变换电路102。然后，将变换系数从变换电路102发送至量化电路104，以进行熵减小。然后，将量化系数馈送至熵编码电路106，以生成压缩视频比特流。如图1所示，来自帧间预测电路和/或帧内预测电路112的预测相关信息110(如视频块分区信息、运动矢量、参考图片索引和帧内预测模式)也通过熵编码电路106被馈送并且被保存到压缩视频比特流114中。

在编码器100中，还需要解码器相关电路，以重建像素用于预测目的。首先，通过反量化116和逆变换电路118来重建预测残差。将该重建预测残差与块预测值120组合，以生成针对当前视频块的未滤波的重建像素。

空间预测(或“帧内预测”)使用来自与当前视频块相同的视频帧中的已经编解码的相邻块的样点(被称为参考样点)的像素来预测当前视频块。

时间预测(也被称为“帧间预测”)使用来自已经编码的视频图片的重建像素来预测当前视频块。时间预测减少了在视频信号中固有的时间冗余。针对给定编码单元(CU)或编码块的时间预测信号通常由一个或多个运动矢量(MV)用信号发送，该一个或多个MV指示当前CU与其时间参考之间的运动量和运动方向。进一步地，如果支持多个参考图片，则另外发送一个参考图片索引，参考图片索引用于标识时间预测信号来自参考图片存储装置中的哪个参考图片。

在进行空间预测和/或时间预测之后，编码器100中的帧内/帧间模式决策电路121例如基于率失真优化方法来选择最佳预测模式。然后，从当前视频块减去块预测值120；并且使用变换电路102和量化电路104对所产生的预测残差进行去相关。通过反量化电路116对所产生的量化残差系数进行反量化，并通过逆变换电路118对量化残差系数进行逆变换，以形成重建残差，然后将重建残差加回到预测块以形成CU的重建信号。在重建的CU被放置于图片缓冲器117的参考图片存储装置中并被用于对未来的视频块进行编解码之前，可以对该重建的CU应用进一步的环路滤波115，如去块滤波器、样点自适应偏移(SAO)和/或自适应环路滤波器(ALF)。为了形成输出视频比特流114，将编码模式(帧间或帧内)、预测模式信息、运动信息、以及量化残差系数都发送至熵编码单元106，以进行进一步压缩和打包来形成比特流。

例如，去块滤波器在VVC的当前版本以及AVC、HEVC中是可用的。在HEVC中，定义了称为SAO(样点自适应偏移)的附加环路滤波器以进一步提高编解码效率。在VVC标准的当前版本中，正在积极研究称为ALF(自适应环路滤波器)的又一种环路滤波器，并且其很有可能包括在最终标准中。

这些环路滤波器操作是可选的。执行这些操作有助于提高编解码效率和视觉质量。这些操作也可以按照编码器100做出的决策而被取消，以节省计算复杂度。

应该注意的是，如果这些滤波器选项被编码器100开启，则帧内预测通常基于未滤波的重建像素，而帧间预测基于经滤波的重建像素。

图2是图示了可以与许多视频编解码标准结合使用的示例性的基于块的视频解码器200的框图。该解码器200类似于驻留在图1的编码器100中的重建相关部分。在解码器200中，首先通过熵解码202对输入视频比特流201进行解码以得到量化系数级别和预测相关信息。然后，通过反量化204和逆变换206来处理量化系数级别，以获得重建预测残差。在帧内/帧间模式选择器212中实施的块预测值机制被配置为基于已解码预测信息来执行帧内预测208或运动补偿210。通过使用加法器214对来自逆变换206的重建预测残差与由块预测值机制生成的预测输出进行求和，来获得一组未滤波的重建像素。

重建块在其被存储在用作参考图片存储装置的图片缓冲器213中之前可以进一步经过环路滤波器209。可以发送图片缓冲器213中的重建视频以驱动显示设备，并用于预测未来的视频块。在环路滤波器209被开启的情况下，对这些重建像素执行滤波操作，从而得到最终的重建视频输出222。

如VVC、JEM、HEVC、MPEG-4的第10部分等上文提到的视频编码/解码标准在概念上是相似的。例如，这些标准都使用基于块的处理。在联合视频专家组(JVET)会议上，JVET定义了通用视频编解码(VVC)和VVC测试模型1(VTM1)编码方法的初稿。决定包括具有嵌套多类型树的四叉树，嵌套多类型树使用二元和三元划分编码块结构作为VVC的初始新编解码特征。

在VVC中，图片分割结构将输入视频分为块，块被称为编码树单元(CTU)。使用具有嵌套多类型树结构的四叉树，将CTU划分为编码单元(CU)，具有定义了共享相同预测模式(例如，帧内或帧间)的区域的叶编码单元(CU)。在本公开中，术语“单元”定义了覆盖所有分量的图像区域；术语“块”用于定义覆盖特定分量(例如亮度)的区域，并且在考虑色度样点格式(如4:2:0)时可能在空间位置上有所不同。

常规合并模式

在VVC测试模型4(VTM4)中，通过按以下顺序来包括五种类型的候选的方式，构建合并候选列表：

1)来自空间相邻CU的空间运动矢量预测值(MVP)；

2)来自同位CU的时间MVP；

3)来自FIFO(先进先出)表的基于历史的MVP；

4)成对平均MVP；以及

5)零MV。

在条带头中用信号发送合并列表的尺寸，并且在VTM4中合并列表的最大允许尺寸为6。针对合并模式下的每个CU编解码，使用截断的一元二值化(TU)对最佳合并候选的索引进行编码。合并索引的第一个二进制位利用上下文进行编解码，并且其他二进制位使用旁路编解码。在本公开的以下上下文中，该合并模式也被称为常规合并模式，因为该概念与HEVC中使用的合并模式相同。

具有运动矢量差的合并模式(MMVD)

除了其中隐式得到的运动信息直接用于当前CU的预测样点生成的常规合并模式之外，VVC中还引入了具有运动矢量差的合并模式(MMVD)。在一些示例中，可以在发送跳过标志和合并标志之后，立即用信号发送MMVD标志以指定MMVD是否用于CU。

图3是图示了根据本公开的一些实施方式的具有运动矢量差(MMVD)搜索点的合并模式的示意图。

在MMVD中，在选择合并候选之后，由信号发送的运动矢量差(MVD)信息进一步细化合并候选。该信息包括合并候选标志、用于指定运动幅值的索引(即，距离索引)和用于指示运动方向的索引(即，方向索引)。在MMVD中，选择合并列表中的前两个候选中的一个候选用作MV基础(或起点)。用信号发送合并候选标志以指定使用哪一个。

距离索引指定运动幅值信息并且指示从起点开始的预定义偏移。如图3所示，将偏移添加到起始MV的水平分量或垂直分量以获得MMVD搜索点。表1中指定了距离索引与预定义偏移之间的关系。

表1：距离索引与预定义偏移之间的关系

方向索引表示MVD相对于起点的方向。方向索引可以表示表2所示的四个方向。根据起始MV的信息，MVD符号(例如，+或-)的含义可能不同。当起始MV是单向预测MV或两个MV都指向当前图片的同一侧的双向预测MV时(即两个参考的图片顺序计数(POC)都大于当前图片的POC，或两个参考的POC都小于当前图片的POC)，表2中的符号指定添加到起始MV的MV偏移的符号。当起始MV是双向预测MV且两个MV分别指向当前图片的不同侧时(即一个参考的POC大于当前图片的POC并且另一个参考的POC小于当前图片的POC)，表2中的符号指定添加到起始MV的列表0MV分量的MV偏移的符号，并且列表1 MV的符号具有相反值。

表2：由方向索引指定的MV偏移的符号

仿射运动补偿预测

图4是图示了根据本公开的一些实施方式的基于控制点的仿射运动模型的示例的示意图。

在HEVC中，仅将平移运动模型应用于运动补偿预测(MCP)。然而，在真实世界中，存在很多种运动，例如，放大/缩小、旋转、透视运动和其他不规则运动。在VVC中，特别是在VTM4中，应用了基于块的仿射变换运动补偿预测。如图4所示，块的仿射运动场由两个控制点运动矢量(即，4参数)或三个控制点运动矢量(即，6参数)的运动信息描述。

对于4参数仿射运动模型410，得到块中样点位置(x，y)处的运动矢量为：

对于6参数仿射运动模型420，得到块中样点位置(x，y)处的运动矢量为：

其中，(mv_0x，mv_0y)是左上角控制点的运动矢量，(mv_1x，mv_1y)是右上角控制点的运动矢量，并且(mv_2x，mv_2y)是左下角控制点的运动矢量。

图5是图示了根据本公开的一些实施方式的块的每个子块的仿射运动矢量场(MVF)501的示意图。为了简化运动补偿预测，应用了基于块的仿射变换预测。如图5所示，为了得到每个4×4亮度子块的运动矢量，根据上文的等式(1)和(2)计算每个子块的中心样点的运动矢量，并且四舍五入到1/16分数精度。然后，应用运动补偿插值滤波器以使用得到的运动矢量生成每个子块的预测。色度分量的子块尺寸也可以设置为4×4。4×4色度子块的运动矢量(MV)可以被计算为四个对应4×4亮度子块的MV的平均。

与平移运动帧间预测类似，也存在两种仿射运动帧间预测模式：仿射合并模式和仿射AMVP(高级运动矢量预测)模式。

仿射合并模式(AF_MERGE模式)可以应用于宽度和高度两者都大于或等于8的CU。在该模式下，当前CU的控制点运动矢量(CPMV)是基于空间相邻CU的运动信息生成的。可以存在多达五个CPMV预测值(CPMVP)候选，并且用信号发送用于指示待用于当前CU的那个CPMVP候选的索引。以下三种类型的CPMVP候选用于形成仿射合并候选列表：

1)从相邻CU的CPMV外推出的继承的仿射合并候选；

2)使用相邻CU的平移MV得到的构建的仿射合并候选；以及

3)零MV。

图6是图示了根据本公开的一些实施方式的继承的仿射运动预测值的位置的示意图。在VTM4中，存在最多两个从相邻块的仿射运动模型得到的继承的仿射候选，一个来自左边的相邻CU并且一个来自上面的相邻CU。当前CU的候选块如图6中所示错误！找不到参考源。对于左边的预测值，扫描顺序是A0->A1，对于上面的预测值，扫描顺序是B0->B1->B2。仅选择每一侧的第一个继承的候选。在两个继承的候选之间不执行剪除检查。

图7是图示了根据本公开的一些实施方式的控制点运动矢量继承的示意图。当相邻仿射CU 720被识别时，其控制点运动矢量用于在当前CU 710的仿射合并列表中得到CPMVP候选。如图7所示，如果相邻左下块A以仿射模式编码，则获得包含块A的CU 720的左上角、右上角和左下角的运动矢量v₂、v₃和v₄。当使用4参数仿射模型对块A进行编码时，根据v₂和v₃来计算当前CU 710的两个CPMV。在使用6参数仿射模型对块A进行编码的情况下，根据v₂、v₃和v₄计算当前CU 710的三个CPMV。

图8是图示了根据本公开的一些实施方式的构建的仿射合并模式候选的候选位置的定位的示意图。构建的仿射候选是通过组合每个控制点的相邻平移运动信息构建的。控制点的运动信息是从图8所示的指定空间邻居和时间邻居中得到的。CPMV_k(k＝1，2，3，4)表示当前块810的第k个控制点。针对CPMV₁，按顺序检查块B2->B3->A2，并且使用第一个可用的块的MV。同样，通过按顺序检查块B1->B0来得到CPMV₂。通过按顺序检查块A1->A0来得到CPMV₃。如果时间运动矢量预测值T可用，则时间运动矢量预测值T被用作CPMV₄。

在获得四个控制点的MV后，基于运动信息构建仿射合并候选。以下控制点MV的组合用于依次构建：

{CPMV₁，CPMV₂，CPMV₃}，

{CPMV₁，CPMV₂，CPMV₄}，

{CPMV₁，CPMV₃，CPMV₄}，

{CPMV₂，CPMV₃，CPMV₄}，

{CPMV₁，CPMV₂}，以及

{CPMV₁，CPMV₃}。

3个CPMV的组合构建6参数仿射合并候选，并且2个CPMV的组合构建4参数仿射合并候选。为了避免运动缩放过程，如果控制点的参考索引不同，则丢弃相关的控制点MV组合。

在检查了继承的仿射合并候选和构建的仿射合并候选之后，如果仿射合并候选列表仍不满，则将零MV插入到列表的最后。

基于子块的时间运动矢量预测(SbTMVP)

参考软件VTM支持基于子块的时间运动矢量预测(SbTMVP)方法。在一些示例中，子块合并模式或基于子块的合并模式可以包括基于子块的时间运动矢量预测(SbTMVP)和仿射合并预测(AMP)候选。图9A和图9B中图示了SbTVMP过程。

图9A是图示了根据本公开的一些实施方式的基于子块的时间运动矢量预测(SbTMVP)所使用的空间相邻块的示意图。

图9B是图示了根据本公开的一些实施方式的通过应用来自空间邻居的运动移位和对应同位子CU的缩放运动信息来得到子CU运动场的SbTMVP过程的示意图。

与HEVC中的时间运动矢量预测(TMVP)类似，SbTMVP使用同位图片中的运动场来改进当前图片中CU的运动矢量预测和合并模式。将TMVP所使用的相同同位图片用于SbTVMP。SbTMVP与TMVP的不同之处在于以下两个主要方面：

1)TMVP预测CU级别的运动，但是SbTMVP预测子CU级别的运动；以及

2)TMVP从同位图片中的同位块获取时间运动矢量(同位块是相对于当前CU的右下角块或中心块)，而SbTMVP在从同位图片获取时间运动信息之前应用运动移位，其中，运动移位是从当前CU的空间相邻块之一的运动矢量获得的。

SbTMVP在两个步骤中预测当前CU内的子CU的运动矢量。在第一步骤中，按照以下A1、B1、B0和A0的顺序对图9A中的空间邻居进行检查。一旦识别出具有使用同位图片作为其参考图片的运动矢量的第一空间相邻块，则选择该运动矢量作为待应用的运动移位。如果没有从空间邻居中识别出这种运动，则将运动移位设置为(0，0)。

在第二步骤中，如图9B所示，应用在第一步骤中识别的运动移位(即，添加到当前块的坐标)以从图9B中示出的同位图片中获得子CU级别运动信息(例如，运动矢量和参考索引)。图9B中的示例假设运动移位设置为A1块的运动。然后，针对每个子CU，使用同位图片中该子CU的对应块(覆盖中心样点的最小运动网格)的运动信息来得到该子CU的运动信息。在识别出同位子CU的运动信息后，按照类似于HEVC的TMVP过程的方式，将该运动信息转换为当前子CU的运动矢量和参考索引，其中，应用时间运动缩放以将时间运动矢量的参考图片与当前CU的参考图片对齐。

在VTM4中，组合的基于子块的合并列表用于基于子块的合并模式的信号发送，该组合的基于子块的合并列表包含SbTVMP候选和仿射合并候选，该基于子块的合并模式可以被称为子块合并模式或SbTVMP模式。SbTVMP模式由序列参数集(SPS)标志来启用/禁用。如果启用了SbTMVP模式，则添加SbTMVP预测值作为基于子块的合并候选列表的第一个条目，并且其后是仿射合并候选。在SPS中用信号发送基于子块的合并列表的尺寸，并且在VTM4中基于子块的合并列表的最大允许尺寸为5。

SbTMVP中使用的子CU尺寸固定为8×8，并且与仿射合并模式类似，SbTMVP模式仅适用于宽度和高度两者都大于或等于8的CU。

附加SbTMVP合并候选的编码逻辑与其他合并候选的编码逻辑相同，即，对于P或B条带中的每个CU，执行附加RD检查以决定是否使用SbTMVP候选。

组合帧间和帧内预测(CIIP)

在VTM4中，当在合并模式下对CU编解码时，并且如果CU包含至少64个亮度样点(即，CU宽度乘以CU高度等于或大于64)，则用信号发送用于指示是否将组合帧间/帧内预测(CIIP)模式应用于当前CU的附加标志。

为了形成CIIP预测，首先从两个附加语法元素得到帧内预测模式。可以使用多达四种可能的帧内预测模式：DC、平面、水平或垂直。然后，使用常规的帧内和帧间解码过程得到帧间预测和帧内预测信号。最后，对帧间和帧内预测信号进行加权平均以获得CIIP预测。可以针对CIIP仅使用用平面模式来简化该CIIP模式；例如，针对CIIP，可以去除在以下段落中所描述的帧内预测模式。另外地，在一些CIIP设计中，帧内和帧间预测样点的权重是基于相邻帧内编码块的数量自适应地选择的。具体地，权重(wIntra，wInter)自适应地设置如下。如果顶部和左侧邻居两者都是帧内编码的，则(wIntra，wInter)设置为等于(3，1)。否则，如果这些块之一是帧内编码的，则这些权重是相同的，即(2，2)。如果没有块是帧内编码的，则权重设置为等于(1，3)。在这些CIIP设计中，可能不会使用如以下段落中描述的权重得出方法。

在一些示例中，对于帧内预测模式推导，可以使用多达4种帧内预测模式来预测CIIP模式中的亮度分量，帧内预测模式包括DC、PLANAR(平面)、HORIZONTAL(水平)和VERTICAL(垂直)模式。如果CU形状很宽(即，其宽度是其高度的两倍以上)，则不允许使用HORIZONTAL模式。如果CU形状很窄(即，其高度是其宽度的两倍以上)，则不允许使用VERTICAL模式。在这些情况下，仅允许3种帧内预测模式。

CIIP模式使用3种最可能模式(MPM)进行帧内预测。CIIP MPM候选列表的形成如下：

i.分别将左侧和顶部相邻块设置为A和B；

ii.分别表示为intraModeA和intraModeB的块A和块B的帧内预测模式以如下步骤得出：

a.设X为A或B；

b.如果1)块X不可用；或2)未使用CIIP模式或帧内模式预测块X；或3)块B在当前CTU之外，则将intraModeX设置为DC；

c.否则，将intraModeX设置为：1)DC或PLANAR，如果块X的帧内预测模式是DC或PLANAR；或2)VERTICAL，如果块X的帧内预测模式是“类垂直”角度模式(大于34)，或3)HORIZONTAL，如果块X的帧内预测模式是“类水平”角度模式(小于或等于34)；

iii.如果intraModeA与intraModeB相同：

a.如果intraModeA为PLANAR或DC，则三个MPM将按顺序设置为{PLANAR，DC，VERTICAL}；

b.否则，三个MPM按顺序设置为{intraModeA，PLANAR，DC}；

iv.否则(intraModeA与intraModeB不同)：

a.前两个MPM按顺序设置为{intraModeA，intraModeB}；

b.按照针对前两个MPM候选模式的顺序对PLANAR、DC和VERTICAL的唯一性进行检查；一旦找到唯一模式，就将其添加为第三个MPM。

如果CU形状如上文所定义的非常宽或非常窄，则MPM标志被推断为1，而无需用信号发送。否则，用信号发送用于指示CIIP帧内预测模式是否是CIIP MPM候选模式之一的MPM标志。

如果MPM标志为1，则进一步用信号发送用于指示在CIIP帧内预测中使用MPM候选模式中的哪一种的MPM索引。否则，如果MPM标志为0，则在MPM候选列表中将帧内预测模式设置为“缺失(missing)”模式。例如，如果PLANAR模式不在MPM候选列表中，则PLANAR为缺失模式，并且帧内预测模式设置为PLANAR。由于CIIP中允许4种可能的帧内预测模式，并且MPM候选列表仅包含3种帧内预测模式，因此4种可能模式之一一定是缺失模式。

对于色度分量，始终应用DM模式，无需附加信号发送；即，针对CU，色度使用与亮度相同的预测模式。

CIIP编解码的CU的帧内预测模式被保存并且用于未来相邻CU的帧内模式编解码。

为了组合帧间和帧内预测信号，使用应用于常规合并模式的相同帧间预测过程得到CIIP模式下的帧间预测信号P_inter；并且按照常规帧内预测过程，使用CIIP帧内预测模式得到帧内预测信号P_intra。然后，使用加权平均来组合帧内和帧间预测信号。在一些示例中，权重值取决于帧内预测模式以及样点在编码块中位于何处，如下：

1)如果帧内预测模式为DC或平面模式，或者如果块宽度或高度小于4，则对帧内预测信号和帧间预测信号应用相等的权重；

2)否则，基于帧内预测模式(在这种情况下为水平模式或垂直模式)和块中的样点位置来确定权重。以水平预测模式为例(类似地但在正交方向上得到垂直模式的权重)。将W表示为块的宽度并且将H表示为块的高度。首先将编码块划分成四个等面积部分，每个部分的尺寸为(W/4)×H。从最接近帧内预测参考样点的部分开始，并且到距离帧内预测参考样点最远的部分结束，4个区域中每个区域的权重wt分别设置为6、5、3和2。使用以下得出最终CIIP预测信号：

P_CIIP＝((8-wt)*P_inter+wt*P_intra)＞＞3 (3)

用于帧间预测的三角分区

在VTM4中，针对帧间预测引入了新的三角分区模式。三角分区模式(TPM)仅适用于8×8或更大的CU，并且该CU以跳过模式或合并模式编解码。对于在合并标志开启的情况下满足这些条件的CU，用信号发送用于指示是否应用三角分区模式的CU级别标志。三角分区模式(TPM)也可以被称为三角形合并模式。

图10是图示了根据本公开的一些实施方式的基于三角分区的帧间预测的示例的示意图。

当使用三角形合并模式时，使用对角线划分1010或反对角线划分1020将CU均匀地划分为如图10所示的两个三角形状分区。CU中的每个三角分区使用自身的运动进行帧间预测；并且每个分区仅允许单向预测，即，每个分区具有一个运动矢量和一个参考索引。应用单向预测运动约束以确保在三角预测模式下，CU仅需要两次运动补偿预测，这与传统的双向预测相同。

如果CU级别标志指示当前CU是使用三角分区模式编码的，则用信号发送用于指示三角分区方向(即对角线的或反对角线的)的标志。然后，分别针对两个分区中的每个分区用信号发送索引，索引用于指示用于每个三角分区所使用的合并运动矢量候选。在预测三角分区中的每个三角分区之后，使用具有自适应权重的混合处理来调整沿对角线或反对角线边缘的样点值。在预测过程之后，将变换和量化过程应用于整个CU。值得一提的是，使用三角分区模式预测的CU的运动场以4×4为单位存储。

上下文自适应二进制算术编解码(CABAC)

上下文自适应二进制算术编解码(CABAC)是熵编码形式，用于许多视频编解码标准，例如H.264/MPEG-4AVC、高效视频编解码(HEVC)和VVC。CABAC基于算术编解码，经过一些创新和改变以使其适应视频编解码标准的需要：

i.CABAC对二进制符号进行编解码，从而保持低复杂度并且允许对任何符号的更常用比特进行概率建模。

ii.概率模型是基于局部上下文自适应地选择的，从而允许更好地对概率建模，因为编码模式通常在局部良好地相关。

iii.CABAC通过使用量化的概率范围和概率状态使用免乘法范围划分。

CABAC针对不同的上下文有多种概率模式。CABAC首先将所有非二进制符号转换为二进制。然后，对于每个二进制位(或称为比特)，编解码器选择要使用的概率模型，并且使用来自附近元素的信息来优化概率估计。最后应用算术编解码来压缩数据。

上下文建模提供对编解码符号的条件概率的估计。利用适合的上下文模型，可以根据要编码的当前符号附近的已编解码符号，通过在不同概率模型之间切换来利用给定的符号间冗余。

编解码数据符号涉及以下阶段：

i.二值化：CABAC使用二进制算术编解码，这意指仅对二进制决策(1或0)进行编码。在算术编解码之前，非二进制值符号(例如变换系数或运动矢量)被“二值化”或转换为二进制代码。该过程类似于将数据符号转换为可变长度代码的过程，但二进制代码在传输之前(通过算术编解码器)被进一步编码。

ii.对二值化符号的每个二进制位(或“比特”)重复阶段。

iii.上下文模型选择：“上下文模型”是针对二值化符号的一个或多个二进制位的概率模型。可以根据最近编解码的数据符号的统计数据从可用模型的选择中选择该模型。上下文模型存储每个二进制位为“1”或“0”的概率。

iv.算术编码：算术编解码器根据选择的概率模型对每个二进制位进行编码。注意，每个二进制位只有两个子范围(对应于“0”和“1”)。

v.概率更新：基于实际编解码的值更新所选上下文模型(例如，如果二进制位值为“1”，则增加为“1”的频率计数)。

综上，VTM-4.0中的合并模式分为五类，包括常规合并模式、具有MVD的合并模式(MMVD)、子块合并模式(包含仿射合并和基于子块的时间运动矢量预测)、组合帧间和帧内预测(CIIP)合并模式以及三角分区合并模式。表3中说明了当前VVC中合并模式信号发送的语法。符号ae(v)指示上下文自适应算术熵编码语法元素。

表3：当前VVC中合并相关模式的语法

即，在当前的VVC中，表4中示出了用信号发送的用于指示对应合并模式的语法(相关联的标志)。

表4：当前VVC中合并相关模式的信号发送

观察到，超过50％的合并模式是常规合并模式。然而，在VTM-4.0中，常规合并模式的码字是五种不同合并模式中最长的一个(如表4所示)，这在语法解析方面不是高效的设计。在当前VVC中，除了没有用于跳过的CIIP模式，跳过模式具有与合并模式的语法设计相似的语法设计。在跳过模式中观察到同样的问题。提出了若干种方法来提高合并相关模式的语法信号发送的效率。这些方法可以独立地或联合地应用。

在一些示例中，提出用信号发送用于常规合并模式的显式标志，显式标志用于指示是否使用常规合并模式。如下表5和表6的示例所示，一个常规标志(可以被称为常规合并标志)被明确地用信号发送到比特流中，并且相关标志的所有信号发送都被相应地修改。使用CABAC对常规合并标志进行上下文编解码。在一种方案中，仅使用一种上下文对常规合并标志进行编解码。在又另一种方案中，使用多种上下文模型对常规合并标志进行编解码，并且对上下文模型的选择是基于编解码信息的，如相邻块的常规合并标志、当前CU的尺寸或当前CU的跳过标志。

表5：合并相关模式的信号发送的示例

表6：跳过相关模式的信号发送的示例

在表5所示的示例中，如果用信号发送常规标志1(即，合并模式的信号发送包括常规合并模式的正信号)，则其指示使用常规合并模式并且使用常规合并模式得到当前块的运动信息。如果用信号发送常规标志0(即，合并模式的信号发送不包括常规合并模式的正信号)，则其指示使用其他合并模式。根据(多个)其他合并模式标志的(多个)值，可以指示包括MMVD、子块、CIIP和三角形合并模式的这些其他合并模式之一用于得到当前块的运动信息。例如，如果用正信号发送MMVD标志，则其指示当前块的运动信息是使用MMVD得到的。

在当前VVC中，用于启用每个不同合并相关模式的约束和/或条件是不同的，下表7中总结了这些约束和/或条件。此外，在序列参数集(SPS)中用信号发送用于指示每种合并模式的开启/关闭的标志，合并模式包括MMVD、子块(包含仿射和子块TMVP)、CIIP和三角模式。因此，可以得到指示合并模式的启用状态的变量。

表7：启用或用信号发送合并/跳过相关模式的约束

表5和表6示出了二值化码字，假设所有合并相关模式都可用(即，被启用)。然而，由于上文说明了对合并模式启用的约束，存在仅合并相关模式的子集而非全部合并相关模式可用的情况。即，可能不允许或启用特定合并模式作为模式选项。在这种情况下，也可以相应地调整对应的码字二值化以改进编解码效率。例如，在其中对于给定CU仅启用常规合并模式和MMVD模式的某些情况下，仅需要用信号发送一个二进制位，二进制位用于指示对给定CU使用这两种合并模式中的哪一种，如表8所示。在这种情况下，无需用信号发送标志，如MMVD、子块或CIIP标志。

表8：合并模式信号发送的特殊情况

还存在其他示例，其中由于合并模式启用的约束，仅合并相关模式的子集可用。每当仅合并相关模式的子集可用时，可以相应地调整对应的码字二值化以节省信号发送开销。

根据本公开，可以根据每种合并模式的启用/禁用状态(或启用状态(enablementstatus))，相应地调整用信号发送不同合并模式标志中的每个合并模式标志的必要性。更具体地，基于信号发送顺序(例如，信号发送顺序可以是常规合并标志->MMVD标志->子块标志->CIIP标志)，仅当在信号发送顺序中，在给定合并模式之后存在至少一种其他类型的合并模式并且该至少一种其他类型的合并模式也被允许(即，作为模式选项被启用)用于当前CU时，才用信号发送该给定合并模式标志。基于该概念，提供了示例性信号发送方法。以上文的信号发送顺序为例，如果不启用CIIP和三角形合并模式，则可以不用信号发送子块标志。

上述信号发送顺序仅是示例，并且其他信号发送顺序可以是可能的。

在一些示例中，在某种合并模式被允许(被启用)但没有如上文说明的那样用信号发送对应标志的情况下，可以推断或得到对应标志的值。如果针对当前CU，明确地用信号发送的合并模式标志全部为假，则推断对应标志的值为真。否则，推断值为假。在表8所示的示例中，其中允许MMVD模式但没有用信号发送MMVD标志，如果用信号发送的常规标志为0，则推断MMVD标志的值为真(或1)。否则，推断MMVD标志的值为假(或0)。

表9是图示了根据本公开的合并模式信号发送的语法的示例的语法表。在示例中，首先得到四个布尔变量MMVDAllowed、MergeSubblockAllowed、MergeCIIPAllowed和MergeTriangleAllowed的值，根据以下各项指定对于当前编码块是否分别允许每种模式：

i.MMVDAllowed＝sps_MMVD_enabled_flag；

ii.MergeSubblockAllowed＝(sps_affine_enabled_flag||sps_sbtmvp_enabled_flag)&&块宽度＞＝8&&块高度＞＝8；

iii.MergeCIIPAllowed＝sps_ciip_enabled_flag&&当前编解码块未以跳过模式被编解码&&(块宽度x块高度)＞＝64&&块宽度！＝128&&块高度！＝128；

iv.MergeTriangleAllowed＝sps_triangle_enabled_flag&&(块宽度x块高度)＞＝64。

在上文的表达式中，符号“||”和“&&”分别表示逻辑或和与操作。值得注意的是，上文列出的每个布尔变量的条件都对应于当前WC。在将来如果某种合并模式的关联约束发生变化，则可以相应地更新对应等式或表达式，并且本公开中描述的方法仍然适用。布尔变量用于确定是否需要用信号发送每个合并模式标志，如表9所说明的。在该语法表中，粗体变量表示用信号发送的语法。符号ae(v)指示上下文自适应算术熵编码语法元素。

表9：一个示例中合并相关模式的语法

在一些示例中，可以按组考虑不同的合并模式。例如，第一组合并模式可以包括常规合并模式，并且第二组合并模式可以包括CIIP合并模式和三角形合并模式(TPM)。替代性地，或另外地，基于子块的合并模式可以被考虑为第三组。可以基于合并模式组来提供信号发送顺序。根据不同实施方式，合并模式组可以按任何预定义的顺序。

在一个示例中，在信号发送顺序中，第一组可以列在第二组之前，并且随后仅当第二组合并模式中存在至少一种被允许或被启用作为模式选项(即CIIP和TPM中的一个或两者被允许)的合并模式时，才可以用信号发送常规合并模式标志。

图11是图示了根据本公开的一些实施方式的用于视频编解码的装置的框图。装置1100可以是如移动电话、平板计算机、数字广播终端、平板设备、或个人数字助理等终端。

如图11中所示，装置1100可以包括以下部件中的一个或多个：处理部件1102、存储器1104、电源部件1106、多媒体部件1108、音频部件1110、输入/输出(I/O)接口1112、传感器部件1114、以及通信部件1116。

处理部件1102通常控制装置1100的整体操作，如与显示、电话呼叫、数据通信、相机操作和录音操作相关的操作。处理部件1102可以包括一个或多个处理器1120，以用于执行指令从而完成上述方法的全部或部分步骤。进一步地，处理部件1102可以包括一个或多个模块，以促进处理部件1102与其他部件之间的交互。例如，处理部件1102可以包括多媒体模块，以促进多媒体部件1108与处理部件1102之间的交互。

存储器1104被配置为存储不同类型的数据以支持装置1100的操作。这种数据的示例包括用于在装置1100上运行的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或其组合来实施，并且存储器1104可以是静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪速存储器、磁盘或光盘。

电源部件1106为装置1100的不同部件供电。电源部件1106可以包括电源管理系统，一个或多个电源，以及与为装置1100生成、管理和分配电力相关联的其他部件。

多媒体部件1108包括提供装置1100与用户之间的输出接口的屏幕。在一些示例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，则屏幕可以被实施为从用户接收输入信号的触摸屏。触摸面板可以包括用于感测触摸面板上的触摸、滑动和手势的一个或多个触摸传感器。触摸传感器不仅可以感测触摸动作或滑动动作的边界，还可以检测与触摸或滑动操作相关的持续时间和压力。在一些示例中，多媒体部件1108可以包括前置相机和/或后置相机。当装置1100处于操作模式(如拍摄模式或视频模式)时，前置相机和/或后置相机可以接收外部多媒体数据。

音频部件1110被配置为输出和/或输入音频信号。例如，音频部件1110包括麦克风(MIC)。当装置1100处于工作模式(如呼叫模式、录音模式和语音识别模式)时，麦克风被配置为接收外部音频信号。接收到的音频信号可以进一步存储在存储器1104中或经由通信部件1116发送。在一些示例中，音频部件1110进一步包括用于输出音频信号的扬声器。

I/O接口1112提供处理部件1102与外围接口模块之间的接口。上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可以包括但不限于主页按钮、音量按钮、开始按钮和锁定按钮。

传感器部件1114包括用于为装置1100提供不同方面的状态评估的一个或多个传感器。例如，传感器部件1114可以检测装置1100的开/关状态和部件的相对位置。例如，部件是装置1100的显示器和键盘。传感器部件1114还可以检测装置1100或装置1100的部件的位置变化、用户对装置1100的接触的存在或不存在、装置1100的取向或加速度/减速度、以及装置1100的温度变化。传感器部件1114可以包括接近度传感器，接近度传感器被配置为在没有任何物理接触的情况下检测附近物体的存在。传感器部件1114可以进一步包括光学传感器，如在成像应用中使用的CMOS或CCD图像传感器。在一些示例中，传感器部件1114可以进一步包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器、或温度传感器。

通信部件1116被配置为促进装置1100与其他设备之间的有线或无线通信。装置1100可以接入基于如WiFi、4G、或其组合等通信标准的无线网络。在示例中，通信部件1116经由广播信道从外部广播管理系统接收广播信号或广播相关信息。在示例中，通信部件1116可以进一步包括用于促进短距离通信的近场通信(NFC)模块。例如，NFC模块可以基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术以及其他技术来实施。

在示例中，装置1100可以由以下各项中的一项或多项来实施以执行上述方法：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件。

非暂态计算机可读存储介质可以是例如硬盘驱动器(HDD)、固态驱动器(SSD)、闪速存储器、混合驱动器或固态混合驱动器(SSHD)、只读存储器(ROM)、致密盘只读存储器(CD-ROM)、磁带、软盘等。

图12是图示了根据本公开的一些实施方式的视频编解码的合并模式的信号发送的示例性过程的流程图。

在步骤1202中，处理器1120确定用于得到当前块的运动信息的合并模式的信令，其中，合并模式包括：常规合并模式和扩展合并模式。

在步骤1204中，在确定合并模式的信令包括常规合并模式的正信号时，处理器1120使用常规合并模式得到当前块的运动信息。

扩展合并模式可以包括具有运动矢量差的合并模式MMVD、子块合并模式、组合帧间和帧内预测CIIP合并模式、以及三角形合并模式。

图13是图示了根据本公开的一些实施方式的视频编解码的合并模式的信号发送的另一个示例性过程的流程图。

在步骤1302中，处理器1120提供合并模式的信号发送顺序，合并模式包括第一组合并模式和第二组合并模式。

在步骤1304中，处理器1120得到指示第二组合并模式中的至少一种合并模式的启用状态的变量。

在步骤1306中，在确定变量指示未启用第二组合并模式中的合并模式时，处理器1120使用第一组合并模式中的合并模式得到当前块的运动信息。

在步骤1308中，在确定变量指示启用第二组合并模式中的至少一种合并模式时，处理器1120确定用于得到当前块的运动信息的合并模式的信令。

在步骤1310中，当针对当前块确定按照信号发送顺序在给定合并模式之后存在至少一种其他类型的合并模式并且启用至少一种其他类型的合并模式时，处理器1120用信号发送给定合并模式标志。

在步骤1312中，当针对当前块确定按照信号发送顺序在给定合并模式之后不存在其他类型的已启用的合并模式时，处理器1120不用信号发送给定合并模式标志。

在步骤1314处，当确定某种合并模式被启用但没有用信号发送对应标志时，处理器1120推断对应标志的值与针对当前块的明确用信号发送的合并模式标志相反。

在一些示例中，提供了一种用于视频编解码的装置。装置包括一个或多个处理器1120；以及存储器1104，存储器被配置为存储可由一个或多个处理器执行的指令；其中，处理器在执行指令时被配置为执行如图12或图13中所图示的方法。

在一些其他示例中，提供了一种其中存储有指令的非暂态计算机可读存储介质1104。当指令由一个或多个处理器1120执行时，指令使处理器执行如图12或图13中所图示的方法。

已经出于说明目的呈现了对本公开的描述，并且描述不旨在是穷举的、或限于本公开。受益于前述描述和相关联附图中呈现的教导，许多修改、变体和替代性实施方式对于本领域普通技术人员将是显而易见的。

选择并描述实施例以便解释本公开的原理，并且使本领域其他技术人员能够理解本公开的各种实施方式并且最好地利用基本原理以及具有适合于预期的特定用途的各种修改的各种实施方式。因此，应当理解，本公开的范围不应受限于所公开的实施方式的具体示例，并且修改和其他实施方式旨在包括在本公开的范围内。