具体实施方式

本申请可应用于多种视频编码标准，如H.264，高效率视频编码(high efficiencyvideo coding，HEVC)，通用视频编码(versatile video coding，VVC)，音视频编码标准(audio video coding standard，AVS)，AVS+，AVS2以及AVS3等。

视频编码过程主要包括预测、变换、量化、熵编码、环路滤波等部分。预测是主流视频编码技术的重要组成部分。预测可以分为帧内预测和帧间预测。帧间预测可以通过运动补偿的方式来实现。下面对运动补偿过程进行举例说明。

例如，对于一帧图像，可以先将其划分成一个或多个编码区域。该编码区域也可称为编码树单元(coding tree unit，CTU)。CTU的尺寸例如可以是64×64，也可以是128×128(单位为像素，后文的类似描述均省略单位)。每个CTU可以划分成方形或矩形的图像块。该图像块也可称为编码单元(coding unit，CU)，后文会将待编码的当前CU称为当前块。

在对当前块进行帧间预测时，可以从参考帧(可以是时域附近的已重构帧)中寻找当前块的相似块，作为当前块的预测块。当前块与相似块之间的相对位移称为运动矢量(motion vector，MV)。在参考帧中寻找相似块作为当前块的预测块的过程即为运动补偿。

帧间预测模式包括merge模式和非merge模式。在merge模式中，图像块的运动矢量(motion vector，MV)即为图像块的运动矢量预测(motion vector prediction,MVP)，因此，对于merge模式，在码流中传输MVP的索引及参考帧的索引即可。相比而言，非merge模式不但需要在码流中传输MVP和参考帧的索引，还需要在码流中传输运动矢量差值(motionvector difference，MVD)。

传统的运动矢量采用的是简单的平移模型，即当前块的运动矢量代表的是当前块与参考块之间的相对位移。这种类型的运动矢量难以准确描述视频中的更为复杂的运动情况，如缩放、旋转、透视等。为了能够描述更为复杂的运动情况，相关编解码标准中引入了仿射模型(affine模型)。仿射模型利用当前块的两个或三个控制点(control point，CP)的运动矢量描述当前块的仿射运动场。该两个控制点例如可以是当前块的左上角点和右上角点；该三个控制点例如可以是当前块的左上角点，右上角点和左下角点。

将仿射模型与前文提及的merge模式结合在一起，即形成affine merge模式。普通merge模式的运动矢量候选列表(merge candidate list)中记录的是图像块的MVP，而affine merge模式的运动矢量候选列表(affine merge candidate list)中记录的是控制点运动矢量预测(control point motion vector prediction，CPMVP)。与普通merge模式类似，affine merge模式无需在码流中添加MVD，而是直接将CPMVP作为当前块的CPMV。

当前块的affine merge candidate list的构造是affine merge模式的重要过程之一。图1示出了affine merge candidate list(仿射融合候选列表)的一种可能的构造方式。

步骤S110，在当前块的affine merge candidate list中插入ATMVP。

ATMVP包含的是当前块的子块的运动信息。换句话说，采用ATMVP技术时，affinemerge candidate list会插入当前块的子块的运动信息，使得affine merge模式能够在子块这一级别进行运动补偿，从而提升视频的整体编码性能。下文会结合图3，对步骤S110的实现方式进行详细描述，此处暂不详述。

所述运动信息包括以下一种或多种信息的组合：运动矢量；运动矢量差值；参考帧索引值；帧间预测的参考方向；图像块采用帧内编码或帧间编码的信息；图像块的划分模式。

步骤S120，在affine merge candidate list中插入继承的affine candidates。

例如，如图2所示，可以按照A1->B1->B0->A0->B2的顺序扫描当前块的周围块，将采用affine merge模式的周围块的CPMV作为当前块的affine candidates，插入当前块的affine merge candidate list。

步骤S130，判断affine merge candidate list中的affine candidates的数量是否小于预设值。

如果affine merge candidate list中的affine candidates的数量已达到预设值，结束图1的流程；如果affine merge candidate list中的affine candidates的数量小于预设值，继续执行步骤S140。

步骤S140，在affine merge candidate list中插入构造的affine candidates。

例如，可以将当前块的周围块的运动信息进行组合，以构造出新的affinecandidates，并将构造生成的affine candidates插入affine merge candidate list。

步骤S150，判断affine merge candidate list中的affine candidates的数量是否小于预设值。

如果affine merge candidate list中的affine candidates的数量已达到预设值，结束图1的流程；如果affine merge candidate list中的affine candidates的数量小于预设值，继续执行步骤S160。

在步骤S160，在affine merge candidate list中插入0矢量。

换句话说，使用0矢量填充(padding)affine merge candidate list，使其达到预设值。

下面结合图3，对图1中的步骤S110的实现方式进行详细地举例说明。在一些示例中，以下所介绍的在当前块的affine merge candidate list中插入ATMVP的方法也可以不局限与上述图1所示的实施例中。

如图3所示，ATVMP技术的实现方式，即当前块的子块的运动信息的获取方式大致可以分为两步：步骤S310和S320。

在步骤S310，确定当前块的参考帧中的对应块(corresponding block)。

在目前的ATMVP技术中，当前帧(当前块所在的帧)的用于获取运动信息的帧被称为同位帧(co-located picture)。当前帧的同位帧会在slice(条带)初始化时设置。以前向预测为例，第一参考帧列表可以是前向参考帧列表，也可以是包含了第一组参考帧的参考帧列表。所述第一组参考帧中包括了时间顺序在当前帧之前及之后的参考帧。在slice初始化时，通常会将当前块的第一参考帧列表中的第一帧设置为当前帧的同位帧。

当前块在参考帧中的对应块是通过一个时域运动矢量(temp MV)来确定的。因此，为了得到当前块在参考帧中的对应块，需要先推导该时域运动矢量。下面分别以前向预测和双向预测为例，对时域运动矢量的推导过程进行说明。

对于前向预测而言，当前块的参考帧列表(也可称为参考列表或参考图像列表)的个数为1。当前块的参考帧列表可以称为第一参考帧列表(reference list 0)。在一种场景中，该第一参考帧列表可以为前向参考帧列表。当前帧的同位帧通常被设置为第一参考帧列表中的第一帧。

在推导时域运动矢量的过程中，一种实现方式是：先扫描当前块的运动矢量候选列表(该运动矢量候选列表可以基于空域4个相邻位置的图像块的运动矢量构建)，将该运动矢量候选列表中的第一个候选运动矢量作为初始的时域运动矢量。然后，扫描当前块的第一参考帧列表，如果该第一个候选运动矢量的参考帧与当前帧的同位帧相同，则可以将该第一个候选运动矢量作为时域运动矢量；如果该第一个候选运动矢量的参考帧与当前帧的同位帧不同，则可以将时域运动矢量设置为0矢量，并停止扫描。

在该实现方式中，需要构建运动矢量候选列表，以获得列表中第一个候选运动矢量。在另一种实现方式中：可以直接取当前块某一个空域相邻块的运动矢量作为初始的时域运动矢量。如果该空域相邻块的运动矢量的参考帧与当前帧的同位帧相同，则可以将该其作为时域运动矢量；否则，则可以将时域运动矢量设置为0矢量，并停止扫描。这里，空域相邻块可以是当前块周围已编码块中的任一个，如可以固定是当前块的左侧块、或固定是当前块的上方块、或固定是当前块的左上块等。

对于双向预测而言，当前块的参考帧列表的个数为2，即包括第一参考帧列表(reference list 0)和第二参考帧列表(reference list 1)。其中在一种场景中，第一参考帧列表可以是前向参考帧列表，第二参考帧列表可以是后向参考帧列表。

在推导时域运动矢量的过程中，一种实现方式是：先扫描当前的运动矢量候选列表，将该运动矢量候选列表中的第一个候选运动矢量作为初始的时域运动矢量。然后，先扫描当前块的当前参考方向上的一个参考帧列表(可以是第一参考帧列表，也可以是第二参考帧列表)，如果该第一个候选运动矢量的参考帧与当前帧的同位帧相同，则可以将该第一个候选运动矢量作为时域运动矢量；如果该第一个候选运动矢量的参考帧与当前帧的同位帧不同，则继续扫描当前块的另一参考方向上的参考帧列表。同样地，如果第一个候选运动矢量在该另一参考帧列表中的参考帧与当前帧的同位帧相同，则可以将该第一个候选运动矢量作为时域运动矢量；如果该第一个候选运动矢量的参考帧与当前帧的同位帧不同，则可以将时域运动矢量设置为0矢量，并停止扫描。需要注意的是，在另外一些场景中，第一参考帧列表和第二参考帧列表都可以包含时间顺序在当前帧之前及之后的参考帧，所述的双向预测是指从第一参考帧列表和第二参考帧列表中选择了参考方向不同的参考帧。

在该实现方式中，双向预测中导出ATMVP的temp MV仍需要构建运动矢量候选列表。在另一种实现方式中：可以直接取当前块某一个空域相邻块的运动矢量作为初始的时域运动矢量。对于双向预测，先扫描当前块的当前参考方向上的一个参考帧列表(可以是第一参考帧列表，也可以是第二参考帧列表)，如果该空域相邻块的运动矢量的在该参考方向上的参考帧与当前帧的同位帧相同，则可以将该其作为时域运动矢量。可选地，如果该空域相邻块的运动矢量在这个参考方向上的参考帧与当前帧的同位帧不同，则继续扫描当前块的另一参考方向上的参考帧列表。同样地，如果该空域相邻块的运动矢量在该另一参考帧列表中的参考帧与当前帧的同位帧相同，则可以将该空域相邻块的运动矢量作为时域运动矢量；如果该空域相邻块运动矢量的参考帧与当前帧的同位帧不同，则可以将时域运动矢量设置为0矢量，并停止扫描。这里，空域相邻块可以是当前块周围已编码块中的任一个，如固定是当前块的左侧块、或固定是当前块的上方块、或固定是当前块的左上块等。

对于双向预测而言，第一参考帧列表和第二参考帧列表的扫描顺序可以按照如下规则确定：

当当前帧采用的是低时延(low delay)编码模式，且当前帧的同位帧被设置为第二参考帧列表中的第一帧，则先扫描第二参考帧列表；否则，先扫描第一参考帧列表。

其中，当前帧采用低时延(low delay)编码模式可表示当前帧的参考帧在视频序列中的播放顺序均处于当前帧之前；当前帧的同位帧被设置为第二参考帧列表中的第一帧可表示当前帧的第一参考帧列表的第一个slice的量化步长小于第二参考帧列表的第一个slice的量化步长。

在推导出时域运动矢量之后，即可利用该时域运动矢量在参考帧中找到当前块的对应块。

在步骤S320，根据当前块的对应块，获取当前块的子块的运动信息。

如图4所示，可以将当前块划分成多个子块，然后确定子块在对应块中的运动信息。值得注意的是，对于每个子块而言，对应块的运动信息可以由其所在的最小运动信息存储单位确定。

所述运动信息包括以下一种或多种信息的组合：运动矢量；运动矢量差值；参考帧索引值；帧间预测的参考方向；图像块采用帧内编码或帧间编码的信息；图像块的划分模式。

从图3描述的ATMVP的实现过程可以看出，对于双向预测而言，最坏的情况是：在推导时域运动矢量的过程中，对两个参考帧列表均进行扫描，仍然没有导出符合条件的时域运动矢量，在这种情况下，对于两个参考帧列表的扫描是冗余的。

此外，在双向预测中，如果当前帧的编码模式为低时延模式(low delay B)或随机访问模式(random access)，第一参考帧列表与第二参考帧列表中的参考帧会有一定程度上的重叠，因此，在获取时域运动矢量的过程中，对两个参考帧列表的扫描过程会存在冗余操作。

因此，相关技术针对双向预测提供的时域运动矢量推导方案比较复杂，存在改善的空间。

下面结合图5，对本申请实施例进行详细描述。

图5是本申请实施例提供的视频处理方法的示意性流程图。图5的方法可应用于编码端，也可应用于解码端。

在步骤S510，获取当前块的参考帧列表，当前块的参考帧列表包括第一参考帧列表和第二参考帧列表。

当前块也可称为当前CU。当前块的参考帧列表包括第一参考帧列表和第二参考帧列表，表示当前块要执行的是帧间的双向预测。

可选地，所述第一参考帧列表可以为前向参考帧列表，也可以是包含了第一组参考帧的参考帧列表。所述第一组参考帧中包括了时间顺序在当前帧之前及之后的参考帧。

可选地，所述第二参考帧列表可以为后向参考帧列表，也可以是包含了第二组参考帧的参考帧列表，所述第二组参考帧中包括了时间顺序在当前帧之前及之后的参考帧。

需要注意的是，在一些场景中，第一参考帧列表和第二参考帧列表都可以包含时间顺序在当前帧之前及之后的参考帧，所述的双向预测可以指从第一参考帧列表和第二参考帧列表中选择了参考方向不同的参考帧。

在步骤S520，根据当前块的参考帧列表，确定目标参考帧列表。

目标参考帧列表为第一参考帧列表和第二参考帧列表之一。该目标参考帧列表可以随机选取，也可以按照一定的规则选取。例如，可以按照如下规则选取：如果当前块所在的当前帧采用低延时编码模式、且当前帧的同位帧为第二参考帧列表中的第一帧，将第二参考帧列表确定为目标参考帧列表；和/或如果当前块所在的当前帧未采用低延时编码模式或当前帧的同位帧不是第二参考帧列表中的第一帧，将第一参考帧列表确定为目标参考帧列表。

在步骤S530，根据当前块的目标参考帧列表确定当前块的时域运动矢量。

在双向预测过程中，本申请实施例根据第一参考帧列表和第二参考帧列表中的一个参考帧列表确定当前块的时域运动矢量。换句话说，无论是否能够从目标参考帧列表中推导出时域运动矢量，在扫描完目标参考帧列表之后，即停止扫描。换句话说，可以仅根据目标参考帧列表确定当前块的时域运动矢量。

举例说明，可以先从当前的运动矢量候选列表(该运动矢量候选列表可以基于空域4个相邻位置的图像块的运动矢量构建)中选取第一个候选运动矢量；从目标参考帧列表中查找第一个候选运动矢量的参考帧；当第一个候选运动矢量的参考帧与当前块的同位帧相同时，可以将第一个候选运动矢量确定为时域运动矢量；当第一个候选运动矢量的参考帧与当前块的同位帧不同时，也停止扫描，而不像图3实施例中描述的那样继续扫描当前块的另一参考帧列表，在这种情况下，可以将0矢量作为当前块的时域运动矢量。

在步骤S540，根据时域运动矢量确定当前块的子块的运动信息。

例如，可以根据时域运动矢量确定当前块在参考帧中的对应块。然后，可以根据当前块在参考帧中的对应块确定当前块的子块的运动信息。所述运动信息包括以下一种或多种信息的组合：运动矢量；运动矢量差值；参考帧索引值；帧间预测的参考方向；图像块采用帧内编码或帧间编码的信息；图像块的划分模式。步骤S540可以参照上文中的步骤S320实现，此处不再详述。

在步骤S550，根据当前块的子块的运动信息对当前块进行帧间预测。

作为一个示例，步骤S550可以包括：以当前块的子块为单位根据当前块的子块的运动信息进行帧间预测。

例如，可以像图1所示的那样，将当前块的子块的运动信息作为ATMVP插入当前块的affine merge candidates list中，然后按照图1中的步骤S120至步骤S160那样，构造出完整的affine merge candidates list。接着，可以利用该affine merge candidateslist中的候选运动矢量，对当前块进行帧间预测，以确定最优的候选运动矢量。步骤S550的详细实现方式可以参照相关技术执行，本申请实施例对此并不限定。

本申请实施例通过限制双向预测过程中需要扫描的参考帧列表的数量，可以简化编解码端的操作。

可以理解的是，图5的方法分别应用于编码端和解码端时，步骤S550描述的对当前块的帧间预测过程会有所差异。例如，当图5的方法应用于编码端时，对当前块进行帧间预测可以包括：确定当前块的预测块；根据当前块的原始块和预测块，计算当前块的残差块。又如，当图5的方法应用于解码端时，对当前块进行帧间预测可以包括：确定当前块的预测块和残差块；根据当前块的预测块和残差块，计算当前块的重构块。

上文结合图1至图5，详细描述了本申请的方法实施例，下面结合图6，详细描述本申请的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。

图6是本申请实施例提供的视频处理装置的示意性结构图。图6的装置60包括：存储器62和处理器64。

存储器62可用于存储代码。

处理器64可用于执行所述存储器中存储的代码，以执行如下操作：获取当前块的参考帧列表，所述当前块的参考帧列表包括第一参考帧列表和第二参考帧列表；根据所述当前块的参考帧列表，确定目标参考帧列表，所述目标参考帧列表为所述第一参考帧列表和所述第二参考帧列表之一；根据所述当前块的目标参考帧列表确定所述当前块的时域运动矢量；根据所述时域运动矢量确定所述当前块的子块的运动信息；根据所述当前块的子块的运动信息对所述当前块进行帧间预测。

可选地，所述根据所述时域运动矢量确定所述当前块的子块的运动信息，包括：根据所述时域运动矢量确定所述当前块在参考帧中的对应块；根据所述当前块在所述参考帧中的对应块确定所述当前块的子块的运动信息。

可选地，所述根据所述当前块的参考帧列表，确定目标参考帧列表，包括：如果所述当前块所在的当前帧采用低延时编码模式、且所述当前帧的同位帧为所述第二参考帧列表中的第一帧，将所述第二参考帧列表确定为所述目标参考帧列表；和/或如果所述当前块所在的当前帧未采用低延时编码模式或所述当前帧的同位帧不是所述第二参考帧列表中的第一帧，将所述第一参考帧列表确定为所述目标参考帧列表。

可选地，所述第一参考帧列表可以为前向参考帧列表，也可以是包含了第一组参考帧的参考帧列表。所述第一组参考帧中包括了时间顺序在当前帧之前及之后的参考帧。

可选地，所述第二参考帧列表可以为后向参考帧列表，也可以是包含了第二组参考帧的参考帧列表，所述第二组参考帧中包括了时间顺序在当前帧之前及之后的参考帧。

需要注意的是，在一些场景中，第一参考帧列表和第二参考帧列表都可以包含时间顺序在当前帧之前及之后的参考帧，所述的双向预测可以指从第一参考帧列表和第二参考帧列表中选择了参考方向不同的参考帧。

可选地，所述根据当前块的目标参考帧列表确定所述当前块的时域运动矢量，包括：从所述当前的运动矢量候选列表中选取第一个候选运动矢量；从所述目标参考帧列表中查找所述第一个候选运动矢量的参考帧；当所述第一个候选运动矢量的参考帧与所述当前块的同位帧相同时，将所述第一个候选运动矢量确定为所述时域运动矢量。

可选地，所述根据当前块的目标参考帧列表确定所述当前块的时域运动矢量，还包括：当所述第一个候选运动矢量的参考帧与所述当前块的同位帧不同时，将所述时域运动矢量确定为0矢量。

可选地，所述对所述当前块进行帧间预测，包括：确定所述当前块的预测块；根据所述当前块的原始块和预测块，计算所述当前块的残差块。

可选地，所述对所述当前块进行帧间预测，包括：确定所述当前块的预测块和残差块；根据所述当前块的预测块和残差块，计算所述当前块的重构块。

可选地，所述根据所述当前块的子块的运动信息对所述当前块进行帧间预测可以包括：以所述当前块的子块为单位根据所述当前块的子块的运动信息进行帧间预测。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。