具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着视频清晰度要求越来越高，视频图像的数据量变得比较大，视频编码的主要作用是将视频像素数据(RGB，YUV等)压缩成为视频码流，从而降低视频的数据量，实现降低传输过程中的网络带宽和减少存储空间的目的。

视频编解码的标准有H.264/AVC、H.265/HEVC、H.266/VVC、VP8、VP9、AV1、AVS等，其主要目的是将采集到的视频信号压缩成不同标准格式的数据，便于传输或存储。为了将视频编码技术应用于实际场景，码率控制技术在视频编码器中起着至关重要的作用，因为它可以在有限的通信带宽或存储空间的情况下调整编码器输出的目标码率，从而避免编码的视频帧出现过大或过小的情况。

本申请主要涉及帧间预测的编码技术，下面对帧间预测的基础原理进行说明：一般来说，时间上相邻图像像素点的亮度和色度信号值比较接近，具有强相关性。帧间预测通过运动搜索等方法在参考帧中寻找与当前块最为接近的匹配块，并记录当前块与匹配块间的运动信息如运动矢量MV(motion vector)大小、预测方向和参考帧索引。对运动信息进行编码，传输到解码端。在解码端，解码器只要通过相应句法元素解析出当前块的运动信息，就可找到当前块的匹配块，并将匹配块的像素值拷贝或者计算到当前块，即为当前块的帧间预测值，从而节省数据量，达到视频压缩的目的。

目前帧间预测模式主要分为AMVP模式和Merge模式两大类，其中AMVP模式预测过程包括运动信息候选列表构建、运动搜索和运动补偿三个部分，Merge模式预测过程包括运动信息候选列表构建和运动补偿两个部分。下面分别进行介绍。

(1)AMVP模式预测

1)构建运动信息候选列表：首先利用空域、时域、历史和零运动矢量信息依次按顺序来构建长度为2的运动信息候选列表。

2)运动搜索：以运动信息候选列表内的运动信息为起点，按照一定搜索规则在参考帧内进行搜索，找到最佳运动信息，搜索规则如TZ搜索等。

3)运动补偿：根据最佳的运动信息，利用像素插值的方式来获取当前块的最佳预测值。

(2)Merge模式预测

1)构建运动信息候选列表：首先利用空域、时域、历史和零运动矢量信息依次按顺序来构建长度为6的运动信息候选列表。

2)运动补偿：遍历候选列表中的运动信息，利用像素插值的方式来获取当前块的预测值，然后比较每个运动信息的预测率失真代价，率失真代价最小的块即为当前块的最佳预测值。

(3)最佳预测模式选取

当前块经过所有模式预测后，每个模式下都会得到一个预测块，通过率失真代价Rdcost计算，通过比较找出代价最小的模式即为最佳预测模式，最佳预测模式对应的预测块即为最佳预测块。Rdcost代价计算的数学关系如下：

Rdcost＝D+λ*R

其中D、R表示采用不同预测模式时的失真和比特数，λ为拉格朗日因子。

下面结合附图和实施例对本申请进行详细的说明。

本申请在现有帧间预测技术的基础上增加了一种基于块匹配的帧间模式预测方法，即图像/视频编码方法，该编码方法较于现有技术能够进一步提高帧间编码的压缩率，降低视频数据的传输带宽和视频数据的存储资源。整个编码方法由搜索模板的设置、运动信息候选列表的构建、模板匹配的过程和句法元素的表达组成。

请参见图1，图1是本申请提供的图像/视频编码方法一实施例的流程示意图。

本公开实施例的图像/视频编码方法的具体步骤如下：

步骤S11：获取当前编码帧中的待编码块，以及获取待编码块的相邻已编码像素。

其中，本公开实施例的相邻已编码像素为待编码块的上相邻已编码像素和/或左相邻已编码像素。

步骤S12：基于待编码块和/或相邻已编码像素设置搜索模板。

其中，在块匹配模式下，编码装置根据待编码块以及待编码块的相邻已编码像素设置搜索模板，具体请参阅图2，图2是本申请提供的搜索模板一实施例的结构示意图。本公开实施例中搜索模板的设置方式可以分为以下三种情况：

(1)搜索模板是待编码块，即对应图2中的模板1。

(2)搜索模板是待编码块和待编码块所对应的相邻已编码像素组成的区域，搜索模板可以为矩形，也可以为非矩形。若相邻已编码像素仅包括左相邻已编码像素，则对应图2中的模板2；若相邻已编码像素仅包括上相邻已编码像素，则对应图2中的模板3；若相邻已编码像素包括左相邻已编码像素和上相邻已编码像素，则对应图2中的模板4，且此时上相邻已编码像素的行数为M，左相邻已编码像素的列数为N，其中M＞＝1，N＞＝1。

(3)搜索模板是待编码块所对应的相邻已编码像素。若相邻已编码像素仅包括左相邻已编码像素，则对应图2中的模板5；若相邻已编码像素仅包括上相邻已编码像素，则对应图2中的模板6；若相邻已编码像素包括左相邻已编码像素和上相邻已编码像素，则对应图2中的模板7，且此时上相邻已编码像素的行数为M，左相邻已编码像素的列数为N，其中M＞＝1，N＞＝1。

步骤S13：构建待编码块的运动信息候选列表，其中，运动信息候选列表中包括若干运动信息

其中，本公开实施例的运动信息候选列表的构建方法与现有技术一致，因此块匹配模式也可以按照AMVP模式和Merge模式分为AMVP块匹配预测模式和Merge块匹配预测模式。其中，AMVP块匹配预测模式下运动信息候选列表长度也为2，Merge块匹配预测模式下运动信息长度也为6。对于AMVP模式和Merge模式中的运动信息候选列表构建方法请参阅上述介绍，在此不再赘述。

步骤S14：利用待编码块在参考帧中的同位块或者运动信息候选列表的运动信息确定搜索起点，在预设搜索范围内搜索匹配搜索模板的最佳搜索块。

其中，模板匹配的过程是根据搜索模板和运动信息候选列表中的运动信息在参考帧内进行搜索匹配，通过代价比较规则，找到最佳匹配模板，进而确定待编码块最佳预测值的过程。

本公开实施例提出以下三种搜索策略，需要说明的是，以下三种搜索策略均适用于上述七种搜索模板：

(1)在当前编码帧的参考帧中找到待编码块同位置的同位块，以同位块为搜索起点，按照设定的搜索范围[-K，K]，在搜索范围内进行整像素或分像素的方式进行模板匹配。

例如，在块匹配Merge模式下，待编码块以参考帧中的同位块为起点，进行整像素搜索，其中设置K＝64，即搜索范围为[-64，64]，搜索模板设置为上述图2中的模板7。如图3所示，搜索模板在参考帧虚线范围内进行搜索，并且搜索范围不能超出图像边界。通过在搜索范围内按照间距为1个像素的方式进行模板搜索，计算匹配块策略选取SAD(Sum ofAbsolute Difference，绝对误差和)，搜索区域内SAD最小的搜索块即为该模板的最佳搜索块，最佳搜索块下对应的匹配块即为待编码块的最佳匹配块，其中，SAD的数学关系如下：

其中k表示第几个搜索块，s和c分别表示搜索块和搜索模板块，x和y表示搜索块和搜索模板块内对应位置的横坐标和纵坐标。

(2)在运动信息候选列表内选出部分或全部运动信息，直接使用该运动信息或利用该运动信息推导出来的运动信息在参考帧内找到的对应块作为搜索起点，按照设定的搜索范围[-K，K]，在搜索范围内进行整像素或分像素的方式进行模板匹配。

其中，在运动信息候选列表内选出一个运动信息，直接使用该运动信息在参考帧内找到的对应块作为搜索起点的情况如下：

例如，在块匹配AMVP模式下，首先构建AMVP候选列表，列表中有两个运动信息候选项，选取第一个运动信息候选项在参考帧内找到的对应块作为搜索起点，且该运动信息中的运动矢量是半像素精度的。其中设置K＝64，即搜索范围为[-64，64]，搜索模板设置为图2中的模板4。如图4所示，搜索模板在参考帧虚线范围内进行搜索，并且搜索范围不能超出图像边界。通过在搜索范围内按照间距为2个像素的方式进行模板搜索，如果搜索位置不在整像素位置，采用相邻整像素插值方式获取，计算匹配块策略与上述例子相同。

其中，在运动信息候选列表内选出至少两个运动信息，直接使用至少两个运动信息在参考帧内找到的对应块作为搜索起点的情况如下：

例如，在块匹配Merge模式下，首先构建Merge候选列表，列表中有六个运动信息候选项，选取候选列表中前两个运动信息分别在参考帧内找到的对应块作为搜索起点，且第一运动信息中的运动矢量是1/4像素精度的，第二运动信息是整像素精度的。其中设置K＝64，即搜索范围为[-64，64]，搜索模板设置为图2中的模板5、模板6和模板7。类似图4的搜索方式，搜索模板在参考帧虚线范围内进行搜索，并且搜索范围不能超出图像边界。

首先以第一运动信息为搜索起点，通过在搜索范围内按照间距为4个像素的方式遍历3个模板进行搜索，如果搜索位置不在整像素位置，搜索模板采用相邻整像素插值方式获取，计算匹配块策略与上述例子相同，选出第一运动信息为搜索起点下的待编码块的最佳匹配块。

然后以第二运动信息为搜索起点，通过在搜索范围内按照间距为1个像素的方式遍历3个模板进行搜索，计算匹配块策略与上述例子相同，选出第二运动信息为搜索起点下的当前块的最佳匹配块。

比较上述两个最佳匹配块的率失真代价，代价最小的即为块匹配Merge模式的待编码块的最佳匹配块。

其中，在运动信息候选列表内选出全部运动信息，使用选出的全部运动信息推导出来的运动信息在参考帧内找到的对应块作为搜索起点的情况如下：

例如，在块匹配AMVP模式下，首先构建AMVP候选列表，列表中有两个运动信息候选项，选取两个信息候选项的平均值和第一个运动信息对应的参考帧作为运动信息在参考帧内找到的对应块作为搜索起点，且该运动信息中的运动矢量是半像素精度的。其中设置K＝64，即搜索范围为[-64，64]，搜索模板设置为图2中的模板4。如图4所示，搜索模板在参考帧虚线范围内进行搜索，并且搜索范围不能超出图像边界。通过在搜索范围内按照间距为2个像素的方式进行模板搜索，如果搜索位置不在整像素位置，搜索模板采用相邻整像素插值方式获取，计算匹配块策略与上述例子相同。

(3)在预测帧间预测模式通过代价比较选出最佳运动信息后，利用模板匹配的方式对该最佳运动信息进行细化，即以最佳运动信息在参考帧内找到的对应块作为搜索起点，按照设定的搜索范围[-K，K]，在搜索范围内进行整像素或分像素的方式进行模板匹配。

例如，在常规Merge模式下，获取到最佳运动信息后，该最佳运动信息在参考帧内找到的对应块作为搜索起点，且该运动信息中的运动矢量是整像素精度的。其中设置K＝64，即搜索范围为[-64，64]，搜索模板设置为图2中的模板7。如图4所示，搜索模板在参考帧虚线范围内进行搜索，并且搜索范围不能超出图像边界。通过在搜索范围内按照间距为1个像素的方式进行模板搜索，计算匹配块策略与上述例子相同。

需要说明的是，在确定搜索策略后，需要将每个搜索块和对应搜索模板进行比较，将最接近搜索模板的搜索块作为最佳搜索块，将该搜索块下与待编码块对应位置的匹配块作为待编码块的最佳匹配块。因此需要确定比较匹配的准则。本申请实施例可以采用绝对差值和(SAD)最小准则，该准则是计算比较每个搜索块和搜索模板内所有对应位置像素值的绝对差值和，选取差值和最小的搜索块作为搜索块作为最佳搜索块，将该搜索块下与待编码块对应位置的块作为当前块的最佳匹配块，同时该准则没有涉及到乘法和除法计算，适合硬件的实现。

另外，比较匹配准则还可以是均方误差最小准则(MSE，Mean Squared Error)、绝对误差均值最小准则(MAD，Mean Absolute Difference)和阈值差别计数最小准则(NTD)等。

步骤S15：按照最佳搜索块获取最佳匹配块。

步骤S16：利用最佳匹配块对待编码块进行编码，得到待编码块的码流。

其中，在块匹配模式下，根据实际的设计方案即上述搜索模板以及搜索策略的组合方式，需要添加一些句法元素的标识，便于解码器基于句法元素对编码码流进行解码。本申请实施例提供的句法元素包括但不限于以下种类：

(1)增加一个标识块匹配模式的句法元素。

(2)如果选择多个搜索模板，需要添加表达搜索模板索引的句法元素。

(3)如果选择多个搜索起点，需要添加表达搜索起点的句法元素。

(4)运动信息的表达根据选取的搜索模板和解码器能力，有以下两种情况：

第一种情况：对于图2中的模板1～模板4，因为搜索模板中包含了待编码块，而待编码块是未编码块，如果最佳预测模式是块匹配模式时，码流中需要编码待编码块到最佳匹配块的运动矢量或者运动矢量残差。如果编码的是运动矢量残差，可以将搜索起点对应的运动矢量作为待编码块的预测运动矢量，解码端通过解码码流中的直接或间接得到运动矢量和残差来获取到待编码块的预测块。

第二种情况：对于图2中的模板5～模板7，因为参考像素都是重建的像素点，如果最佳预测模式是块匹配模式时，在保证解码端的复杂度基本不增加和网络带宽足够的情况下，码流中需要编码待编码块到最佳匹配块的运动矢量或运动矢量残差。解码端通过解码码流中的运动矢量和残差来获取到待编码块的预测块；如果在解码能力允许的情况下，编码端不需要编码运动矢量或运动矢量残差，解码端进行和编码端相同的模板搜索和匹配策略，并结合残差来获取到待编码块的预测块。因此在这种情况下本提案可以在图像参数集(PPS，Picture Paramater Set)或者序列参数集(SPS，Sequence Paramater Set)或者片头信息(Slice header)任意一个数据集内添加一个句法元素，该句法元素控制是否需要传送运动矢量或运动矢量残差，以及不传运动矢量或运动矢量残差时编解码端同时采用哪种模板搜索和匹配策略。

在本申请实施例中，上述实施例提供的图像/视频编码方法，通过获取当前编码帧中的待编码块，以及获取待编码块的相邻已编码像素；基于待编码块和/或相邻已编码像素设置搜索模板；构建待编码块的运动信息候选列表，其中，运动信息候选列表中包括若干运动信息；利用待编码块在参考帧中的同位块或者运动信息候选列表的运动信息确定搜索起点，在预设搜索范围内搜索匹配搜索模板的最佳搜索块；按照最佳搜索块获取最佳匹配块；利用最佳匹配块对待编码块进行编码，得到待编码块的码流。本申请通过利用参考帧中像素块和搜索模板块的相似性，采用搜素匹配的方法在参考帧内找到当前块的最佳匹配块，在一定程度上补充了现有帧间预测技术的不足，有利于进一步去除时间冗余，提高帧间编码的压缩率。

以上实施例，仅是对本申请的其中一种常见案例而已，并非对本申请的技术范围做任何限制，故凡是依据本申请方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本申请技术方案的范围内。

请继续参见图5，图5是本申请提供的编码装置的一实施例的结构示意图。其中，编码装置50包括当前获取模块51、搜索模板模块52、候选列表模块53、搜索匹配模块54以及编码模块55。

其中，所述当前获取模块51，用于获取当前编码帧中的待编码块，以及获取所述待编码块的相邻已编码像素。

所述搜索模板模块52，用于基于所述待编码块和/或所述相邻已编码像素设置搜索模板。

所述候选列表模块53，用于构建所述待编码块的运动信息候选列表，其中，所述运动信息候选列表中包括若干运动信息。

所述搜索匹配模块54，用于利用所述待编码块在参考帧中的同位块或者所述运动信息候选列表的运动信息确定搜索起点，在预设搜索范围内搜索匹配所述搜索模板的最佳搜索块；还用于按照所述最佳搜索块获取最佳匹配块。

所述编码模块55，用于利用所述最佳匹配块对所述待编码块进行编码，得到所述待编码块的码流。

请参见图6，为本申请编解码系统的一实施例的结构示意图。编解码系统包括相互连接的存储器62和处理器61。

存储器62用于存储实现上述任意一项的图像/视频编码方法的程序指令。

处理器61用于执行存储器62存储的程序指令。

其中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器62可以为内存条、TF卡等，可以存储串匹配预测装置中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，串匹配预测装置才有记忆功能，才能保证正常工作。串匹配预测装置的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存)，也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。

请参阅图7，为本申请计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有图像/视频编码方法的程序文件71，其中，该程序文件71可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。