具体实施方式

在HEVC编码中，画面被分区为具有可配置大小(典型为64x64、128x128或256x256)的正方形形状的CTU。CTU是四叉树的根，该四叉树被分区为四个相等大小的正方形编码单元(CU)，即宽度和高度上是父块大小的一半，如图1所示。四叉树是其中父节点可以被分割为四个子节点的树，四个子节点中的每个都可以成为被进一步分割为四个子节点的父节点。在HEVC中，编码块(CB)被分区为一个或多个预测块(PB)，并形成被分区为变换块(TB)的四叉树的根。对应于编码块，预测块和变换块，编码单元(CU)包括预测单元(PU)和树形结构的变换单元(TU)集，PU包括所有颜色分量的预测信息，TU包括每个颜色分量的残差编码语法结构。亮度分量的CB，PB和TB的大小应用于对应CU，PU和TU。

在更多最近的编码系统中，CTU是分区为编码单元(CU)的编码树的根。编码树是其中父节点(通常对应于CU)可以被分割为子节点(例如，被分割为2、3或4个子节点)的树，每个子节点可以成为父节点用于进一步分割为子节点。除了四叉树分割模式之外，还定义新分割模式(二叉树对称分割模式，二叉树非对称分割模式和三叉树分割模式)，其增加可能的分割模式的总数。编码树具有唯一根节点，例如CTU。编码树的叶片是树的终止节点。编码树的每个节点表示CU，其可以被进一步分割为更小的CU，也称为子CU或更一般地称为子块。一旦确定CTU分区为CU，就编码与编码树的叶片对应的CU。可以通过速率失真优化过程在编码器侧确定CTU分区为CU以及用于编码每个CU(对应于编码树的叶片)的编码参数。不将CB分区为PB和TB，即CU由单个PU和单个TU组成。

图像可以被分区为条带或图块(tile)。每个条带或图块是CU的组和/或可包含部分CU。

在本申请中，术语“块”或“画面块”可用于指代CTU，CU，PU，TU，CB，PB和TB中的任何一个。另外，术语“块”或“画面块”可用于指代H.264/AVC或其他视频编码标准中规定的宏块，分区和子块，并且更一般地指代各种大小的样本阵列。

在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”，“画面”，“帧”，“条带”或“图块”可以互换使用。通常但并非必须，术语“重构”在编码器侧使用，而“解码的”在解码器侧使用。

对于编码CU，从邻近重构样本(帧内预测)或从存储在解码画面缓冲器(DPB)中的先前重构画面(帧间预测)构建预测块。接下来，作为原始样本和PU样本之间的差而计算出的残差样本被变换和量化。在帧间预测中，采用运动补偿时间预测来利用视频的连续画面之间存在的冗余。为此，运动矢量和指示要使用LIST_0的哪个参考画面的参考索引0(refIdx0)与PU相关联。可能地，将若干个PU组合在一起以形成一个最终PU(例如，双向预测、广义双向预测或多假设预测).

在由JVET(联合视频探索队)组开发的联合探索模型(JEM)中，引入利用在解码器侧确定的相关联参数的其他时间预测工具，其包括局部照度补偿(LIC)。基本上，LIC的目的是补偿预测块和通过运动补偿的时间预测采用的其参考块之间可能发生的照度变化。

LIC的使用典型通过与帧间编码的每个编码单元(CU)相关联的标志(LIC flag)在CU级别上发信号通知。根据该工具，解码器基于位于要预测的当前块的左侧和/或顶部的一些重构画面样本以及位于运动补偿块的左侧和/或顶部的参考画面样本来计算一些预测参数(图2)。在JEM中，对给定块使用LIC取决于与该块相关联的标志，称为LIC flag。在整个文件中，此技术称为“JEM-LIC”。

LIC参数(权重＝a，偏移＝b)是通过最小化如下定义的局部失真来确定的：

dist＝∑_{r∈Vcur，s∈Vref}(rec_cur(r)-a.rec_ref(s)-b)² (等式1)

其中：rec_cur(r)是邻近重构样本

rec_ref是参考样本

Vcur是与当前CU邻近的重构样本，

Vref是与用于建立PU的参考样本邻近的重构样本。

一旦编码器或解码器获得用于当前CU的LIC参数，则如下确定当前CU的预测pred(current_block)(单向预测情况)：

pred(current_block)＝a×ref_block+b (等式1)

其中current_block是要预测的当前块，pred(current_block)是当前块的预测，ref_block是用于当前块的时间预测的参考块。

这种基本方法的一个缺点是，它需要编码器/解码器访问已经重构的顶部和左侧邻近块的重构样本。这方面是不希望的，主要是因为它在运动补偿过程中引入一些延迟，增加存储带宽(访问附加参考和重构邻近样本，如图2描绘)，并潜在破坏某些现有的解码器管线架构。

为了解决这些问题，可以以避免访问这些附加样本的方式来计算LIC参数。为此，在每个CU重构后以当前CU的下边缘和右边缘计算LIC参数并且进行存储，以便它们可以由后续CU重新使用以执行LIC补偿(图3)。在整个文件中，该技术称为“VVC-LIC”。

但是，该后一种方法的一个主要缺点是，它在每个CU重构后都为整个条带或画面存储LIC参数，这导致增加存储器消耗(图4)并增加解码过程中的处理量。在图4的左侧，从上侧存储的LIC参数确定当前CU的LIC参数。在图4的右侧，垂直(深灰色)和水平(浅灰色)LIC参数以4x4分辨率以帧级别进行存储。

在“VVC-LIC”的情况下，可以通过将LIC参数存储到用于解码所有CTU的公共LIC缓冲器中来减少存储器需求。LIC缓冲器包括大小等于CTU高度的单个列和大小等于CTU宽度的单个行，如图5描绘。在每个CU处理结束时，在底部和右侧边界上计算LIC参数用于每个颜色分量和每个参考列表。然后将它们存储在公共LIC缓冲器中，以便可以由后续的CU(在当前CU的右侧或下侧)访问。在CU预测阶段，可以在公共LIC缓冲器中访问LIC参数。行缓冲器包含使用邻近上侧CU计算出的LIC参数，并且列缓冲器包含使用邻近左侧CU计算出的LIC参数，如图5中描绘。

如果最小CTU大小为4x4，则对于3种颜色分量(图5)和2种参考列表，所有LIC参数都存储在大小(CTU-宽度/4)的一个LIC缓冲器中用于所有顶部LIC参数，并且存储在大小(CTU-高度/4)的一个LIC缓冲器中用于左侧LIC参数。

确定在PU重构中使用的LIC参数

在帧间单向模式下，通过运动补偿在解码画面缓冲器(DPB)中存储的先前重构参考画面中的样本块来建立PU。DPB包括参考画面的两个列表(L0和L1)，并且每个参考画面与索引(refIdx)相关联。在双向预测中，使用两个参考索引(refIdx0，refIdx1)从L0和L1的两个参考画面建立两个预测块。当启用LIC用于当前CU时，LIC参数是从由一个顶部(或一个左侧)重构CU计算出的LIC参数(“VVC-LIC”的情况下，其被存储在公共行(或列)LIC缓冲器中)复制的。在“JEM-LIC”的情况下从重构顶部和左侧样本确定LIC参数。

在“VVC-LIC”的情况下，因为顶部和左侧LIC参数均可用但可能不同，所以执行修剪以获得单个LIC模型。帧内编码CU邻域在修剪过程中被丢弃。接下来，在修剪过程中具有琐细模型(trivial model)[权重＝1和偏移＝0]的邻域被丢弃。如果没有模型剩余，则使用琐细模型。如果(多个)模型仍然剩余，则与当前CU具有相同参考索引的邻域被给予更高的优先级。如果多个邻域具有相同的参考索引，则与左上(或上下)邻域相比，右上(或左下)邻域被给予更高的优先级(图6)。

在变型中，其MV最接近当前CU的MV的邻域被给予更高的优先级。在图6上，从右上到左上以及从左下到左上扫描上侧和左侧的邻域，以找到与当前PU具有相同参考索引的邻域(如果有)。

相同的修剪原理可以应用于“JEM-LIC”。在那种情况下，用于计算LIC参数的重构样本是与被给予更高优先级的CU对应的样本。

在“VVC-LIC”的情况下，在重构一个CTU之前，将存储顶部LIC参数的LIC缓冲器重置为默认值，以便对当前CTU的顶部的CU禁用LIC。当开始重构一行CTU时，存储左侧LIC参数的LIC缓冲器被重置为默认值，以便仅当CTU是一行中的第一个CTU时才禁用LIC(图7)。在图7中，上侧LIC参数不可用于位于CTU顶部的CU。此外，对于CTU底部的CU，不计算LIC参数，因为对于下侧的CTU，不允许访问上侧的LIC参数(图7)。

“VVC-LIC”和“JEM-LIC”方法引入解码帧间CU时的依赖性。实际上，在LIC-flag＝真的情况下，当前CU需要在其自身的解码开始之前等待左侧CU和上侧CU被解码。此外，“VVC-LIC”方法通过在每个CU重构(底部和右侧边缘)后计算LIC参数而增加了计算量，即使右侧或底部CU不使用LIC。最后，LIC-flag要编码的成本也很高。

至少一个实施例提出通过在LIC过程中增加一些约束来减少以帧间解码CU时由LIC引入的管线依赖性。

至少一个实施例提出增加信令用于改进编码效率和加速解码过程。

实施例1

图8表示根据特定且非限制性实施例的在“VVC-LIC”的情况下用于解码当前CU的方法的流程图。首先，从比特流中解析与当前CU相关联的语法元素(310)，并且解码CU参数(320)。这包括解码在比特流中显式编码的CU参数(例如：IC-flag)以及从其他语法元素推断出的其他CU参数(例如，在合并模式下，其中从当前CU所继承的邻近CU的IC-flag推断出IC-flag)。接下来，建立预测PU(运动补偿)(321)。如果IC-flag＝真，则在“VVC-LIC”的情况下从LIC缓冲器(322)确定LIC参数，并且在预测(PU)上应用照度补偿，即，当前CU将所确定出的照度补偿参数用于它的重构。接下来，通过将残差添加到预测PU来重构CU(325)。

接下来的步骤(330-390)处理可能由后续CU使用的LIC参数的计算和存储。如果当前CU位于当前CTU的底部(330)，则将水平LIC参数设置为默认值(340)，否则，利用位于CU的底部的当前CU的重构样本来计算水平LIC参数。然后将它们存储在水平LIC缓冲器中(360)。如果当前CU位于当前CTU的右侧(370)，则将垂直LIC参数设置为默认值(340)，否则，利用位于当前CU的右侧的当前CU的重构样本来计算垂直LIC参数(380)，并且将它们存储在垂直LIC缓冲器(390)中。

除了特定于VVC-LIC的步骤330-390之外，该实施例还适用于“JEM-LIC”。在VVC-LIC的情况下，在步骤322中，从LIC缓冲器推导出用于当前CU的LIC参数。在JEM-LIC的情况下，在步骤322中，从邻近重构样本中推导出当前CU的LIC参数。

实施例2

至少一个实施例提出用于限制当启用以LIC模式(LIC-flag＝真)解码以帧间模式编码的CU时引入的视频管线依赖性的附加条件。

为了使在一个CTU中以帧间模式编码的CU的解码独立于另一个CTU内的CU的解码，从另一个CU计算出的LIC参数的继承约束在与当前CU相同的CTU内。换句话说，仅当该CU与当前CU在相同CTU中时，一个CU才可以从另一CU继承LIC参数。

实际上，在“VVC-LIC”的情况下，这可以通过在解码当前CTU的开始处利用默认LIC值(340)(权重＝1，偏移＝0)填充垂直缓冲器的LIC参数(请参见图5中的深灰色缓冲器)来实现(370，380)。这也可以通过禁用用于CTU中的左上CU的LIC来实现。在“JEM-LIC”的情况下，可以通过在等式1中禁用当前CTU之外的重构样本的使用来实现。图9描绘与各个实施例对应的LIC参数继承(“VVC-LIC”情况)或重构样本访问(“JEM-LIC”情况)约束。在图9的右上，LIC参数访问或重构样本访问被约束为当前CTU。在图9的左上和底部，除一个图像行中的第一CU之外，允许在左侧LIC参数访问或重构样本访问，但是对顶部LIC参数或顶部重构样本的访问被约束为图9的左上的当前的CTU。

实施例3

在至少一个实施例中，定义LIC组，其中LIC参数只能从相同LIC组中的CU继承或计算。通过这样做，使得一个LIC组中以帧间模式编码的一些CU的解码独立于另一LIC组中其他CU的解码。这允许通过单独的线程以帧间模式解码不同的CU。当LIC组是CTU时，实施例3与实施例2相同(图9的右上)。LIC组大小可以由VPU(视频处理单元)或VDPU(视频数据处理单元)或HU(硬件单元)确定，这是硬件可以一并处理的最大样本大小。在变型中，LIC组或VPU在序列首部(例如，SPS，SPS代表序列参数集)或画面/条带首部(例如，PPS，PPS代表画面参数集)中的比特流中被编码。

作为示例，当CTU的大小为128x128时，“LIC-groups”的大小可以为64x64或128x128或256x128或256x256。因此，LIC组可以是CTU，可以小于CTU或大于CTU。

在变型中，对于LIC组中的左上CU，LIC-flag未被编码，并且被推断为假。换句话说，在当前块不位于相同局部照度补偿组中的左上的情况下，标志被解码，以指示重构当前块是否使用确定出的照度补偿参数。

在另一变型中，对于其所有顶部邻域或者左侧邻域以帧内模式编码的LIC组中的CU，LIC-flag未被编码，并且被推断为假。换句话说，在位于当前块上侧或左侧的至少一个块以帧间模式编码的情况下，标志被解码，以指示重构所述当前块是否使用所确定出的照度补偿参数。

实施例4

图12A描绘根据一个实施例的解码方法的流程图。更精确地，图12A例示属于作为CU的组的LIC组的CU的LIC-group-flag-enabled的解码。在此示例中，LIC组对应一个CTU。定义另一LIC组。解码标志(LIC-group-flag-enabled)(315)，以指示LIC组中的至少一个CU是否使用LIC用于计算预测。这可以与“JEM-LIC”或“VVC-LIC”一起使用。

接下来，建立预测PU(运动补偿)(321)。如果IC-flag＝真并且LIC-group-flag-enalbed，则LIC参数从LIC缓冲器(322)中确定，并且照度补偿应用于预测(PU)。接下来，通过将残差添加到预测PU来重构CU(325)。

定义这样的标志改进编码效率，这是因为在LIC-group-flag-enabled等于假的情况下，则：

a)对于LIC组内的CU不解码LIC-flag，而是被推断为假(320)。

b)其加速解码器，这是因为对于LIC-group-2内的CU，LIC未被应用在PU上(322)。

c)在“VVC-LIC”的情况下，其也加速解码器，这是因为对于LIC组内的CU，LIC参数未被计算(335)，除非它们是LIC组的右侧或底部(图10)。

该实施例独立于其他实施例1-3，但是也可以与实施例1-3结合。在第一种情况下“，LIC-group-flag-enabled”被编码并应用于：对于IC-flag＝真的CU，如实施例1-3，对LIC参数的推导没有约束。在第二种情况下，“LIC-group-flag-enabled”被编码并应用：对于IC-flag＝真的CU，对LIC参数的推导的约束与实施例1-3中的相同。

在图10上，在“VVC-LIC”的情况下，其中LIC-group-flag-enabled等于假，则对于LIC组内的CU(白色CU)，LIC参数未被计算，除非它们是LIC组的右侧或者底部(灰色CU)。这里，一组对应于一个CTU。

在变型中，在“VVC-LIC”的情况下，标志(LIC-group-flag-enabled)指示LIC参数在重构LIC组的CU之后是否应该被计算和存储。

实施例5

在图12B中描绘的实施例4的变型中，LIC-group-flag-enabled的语义被改变。它指示至少一个CU是否具有LIC-flag值，其当在LIC组中显式编码LIC-flag(318)(未由“合并模式”继承)时为真。在这种情况下，从其他CU继承其LIC-flag值(“合并模式”：317merge-flag＝真)并且对于其LIC-flag未被编码的CU不被LIC-group-flag-enabled考虑。例如，可以在一个LIC组中具有LIC-group-flag-enabled＝假，并且一个CU可以从一个邻域CU继承LIC-flag＝真(图11)。LIC-group-flag-enabled＝真指示LIC组中至少有一个CU，对于其LIC-flag的值被显式编码(不通过合并继承)，并且LIC-flag等于真(图11中左上的CTU)。LIC-group-flag-enabled＝假指示对于其LIC-flag的值被显式编码(未通过合并继承)的LIC组中的所有CU使得LIC-flag均等于假，但当CU继承LIC-flag的值时(合并模式)(图11中的右上CTU)，可能使CU具有等于真的LIC-flag。

实施例6

在变型中，“LIC-group-flag-enabled”与以帧间模式编码的CU组中的第一CU一起编码。以此方式，如果所有CU都以帧内编码，则标志“LIC-group-flag-enabled”未被编码并且被推断为假。

在另一变型中，“LIC-group-flag-enabled”与以帧间而非合并模式被编码的组中的第一CU一起编码。以此方式，如果所有CU以帧内或帧间合并编码，则不编码标志“LIC-group-flag-enabled”并且推断其为假。

在变型中，“LIC-group-flag-enabled”的值不修改帧间合并模式下的CU的“LIC-flag”的值。帧间合并模式下的CU从其继承其他编码参数的重构CU的LIC-flag中推断LIC-flag的值。

在变型中，如果“LIC-group-flag-enabled”的值是假，则对于所有CU(在帧内和帧内合并模式下)，将“LIC-flag”的值推断为假。在这种情况下，帧内合并模式的CU推断LIC-flag的值为假。

实施例7

在实施例4的变型中，定义最小CU大小“minCUsize”，并且LIC-group-flag-enabled指示LIC组中的大小小于“minCUsize”的至少一个CU是否使用LIC用于计算预测。这样，如果LIC-group-flag-enabled等于假，则LIC-flag不被编码用于大小小于“minCUsize”的CU。

在变型中，LIC-group-flag-enabled指示LIC组中的大小大于“minCUsize”至少一个CU是否使用LIC用于计算预测。这样，如果LIC-group-flag-enabled等于假，则LIC-flag不被编码用于具有大小大于“minCUsize”的CU。

有利地，例如在SPS，PPS或条带首部中的比特流中编码值“minCUsize”。“minCUsize”的示例通常可以是4x4或8x8。

实施例8

实施例1、2、3、4、5、6、7也可以应用于和组合到“JEM-LIC”和“VVC-LIC”技术的情况，除了在CU重构之后不计算LIC参数以用于“JEM-LIC”。对“VVC-LIC”的顶部水平LIC缓冲器或左侧垂直LIC缓冲器中的LIC参数的访问的约束分别对应于对位于用于“JEM-LIC”的当前CU的上侧或左侧的重构样本的访问的约束。

实施例9

在“VVC-LIC”或“JEM-LIC”的情况下，在从邻近CU(图6)中选择LIC参数(或重构样本)的过程中，利用相同的参考索引建立与CU相关联的LIC参数(或重构样本)的列表，并且在“VVC-LIC”的情况下，用于当前CU的LIC参数是这些LIC参数的平均值。在“VVC-LIC”变型中，平均值是加权平均值，其中权重与邻近的CU宽度(上侧的CU)或邻近的CU高度(左侧的CU)成比例。在变型中，权重与当前CU的公共边界的长度成比例，如图13描绘，用于权重w1和w7。

在变型中，其MV最接近当前CU的当前MV的邻域的LIC参数(或重构样本)被用于当前CU(分别计算LIC参数)。

各个实施例使得一个LIC组中以帧间模式编码的CU(例如，一个CTU)的解码，独立于另一个LIC组内CU的解码。从其他CU(“VVC-LIC”)计算出的LIC参数或用于推导出LIC参数(“JEM-LIC”)的重构样本集的继承被约束在与当前CU相同的LIC组内。换句话说，仅当该CU与当前CU在相同LIC组中时，一个CU才可以从另一CU继承LIC参数或使用重构样本。

本文描述包括工具，特征，实施例，模型，方法等的多个方面。这些方面中的许多是专门描述的，并且至少为了示出各个特征，通常以听起来可能受到限制的方式来描述。然而，这是为了描述的清楚，并且不限制那些方面的应用或范围。实际上，所有不同方面都可以组合和互换以提供进一步的方面。此外，这些方面也可以与先前申请中描述的方面组合和互换。

本文中描述和设想的方面可以以许多不同的形式实现。下面的图14，图15和图16提供了一些实施例，但是可以设想其他实施例，并且图14、15和16的讨论不限制实现方式的宽度。这些方面中的至少一个方面一般涉及视频编码和解码，并且至少另一个方面一般涉及传输所生成或编码的比特流。这些和其他方面可以实现为方法，装置，其上存储有用于根据所描述的任何方法编码或解码视频数据的指令的计算机可读存储介质，和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。

以上描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的适当操作需要特定的步骤或动作顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。

本申请中描述的各种方法和其他方面可用于修改模块，例如，如图14和图15所示的视频编码器100和解码器200的运动补偿和运动估计模块(170、175、275)。在一些实施例中，也修改熵编码和/或解码模块(145、230)。而且，本方面不限于VVC或HEVC，并且可以应用于例如其他标准和建议，无论是预先存在的还是将来开发的，以及任何这样的标准和推荐(包括VVC和HEVC)的扩展。除非另外指出或在技术上排除，否则本申请中描述的方面可以单独或组合使用。

在本申请中使用各种数值，例如，“LIC组”和“minCUsize”的大小。特定值是出于示例目的，并且所描述的方面不限于这些特定值。

图14例示示例性编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而没有描述所有预期的变型。

在被编码之前，视频序列可以经过预编码处理(101)，例如，对输入的彩色画面应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入图像分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡化)。元数据可以与预处理相关联，并附加到比特流。

在编码器100中，画面由编码器元件编码，如下所述。要编码的画面例如以CU为单位被分区(102)和处理。例如使用帧内或帧间模式编码每个CU。当单元以帧内模式编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)帧内模式或帧间模式中的哪一个用于编码单元，并且例如通过预测模式标志指示帧内/帧间决定。通过从原始图像块中减去(110)预测块来计算预测残差。

然后预测残差被变换(125)和量化(130)。熵编码(145)量化的变换系数以及运动矢量和其他语法元素，以输出比特流。编码器可以跳过该变换，并且将量化直接应用于未变换的残差信号。编码器还可以绕过变换和量化两者，即，在不应用变换或量化处理的情况下直接编码残差。

编码器对编码块进行解码，以为进一步的预测提供参考。量化的变换系数被去量化(140)并且逆变换(150)以解码预测残差。组合(155)解码的预测残差和预测块，重构图像块。预测可以被建立为若干个预测(例如，双向预测、广义双向预测或多假设预测)的组合。环内滤波器(165)被应用于重构的画面，以例如执行去块/SAO(样本自适应偏移)滤波以减少编码伪像。滤波图像被存储在参考画面缓冲器(180)中。

图15例示视频解码器200的块图。在解码器200中，由解码器元件解码比特流，如下面描述。视频解码器200一般执行与图14中描述的编码通道相反的解码通道。编码器100也一般执行视频解码作为编码视频数据的一部分。

具体地，解码器的输入包括可由视频编码器100生成的视频比特流。首先熵解码(230)该比特流，以获得变换系数，运动矢量，和其他编码信息。画面分区信息指示画面如何被分区。因此，解码器可以根据解码的画面分区信息来划分(235)画面。去量化(240)和逆变换(250)变换系数以解码预测残差。组合(255)解码的预测残差和预测块，重构图像块。可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)预测块。将环内滤波器(265)应用于重构的图像。滤波的图像存储在参考画面缓冲器(280)处。

解码的画面可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr4:2:0到RGB 4:4:4的转换)或逆重新映射以执行与预编码处理(101)中执行的重新映射处理的逆过程。后解码处理可以使用在预编码处理中推导出并在比特流中用信号通知的元数据。

图16例示其中实现各个方面和实施例的系统的示例的块图。系统1000可以体现为包括下面描述的各种组件的设备，并且被配置为执行本文件描述的一个或多个方面。这样的设备的示例包括但不限于各种电子设备，诸如个人计算机，膝上型计算机，智能电话，平板计算机，数字多媒体机顶盒，数字电视接收器，个人视频记录系统，连接的家用电器和服务器。系统1000的元件单独或者组合地体现在单个集成电路，多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件跨越多个IC和/或分立组件分布。在各种实施例中，系统1000例如经由通信总线或者通过专用输入和/或输出端口通信地耦合到一个或多个其他系统或者其他电子设备。在各种实施例中，系统1000配置为实现本文件描述的一个或者多个方面。

系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，用于实现例如本文件描述的各种方面。处理器1010可以包括嵌入式存储器，输入输出接口和本领域已知的各种其他电路。系统1000还可以包括至少一个存储器1020(例如，易失性存储器设备，非易失性存储器设备)。系统1000可以包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)，只读存储器(ROM)，可编程只读存储器(PROM)，随机存取存储器(RAM)，动态随机存取存储器(DRAM)，静态随机存取存储器(SRAM)，闪存，磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备，附接的存储设备(包括可拆卸和不可拆卸的存储设备)和/或网络可存取存储设备。

系统1000包括编码器/解码器模块1030，其被例如配置为处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可以包括其本身的处理器和存储器。编码器/解码器模块1030表示可以包括在设备中以执行编码和/或解码功能的(多个)模块。如所知，设备可以包括编码和解码模块中的一个或两者。另外，如本领域技术人员已知的，编码器/解码器模块1030可以实现为系统1000的单独元件，或者可以并入处理器1010内作为硬件和软件的组合。

要加载到处理器1010或编码器/解码器1030上以执行本文件描述的各种方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上用于由处理器1010执行。根据示例性实施例，处理器1010，存储器1020，存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文件描述的处理期间存储各种项目中的一个或多个。这种存储的项目包括但不限于输入视频，解码视频或解码视频的一部分，比特流，矩阵，变量以及对等式、公式、运算和运算逻辑的中间或最终结果。

在一些实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令并为编码或解码期间所需的处理提供工作存储器。然而，在其他实施例中，处理设备(例如，处理设备可以是处理器1010或编码器/解码器模块1030)外部的存储器被用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在若干个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2(MPEG指代运动画面专家组，MPEG-2也称为ISO/IEC 13818，并且13818-1也称为H.222，并且13818-2也称为H.262)，HEVC(HEVC指代高效视频编码，也称为H.265和MPEG-H第2部分)或VVC(通用视频编码，由JVET(联合视频专家组)开发的新标准)。

可以通过如块1130中指示的各种输入设备来提供对系统1000的元件的输入。这种输入设备包括但不限于(i)接收例如通过广播者在空中传输的RF信号的射频(RF)部分，(ii)复合输入端子(或者COMP输入端子的集合)，(iii)通用串行总线(USB)输入端子和/或(iv)高清多媒体接口(HDMI)输入端子。在图10中未示出的其他示例包括复合视频。

在各种实施例中，块1130的输入设备具有相关联的相应输入处理元件，如本领域中已知的。例如，RF部分可以与适合于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到频率的频带)，(ii)下转换选择的信号，(iii)再次将频带限制到较窄的频率的频带以选择(例如)在某些实施例中可以称为信道的信号频率带，(iv)解调下转换且频带限制的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组。各种实施例的RF部分包括一个或多个执行这些功能的元件，例如，频率选择器，信号选择器，频带限制器，信道选择器，滤波器，下转换器，解调器，纠错器和解复用器。RF部分可以包括执行各种这些功能(包括例如将接收到的信号下转换为较低频率(例如，中频或近基带频率)或基带)的调谐器。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如电缆)介质传输的RF信号，并通过滤波，下转换和再次滤波到期望的频率带来执行频率选择。各种实施例重新布置上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间插入元件，例如，插入放大器和模数转换器。在各个实施例中，RF部分包括天线。

另外，USB和/或HDMI端子可以包括相应的接口处理器，用于跨越USB和/或HDMI连接将系统1000连接到其他电子设备。要理解，输入处理的各个方面，例如里德-所罗门纠错，可以例如按照需要在单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各个方面可以按照需要在单独的接口IC内或在处理器1010内实现。解调，纠错和解复用的流被提供给各种处理元件，包括例如与存储器和存储元件结合操作的处理器1010和编码器/解码器1030以处理数据流用于在输出设备上呈现。

可以在集成壳体内提供系统1000的各种元件。在集成壳体内，可以使用合适的连接布置互连各种元件并在它们之间传输数据，例如，本领域已知的内部总线，包括内部IC(I2C)总线，布线和印刷电路板。

系统1000包括使得能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可以包括但不限于配置为在通信信道1060上发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。

在各种实施例中，使用例如IEEE 802.11(IEEE指代电气和电子工程师协会)的无线网络Wi-Fi网络将数据流传输到或以其他方式提供给系统1000。这些实施例的Wi-Fi信号在适配于Wi-Fi通信的通信信道1060和通信接口1050上接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括因特网的外部网络的接入，以允许流传输应用和其他空中通信。其他实施例使用机顶盒向系统1000提供流传输的数据，该机顶盒通过输入块1130的HDMI连接来传递数据。其他实施例也使用输入块1130的RF连接向系统1000提供流传输的数据。如上所述，各种实施例以非流传输方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。

系统1000可以向包括显示器1100，扬声器1110和其他外围设备1120的各种输出设备提供输出信号。各种实施例的显示器1100包括例如触摸屏显示器，有机发光二极管(OLED)显示器，曲面显示器和/或可折叠显示器中的一个或多个。显示器1100可以用于电视，平板电脑，膝上型计算机，蜂窝电话(移动电话)或其他设备。显示器1100还可以与其他组件集成(例如，如在智能电话中)，或独立(例如，用于膝上型计算机的外部监视器)。其他外围设备1120在实施例的各种示例中包括独立数字视频光盘(或数字多功能盘)DVR(用于二者)，磁盘播放器，立体系统，照明系统的一个或多个。各种实施例使用基于系统1000的输出提供功能的一个或多个外围设备1120。例如，磁盘播放器执行播放系统1000的输出的功能。

在各种实施例中，控制信号在系统1000与显示器1100，扬声器1110，或其他外围设备1120之间使用诸如AV.Link，消费者电子控制(CEC)之类的信令通信，或在有或没有用户干预的情况下使得设备到设备的控制成为可能的其他通信协议。输出设备可以通过各个接口1070、1080和1090经由专用连接而通信地耦合至系统1000。可替代地，输出设备可以经由通信接口1050使用通信信道1060而连接至系统1000。显示器1100和扬声器1110可以与系统1000的其他组件集成到一个电子设备(诸如，例如电视机)中的单一单元。在各种实施例中，显示接口1070包括显示驱动器，诸如例如，时序控制器(T Con)芯片。

例如，如果输入1130的RF部分是单独的机顶盒的一部分，则显示器1100和扬声器1110可以可替换地与一个或多个其他组件分开。在显示器1100和扬声器1110是外部组件的各种实施例中，可以经由专用输出连接(包括例如HDMI端口，USB端口或COMP输出)提供输出信号。

实施例可以通过由处理器1010实现的计算机软件或者由硬件，或者由硬件和软件的组合来来实施。作为非限制性示例，实施例可以由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如光存储设备，磁存储设备，基于半导体的存储设备，固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任何类型，并且可以包括微处理器，通用计算机，专用计算机和基于多核架构的处理器中的一个或多个。

各种实现方式涉及解码。本申请中使用的“解码”可以涵盖例如对接收到的编码序列执行的全部或部分处理，以便产生适合于显示的最终输出。在各种实施例中，这样的处理包括通常由解码器执行的一个或多个处理，例如，熵解码，逆量化，逆变换和差分解码。在各种实施例中，这样的处理还或者可替代地包括由本申请中描述的各种实现方式的解码器执行的处理，例如，运动补偿。

作为另外的示例，在一个实施例中，“解码”仅是指熵解码，在另一实施例中，“解码”仅是指差分解码，并且在另一实施例中，“解码”是指熵解码和差分解码的组合。短语“解码处理”意图专门指操作的子集还是广义上指更广泛的解码处理，基于特定描述的上下文将是清楚的，并且相信本领域技术人员将很好地理解。

各种实现方式涉及编码。以与上述关于“解码”的讨论类似的方式，在本申请中使用的“编码”可以涵盖例如对输入视频序列执行的全部或部分处理，以便产生编码的比特流。在各种实施例中，这样的处理包括典型由编码器执行的一个或多个处理，例如，分区，差分编码，变换，量化和熵编码。在各种实施例中，这样的处理还或者可替代地包括由本申请中描述的各种实现方式的编码器执行的处理，例如运动补偿。

作为另外的示例，在一个实施例中，“编码”仅是指熵编码，在另一实施例中，“编码”仅是指差分编码，并且在另一实施例中，“编码”是指熵编码和差分编码的组合。无论短语“编码处理”是否意图专门指操作的子集还是广义上指更广泛的编码处理，基于特定描述的上下文将是清楚的，并且相信本领域技术人员将很好地理解。

注意，本文所使用的语法元素(例如LIC-Flag)是描述性术语。因此，它们不排除使用其他语法元素名称。

当将附图作为流程图呈现时，应当理解，其还提供对应装置的框图。类似地，当将附图呈现为框图时，应当理解，其还提供对应方法/处理的流程图。

各个实施例涉及率失真优化。具体地，在编码处理期间，经常在给定计算复杂性的约束的情况下，通常要考虑率和失真之间的平衡或折衷。通常将率失真优化公式化为最小化率失真函数，其是率和失真的加权和。有多种解决率失真优化问题的不同方法。例如，这些方法可以基于包括所有考虑的模式或编码参数值的所有编码选项的广泛测试，以及其编码成本和编码和解码之后的重构信号的相关失真的完整评估。也可以使用更快的方法来节省编码复杂性，特别是基于预测或预测残差信号而不是重构的来计算近似失真。也可以使用这两种方法的混合，诸如通过使用仅对某些可能的编码选项的近似失真，以及对其他编码选项的完全失真。其他方法仅评估可能的编码选项的子集合。更一般地，许多方法采用各种技术中的任何一种来执行优化，但是优化不一定是编码成本和相关失真二者的完整评估。

本文描述的实现方式和方面可以在例如方法或处理，装置，软件程序，数据流或信号中实现。即使仅在单个实现形式的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。装置可以在例如适当的硬件，软件和固件中实现。方法例如可以在例如处理器中实现，该处理器一般指代处理设备，包括例如计算机，微处理器，集成电路或可编程逻辑设备。处理器也包括通信设备，例如计算机，蜂窝电话，便携/个人数字助理(“PDA”)，以及便于终端用户之间的信息通信的其他设备。

对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”的引用以及其其他变型意味着结合实施例描述的具体特征，结构，特性等包括在至少一个实施例中。因此，在整个文件中出现在各个地方的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现不一定都指代同一个实施例。

另外，本申请可以指代“确定”各种信息。确定信息可以包括例如估计信息，计算信息，预测信息或从存储器检索信息中的一个或多个。“确定”和“推导”可以互换使用。

此外，本申请可以指代“访问”各种信息。访问信息可以包括例如接收信息，检索信息(例如，从存储器中)，存储信息，移动信息，复制信息，计算信息，确定信息，预测信息或估计信息中的一个或多个。

另外，本申请可以指代“接收”各种信息。与“访问”一样，接收意图是广义术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器中)中的一个或多个。此外，“接收”典型在操作期间以一种方式或其他方式，涉及例如，存储信息，处理信息，传送信息，移动信息，复制信息，擦除信息，计算信息，确定信息，预测信息或估计信息。

要认识到，例如在“A/B”，“A和/或B”和“A和B中的至少一个”的情况中的以下“/”，“和/或”和“至少一个”的使用意图包括仅对第一所列选项(A)的选择、或仅对第二所列选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一个”的情况中，这样的措辞意图包括仅对第一所列选项(A)的选择、或仅对第二所列选择(B)的选择、或仅对第三所列选项(C)的选择、或仅对第一和第二所列选项(A和B)的选择、或仅对第一和第三所列选项(A和C)的选择、或仅对第二和第三所列选项(B和C)的选择、或对全部三个选项(A和B和C)的选择。如同对于本领域和相关领域中的普通技术人员来说容易地明显的那样，可以对于所列出的许多项目扩展该措辞。

另外，如本文使用，词语“发信号通知”除了其他方面涉及将事物指向对应的解码器。例如，在某些实施例中，编码器发信号通知用于LIC的多个参数中的特定一个(例如，LIC-Flag)。以这种方式，在实施例中，在编码器侧和解码器侧都使用相同的参数。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以使用信令而无需发送(隐式信令)以简单地使得解码器知道并选择特定参数。通过避免传输任何实际函数，在各种实施例中实现比特节省。要理解，可以以多种方式来完成信令。例如，在各种实施例中，一个或多个语法元素，标志等用于用信号发送信息到对应的解码器。尽管前面涉及词语“发信号特征”的动词形式，但词语“信号”在本文中也可以用作名词。

将对于本领域技术人员明显的是，实现方式可以产生被格式化以携带例如可以存储或传送的信息的各种信号。该信息可以包括例如用于执行方法的指令或由描述的实施方式之一产生的数据。例如，可以格式化信号以携带描述的实施例的比特流。这样的信号可以被格式化，例如作为电磁波(例如，使用频谱的射频部分)或者作为基带信号。格式化可以包括，例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如已知，信号可以通过各种不同的有线或无线链路传送。信号可以存储在处理器可读介质上。

我们描述了许多实施例。这些实施例的特征可以单独或以任何组合提供。此外，实施例可以包括跨越各种权利要求种类和类型以单独或以任意组合的一个或者多个特征：

·从对于另一块确定的一个或多个照度补偿参数或从另一块例如邻近块的重构的样本，确定用于当前块的至少一个照度补偿参数。

·另一个块的照度补偿参数存储在缓冲器中；

·该块是编码单元(CU)；

·确定用于当前CU的至少一个照度补偿参数只能出现在相同编码树单元(CTU)中的另一个CU；

·确定用于当前CU的至少一个照度补偿参数只能出现在属于相同组CU的另一CU；

·照度补偿参数是本地照度补偿(LIC)参数；

·编码(或解码)用于一组CU的标志，例如LIC-group-flag-enabled，用于指示组中的至少一个CU是否使用照度补偿用于计算预测；

·用于编码(或解码)用于一组CU的标志，以指示另一标志，例如LIC-flag在其被编码用于组中的至少一个CU的情况下是否为真，其中另一标志对于CU指示是否使用照度补偿用于预测此CU。

·利用以帧间模式编码的一组CU的第一CU编码(或解码)该标志。

·利用以帧间模式而不是合并模式编码的一组CU的第一CU编码(或解码)标志。

·编码(或解码)用于一组CU的标志，以指示组中的大小小于(或大于)一值的至少一个CU是否使用照度补偿用于计算预测；

·该值在SPS，PPS或条带首部中编码；

·用于当前块的照度补偿参数是从对于具有与当前块相同参考索引的至少一个另一块确定的照度补偿参数确定的；

·用于当前块的照度补偿参数是从用于具有与当前块相同的参考索引的至少一个另一块的重构样本确定的；

·用于当前块的照度补偿参数被确定为对于具有与参考块相同参考索引的多个其他块确定的照度补偿参数的平均值；

·包含一个或多个描述的语法元素、标志或其变型的比特流或信号。

·在信令语法元素中插入标志，所述标志使解码器能够以与由编码器使用的方式相对应的方式使用照度补偿来适配块预测。

·创建和/或发送和/或接收和/或解码包括一个或多个描述的语法元素、标志或其变型的比特流或信号。

·电视机，机顶盒，手机，平板电脑或其他电子设备，其根据所描述的任何实施例执行照度补偿。

·电视，机顶盒，手机，平板电脑或其他电子设备，其根据描述的任何实施例执行照度补偿，并显示(例如，使用监视器，屏幕或其他类型的显示器)作为结果的图像。

·电视，机顶盒，手机，平板电脑或其他电子设备，其根据描述的任何实施例，调谐(例如，使用调谐器)信道以接收包括编码图像的信号，并执行照度补偿。

·电视，机顶盒，手机，平板电脑或其他电子设备，其根据描述的任何实施例，通过无线方式接收(例如，使用天线)包括编码图像的信号，并执行照度补偿。

根据至少一个实施例的一般方面，提出一种解码方法，包括：

-确定用于当前块的至少一个照度补偿参数；

-使用所确定的照度补偿参数重构所述当前块；

其中，仅在至少一个空间邻域块与当前块属于被称为当前局部照度补偿组的相同局部照度补偿组的情况下，从所述至少一个空间邻域块的一个或多个重构样本或从一个或多个照度补偿参数来确定用于当前块的至少一个照度补偿参数。

根据至少一个实施例的一般方面，提出一种解码装置，其包括一个或多个处理器，被配置为实现：

-确定用于当前块的至少一个照度补偿参数；

-使用所确定的照度补偿参数重构所述当前块；

其中，仅在至少一个空间邻域块与当前块属于被称为当前局部照度补偿组的相同局部照度补偿组的情况下，从所述至少一个空间邻域块的一个或多个重构样本或从一个或多个照度补偿参数来确定用于当前块的至少一个照度补偿参数。

根据至少一个实施例的一般方面，提出了一种编码方法，包括：

-确定用于当前块的至少一个照度补偿参数；

-使用所确定的照度补偿参数重构所述当前块；

其中，仅在至少一个空间邻域块与当前块属于被称为当前局部照度补偿组的相同局部照度补偿组的情况下，从所述至少一个空间邻域块的一个或多个重构样本或从一个或多个照度补偿参数来确定用于当前块的至少一个照度补偿参数。

根据至少一个实施例的一般方面，提出一种编码设备，其包括一个或多个处理器，被配置为实现：

-确定用于当前块的至少一个照度补偿参数；

-使用所确定的照度补偿参数编码所述当前块；

其中，仅在至少一个空间邻域块与当前块属于被称为当前局部照度补偿组的相同局部照度补偿组的情况下，从所述至少一个空间邻域块的一个或多个重构样本或从一个或多个照度补偿参数来确定用于当前块的至少一个照度补偿参数。

根据至少一个实施例的另一一般方面，比特流被格式化为包括根据上述编码方法生成的信号。

本实施例中的一个或多个还提供一种计算机可读存储介质，其上存储有用于根据上述任何编码/解码方法的至少一部分编码或者解码视频数据的指令。一个或多个实施例还提供一种计算机可读存储介质，其上存储有根据上述编码方法生成的比特流。一个或多个实施例还提供一种用于发送或接收根据上述编码方法生成的比特流的方法和装置。一个或多个实施例还提供一种计算机程序产品，包括用于执行上述任何方法的至少一部分的指令。

在一实施例中，线性照度补偿组小于、大于或者等于编码树单元。

在一实施例中，在当前块不位于相同局部照度补偿组中的左上位置的情况下，编码或解码用于指示重构所述当前块是否使用所确定的照度补偿参数的标志。

在一实施例中，在以帧间模式编码位于所述当前块的上侧或左侧的至少一个块的情况下，编码或解码用于指示重构所述当前块是否使用所确定的照度补偿参数的标志。

在一实施例中，编码/解码用于指示当前局部照度补偿组的至少一个块是否使用照度补偿用于预测的标志。

在一实施例中，编码/解码用于指示在重构当前局部照度补偿组的块之后，是否要计算和存储照度补偿参数的标志。

在一实施例中，编码/解码一标志，该标志指示当前局部照度补偿组的至少一个块在另一标志被显式编码的情况下是否具有该另一标志的值为真，其中，所述另一标志指示重构所述当前块是否使用所确定的照度补偿参数。

在一实施例中，利用当前局部照度补偿组的第一块来编码/解码该标志。

在一实施例中，利用未以合并模式编码的当前局部照度补偿组的第一块来编码/解码标志。

在一实施例中，为当前局部照度组编码/解码用于指示所述组中的大小小于一值的至少一个块是否使用照度补偿用于计算预测的标志。

在一实施例中，为当前局部照度组编码/解码用于指示所述组中的大小大于一值的至少一个块是否使用照度补偿用于计算预测的标志。

在一实施例中，从属于当前局部照度补偿组并且与当前块具有相同参考索引的至少一个空间邻域块的一个或多个重构样本或从一个或多个照度补偿参数确定用于当前块的至少一个照度补偿参数。

在一实施例中，用于当前块的至少一个照度补偿参数被确定为属于当前局部照度补偿组并且与当前块具有相同的参考索引的两个空间邻域块的照度补偿参数的平均值。

在一实施例中，从属于当前局部照度补偿组并且与当前块具有相同的参考索引的至少一个空间邻域块的一个或多个重构样本来确定用于当前块的至少一个照度补偿参数。