具体实施方式

应当理解，附图和描述已被简化以说明与清楚理解本原理相关的元件，同时为了清楚的目的，去除了在典型编码和/或解码设备中发现的许多其他元件。将理解的是，尽管术语第一和第二在本文中可用于描述各种元件，但这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一个元件。

关于画面的编码/解码描述了各种实施例。它们可用于编码/解码画面的一部分，诸如条带(slice)或图块(tile)，或整个画面序列。

上面描述了各种方法，并且每个方法包括用于实现所述方法的一个或多个步骤或动作。除非该方法的正确操作需要步骤或动作的特定顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。

至少一些实施例涉及用于在流水线架构中以并行处理的每个子块导出和应用LIC参数的方法。

在第1节中，公开了有关导出用于光照补偿的线性模型参数的一些限制。

在第2节中，公开了用于导出与流水线过程兼容的用于光照补偿的线性模型参数的修改方法的若干实施例。

在第3节中，公开了附加信息和通用实施例。

1关于导出用于LIC的线性模型参数的限制

1.1对LIC参数的导出的介绍

基于线性模型的工具局部光照补偿(LIC)用于使用缩放因子a和偏移b补偿正被编码的画面与其参考画面之间的照度变化。它针对每个模式间编解码的编解码单元(CU)被自适应地启用或禁用。当LIC应用于CU时，采用均方误差(MSE)方法以通过使用当前CU的邻近样本及其对应参考样本导出参数a和b。更具体地，通过相对于当前CU(图2上的当前块)的运动信息MV在参考画面中识别的当前CU(图2上的当前块)的邻近样本和对应参考CU(图2上的参考块)的邻近样本被使用。LIC参数最小化当前CU的邻近样本与线性修改的对应参考样本之间的误差。例如，LIC参数最小化当前CU的顶部和左侧邻近重建样本rec_cur(r)(访问图2右侧上的邻近重建样本)与由帧间预测确定的它们的对应参考样本的顶部和左侧邻近重建样本rec_ref(s)(访问图2左侧上的附加参考样本)之间的均方误差差(MSE)，其中s＝r+MV，MV是来自帧间预测的运动向量：

dist＝∑_{r∈Vcur,s∈Vref}(rec_cur(r)-a.rec_ref(s)-b)² (等式1)

(a,b)的值是使用最小二乘法最小化(等式2)获得的：

针对当前CU的LIC的启用或禁用取决于与当前CU关联的标志，称为LIC标志。

一旦编码器或解码器获得针对当前CU的LIC参数，则当前CU的预测pred(current_block)包括以下内容(单向预测情况)：

pred(current_block)＝a×ref_block+b (等式3)

其中current_block是要预测的当前块，pred(current_block)是当前块的预测，并且ref_block是利用常规运动补偿(MV)过程构建并且用于对当前块的时间预测的参考块。

调整导出中使用的参考样本数量N的值，以便使等式2中的加和项保持低于允许的最大整数存储数值(例如N<2¹⁶)或处理矩形块。因此，参考样本在用于导出LIC参数(a，b)之前被(利用stepH或stepV的下采样步骤，水平和/或垂直地)下采样，如图5所示。

邻近重建样本集合和参考样本集合(见图3中的灰色样本)具有相同的数量和相同的模式。在下文中，我们用“左样本”表示位于当前块左侧的邻近重建集合(或参考样本集合)，并且用“顶部样本”表示位于当前块的顶部的邻近重建集合(或参考样本集合)。我们用“样本集合”表示“左样本”和“顶部样本”集合之一。优选地，“样本集合”属于块的左侧或顶部邻近线。通常，术语“L形”表示由位于当前块上方行(顶部邻近线)上的样本和位于当前块左侧列(左侧邻近线)上的样本组成的集合，如图2中灰色所示。

在双向预测的情况下，局部光照补偿适用于两个参考画面。根据第一变体(称为方法-a)，LIC过程被应用两次，第一次是对于在参考0预测(LIST-0)，第二次是对于参考1预测(LIST_1)。图3示出了根据第一变体的LIC参数的导出及其对于参考0预测(LIST-0)和参考1预测(LIST_1)中的每一个的应用。然后，两个预测像往常一样使用默认加权(P＝(P0+P1+1)>>1)或双向预测加权平均(BPWA)组合在一起：P＝(g0.P0+g1.P1+(1<<(s-1)))>>s)。

根据第二变体(称为方法b)，在双向预测的情况下，首先组合常规预测，然后应用一个单一的LIC过程。图2示出了根据第二变体的LIC参数的导出及其对来自LIST-0和LIST_1的组合预测的应用。

根据另一变体(称为方法-c，基于方法-b)，在双向预测的情况下，首先组合常规预测，然后直接从误差的最小化导出LIC-0和LIC-1参数：

dist＝∑_{r∈Vcur,s∈Vref}(rec_cur(r)-a0.rec_ref0(s)-a1.rec_ref1(s)-b)²(等式2b)

1.2帧间预测中的流水线子块处理

在VVC的最新发展中，CU之间的一些预测过程被每子块执行，进一步将CU划分为更小的预测单元，并在更大的CU上计算变换。这些工具增加了数据依赖性约束，这是因为子块被并行解码以应对实时约束，并且因此子块的邻近像素并非全部可用。例如，当前画面中的邻近像素不可用。它们正在被编码/解码。参考画面中的邻近像素可用，但用于识别参考块的运动向量尚不被知道(dmvr、sbTMVP情况)。另外，在一些实现方式中，存储器访问是一个瓶颈，它限制了仅在给定子块的过程期间访问邻近像素。为完整起见，下文将简要介绍其中一些工具。

1.2.1仿射运动补偿预测(4×4子块)

在HEVC中，仅将平移运动模型应用于运动补偿预测(MCP)。而在现实世界中，有很多种运动，例如放大/缩小、旋转、透视运动和其他不规则运动。在VVC的最新发展中，应用了基于块的仿射变换运动补偿预测。块的仿射运动场由两个控制点(4个参数)或三个控制点(6个参数)的运动矢量(CPMV)描述。对当前16×16块的每个4×4亮度子块应用基于子块的仿射变换预测，如图6所示。

1.2.2基于子块的时间运动矢量预测(SbTMVP)(8×8子块)

VVC的最新发展还支持基于子块的时间运动矢量预测(SbTMVP)方法。与HEVC中的时间运动矢量预测(TMVP)类似，SbTMVP使用同位画面中的运动场来改进当前画面中CU的运动矢量预测和合并模式。SbTMVP预测子CU级别的运动。此外，SbTMVP在从同位画面获取时间运动信息之前应用运动移位，其中运动移位是从来自当前CU的空间邻近块之一的运动矢量获得的。图7a示出了由SbTMVP使用的空间邻近块A₀、A₁、B₀、B₁并且图7b示出了通过应用来自空间邻居的运动移位并且缩放来自对应同位子CU的运动信息来导出子CU运动场。SbTMVP中使用的子CU尺寸固定为8×8，并且如针对仿射合并模式所做的，SbTMVP模式只适用于宽度和高度都大于或等于8的CU。

1.2.3双向光流(BDOF)(4×4子块)

在VVC的最新发展中，双向光流(BDOF)工具，以前称为BIO，用于在4×4子块级别细化CU的双向预测。BDOF模式基于光流概念，它假设对象的运动是平滑的。对于每个4×4子块，通过最小化L0与L1预测样本之间的差来计算运动细化(v_x,v_y)。然后使用运动细化来调整4×4子块中的双向预测样本。

1.2.4 DMVR(16×16子块)

在VVC的最新发展中，解码器侧运动矢量细化(DMVR)是用于合并具有两个初始用信号通知的运动矢量(MV)的块的双向预测技术，所述运动矢量可以通过使用双边匹配预测被进一步细化。在双向预测操作中，在参考画面列表L0和参考画面列表L1中的初始MV周围搜索细化的MV。对于每个16×16(最大尺寸；如果块较小，则块仅包含一个子块)子块，计算基于初始MV周围每个MV候选的2个参考块之间的SAD。具有最低SAD的MV候选成为细化的MV并用于生成双向预测信号。

1.2.5流水线子块处理

如上所述，一些用于帧间预测的工具可能需要利用若干连续操作来处理在多个子块中的当前块。为了应对实时约束，连续操作是流水线的，以便使得多个子块被并行处理。图9示出了根据现有技术的包括在流水线子块运动补偿中使用线性模型的示例编码或解码方法。虚拟流水线数据单元(VPDU)被定义为画面中的非重叠单元。在硬件解码器中，连续的VPDU由多个流水线级同时处理。在大多数流水线级，VPDU尺寸与缓冲器尺寸大致成比例，因此保持VPDU尺寸小是很重要的。VPDU尺寸的典型示例是64×64亮度样本。为了将VPDU尺寸保持为64×64亮度样本，应用了规范的分割限制(带有语法信令修改)。在第一步骤计算MV中，确定块(VPDU单元)的初始运动信息(诸如块的运动矢量)。在编码方法中，从运动估计中获得初始运动信息。在解码方法中，从编码的比特流中获得初始运动信息。然后，在流水线操作中，针对每个子块细化初始运动信息。例如，32×32块被分割成16×16子块。访问当前子块的数据。然后应用子块处理，例如在步骤DMVR中，得到针对当前子块的细化运动信息。并行地(图9的第二条线)，使用与先前用于当前子块相同的硬件资源(存储器访问)来访问后续子块的数据。然后在步骤MC中确定来自运动补偿的预测。在并行的同时，应用子块处理得到后续子块(图9的第二条线)的细化运动信息。

由于LIC参数的导出使用细化运动信息来确定针对子块的参考样本，因此流水线对计算块的LIC参数所必需的样本的可用性施加了限制。

因此，根据图9所示的现有技术的方案，由于后续子块的数据不可用，无法在流水线中并行处理LIC参数的导出，因此在块的所有子块都被运动补偿之后推迟LIC导出。块的并行计算受到影响，并且在流水线中引入了延迟。

根据另一现有技术方案，在并行处理子块以进行运动补偿的情况下禁用LIC。这个方案提出了编码/解码过程的性能问题。

因此，一旦针对块的子块的运动信息可用，则至少一个实施例就通过细化LIC参数的迭代导出和每子块所得到的线性模型的应用来改进线性模型过程。这是通过以下操作实现的：在利用数据的可用性导出过程中连续增加邻近重建样本和对应参考样本的数量、从根据子块的邻近样本导出的部分LIC参数导出LIC参数、针对每个子块独立导出LIC参数或使用来自初始确定的运动信息，如下一节中详述。

2包括按子块细化和应用LIC参数的方法的至少一个实施例

为了应对第1节中提出的限制，至少一个实施例的一般方面旨在通过按子块细化和应用LIC参数来提高流水线实现方式中的线性模型的准确度。

2.1包括每子块细化和应用LIC参数的至少一个实施例的一般方面。

图10示出了根据至少一个实施例的一般方面的编码或解码方法的示例。图10的方法包括根据从流水线并行处理发出的所需数据的可用性，在线性模型参数导出中使用的邻近重建样本和对应参考样本的适配。

编码或解码方法10基于正被编码或解码的空间邻近重建样本和对应参考样本来确定线性模型参数。然后在编码或解码方法中使用线性模型。这样的线性模型参数包括如等式2和3中定义的LIC模型的缩放因子a和偏移b。如图11所图示的，块被分割成并行处理的子块，以用于通过流水线中的运动补偿进行帧间预测。根据非限制性示例，如图12到14所示出的，32×32块被分割成4个16×16子块。子块根据它们的处理顺序被从1到4排序。根据非限制性示例，处理顺序是如图12至图14所示的光栅扫描顺序。根据非限制性示例，根据块中子块的位置确定处理顺序。当然，对于其他块尺寸、子块分割或子块顺序将容易地推导出本原理。

在第一步骤11中，编码或解码方法10确定针对当前块(图12上的当前CU)的第一子块(图12上的1)的线性模型参数。基于从基于子块的运动补偿产生的可用数据，访问第一子块的空间邻近重建样本和参考子块(16×16(1)的参考块)的空间邻近样本。根据运动补偿信息MV，参考子块是参考画面中的第一子块的同位子块。为了简洁起见，在本公开中，子块/块的空间邻近重建样本和参考子块/块的空间邻近样本可以被称为子块/块的邻近样本。线性模型参数例如根据等式2确定，其中N是第一子块的空间邻近重建样本的数量。有利地，第一子块的顶部样本和左侧样本都是可用的。在步骤13中，然后将基于第一子块LIC参数的线性模型应用于参考子块，如等式3，以获得针对第一子块的LIC预测。然后在编码或解码方法中使用预测。

与第一子块的处理并行，第二子块(图12上的2)被处理。在步骤12中，基于由第一和第二子块的基于子块的运动补偿产生的新可用数据来确定针对第二子块的细化线性模型参数。如图12所示，当前子块和对应参考子块(16×16(2)的参考块)现在可以访问当前块的右上样本。如后面在第2.2.1和2.2.2节中的示例详述的那样，第一子块或第二子块的空间邻近重建样本和对应参考样本的任意组合用于确定针对第二子块的细化LIC参数。然后，对第二子块重复步骤13：然后像等式3那样将基于细化LIC参数的线性模型应用于参考子块，以获得针对第二子块的LIC预测。然后在编码或解码方法中使用LIC预测。

再次，与第一子块和第二子块(图11的流水线的第三行)的处理并行，处理第三子块(图12上的3)。在迭代步骤12中，基于由第一、第二和第三子块的基于子块的运动补偿产生的新可用数据来确定针对第三子块的线性模型参数。如图12所示，当前子块和对应的参考子块(16×16(3)的参考块)现在可以访问当前块的左下样本。对于4个子块分割，第一个、第二个和第三个子块的邻近样本定义了整个块的邻近样本。再次，第一、第二和第三子块的邻近样本的任何组合用于确定针对第三子块的细化LIC参数。然后，对第三子块重复步骤13：然后像等式3那样将基于细化LIC参数的线性模型应用于参考子块，以获得针对第三子块的LIC预测。然后在编码或解码方法中使用LIC预测。

最后，与先前子块的处理并行，处理第四子块(图12上的4)。在迭代步骤12中，基于先前可用的邻近样本的任何组合来确定针对第四子块的细化线性模型参数。如图12所示，在这一步没有附加的邻近样本可用。然后，对第四子块重复步骤13：然后将基于细化LIC参数的线性模型应用于第四子块的参考子块，以获得针对第四子块的LIC预测。然后在编码或解码方法中使用LIC预测。

因此，通过确定针对块中当前子块的细化线性模型参数并基于针对当前子块的细化线性模型参数确定针对当前子块的光照补偿预测，来确定针对块的线性模型参数。有利地，根据至少一个实施例的一般方面的LIC导出和应用与流水线式基于子块的运动补偿容易地兼容。

图11示出了根据至少一个实施例的一般方面的包括在流水线的基于子块的运动补偿中使用线性模型的示例编码或解码方法。如图11所示，LIC(包括线性模型导出和线性模型应用)是按子块并行处理的。

现在详述更详细的示例实施例。

2.2包括用可用数据连续细化LIC参数的至少一个实施例

邻近样本或运动信息并非都可用于一次计算针对整个块的LIC参数，而是可用于每子块计算子块。

在以下方法中，LIC参数是为第一个子块计算的，并且然后当数据可用时为后续子块细化，即在流水线中处理后续子块以进行帧间预测。

根据第一实施例，邻近样本用于在存储器中访问的当前子块并在它们变得可用时存储在针对块的LIC样本的缓冲器中。然后使用存储的样本来计算LIC参数。知道子块位置后，可以立即推导出可用的邻近样本。

LIC参数a和b，分别是缩放因子和偏移，使用上面定义的等式2被计算，但具有可用邻近样本的子集合，对于子块i

2.2.1光栅扫描顺序

根据第一实施例的特定变体，当计算每个子块时，邻近样本是可用的，并且可以利用所有可用样本来计算LIC参数。这意味着，例如，对于第二行子块，上述所有邻近样本都可用并用于确定针对如图12所示的第二、第三和第四子块的细化LIC参数。换句话说，LIC参数导出中使用的样本数量随着块的可用邻近数据而连续增加。

2.2.2具有部分模型缓冲器的位置相关方法

根据第一实施例的另一特定变体，当如上所述计算每个子块时，邻近样本是可用的，但是LIC参数仅用最接近的可用样本而被计算。这意味着，例如，对于第二行子块，不是使用上面的所有邻近样本，而是仅使用直接上面的那些邻近样本(例如，不包括左下子块3的右上像素)，如图13所示的。

2.2.3至少具有部分和的实施例

根据第一实施例的另一特定变体，不是将邻近样本存储在缓冲器中，而是将模型的部分和(sumX_j,k)存储在缓冲器中。存储减少的固定数量的值改善了存储器占用，并且不会为每个子块LIC过程重新计算部分和。

可以存储最小部分和，例如仅当前子块的顶部邻居，或仅当前子块的左侧邻居，其中j是顶部或左侧邻域，并且k是子块索引：

sumC_j,k＝∑_j,kcur(r)

sumR_j,k＝∑_j,kref(s)

sumRC_j,k＝∑_j,kref(s)×cur(r)

sumCC_j,k＝∑_j,kcur(r)×cur(r)

根据该变体，存储与子块宽度或子块高度相对应的具有最小尺寸的部分和。换句话说，部分和不能进一步划分，并且通过加法的部分和的每个组合都可能确定线性模型参数。

可替代地，根据第一实施例的另一特定变体，如果先前的部分和已被聚合，则存储较少的部分和。例如，可以为第一个子块(左上)聚合第一个子块的部分和，并重新用于第二个和第三个子块。换句话说，这些较少的部分和能够被划分，但是保持更多的粒度是没有用的，因此它们已经被预先组合了。

在第一实施例的另一特定变体中，存储其他部分数据。如果模型不是从最小二乘优化发出的，则此变体特别有利。存储的部分数据是不同的，这是因为它们取决于模型。例如部分数据可以是：

∑_j,kcur(r)

∑_j,kref(s)

∑_j,k|cur(r)|

2.3包括组合子模型的至少一个实施例

根据第二实施例，不是存储用于导出LIC参数的邻近样本或部分和，而是导出并存储部分LIC参数(a_i和b_i)。例如，针对第一个子块的参数-左上(1)-被存储为(a₁和b₁)。针对第二个子块的参数-右上(2)-被计算为(正规方程；用移位实现的整数除法)：

其中，a_2t和b_2t是仅从第二个子块的顶部邻居计算的部分模型。这具有避免除以可能是2的非幂的多个样本N_i的优点。

此外，这在LIC参数细化中给予最接近当前子块的样本更多的权重，从而提高预测准确度。

2.4其中针对每个子块独立确定细化线性模型的至少一个实施例

根据第三实施例，代替使用多个部分和或部分模型，仅使用针对当前子块的可用邻近样本来确定针对当前子块的LIC参数，如图14所示的。同样，像素的数量有利地直接是2的幂，这简化了后续的除法(除以2的幂被更简单的比特移位所取代)。对于4个子块分割，第一个子块LIC参数是从上面一行邻近样本的左侧样本和左列邻近样本的顶部样本导出的；第二个子块LIC参数是从上面一行邻近样本的右侧样本导出的，第三个子块LIC参数是从左列邻近样本的底部样本导出的，并且针对第四个块禁用LIC。

2.5包括使用来自初始运动计算的运动信息的至少一个实施例

为了防止数据依赖性问题，还可以在子块细化过程之前计算LIC参数，如图9的流水线过程所示的。使用运动矢量预测因子(例如，在DMVR的情况下，图8中的MV0和MV1)代替实际运动矢量(例如，图8中的MV0'和MV1')，以便获得邻近参考像素。因此可以在子块过程之前计算LIC参数，并且可以每子块应用LIC，其中针对每个子块，可以使用相同的参数，如图15所示的。

3附加实施例和信息

本申请描述了多个方面，包括工具、特征、实施例、模型、方案等。这些方面中的许多方面都被具体描述，并且至少为了显示各个特征，通常以可能听起来有限制的方式进行描述。然而，这是为了描述清楚的目的，并不限制这些方面的应用或范围。事实上，所有不同的方面都可以被组合和互换以提供更多的方面。此外，这些方面也可以与较早的文件中描述的方面进行组合和互换。

本申请中描述和考虑的方面可以以许多不同的形式实现。下面的图16、17和18提供了一些实施例，但其他实施例也被考虑在内，并且图16、17和18的讨论不限制实现的广度。这些方面中的至少一个总体上涉及视频编码和解码，并且至少一个其他方面总体上涉及传输生成或编码的比特流。这些和其他方面可以实现为方法、装置、其上存储有用于根据所描述的任何方法对视频数据进行编码或解码的指令的计算机可读存储介质和/或其上存储有根据所描述的任何方法生成的比特流的计算机可读存储介质。

在本申请中，术语“重建”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“画面”和“帧”可以互换使用。通常，但不一定，术语“重建”用在编码器侧，而“解码”用在解码器侧。

在此描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非该方法的正确操作需要步骤或动作的特定顺序，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。

本申请中描述的各种方法和其他方面可用于修改模块，例如，如图16和图17所示的视频编码器100和解码器200的运动补偿(170、275)、运动估计(175)、熵编解码、帧内(160，260)和/或解码模块(145、230)。此外，所提出的方面不限于VVC或HEVC，并且可以应用于例如其他标准和推荐，无论是预先存在的还是未来开发的，以及任何此类标准和推荐(包括VVC和HEVC)的扩展。除非另有说明或技术上排除，否则本申请中描述的方面可以单独使用或组合使用。

例如，在本申请中使用各种数值。特定值用于示例目的并且所描述的方面不限于这些特定值。

图16示出了编码器100。设想了该编码器100的变体，但是为了清楚的目的，下面描述编码器100而不描述所有预期的变体。

在被编码之前，视频序列可以经过预编码处理(101)，例如，对输入的颜色画面应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入画面分量的重新映射，以获得对压缩更有弹性的信号分布(例如使用颜色分量中的一个的直方图均衡化)。元数据可以与预处理相关联，并附加到比特流。

在编码器100中，画面由编码器元件编码，如下所述。要编码的画面以例如CU为单位被分割(102)和处理。例如，使用帧内或帧间模式对每个单元进行编码。当单元以帧内模式被编码时，它执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个来对单元进行编码，并通过例如预测模式标志来指示帧内/帧间决策。例如，通过从原始图像块中减去(110)预测块来计算预测残差。

然后对预测残差进行变换(125)和量化(130)。量化的变换系数以及运动矢量和其他语法元素被熵编解码(145)以输出比特流。编码器可以跳过变换并将量化直接应用于未变换的残差信号。编码器可以绕过变换和量化，即直接对残差进行编解码，而无需应用变换或量化过程。

编码器对编码块进行解码以提供用于进一步预测的参考。量化的变换系数被去量化(140)和逆变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测块，图像块被重建。环路滤波器(165)被应用于重建的画面以执行例如去块/SAO(样本自适应偏移)滤波，以减少对伪影进行编码。过滤的图像被存储在参考画面缓冲器(180)中。

图17示出了视频解码器200的框图。如下所述，在解码器200中，比特流由解码器元件解码。视频解码器200通常执行与图17中描述的编码通道相反的解码通道。编码器100通常还执行视频解码作为对视频数据进行编码的一部分。

特别地，解码器的输入包括视频比特流，该视频比特流可以由视频编码器100生成。比特流首先被熵解码(230)以获得变换系数、运动矢量和其他编解码的信息。画面分割信息指示画面是如何被分割的。因此，解码器可以根据解码的画面分割信息来划分(235)画面。变换系数被去量化(240)和逆变换(250)以对预测残差进行解码。组合(255)解码的预测残差和预测块，图像块被重建。预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)被获得(270)。环路滤波器(265)被应用于重建的图像。过滤的图像被存储在参考画面缓冲器(280)中。

解码的画面还可以经过后解码处理(285)，例如逆颜色变换(例如从YCbCr 4:2:0到RGB 4:4:4的转换)或者执行在预编码处理(101)中执行的重映射过程的逆过程的逆重映射。后解码处理可以使用在预编码处理中导出并在比特流中用信号通知的元数据。

图18示出了其中实现各种方面和实施例的系统的示例的框图。系统1000可以体现为包括以下描述的各种组件的设备并且被配置为执行本文档中描述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人电脑、笔记本电脑、智能手机、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可以单独或组合地体现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文档中描述的一个或多个方面。

系统1000包括至少一个处理器1010，该处理器1010被配置为执行加载在其中的指令以实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附加存储设备(包括可拆卸和不可拆卸存储设备)和/或网络可访问存储设备。

系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码的视频或解码的视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可以被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可以包括编码和解码模块中的一个或两个。此外，编码器/解码器模块1030可以被实现为系统1000的单独元件，或者可以作为本领域技术人员已知的硬件和软件的组合并入处理器1010内。

要加载到处理器1010或编码器/解码器1030以执行本文档中描述的各个方面的程序代码可以被存储在存储设备1040中并随后加载到存储器1020以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在本文档中描述的过程的执行期间存储各种项目中的一个或多个。此类存储项目可包括但不限于输入视频、解码的视频或解码的视频的一部分、比特流、矩阵、变量以及来自等式、公式、操作和操作逻辑的中间或最终结果。

在一些实施例中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令并为在编码或解码期间需要的处理提供工作存储器。然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可以是处理器1010或编码器/解码器模块1030)用于这些功能中的一个或多个。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存。在若干实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作用于视频编解码和解码操作的工作存储器，诸如用于MPEG-2(MPEG指运动画面专家组，MPEG-2也指ISO/IEC13818，并且13818-1也称为H.222，13818-2也称为H.262)、HEVC(HEVC指高效视频编解码，也称为H.265和MPEG-H第2部分)或VVC(通用视频编解码，一种由联合视频专家组JVET开发的新标准)。

可以通过各种输入设备提供对系统1000的元件的输入，如框1130所示。这样的输入设备包括但不限于，(i)接收例如由广播者通过空中传输的RF信号的射频(RF)部分，(ii)分量(COMP)输入端子(或一组COMP输入端子)，(iii)通用串行总线(USB)输入端子，和/或(iv)高定义多媒体接口(HDMI)输入端子。未在图18中示出的其他示例包括复合视频。

在各种实施例中，框1130的输入设备具有相关联的本领域已知的相应输入处理元件。例如，RF部分可以与适合于进行如下操作的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制到频带)，(ii)下变换所选的信号，(iii)再次将频带限制到更窄的频带以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变换和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件来执行这些功能，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变换器、解调器、纠错器和解复用器。RF部分可以包括执行这些功能中的各种功能的调谐器，包括例如将接收到的信号下变换到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传输的RF信号，并通过滤波、下变换和再次滤波到期望的频带来执行频率选择。各种实施例重新排列上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间插入元件，诸如例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。

此外，USB和/或HDMI端子可以包括相应的接口处理器，用于通过USB和/或HDMI连接将系统1000连接到其他电子设备。应当理解，输入处理的各个方面，例如里德-所罗门纠错，可以根据需要在例如单独的输入处理IC内或在处理器1010内实现。类似地，USB或HDMI接口处理的各个方面可以根据需要在单独的接口IC内或处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件组合操作以根据需要处理数据流，以在输出设备上呈现。

系统1000的各种元件可设置在集成外壳内。在集成外壳内，各种元件可使用合适的连接布置(例如本领域已知的内部总线，包括IC间(I2C)总线、布线和印刷电路板)互连并在其间传输数据。

系统1000包括能够经由通信信道1060与其他设备进行通信的通信接口1050。通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发器。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。

在各种实施例中，使用诸如Wi-Fi网络的无线网络，例如IEEE 802.11(IEEE指电气和电子工程师协会)，将数据流传输或以其他方式提供给系统1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050接收。这些实施例的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网在内的外部网络的访问，以允许流传输应用和其他过顶(over-the-top)通信。其他实施例使用通过输入框1130的HDMI连接传送数据的机顶盒向系统1000提供流传输的数据。还有其他实施例使用输入框1130的RF连接向系统1000提供流传输的数据。如上所述，各种实施例以非流传输方式提供数据。此外，各种实施例使用除Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。

系统1000可以向各种输出设备提供输出信号，各种输出设备包括显示器1100、扬声器1110和其他外围设备1120。各种实施例的显示器1100包括例如触摸屏显示器、有机发光二极管(OLED)显示器、曲面显示器和/或可折叠显示器中的一个或多个。显示器1100可以用于电视、平板电脑、膝上型计算机、手机(移动电话)或其他设备。显示器1100还可以与其他组件集成(例如，像在智能电话中那样)，或分开(例如，用于膝上型计算机的外部监视器)。在实施例的各种示例中，其他外围设备1120包括独立数字视频盘(或数字多功能盘)(对于这两个术语的缩写DVR)、盘播放器、立体声系统和/或照明系统中的一个或多个。各种实施例使用基于系统1000的输出提供功能的一个或多个外围设备1120。例如，盘播放器执行对系统1000的输出进行播放的功能。

在各种实施例中，使用诸如AV.Link、消费电子控制(CEC)的信令或使得能够在有或没有用户干预的情况下进行设备到设备控制的其他通信协议在系统1000与显示器1100、扬声器1110或其他外围设备1120之间通信控制信号。输出设备可以通过各自的接口1070、1080和1090经由专用连接通信地耦接到系统1000。或者，输出设备可以经由通信接口1050使用通信信道1060连接到系统1000。显示器1100和扬声器1110可以与诸如例如电视的电子设备中的系统1000的其他组件一起集成在单个单元中。在各种实施例中，显示接口1070包括显示驱动器，诸如，例如定时控制器(T Con)芯片。

显示器1100和扬声器1110可替代地与一个或多个其他组件分开，例如，如果输入1130的RF部分是单独机顶盒的一部分。在显示器1100和扬声器1110是外部组件的各种实施例中，输出信号可以经由包括例如HDMI端口、USB端口或COMP输出的专用输出连接被提供。

实施例可以通过处理器1010实现的计算机软件或通过硬件、或通过硬件和软件的结合来执行。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适用于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，例如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器，这些都是非限制性的例子。处理器1010可以是适合于技术环境的任何类型，并且可以包括作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。

各种实现方式涉及解码。本申请中使用的“解码”可以包括例如对接收的编码序列执行的全部或部分过程，以便产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施例中，这样的过程还包括或可替代地包括由本申请中描述的各种实现方式的解码器执行的过程，例如，确定局部光照补偿参数并每子块执行局部光照补偿，其中子块被并行处理以用于流水线架构中的运动补偿。

作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，而在另一实施例中，“解码”指熵解码和差分解码的组合。基于具体描述的上下文，短语“解码过程”旨在具体指操作的子集还是一般指更广泛的解码过程将是清楚的，并且被认为是本领域技术人员很好理解的。

各种实现方式都涉及编码。以与上述关于“解码”的讨论类似的方式，本申请中使用的“编码”可以包括例如对输入视频序列执行的全部或部分过程，以便产生编码的比特流。在各种实施例中，此类过程包括通常由编码器执行的过程中的一个或多个，例如分割、差分编码、变换、量化和熵编码。在各种实施例中，此类过程还包括或可替代地包括由本申请中描述的各种实现方式的编码器执行的过程，例如，确定局部光照补偿参数并每子块执行局部光照补偿，以允许子块被并行处理，以用于流水线架构中的运动补偿。

作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。基于具体描述的上下文，短语“编码过程”旨在具体指操作的子集还是一般指更广泛的编码过程将是清楚的，并且被认为是本领域技术人员很好理解的。

注意，这里使用的语法元素，例如LIC标志，是描述性术语。因此，它们不排除使用其他语法元素名称。

当附图以流程图的形式呈现时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它也提供了对应方法/过程的流程图。

在此描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一实现形式的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。装置可以以例如适当的硬件、软件和固件来实现。该方法可以以例如处理器来实现，处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和促进终端用户之间信息通信的其他设备。

对“一个实施例”或“实施例”或“一个实现方式”或“实现方式”及其其他变体的引用意味着结合实施例描述的特定特征、结构、特性等被包括在至少一个实施例中。因此，贯穿本申请在各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变体的出现不一定都是指同一个实施例。

此外，本申请可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器中检索信息中的一种或多种。

另外，本申请可以涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一种或多种。

此外，本申请可以涉及“接收”各种信息。接收与“访问”一样，旨在是一个广义的术语。接收信息可以包括例如访问信息或检索信息(例如，从存储器)中的一种或多种。此外，“接收”通常以一种或另一种方式在诸如例如存储信息、处理信息、传输信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间被涉及。

应当理解，例如，在“A/B”、“A和/或B”和“A和B中的至少一个”的情况下，使用以下“/”、“和/或”和“中的至少之一”的任何一个旨在包括仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或选择两个选项(A和B)。作为进一步的例子，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措辞旨在包括仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一个和第二个列出的选项(A和B)，或仅选择第一个和第三个列出的选项(A和C)，或仅选择第二个和第三个列出的选项(B和C)，或选择所有三个选项(A和B和C)。正如本领域和相关领域的普通技术人员清楚的那样，这可以扩展到所列出的尽可能多的项目。

此外，如这里所使用的，词语“用信号通知”尤其是指向对应的解码器指示某物。例如，在某些实施例中，编码器用信号通知用于LIC的基于区域的参数选择的多个参数中的特定一个。例如，启用/禁用LIC可能取决于区域的尺寸。这样，在一实施例中，在编码器侧和解码器侧都使用相同的参数。因此，例如，编码器可以向解码器传输(显式用信号通知)特定参数，以便使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以在不传输的情况下使用信令(隐式用信号通知)以简单地允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施例中实现了比特节省。应当理解，可以以多种方式实现用信号通知。例如，在各种实施例中，一个或多个语法元素、标志等用于向对应的解码器用信号通知信息。虽然前面涉及词语“信号”的动词形式，但“信号”在此也可用作名词。

对于本领域的普通技术人员来说显而易见的是，实施方式可以产生被格式化以携带例如可以被存储或传输的信息的各种信号。信息可以包括例如用于执行方法的指令或由所描述的实现方式之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如编码数据流和用编码的数据流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，信号可以通过各种不同的有线或无线链路传输。信号可以被存储在处理器可读介质上。

我们描述了多个实施例。这些实施例的特征可以跨各种权利要求类别和类型单独提供或以任何组合提供。此外，实施例可以跨各种权利要求类别和类型单独或以任何组合包括以下特征、设备或方面中的一个或多个：

·修改在解码器和/或编码器中应用的帧间预测过程中使用的局部光照补偿。

·修改在解码器和/或编码器中应用的帧间预测过程中使用的局部光照补偿参数的导出。

·使局部光照补偿中使用的样本适应流水线运动补偿子块架构。

·基于可用数据迭代地确定针对块中当前子块的细化线性模型参数；·基于针对块的所有先前访问的邻近样本确定细化线性模型参数。

·以光栅扫描顺序迭代地确定针对块中子块的细化线性模型参数。

·基于最接近当前子块的样本的先前访问的邻近样本来确定细化线性模型参数。

·将访问的当前子块的邻近样本存储到针对块的缓冲器样本中。

·处理和存储部分和，该部分和是从当前子块的邻近样本中获得的；·确定针对当前子块的部分线性模型参数，并根据针对子块的先前确定的部分线性模型参数的加权和来确定细化线性模型参数。

·针对块的子块独立地细化线性模型参数。

·根据子块在块中的位置启用或禁用针对子块的光照补偿。

·在信令中插入语法元素，该语法元素使解码器能够识别要使用的光照补偿方法。

·包括所描述的语法元素中的一个或多个或者其变体的比特流或信号。

·包括传达根据所描述的实施例中的任何一个生成的信息的语法的比特流或信号。

·在信令中插入语法元素，该语法元素使解码器能够以与编码器使用的方式相对应的方式适配LIC。

·创建和/或发送和/或接收和/或解码包括所描述的语法元素中的一个或多个或者其变体的比特流或信号。

·根据所描述的实施例的任何一个创建和/或发送和/或接收和/或解码。

·根据所描述的实施例的任何一个的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·根据所描述的实施例的任何一个执行LIC参数的适配的TV、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·根据所描述的实施例的任何一个执行LIC参数的适配并显示(例如，使用监视器、屏幕或其他类型的显示器)所得到的图像的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·选择(例如，使用调谐器)信道以接收包括编码的图像的信号并根据所描述的实施例的任何一个执行LIC参数的适配的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。

·通过空中接收(例如，使用天线)包括编码的图像的信号并根据所描述的实施例的任何一个执行LIC参数的适配的电视、机顶盒、蜂窝电话、平板电脑或其他电子设备。