具体实施方式

本文描述的实施例属于视频压缩领域，并且涉及视频压缩以及视频编码和解码。本发明可以一般地应用于译码的视频内容(例如，标准动态范围(SDR)、高动态范围(HDR))，但是当在编码器和解码器中使用映射和逆向映射过程以实现改进的译码性能时，本发明尤其适用。实际上，为了更好的译码效率，可以使用信号映射。映射旨在更好地利用视频图片的样本码字值分布。映射和逆向映射可以在解码环路之外。在这种情况下，在核心编码之前，映射直接应用于编码器的输入采样。逆向映射过程在解码器侧应用于来自解码器的输出采样。映射和逆向映射也可以在解码环路中，如在第一JVET(联合视频专家团队)贡献中所提出的。

这个贡献和第二个贡献描述了提高译码效率的环内重整形解决方案。在这些解决方案中，亮度或色度信号的映射(重整形)在译码环路内部实现。重整形应用于预测/重构信号，并且在编码器或解码器中，将重整形和逆向重整形的附加块添加到传统编码器和解码器框图。这在图1中示出，其中重整形被应用于预测亮度或色度信号。注意，重整形在JVET文献“用于通用视频译码和测试模型4(VTM 4)的算法描述的条款3.7.3-亮度映射与色度缩放(LMCS)”中被信息化地记载。

在编码器处，量化前的残余信号Res_source根据以下公式生成：

Res_source(p)＝map[Orig(p)]–map[Pred(p)] (等式1)

其中Orig(p)是图片中位置p(x，y)处的源样本(要译码的)的值，Pred(p)是预测样本的值，以及Res_source(p)是量化前的预测残差样本的值，map[.]是重整形函数。

然后，Res_source(p)被变换、量化。逆向量化和逆向变换后的残差信号表示为Res(p)。

在解码器处，根据以下公式(图1(b)中所示)来重构信号：

Rec(p)＝invmap[map[Pred(p)]+Res(p)] (等式2)

优选地以3个步骤实现：

步骤1108：

Rec0(p)＝map[Pred(p)] (等式3)

步骤1103：

Rec1(p)＝Rec0(p)+Res(p) (等式4)

步骤1104：

Rec(p)＝invmap[Rec1(p)] (等式5)

其中Rec(p)是重构样本的值，invmap[.]是逆向重整形函数(map[.]的逆向，使得invmap[map[x]]＝x)。在上述JVET贡献中，针对所处理的块的每个样本执行该过程。映射和逆向映射的函数对于整个图片或图片的区域是全局的。在图片的不同块或块的区域中，使用相同的函数。

在上述JVET贡献中的映射函数实现基于缩放表，scale[k]，k＝0到N-1，N是2的幂(通常为16或32)。每个缩放适用于亮度值的范围。范围R是固定的，并且是2的幂(R＝2^K)，并且等于全亮度范围(rangeY)除以N。例如，对于10比特亮度信号，并且对于N＝16，R＝1024/N＝64＝2⁶(K＝6)。映射函数FwdMap在概念上定义如下：

-FwdMap[0]＝0

-然后，对于k＝0～N，如下计算在每个k*R索引的值：FwdMap[(k+1)*R]＝FwdMap[k*R]+R*scale[k]

-在索引x＝(k*R+1)～((k+1)*R-1)的中间值，从其周边值FwdMap[(k+1)*R]及FwdMap[k*R]分别进行如下线性插补：FwdMap[x]＝FwdMap[k*R]+(x–k*R)*(FwdMap[(k+1)*R]-FwdMap[k*R])/R

注意，该过程要求LUT FwdMap具有(rangeY+1)个元素，从Y＝0到rangeY，即是使得实际最大采样值Y等于(rangeY-1)。该过程在图2中示出。每个缩放(scale)与分段(piece-wise)线性映射函数的片段(segment)相关联。每一片段是在相同长度(R)的亮度范围上指定。

使用长度为R的具有均匀采样(相同间隔长度)的间隔的优点在于，通过使用从移位K个比特的值Y计算的索引对有限大小(大小N)的查找表进行简单访问，可以容易地即时执行采样值Y的映射。该过程概念上如下：

-索引k＝Y/R＝Y>>K的计算

-Ymap＝scale[k]*Y+A[k]

其中A是预先建立的大小为(N+1)的查找表，如下导出(对于k＝0～N)：

-A[k]＝FwdMap[k*R]–k*R*scale[k]

基于第二JVET贡献，当前核心语法如下：

其中：

reshaper_model_min_bin_idx表示比特流中携带图2上的scale[i]的横坐标(x)。

reshaper_model_delta_max_bin_idx表示直到在比特流中携带的图2上的scale[i]为止的横坐标(x)。这是相对于reshaper_model_min_bin_idx而译码的。

reshaper_model_bin_delta_abs_cw_prec_minus1表示图2上用于译码scale[i]或FwdMap[i]的比特数。

reshape_model_bin_delta_abs_CW[i]表示图2上的绝对scale[i]或FwMap[i]。

reshaper_model_bin_delta_sign_CW_flag[i]表示图2上的scale[i]或FwdMap[i]的符号。

正向映射函数FwdMap可以非常直接地应用，但是它需要在比特流中携带表示分段线性(PWL)部分的特定数量的枢轴点(pivot points)，对于这些枢轴点，当正向映射查找表(LUT)重构过程(在LUT在按采样处理重新映射之前预先计算的情况下)或即时重构以均匀采样在16个PWL上进行操作时，在每个部分的大小上没有灵活性。另外，第一阶段包括确定样本将被重新映射的部分(尽管这可以是简单的移位操作)。

此外，逆向映射函数InvMap被建立为正向映射函数的逆向函数。如图3所示，其数学上被建立为FwdMap相对于y＝x定义的线的对称函数。这种逆向映射的问题在于其不能像正向映射那样容易地被即时应用。实际上，即使逆向映射函数保持分段线性，值Y所属的段的索引的识别也不是直接的。与需要简单的移位运算的正向映射相反，在此，由于逆向映射函数的段的索引不是2的幂这种预定长度的倍数，所以这种情况更加复杂。如图3所示，由于根据设计idx_k＝fwpMap[k*R]，逆向映射函数(idx₀～idx₄)的段的索引沿水平轴非均匀分布。这种索引查找操作被称为“二分搜索”，并且具有复杂度O(log2(n))。

从第二个前述JVET贡献的以下解决方案，可以看出，就关注帧内模式预测而言，在解码器中仅使用逆向重整形器(见图4)。

这意味着在当前的实现中，对于每个帧内图片或者在某种程度上在所有帧内配置文件(profile)中，执行正向环内重整形曲线，然后在已经操作二分搜索之后，需要恢复。这代表额外的计算和额外的复杂性。

已经提出了环内重整形的几种简化。

现有技术建议通过实施从等长(均匀采样)分段线性模型建立的逆向查找表来简化逆向重整形设计。在解码器处计算逆向LUT，然后通过等长PWL来近似，或者在流中显式地用信号通知等长。

该建议旨在通过将逆向映射函数转换成具有等长间隔的分段线性函数来简化逆向映射过程，其中长度为2的幂。因此，将可能通过简单的过程来即时执行逆向映射，如对于正向映射那样。该技术可一般地应用于经译码的视频内容(例如，SDR、HDR)，但其尤其适用于在编码器及解码器中使用映射及逆向映射过程以实现改进的译码性能时。

有利地，该过程可以使用简单的移位操作和对有限大小(例如，低于64个元素)的查找表的访问来实现每样本逆向映射过程的简单实现。因此，所提出的技术可以简化逆向映射过程的设计，同时保留来自重整形(即，信号的映射、逆向映射)的大多数潜在译码增益。

根据实施例的逆向映射函数生成过程在图10中示出。它使用表征正向映射函数的数据作为输入。这可以由函数fwdMap或缩放表Scale[]构成。在步骤401中，从该输入数据建立逆向映射函数invMap。这可以通过正向映射函数fwdMap相对于线y＝x的数学对称性来实现。在步骤402中生成逆向映射函数invMap的近似。该近似可以使用函数的分段线性模型，其中每个分段是按等长度间隔定义的，该间隔具有等于2的幂的相同长度。

在现有建议的另一实施例中，在解码器处导出近似逆向映射函数。在比特流中用信号通知函数的段数。这在以下语法表(以斜体字)中指示。

语法的其余部分对应于正向映射函数的信令。引入新的语法元素，reshaper_model_inv_log2_size，以指定逆向映射函数的段数。参考所使用的符号，M如下导出：

M＝2^{reshaper_model_inv_log2_size}＝(1<<reshaper_model_inv_log2_size)

在另一实施例中，该参数是应用于用于对正向映射函数建模的段数N的因子：

M＝N*2^{reshaper_model_inv_log2_size＝}(N<<reshaper_model_inv_log2_size)

在编码器处确定段数(M)的值。例如，其可以被确定以保证上述失真低于给定阈值(例如，T*rangeY²，其中T＝0.02)。这可以迭代地实现，从M＝N开始。近似逆向映射函数利用这个值M生成。若利用所得到的近似逆向映射函数所获得的失真高于阈值(T*rangeY²)，则M加倍(M被设定为(M*2))，并且该过程被重新迭代，直到失真dist低于阈值(T*rangeY²)，或者直到M达到最大值Mmax(例如128)。或者，M可以基于实际实验任意设定。在许多情况下，值32是相关的。

从段数(M)，可以在解码器处如上所述地导出近似逆向函数。

在现有提议的另一实施例中，在流中显式地用信号通知近似逆向映射函数。这在以下语法表(以斜体字)中指示。语法的其余部分对应于正向映射函数的信令并且是已知的。

在编码器侧，表invScale、其大小M和invMapBis的第一值(invMapBis[0])是从正向映射函数fwdMap导出的。这通常根据上述过程来实现，例如，通过：1)从正向映射函数fwdMap导出逆向映射函数invMap；2)从逆向映射函数invMap生成近似逆向映射函数invMapBis(在该步骤中，M可以任意选择，或者如上所述自适应地计算)；3)从近似逆向映射函数invMapBis导出表invScale。invMapBis用于在编码器中执行逆向映射。然后，遵循表中描述的语法，编码器在比特流中编码表征近似映射函数的参数，即M、invMapBis[0]、表invScale。

在解码器侧，遵循表中描述的语法，从比特流中解码出表征近似逆向映射函数的参数。然后从这些参数导出近似逆向映射函数invMapBis。invMapBis用于在解码器中执行逆向映射。或者，不需要建立invMapBis，且如在“简化的即时逆向映射”部分中所描述的即时执行逆向映射。

这种现有方法的主要缺点是译码效率的降低，这是因为，由于正向LUT与近似逆向LUT的连接与使用非近似逆向LUT时相比，更不接近于恒等函数，所以近似逆向LUT引起更多的重构误差或漂移。

用于降低环内重整形的复杂性的替换轨道(track)是为了强烈地限制用于对正向和逆向LUT进行建模的部件的数量(典型地是8个而不是16或32个)。因此，这可以减少在执行即时逆向映射时要进行的用于识别亮度值所属的片段的检查的数量。但是这对译码效率有明显的负面影响。

在这里描述的一般方面下，提出了以下解决方案，以通过携带表示正向环内重整形曲线或逆向环内重整形曲线的枢轴点来降低逆向重整形过程的复杂性。通常，仅表示逆向环内重整形曲线(在编码器处预先计算)的枢轴点在帧内预测图片的比特流中直接传达，并且表示正向环内重整形的支点在与非帧内图片相关联的比特流中携带。下面记录了检索正向和相应的逆向环内重整形(映射)函数的不同手段。

根据本发明的变型，图6中受影响的编解码器模块被放置在预测(160、170、175、275)之后。还可以添加环路滤波(165,265)之前的步骤。

一个主要思想是用信号通知正向或逆向LUT(表示环内重整形曲线)。实施例在实现上可以不同。在下文中，均匀LUT意味着其输入条目被均匀采样的LUT。术语“LUT方向”代表评定所传送的环内重整形曲线是正向还是逆向的资格。主要优点是简化帧内译码图片或帧内切片/图块的逆向重整形计算。

本发明的共同特征是同时执行逆向或正向环内重整形曲线参数。描述关于正向和逆向LUT的相互行为的不同实现。

在一个实施例中，携带均匀采样的重整形查找表(LUT)，并且指示符指示所述携带的LUT是逆向LUT。图10b实现了与现有技术中描述的相同的两个第一阶段(步骤401和402)。步骤403对应于从均匀采样的逆向重整形LUT中导出非均匀采样的正向重整形LUT。步骤404是根据下面描述的实施例从均匀采样的逆向重整形LUT导出色度残差缩放LUT。

有利地，均匀采样的逆向重整形LUT由相应的帧内译码图片/切片/图块(tile)来携带。非均匀采样的正向重整形LUT是从用于帧间译码图片/切片/图块的均匀采样的逆向重整形LUT导出的。

通常，编码器根据诸如在现有建议中记载的均匀采样的正向重整形LUT FwdMap来计算非均匀采样的逆向重整形LUT InvMap。然后，InvMapBis，在例如现有建议中记载的均匀回归后，生成InvMap的均匀采样版本。最后，FwdMapBis被导出作为InvMapBis的逆向函数，并且表示非均匀采样的正向重整形LUT(图10b的步骤403)。

通常，所承载的枢轴点的数目与用于FwdMap的枢轴点的数目相同(8或16)。

作为示例，现有技术的语法被改变，以便添加所携带的LUT的性质的信令，即，逆向或正向。一种建议的语法是：

当被设置为0时，tile_group_reshaper_direction_flag指示所携带的LUT表示正向LUT。当被设置为1时，其指示所携带的LUT表示逆向LUT。

有利地，与现有技术相比，调整了reshaper_min_bin_idx语义。当tile_group_reshaper_direction_flag被设置为0时，其表示携带的正向LUT的所携带的最小bin索引(与现有技术相同)。当tile_group_reshaper_direction_flag被设置为1时，其表示携带的逆向LUT的所携带的最小bin索引。

作为一种变型，与现有技术相比，无论tile_group_reshaper_direction_flag的值是什么，reshaper_min_bin_idx语义都没有改变。在此情况下，当tile_group_reshaper_direction_flag被设置为1时，携带的逆向LUT的最小bin索引被确定为固定数。例如，此固定数为0，即携带的逆向LUT的最小bin索引被设置为等于0。此外，(当tile_group_reshaper_direction_flag被设置为1时)，reshaper_min_bin_idx可以表示要在逆向LUT的原点处应用的纵坐标值偏移(y-offset)，即，表示所携带的逆向LUT的第一枢轴点可以等于reshaper_min_bin_idx*OrgCW，其中，例如，OrgCW＝(1<<BitdepthY)/16。OrgCW表示分段线性映射函数的均匀采样步骤。作为示例，OrgCW＝64。BitdepthY表示内容的比特深度或映射LUT的精度。作为示例，BitdepthY＝10。

有利地，与现有技术相比，调整了reshaper_delta_max_bin_idx语义。当tile_group_reshaper_direction_flag被设置为0时，其表示携带的正向LUT的所携带的最大bin索引。当tile_group_reshaper_direction_flag被设置为1时，其表示携带的逆向LUT的所携带的最大bin索引。

典型地，逆向重整形LUT(reshaperModelMaxBinIdxInv)的最大bin索引从正向重整形LUT(reshaperModelMaxBinIdx)的最大bin索引导出，如下：reshaperModelMaxBinIdxInv＝reshapePivotInv[reshaperModelMaxBinIdx+1]>>

log2PwlInvBinLen

其中log2PwlInvBinLen是均匀采样步骤的对数的底数2。作为示例，log2PwlInvBinLen等于6。reshapePivotInv[i]是构成逆向重整形LUT的第i个枢轴点。

有利地，FwdMapBis被剪切，使得InvMapBis和FwdMapBis的边界如下匹配在一起或彼此相反：

for(i＝reshapePivotInv[reshaperModelMaxBinIdxInv+1]；i<lutSize；i++)

FwdMapBis[i]＝FwdMapBis[reshapePivotInv[reshaperModelMaxBinIdxInv+1]]；

其中lutSize等于FwdMapBis LUT的大小。作为示例，lutSize＝1024。

重整形，也称为亮度映射与色度缩放(LMCS)，也可以包括色度残差缩放(CRS)阶段。通常，此阶段对帧间图片的色度残差进行操作。CRA也可以应用于帧内图片色度残差，例如当双帧内树模式(dual intra tree mode)被禁用时，以便避免色度样本可用性延迟问题。CRS由色度缩放LUT表示。典型地，在现有技术中，当执行正向重整形LUT时，该CRS LUT被计算为构成所述正向LUT的每个线性部分的斜率。

作为示例，CRS LUT是如下用整数实现导出的：

其中CSCALE_FP_PREC是LUT的精度。作为示例，CSCALE_FP_PREC＝11。CRS_LUT[i]是CRS LUT，并且索引i指定在PIC_CODE_CW_BINS均匀采样部分中划分的横坐标的第i部分。指数i＝0开始于0。PIC_CODE_CW_BINS可以等于16。binCW[i]表示代表重整形曲线的枢轴点的纵坐标值的差。这种方法的缺点是它需要整数除法。整数实现优选移位。

当如所提出的那样执行逆向重整形LUT时，CRS LUT的计算被简化，因为逆向重整形LUT斜率是从均匀采样的枢轴点计算的(图10b的步骤404)。

其中log2PwlInvBinLen是均匀采样步骤的对数的底数2。作为示例，log2PwlInvBinLen等于6。这个实现是整数实现友好的。

有利地，由于依赖于被均匀采样的逆向重整形LUT中的映射色度残差的索引位置，所以高度简化了变换单元(TU)的色度残差(CRS_TU)的缩放的计算。因此，当调用逆向重整形LUT索引定位时，不需要二分搜索，并且由于简单的右移操作，色度残差的缩放的每像素计算被执行。

CRS_TU＝CRS_LUT[lumaIdx>>log2PwlInvBinLen]

其中lumaIdx表示当前TU中的平均(映射)亮度。

作为一种变型，携带均匀采样的重整形LUT，并且指示符(标志)指示所述携带的LUT是逆向LUT还是正向LUT。

有利地，利用对应的帧内译码图片/切片/图块(即，在相同切片/图块/译码图片内或具有对应的有效参数集)携带均匀逆向LUT，而至少利用随后的非帧内(即，帧间)译码图片携带均匀正向LUT。应注意，对应于帧内译码图片的均匀逆向LUT可从非均匀正向LUT导出。

为了避免现有建议的缺点，即均匀正向LUT和相应的均匀逆向LUT不是精确互易的，从而由于重构近似而在译码增益中产生了重要损失，本实施例变型方案提出了重整形LUT仅应用于相关联的译码图片，直到被新的LUT替换。

作为示例，利用第一帧内译码图片(I1)携带逆向重整形LUT(InvMapBis)。InvMapBis应用于I1。然后，利用第一非帧内(帧间)译码图片(B1)以解码顺序携带正向重整形LUT(FwdMap)。FwdMap应用于B1中的帧间模式，并且计算FwdMap的逆向，inv(FwdMap)＝InvMap，其应用于B1的帧内模式。除了当利用译码图片I2携带第二逆向LUT InvMapBis2时之外，InvMapBis可以应用于接下来的所有帧内译码图片I2。因此，存在专用于所有帧内译码图片的逆向LUT，以及用于帧间图片的正向LUT(利用导出的逆向非均匀LUT)。

在图8中，期望对于帧内图片(0/否，对应于当前过程)，重整形LUT方向标志被设置为1，以便简化逆向重整形过程(当与“否”分支比较时)。这对于例如通常存在于贡献网络中的所有帧内比特流或所有帧内配置文件(如由高质量消费者相机所采用的)特别有意义。

通常，InvMapBis由编码器从FwdMap计算为inv(FwdMap)的均匀回归，例如在现有建议中记载的。通常，所承载的枢轴点的数目与用于FwdMap的枢轴点的数目相同(8或16)。与现有建议不同，在这种情况下不需要附加的精度，因为在帧内解码过程中不需要倒数；此外，InvMapBis的非均匀逆向可以用作在编码器处对内部图片应用的正向LUT。

在所有帧内译码图片比特流(如在贡献网络中所使用的)的情况下，所提出的方法更简单，因为在译码帧内图片的解码期间(即时计算)仅携带并直接应用均匀逆向LUT。

一种建议的语法是：

当设置为0时，sps_reshaper_inv_direction_flag指示所携带的LUT表示正向LUT。当被设置为1时，其指示所携带的LUT表示逆向LUT。

或者，该指示符可以存在于tile_group_header()或tile_group_reshaper_model()中。

通常，实际LUT被携带在诸如记载在第二个前述JVET贡献中的tile_group_reshaper_model()之类的结构中。

作为一种变型，所携带的逆向LUT不是均匀的。这对于所有帧内译码比特流是有利的，对于帧内译码比特流，帧内解码过程不需要所述携带的逆向LUT的逆向(即，正向LUT)(仅索引需要利用二分搜索来检索)。

作为一种变型，在编码器/解码器中对所携带的逆向LUT求逆，以检索相应的正向LUT(节省了新的正向LUT与下一个非帧内图片的传输)。

值得注意的是，隐式模式可以从之前的实施例导出，其中，从与重整形LUT相关联的切片/图块群组类型来推断重整形LUT的性质(正向或逆向)。在此变型中，不需要SPS或图块群组中所携载的重整形方向标志。

作为示例，当tile_group_type＝＝I时，则在tile_group_header中携带逆向重整形LUT。当tile_groupe_type！＝I，则在tile_group_header中携带正向重整形LUT。

本发明能够降低复杂性，尤其是对于帧内译码的切片/图块。实际上，逆向重整形LUT直接提供给这样的图片/切片/图块，而不是计算携带的正向LUT的逆向以及适当的索引。非帧内切片可以追踪当前模型，其中为该模型携带正向LUT。

图11示出了使用本文描述的一般方面的方法1100的一个实施例。该方法开始于开始块1101，并且控制进行到功能块1110，用于在压缩视频数据的比特流中插入参数，该参数表示对预测数据进行操作的环内重整形滤波器。控制然后从块1110前进到块1120，以使用预测数据对视频数据块进行编码，以便与参数一起包括在比特流中。

图12示出了使用本文描述的一般方面的方法1200的一个实施例。该方法开始于开始块1201，并且控制进行到功能块1210，用于接收压缩视频数据的比特流中的参数，该参数表示对重构数据进行操作的环内重整形滤波器。控制然后从块1210进行到块1220，以使用重构数据和来自比特流的参数来对视频数据块进行解码。

图13示出了用于利用包含于比特流中的参数编码或解码视频数据块的装置1300的一个实施例。该装置包括处理器1310，并且其可以通过至少一个端口与存储器1320互连。处理器1310和存储器1320还可以具有一个或多个到外部连接的额外互连。

处理器1310被配置为在比特流中插入或接收参数，且使用所述参数编码或解码所述视频数据块。

本申请描述了各种方面，包括工具、特征、实施例、模型、方法等的。这样方面中的许多被描述为具有特异性，并且至少为了示出个体特性，通常以可能听起来具有限制性的方式来描述。然而，这是为了描述清楚的目的，并且不限制这些方面的应用或范围。实际上，所有不同方面可以各种方式组合和互换，以提供另外的方面。此外，这些方面也可以与在较早的文档中描述的方面组合和互换。

在本申请中描述和设想的实施例的方面可以以许多不同的形式来实现。图14、图15和图16提供了一些实施例，但是可以设想到其他实施例，并且对图14、图15和图16的讨论不限制实现的广度。至少一个方面一般涉及视频编码和/或解码相关的示例，并且至少一个其他方面一般涉及传送所生成或编码的比特流。这些和其他方面可被实现为方法、装置、其上存储有用于根据所描述的方法中的任一种来编码或解码视频数据的指令的计算机可读存储介质、和/或其上存储有根据所描述的方法中的任一种生成的比特流的计算机可读存储介质。

在本申请中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不是必须的，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。

本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。

本申请中描述的各种方法和其他方面可用于修改模块，例如图14和图15所示的视频编码器100和解码器200的帧内预测、熵译码和/或解码模块(160、360、145、330)，此外，本发明的方面不限于VVC或HEVC，且可应用于(例如)其他标准和建议(无论是先前存在的还是将来开发的)，以及任何此类标准和建议(包含VVC和HEVC)的扩展。除非另外指出或在技术上排除，否则本申请中所描述的方面可单独或组合使用。

在本申请中使用各种数值。具体值是出于示例目的，并且所描述的方面不限于这些具体值。

图14示出了编码器100。可以设想该编码器100的变型，但是为了清楚起见，下面描述编码器100，而不描述所有预期的变型。

在被编码之前，视频序列可以经历预编码处理(101)，例如，对输入颜色图片应用颜色变换(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或者执行输入图片分量的重新映射，以便获得对压缩更有弹性的信号分布(例如，使用颜色分量之一的直方图均衡)。元数据可以与预处理相关联并且被附加到比特流。

在编码器100中，如下所述，由编码器元件对图片进行编码。以例如CU为单位分割(102)并处理要编码的图片。使用例如帧内或帧间模式来编码每个单元。当以帧内模式对单元进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一者来对单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。例如，通过从原始图像块中减去(110)预测块来计算预测残差。

然后，对预测残差进行变换(125)和量化(130)。对量化的变换系数以及运动矢量和其他语法元素进行熵译码(145)以输出比特流。编码器可以跳过变换，并直接对未变换的残差信号应用量化。编码器可以绕过变换和量化，即，直接对残差进行译码而不应用变换或量化过程。

编码器对编码块进行解码，以提供用于进一步预测的参考。对量化变换系数进行逆向量化(140)和逆向变换(150)以对预测残差进行解码。组合(155)解码的预测残差和预测块，重构图像块。环内滤波器(165)被应用于重构图片，以执行例如解块/SAO(采样自适应偏移)滤波，从而减少编码伪像。将滤波图像存储在参考图片缓冲器(180)中。

图15示出了视频解码器200的框图。在解码器200中，如下所述，由解码器元件解码比特流。视频解码器200通常执行与如图14中所描述的编码回合互逆的解码回合，编码器100通常还执行视频解码作为编码视频数据的一部分。

特别地，解码器的输入包括视频比特流，其可以由视频编码器100生成。比特流首先被熵解码(230)以获得变换系数、运动矢量和其他译码信息。图片分割信息指示图片如何被分割。解码器因此可以根据解码的图片分割信息来划分(235)图片。变换系数被逆向量化(240)和逆向变换(250)以解码预测残差。将解码的预测残差与预测块进行组合(255)，重构图像块。预测块可以从帧内预测(260)或运动补偿预测(即，帧间预测)(275)获得(270)。环内滤波器(265)被应用于重构图像。将滤波图像存储在参考图片缓冲器(280)中。

解码后的图片可以进一步经历后解码处理(285)，例如，逆颜色变换(例如，从YCbCr 4:2:0到RGB 4:4:4的转换)或执行在预编码处理(101)中执行的重新映射过程的逆向重新映射。后解码处理可以使用在预编码处理中导出并且在比特流中用信号通知的元数据。

图16示出了其中可以实现各个方面和实施例的系统的示例的框图。系统1000可以被实现为包括以下描述的各种组件的设备，并且被配置为执行本文档中描述的一个或多个方面。这样的设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器和服务器。系统1000的元件可以单独地或组合地实现在单个集成电路(IC)、多个IC和/或分立组件中。例如，在至少一个实施例中，系统1000的处理和编码器/解码器元件分布在多个IC和/或分立组件上。在各种实施例中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种实施例中，系统1000被配置为实现本文中描述的一个或多个方面。

系统1000包括至少一个处理器1010，其被配置为执行加载在其中的指令，以用于实现例如本文档中描述的各个方面。处理器1010可以包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可以包括内部存储设备、附接的存储设备(包括可拆卸的和不可拆卸的存储设备)和/或网络可访问的存储设备。

系统1000包括编码器/解码器模块1030，其被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可以包括其自己的处理器和存储器。编码器/解码器模块1030表示可包括在设备中以执行编码和/或解码功能的(一个或多个)模块。如已知的，设备可以包括编码和解码模块中的一个或两个。另外，编码器/解码器模块1030可实施为系统1000的单独元件或可并入处理器1010内作为如所属领域的技术人员已知的硬件与软件的组合。

要加载到处理器1010或编码器/解码器1030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备1040中，并且随后加载到存储器1020上以供处理器1010执行。根据各种实施例，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一个或多个可以在执行本文档中描述的过程期间存储各种项中的一个或多个。这些存储的项可以包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。

在一些实施例中，处理器1010和/或编码器/解码器模块1030内的存储器用于存储指令，且提供用于在编码或解码期间需要的处理的工作存储器。然而，在其他实施例中，处理设备外部的存储器(例如，处理设备可为处理器1010或编码器/解码器模块1030)用于这些功能中的一者或多者。外部存储器可以是存储器1020和/或存储设备1040，例如，动态易失性存储器和/或非易失性闪存。在几个实施例中，外部非易失性闪存用于存储例如电视的操作系统。在至少一个实施例中，诸如RAM的快速外部动态易失性存储器被用作视频译码和解码操作的工作存储器，诸如用于MPEG-2(MPEG是指运动图像专家组，MPEG-2也被称为ISO/IEC 13818，并且13818-1也被称为H.222，并且13818-2也被称为H.262)、HEVC(HEVC是指高效视频译码，也被称为H.265和MPEG-H部分2)或VVC(通用视频译码，由JVET开发的新标准，联合视频专家团队)。

如框1130中所示，可以通过各种输入设备来提供对系统1000的元件的输入。这样的输入设备包括但不限于：(i)接收例如由广播公司通过空中(air)传输的射频(RF)信号的RF部分；(ii)组件(COMP)输入端子(一组COMP输入端子)；(iii)通用串行总线(USB)输入端子；和/或(iv)高清晰度多媒体接口(HDMI)输入端子。图16中未示出的其他示例包括合成视频。

在各种实施例中，块1130的输入设备具有本领域已知的相关联的相应输入处理元件。例如，RF部分可以与适合于以下的元件相关联：(i)选择期望频率(也称为选择信号，或将信号频带限制到频带)；(ii)下变频所选择的信号；(iii)再次频带限制到较窄频带以选择(例如)在某些实施例中可以称为信道的信号频带；(iv)解调下变频和频带限制的信号；(v)执行纠错；以及(vi)解复用以选择期望的数据分组流。各种实施例的RF部分包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收信号下变频到较低频率(例如，中频或近基带频率)或基带。在一个机顶盒实施例中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质传送的RF信号，并通过滤波、下变频和再次滤波到期望的频带来执行频率选择。各种实施例重新安排上述(和其他)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其他元件。添加元件可以包括在现有元件之间插入元件，诸如，例如插入放大器和模数转换器。在各种实施例中，RF部分包括天线。

另外，USB和/或HDMI终端可以包括用于通过USB和/或HDMI连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如，里德-所罗门纠错，可以根据需要在例如单独的输入处理IC或处理器1010内实现。类似地，USB或HDMI接口处理的各方面可以根据需要在单独的接口IC内或在处理器1010内实现。解调、纠错和解复用的流被提供给各种处理元件，包括例如处理器1010和编码器/解码器1030，其与存储器和存储元件结合操作以根据需要处理数据流以便在输出设备上呈现。

系统1000的各种元件可被提供在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置例如本领域已知的内部总线包括IC间(I2C)总线、布线和印刷电路板互连并在其间传输数据。

系统1000包括通信接口1050，其使得能够经由通信信道1060与其他设备通信。通信接口1050可以包括但不限于被配置为通过通信信道1060发送和接收数据的收发信机。通信接口1050可以包括但不限于调制解调器或网卡，并且通信信道1060可以例如在有线和/或无线介质内实现。

在各种实施例中，使用诸如Wi-Fi网络(例如IEEE 802.11，IEEE是指电气和电子工程师协会)将数据流式传输或以其他方式提供给系统1000。这些实施例的Wi-Fi信号通过适用于Wi-Fi通信的通信信道1060和通信接口1050来接收。这些实施例的通信信道1060通常连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式传输应用和其他过顶(over-the-top)通信。其他实施例使用机顶盒向系统1000提供流数据，该机顶盒通过输入块1130的HDMI连接传递数据。还有其他实施例使用输入块1130的RF连接向系统1000提供流数据。如上所述，各种实施例以非流方式提供数据。另外，各种实施例使用除Wi-Fi之外的无线网络，例如蜂窝网络或蓝牙网络。

系统1000可以向各种输出设备提供输出信号，所述输出设备包括显示器1100、扬声器1110和其他外围设备1120。各种实施例的显示器1100包含例如触摸屏显示器、有机发光二极管(OLED)显示器、弯曲显示器和/或可折叠显示器中的一者或多者。显示器1100可以用于电视、平板电脑、膝上型计算机、蜂窝电话(移动电话)或其他设备。显示器1100还可与其他组件集成(例如，如在智能电话中)，或单独(例如，用于膝上型计算机的外部监视器)。在各实施例的各示例中，其他外围设备1120包括独立数字视频盘(或数字多功能盘)(DVR，两项)、盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施例使用一个或多个外围设备1120，其基于系统1000的输出提供功能。例如，盘播放器执行播放系统1000的输出的功能。

在各种实施例中，使用诸如AV.链路、消费电子控制(CEC)或其他通信协议的信令(signaling)在系统1000和显示器1100、扬声器1110或其他外围设备1120之间传送控制信号，其使得能够在有或没有用户干预的情况下实现设备到设备控制。输出设备可以经由通过相应接口1070、1080和1090的专用连接通信地耦合到系统1000。或者，输出设备可以使用通信信道1060经由通信接口1050连接到系统1000。例如，显示器1100和扬声器1110可以与系统1000的其他组件一起集成在电子设备(例如电视机)中的单个单元中。在各种实施例中，例如，显示接口1070包括显示驱动器，例如定时控制器(T con)芯片。

例如，如果输入1130的RF部分是单独机顶盒的一部分，则显示器1100和扬声器1110可以备选地与其他组件中的一个或多个分离。在显示器1100和扬声器1110是外部组件的各种实施例中，输出信号可以经由专用输出连接来提供，所述专用输出连接例如包括HDMI端口、USB端口或COMP输出。

这些实施例可以由处理器1010或硬件和软件的组合实现的计算机软件来实现。作为非限制性示例，实施例可以由一个或多个集成电路实现。存储器1020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器1010可以是适合于技术环境的任何类型，并且可以包含作为非限制性示例的微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一个或多个。

各种实现方式涉及解码。如本申请中所使用的，“解码”可以包括例如对接收到的编码序列执行的过程中的全部或部分，以产生适合于显示的最终输出。在各种实施例中，此类过程包括通常由解码器执行的过程中的一个或多个，例如熵解码、逆向量化、逆向变换和差分解码。在各种实施例中，此类过程还或替代地包括由本申请中描述的各种实现方式的解码器执行的过程。

作为进一步的示例，在一个实施例中，“解码”仅指熵解码，在另一实施例中，“解码”仅指差分解码，并且在另一实施例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。

各种实现方式涉及编码。以与以上关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可以包括例如对输入视频序列执行的过程的全部或部分，以产生编码的比特流。在各种实施例中，此类过程包括通常由编码器执行的一个或多个过程，例如，分割、差分编码、变换、量化和熵编码。在各种实施例中，这样的过程还或替代地包括由本申请中描述的各种实现方式的编码器执行的过程。

作为进一步的示例，在一个实施例中，“编码”仅指熵编码，在另一实施例中，“编码”仅指差分编码，而在另一实施例中，“编码”指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程将基于具体描述的上下文而变得清楚，并且相信是本领域技术人员所充分理解的。

注意，这里使用的语法元素是描述性术语。因此，它们不排除使用其他语法元素名称。

当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。

各种实施例可涉及参数模型或率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。它可以通过率失真优化(RDO)度量，或者通过最小均方(LMS)、绝对误差均值(MAE)或其他这样的测量来测量。率失真优化通常被公式化为最小化率失真函数，率失真函数是速率和失真的加权和。存在不同的方法来解决率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，包括所有考虑的模式或译码参数值，在译码和解码之后对它们的译码成本和重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。还可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任何一种来执行优化，但是优化不一定是对译码成本和相关失真两者的完整评估。

本文描述的实现方式和方面可以在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或程序)来实现。例如，可以以适当的硬件、软件和固件来实现装置。所述方法可以在例如处理器中实现，所述处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)和便于终端用户之间的信息通信的其他设备。

对“一个实施例”或“实施例”或“一个实现”或“实现”以及其他变化形式的提及意味着结合实施例描述的特定特征、结构、特性等被包含在至少一个实施例中。因此，在贯穿本申请的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任何其他变型的出现不一定都指同一实施例。

另外，本申请可以涉及“确定”各种信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。

此外，本申请可以涉及“访问”各种信息。访问信息可以包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。

另外，本申请可以涉及“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收信息可以包括例如访问信息或(例如从存储器)检索信息中的一个或多个。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。

应当理解，例如在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下，使用以下“/”、“和/或”以及“……中的至少一个”中的任何一个旨在涵盖仅对第一列出的选项(A)的选择、或仅对第二列出的选项(B)的选择、或对两个选项(A和B)的选择。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一个”的情况下，这样的措词旨在包括仅选择第一个列出的选项(A)，或者仅选择第二个列出的选项(B)，或者仅选择第三个列出的选项(C)，或者仅选择第一个和第二个列出的选项(A和B)，或者仅选择第一个和第三个列出的选项(A和C)，或者仅选择第二个和第三个列出的选项(B和C)，或者选择所有三个选项(A和B和C)。这可以扩展到所列的许多项，这对于本领域和相关领域的普通技术人员来说是显而易见的。

此外，如本文所使用的，词语“信号(signal)”尤其是指向相应解码器指示某物。例如，在某些实施例中，编码器发信号通知多个变换、译码模式或标志中的特定一个以用于细化。这样，在实施例中，在编码器侧和解码器侧使用相同的变换、参数或模式。因此，例如，编码器可以向解码器传送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解码器已经具有特定参数以及其他参数，则可以使用信令而不进行传送(隐式信令)，以简单地允许解码器知道并选择特定参数。通过避免任何实际函数的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前述内容涉及词语“信号”的动词形式，但是词语“信号”在本文中也可以用作名词。

如本领域技术人员将明白的，实现可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路来传输。该信号可以存储在处理器可读介质上。

我们描述了跨各种权利要求类别和类型的多个实施例。这些实施例的特征可以单独提供或以任何组合提供。此外，实施例可以包括跨越各种权利要求类别和类型的单独或任意组合的以下特征、设备或方面中的一者或多者：

·一种利用在比特流中插入的表示实现正向或逆向映射功能的参数的信息来执行编码和解码的过程或设备。

·一种利用在比特流中插入的表示通过查找表实现正向或逆向映射函数的参数的信息来执行编码和解码的过程或设备。

·一种利用在比特流中插入的表示实现正向或逆向映射函数的参数的信息来执行编码和解码的过程或设备，其中所述逆向函数是从所插入的信息导出的。

·一种利用在比特流中插入的表示实现正向或逆向映射函数的参数的信息来执行编码和解码的过程或设备，其中一种类型的映射函数用于帧内图片，且一种类型用于帧间图片。

·一种利用在比特流中插入的表示实现正向或逆向映射函数的参数的信息来执行编码和解码的过程或设备，其中所述信息在均匀查找表中传达。

·一种利用在比特流中插入的表示实现正向或逆向映射函数的参数的信息来执行编码和解码的过程或设备，其中所述信息在非均匀查找表中被传达。

·一种比特流或信号，包含所描述的语法元素中的一者或多者或其变型。

·一种比特流或信号，包括根据所描述的实施例的任意者生成的语法传达信息。

·根据所描述的实施例中的任意者的创建和/或传送和/或接收和/或解码。

·根据所描述的实施例中任意者的方法、过程、装置、存储指令的介质、存储数据的介质或信号。

·在信令中插入语法元素，所述语法元素使得所述解码器能够以对应于编码器所使用的方式确定译码模式。

·创建和/或传送和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号。

·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其执行根据所描述的实施例中的任意者的(一个或多个)变换方法的。

·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其执行根据所描述的实施例中的任意者的(一个或多个)变换方法确定，并且显示(例如，使用监视器、屏幕或其他类型的显示器)结果图像。

·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其选择、频带限制或调谐(例如，使用调谐器)信道以接收包括编码图像的信号，并且执行根据所描述的实施例中的任意者的(一个或多个)变换方法。

·一种TV、机顶盒、蜂窝电话、平板电脑或其他电子设备，其通过空中接收(例如，使用天线)包括编码图像的信号，并且执行(一个或多个)变换方法。