具体实施方式

将容易理解，本发明的组件(如通常以本文图示所描述以及示出的)可以以多种多样不同配置进行安排以及设计。因此，如图示中所表示的，本发明的系统以及方法的实施例的后续更详细的描述不旨在限制本发明的范围，如所要求保护的，仅代表本发明所选择的实施例。

贯穿本说明书对“一个实施例”、“一些实施例”或类似语言的引用意味着结合实施例所描述的特定特征、结构或特性将包括在本发明至少一个实施例中。因此，贯穿本说明书各个位置中短语“在一个实施例中”或“在一些实施例中”的出现不需要都参考相同的实施例，这些实施例将单独地实施或结合一个或多个其他实施例实施。此外，所描述的特征、结构或特性将以一个或多个实施例中任何合适的方式结合。相关领域技术人员将意识到，本发明可以在没有一个或多个特定细节的情况下或用其他方法、组件等等来实施。换言之，公知的结构或操作未示出或未详细描述来避免混淆本发明的各个方面。

由除了四叉树分割方法之外的分割方法拆分的编码块可能不都是正方形。例如，四叉树加二叉树(QuadTree plus Binary Tree，QTBT)、二叉树(binary tree)、三叉树(ternary tree)、多类型树(Multi-Type Tree，MTT)分割方法生成一些矩形形状编码块以及因此对应的变换块也是矩形形状。如果变换块的尺寸不是4的幂，变换块的DC增益(DCgain)不是2的幂。在这种情况中，变换系数的值以及已编码变换系数层级由2的平方根(square root)进行缩放，用于变换系数值的归一化(normalization)，考虑到计算，其是不期望的缩放操作。被应用于缩放变换块的已编码变换系数层级的缩放因子与变换块面积的平方根成反比。变换块的面积通过将变换块的宽度与高度相乘来计算，以及如果变换块是正方形，面积是4的幂。因为4的幂的平方根是2的幂，当变换块是正方形时，缩放因子可以由右移位(right shift)来实施。然而，如果变换块的面积不是4的幂，简单的右移位是不可用的。

具有一个行中nTbW个元素以及一个列中nTbH个元素的数组d包含表示变换块的已缩放变换系数的元素d[x][y]，以及这些元素从变换块的已编码变换系数层级TransCoeffLevel[x][y]推导如下，其中x＝0…nTbW-1以及y＝0…nTbH-1。d[x][y]＝(TransCoeffLevel[x][y]*m[x][y]*levelScale[qP％6]*rectNorm+((1<<bdShift)>>1))>>bdShift等式(1)

其中m[x][y]是已指定缩放列表，levelScale[]被指定为levelScale[k]＝{40,45,51,57,64,72}，k＝0…5，用于关于已指定量化参数qP的解量化缩放(dequantizationscaling)。例如，当qP是24，qP除以6的余数是0，levelsScale[24％6]＝40。变量rectNorm以及bdShift取决于当前变换块尺寸是否是4的幂，例如，当当前变换块尺寸不是4的幂时，即当前变换块不是正方形，归一化缩放因子rectNorm被设置为等于181以及移位值bdShift增加8。变量rectNormFlag、bdShift以及rectNrom被推导如下：

rectNormFlag＝((Log2(nTbW)+Log2(nTbH))&1)＝＝1？1:0 等式(2)

bdShift＝bitDepth+rectNormFlag*8+(Log2(nTbW)+Log2(nTbH))/2)-5+dep_quant_enabled_flag 等式(3)

rectNorm＝(rectNormFlag＝＝1)？181:1 等式(4)

其中log()是2为底的对数函数以及当从属量化(dependent quantization)被采用以生成已编码变换系数层级时，语法dep_quant_enabled_flag等于1，否则dep_quant_enabled_flag等于0。已缩放变换系数d[x][y]、已编码变换系数层级TransCoeffLevel[x][y]、已指定缩放列表m[x][y]、解量化缩放因子(dequantization scaling factor)levelScale以及归一化缩放因子(normalization scaling factor)rectNorm的值都是整数。从通过解量化缩放因子levelScale[qP％6]以及归一化缩放因子rectNorm的级联式缩放(cascaded scaling)生成的分数比特(fractional bit)的数目等于14，包括levelScale[]的6个分数比特以及rectNorm的8个分数比特。

在本发明示例性实施例中，通过解量化缩放因子以及归一化缩放因子对已编码变换系数层级TranCoeffLevel[x][y]的级联式缩放操作被具有已归一化解量化缩放因子(normalized dequantization scaling factor)的一个单个缩放操作所替代。已归一化解量化缩放因子等于解量化缩放因子与归一化缩放因子的乘积。在一些优选实施例中，对应于解量化缩放因子以及归一化缩放因子不同组合的已归一化解量化缩放因子的值被预计算并且被存储在查找表(look-up table)中。本发明的实施例可以被采用于DC增益不等于2的幂的变换块中变换系数的量化或解量化，换言之，处理非正方形变换块的变换系数。

在生成视频编解码系统中所采用的已缩放变换系数用于编码变换系数的值的一些实施例中，变换块中已缩放变换系数通过将变换块中变换系数层级、已归一化解量化缩放因子以及已指定缩放列表相乘推导出。例如，用于变换块的已缩放变换系数的数组d根据已编码变换系数层级TransCoeffLevel[x][y]推导如下：

d[x][y]＝(TransCoeffLevel[x][y]*m[x][y]*levelScaleRectNorm[rectNormFlag][qP％6]+((1<<bdShift)>>1))>>bdShift 等式(5)

具有一个行中nTbW个元素以及一个列中nTbH个元素的数组，其包括元素d[x][y]，其中x＝0…nTbW-1,y＝0…nTbH-1。当前变换块的尺寸是nTbW*nTbH，以及x与y表示当前变换块中样本的坐标。变数m[x][y]是已指定缩放列表。变数levelScaleRectNorm[rectNormFlag][qP％6]是已归一化解量化缩放因子，其取决于旗标rectNormFlag以及量化参数qP除以6的余数。基于当前变换块的尺寸是否是4的幂，旗标rectNormFlag指示当前变换块是否是正方形块或非正方形块。当当前变换块是正方形块时，旗标rectNormFlag等于0，以及当当前变换块是非正方形块时，旗标等于1。变量bdShfit根据视频数据的比特深度以及当前变换块尺寸被推导如下：

bdShift＝bitDepth+(Log2(nTbW)+Log2(nTbH))/2)-11+RECT_NORM_FRAC_BITS+dep_quant_enabled 等式(6)

其中常数REC_NORM_FRAC_BITS对应于用于表示已归一化缩放因子的分数部分的比特的数目。

如具体描述中早些所提到的，用于解量化缩放因子的分数比特的数目是6以及用于归一化缩放因子的分数比特(fractional bit)的数目是8，以及用于缩放非正方形变换块的变换系数的分数比特的数目是14比特，其相比于正方形块的比特计数，有8个比特的增加。因此不同的缩放精度用于不同的变换块形状。根据本发明一些实施例，固定点计算(fixed-point computation)被采用以便重构已解码变换系数，用于表示查找表的条目值的分数比特的数目可以从原始精度减少到预设精度。查找表存储已预计算的已归一化解量化缩放因子或已预计算的已归一化量化缩放因子的值。根据用于解量化缩放的分数比特的数目或用于归一化缩放的分数比特的数目，分数比特的数目被减少。例如，视频编解码系统使用与解量化缩放因子相同数目的分数比特。这样，在已归一化解量化缩放操作后，分数比特的数目将不会由于用于处理非正方形TB的归一化缩放操作而增加。在另一个示例中，视频编解码系统使用与归一化缩放因子相同数目的分数比特。这一示例中变换系数的归一化可以以相同的精度被处理。

表1示出了当常数RECT_NORM_FRAC_BITS等于6时，存储已归一化解量化缩放因子levelScaleRectNorm[rectNormFlag][qP％6]的值的查找表的示例，以及表2示出了当常数RECT_NORM_FRAC_BITS等于8时，用于已归一化解量化缩放因子的查找表的示例。表3以及表4是存储已归一化量化缩放因子的值的查找表的示例，在编码器具有14个分数比特用于变换系数的量化。表3中的值对应于表1中已归一化解量化缩放因子，以及表4中的值对应于表2中已归一化解量化缩放因子。

表1

表2

表3

表4

在使用6个分数比特来表示已归一化解量化缩放因子(即，RECT_NORM_FRAC_BITS＝6)的示例中，通过搜索如表1示出的查找表，当量化参数是1、7、13、19、25、31、37、43或49(qP％6＝1)时，用于正方形变换块的已归一化解量化缩放参数是45，以及用于非正方形变换块的已归一化解量化缩放参数是32。在对应的编码器，当量化参数是1、7、13、19、25、31、37、43或49时，通过搜索表3中的查找表，用于编码正方形变换块的对应的已归一化量化缩放因子是23302以及用于编码非正方形块的对应的已归一化量化缩放因子时32768。

本发明的实施例大大地减少了对非正方形块的变换系数执行量化或解量化的计算复杂度。在一些采用固定点计算的实施例中，通过限制用于量化缩放的分数比特的数目，计算复杂度被进一步减小。

图3示出了处理视频编解码系统中变换块的本发明实施例的流程图。视频数据的当前视频图像或当前条带被拆分成多个非重叠块用于视频编码或解码。在步骤S302，视频编解码系统接收与该当前视频图像或当前条带中当前变换块有关的输入数据。该输入数据包括从视频编码系统中变换模块输出的变换系数或者该输入数据包括由视频解码系统中熵解码器从视频比特流中剖析出来的已编码变换系数层级。当前变换块可以是正方形或非正方形，以及在步骤S304中，视频编解码系统决定所述当前变换块的尺寸是否是4的幂。例如，如果当前变换块尺寸等于4的幂，所述当前变换块是正方形块。在步骤S306中，根据所述当前变换块的该尺寸是否是4的幂，决定用于编码所述当前变换块的已归一化量化缩放因子，或者根据所述当前变换块的尺寸是否是4的幂，决定用于解码所述当前变换块的已归一化解量化缩放因子。在视频编码系统中，在步骤S308，通过应用量化处理到所述当前变换块中的已缩放变换系数，生成变换系数层级。在视频解码系统中，通过应用逆量化处理到所述当前变换块中的变换系数层级，生成已缩放变换系数。量化处理包括通过该视频编码系统中已归一化量化缩放因子缩放该已缩放变换系数，以及该逆量化处理包括通过该视频解码系统中已归一化解量化缩放因子缩放该变换系数层级。在步骤S310，编码所述当前变换块或解码所述当前变换块。在步骤S306的实施例中，根据所述当前变换块的尺寸是否是4的幂以及根据用于量化或解量化所述当前变换块的量化参数的值，从查找表中检索该已归一化量化缩放参数或该已归一化解量化缩放参数。

图4示出了实施本发明实施例的视频编码器400的示例性系统框图。帧内预测模块410基于当前图像的重构视频数据提供帧内预测子。帧间预测模块412基于来自一个或多个其他图像的参考视频数据执行运动估计(motion estimation，ME)以及运动补偿(motioncompensation，MC)来提供预测子。帧内预测模块410或帧间预测模块412提供所选择的预测子到加法器416来形成残差。当前块的残差进一步由变换模块(T)418紧接着量化模块(Q)420处理。量化模块420从变换模块418接收每一变换块的已缩放变换系数，以及缩放所述已缩放变换系数。量化模块的一个实施例在查找表中存储对应于变换块尺寸等于4的幂以及变换块的尺寸不等于4的幂的不同量化参数的已归一化量化缩放因子。通过与从该查找表中搜索的已归一化量化缩放因子相乘来缩放当前变换块中的已缩放变换系数来生成变换系数层级。通过根据当前变换块的量化参数应用量化处理来生成当前变换块的变换系数层级。已变换以及已量化参数然后由熵编码器430进行编码来形成视频比特流。视频比特流然后与辅助信息一起打包。当前块的已变换以及已量化残差信号由逆量化模块(IQ)422以及逆变换模块(IT)424处理来恢复预测残差。IQ模块以单个缩放操作缩放已编码变换系数来生成已缩放变换系数。如图4所示，通过在重构模块(REC)426添加回所选择的预测子恢复该残差来生成已重构视频数据。已重构视频数据可以被存储在参考图像缓冲器(Ref.Pict.Buffer)432以及用于其他图像的预测。由于编码处理，来自REC模块426的已重构视频数据可以经受各种损害，因此，在存储到参考图像缓冲器432中之前，将环路处理滤波器(ILPF)428应用于已重构视频数据来进一步增强图像质量。语法元素被提供到熵编码器430用于结合到视频比特流中。

在图5中示出了对应的视频解码器500，用于解码由图4的视频编码器400生成的视频比特流。视频比特流被输入到视频解码器500以及由熵解码器510解码来解析(parse)以及恢复已变换以及已量化的残差信号以及其他系统信息。熵解码器510剖析当前变换块的已编码变换系数层级。除了解码器500仅需要帧间预测模块514的运动补偿预测，解码器500的解码进程类似于在编码器400的重构环路。每一块由帧内预测模块512或帧间预测模块514解码。开关516根据已解码模式信息选择来自帧内预测模块512的帧内预测子或来自帧间预测模块514的帧间预测子。通过逆量化模块(IQ)520以及逆变换模块(IT)522恢复已变换以及已量化残差信号。通过由已归一化解量化缩放因子缩放当前变换块中的已编码变换系数层级，逆量化模块520生成已缩放变换系数，以及根据当前变换块的量化参数应用逆量化处理来生成已缩放变换系数。所恢复的残差信号通过在REC模块518添加回预测子来生成已重构视频。已重构视频进一步由环路处理滤波器(ILFP)524来生成最终已解码视频。如果当前已解码图像是参考图像，当前已解码图像的已重构视频也存储在参考图像缓冲器526中用于解码次序中的后续图像。

图4以及图5中视频编码器400以及视频解码器500的各种组件可以由硬件组件、用于执行存储在存储器中的程序指令的一个或多个处理器或硬件与处理器的组合来实施。例如，处理器执行程序指令来控制与当前变换块有关的输入数据的接收。处理器配备有单个或多个处理核心。在一些示例中，处理器执行程序指令来执行编码器400以及解码器500中一些组件的功能，以及与处理器电性耦合的存储器用于存储程序指令、对应于块的已重构图像的信息、与/或编码或解码进程中的中间数据。一些实施例中的存储器包括非瞬时计算机可读媒介，例如半导体或固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、硬盘、光盘或者其他合适的存储媒介。存储器也可以是上述列出的一个或多个非瞬时计算机可读媒介的组合。如图4以及图5所示，编码器400以及解码器500可以在相同的电子装置中实施，如果在相同的电子装置中实施，编码器400以及解码器500的各种功能组件可以共享或重新使用。例如，图4中的重构模块426、逆变换模块424、逆量化模块422、环路处理滤波器428以及参考图像缓冲器432也分别可以用于充当图5中重构模块518、逆变换模块522、逆量化模块520、环路处理器滤波器524以及参考图像缓冲器526。

视频编解码系统中对正方形或非正方形块应用量化缩放的视频数据处理方法的实施例可以在集成到视频压缩芯片的电路或者集成到视频压缩软件的程序代码中实施来执行以上描述的处理。例如，当前变换块中的缩放变换系数层级可以以将在计算机处理器、数字信号处理器(DSP)、微处理器或现场可程序设计门阵列(FPGA)上执行的程序代码的方式实现。这些处理器可以用于执行根据本发明的具体任务，通过执行定义由本发明实施的特定方法的机器可读软件代码或固件代码。

在不背离其精神或基本特性的情况下，本发明可以以其他具体的形式实施。所描述的示例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而非前述描述来指示。在权利要求的等同物的含义以及范围内的所有变化都包括在其范围内。