【

具体实施方式

】

以下描述为实施本发明的较佳实施例。本描述用于示出本发明的一般原理，并非用以限定作用。本发明的保护范围当视所附上的权利要求范围所界定为准。

如上所述，编解码流程经常在重构视频中引起伪影。例如，基于编解码结构的块经常引起块边界周围的块效应。因此，去块滤波器已被使用以去除块效应。同样地，编解码流程也可能引起重构视频中的强度偏移。因此，SAO已被使用以补偿强度偏移。在重构视频中，也存在另一种伪影的类型，即“涟漪效应”，其由图像中的尖锐过渡引起，例如强边缘和线。这些强边缘和线被变换成频域表示中的很多系数。量化流程引入了这些系数的失真。当已量化系数被逆变换以重构这些边缘或者线时，称为涟漪效应的波形伪影或者波纹结构，在附近区域中可见。

在本发明中，涟漪平滑化滤波器被公开以进一步移除或者降低涟漪效应，以便提高更好品质和/或提高编解码性能。RSF被放置在逆变换之后的重构路径的位置处，以补偿编码器和解码器中的残差或者已解码信息框。

根据本发明，RSF可以是任何种类的边缘保持(edge-preserving)滤波器，其被应用到残差或者重构信息框，以移除由量化误差引起的涟漪效应。Paris等(“BilateralFiltering:Theory and Applications,Foundations and Trends in Computer Graphicsand Vision,Vol.4,No.1(2008),pp 1–73)公开的双边滤波器旨在保护图像中的边缘和重要细节时降低噪音和伪影。双边滤波器是一个较好的边缘保持滤波器以用于RSF。为了减少从编码器发送至解码器的RSF的辅助信息，基于重构信息框的编解码信息和特征属性，RSF中所使用的双边滤波器或者任何其他边缘保持滤波器的参数可以被估计。

图2示出了具有被应用到位于逆变换之后的残差的RSF且基于图1A中的HEVC编码器的编码器的示例性结构示意图。在本情况中，RSF 210被执行以用于每个TU块。在本实例中，RSF 210的输入对应于位于逆变换之后的重构残差，且其输出是已平滑重构残差。

根据本发明，RSF也可以并入到编码链/重构链的其他位置中。图3A-图3C示出了基于具有被应用到位于不同位置处的重构信息框的RSF的HEVC的结构示意图的示例。在图3A中，RSF 310被放置在REC 150(即重构残差加预测)与DF 160之间，使得RSF 310的输入对应于重构数据(即重构残差加预测)，且RSF 310的输出对应于已平滑重构数据(the smoothedreconstructed data)。在图3B中，RSF 310被放置在DF 160与SAO 170之间。在图3C中，RSF310被放置在SAO 170之后。本发明也可被应用到其他编码器，例如包括位于SAO 170之后的其他环内滤波器(例如，适应性环形滤波器)的编码器。在本情况中，RSF 310可以被应用到其他环内滤波器或者在输出到帧内暂存器180之前立即被应用。

图4示出了具有被应用到残差的RSF且基于图1B中的HEVC解码器的解码器的示例性结构示意图。在本情况中，RSF410被执行以用于每个残差块。在本示例中，RSF 410的输入对应于重构残差，且其输出是已平滑重构残差。

根据本发明，RSF也可以被并入到解码链中的其他位置。图5A-图5C示出了基于具有被应用到位于不同位置处的重构信息框的RSF的HEVC的结构示意图的示例。在图5A中，RSF510被放置在REC 150与DF 160之间(即RSF 510的输入对应于重构残差加预测)。在图5B中，RSF 510被放置在DF 160与SAO 170之间。在图5C中，RSF 510被放置在SAO 170之后。本发明也可被应用到其他解码器，例如包括位于SAO 170之后的其他环内滤波器(例如，适应性环形滤波器)的解码器。在本情况中，RSF 510可以被应用到其他环内滤波器或者在输出到帧内暂存器180之前立即被应用。

RSF可以是任何种类的边缘保持滤波器。双边滤波器是一种已知的边缘保持滤波器，其是用于RSF的一个较好的候选滤波器。双边滤波器包括空间滤波器(spatial filter)和范围滤波器(range filter)。空间滤波器，为高斯权重滤波器(Gaussian weightingfilter)，根据中心像素与由正在被滤波的当前像素所形成的视窗内附近像素之间的距离确定附近像素的影响。越更靠近中心像素的附近像素在空间滤波器中具有越更高的权重。如果附近像素的其强度不同于中心像素，采用范围滤波器(也是高斯权重滤波器)透过降低附近像素的影响以保护边缘。强度具有与中心像素的强度相似的强度的附近像素在范围滤波器中具有更高权重。方程式(1)显示了由Paris等公开的双边滤波器的公式。在这个公式中，双边滤波器被标记为BF[·]。中心像素p将被附近像素q滤波。是分配给q的权重，以滤波中心像素p。是空间滤波器，其是高斯权重函数，其中σ_s是空间参数。相似地，是范围滤波器，其也是高斯权重函数，具有范围参数σ_r。在由Paris等公开的双边滤波器的方程式(2)中，W_p是归一化因数，其用于确保像素权重和为1.0。

在一个实施例中，如果在帧内预测中编解码类型是垂直模式或者水平模式，则RSF可以是一维边缘保持滤波器，其旨在补偿沿着正交于预测方向的方向上的伪影或者沿着预测方向的伪影。例如，如果帧内预测模式是垂直模式，则水平方向或者垂直方向上的一维RSF可以是一个选择以在保持编解码效率的同时降低处理时间。

在另一实施例中，RSF的系数(例如，双边滤波器中的空间滤波器和范围滤波器的高斯权重)和覆盖区(footprint)可以根据重构信息框中的纹理特征而变化。重构信息框中的纹理特征可以自预测模式(例如帧内预测中的角度方向)估计。例如，对于帧内预测中的角度方向，沿着与角度预测方向相同或者正交的方向的系数的值可以被调整成比滤波器的剩余系数更高。另外，RSF的覆盖区的形状和参数(例如，双边滤波器中的σ_s和σ_r)也可以被调整以适合角度预测方向，以用于帧内预测实例。同样地，覆盖区可以被适应于重构信息框的纹理模型，以用于帧内预测实例和帧间预测实例。例如，如果使用帧内预测中的垂直模式来预测当前块，则覆盖区可以被缩小成垂直滤波器(或者水平滤波器)。对于对角线相关模式，覆盖区可以被缩小成沿着对角线方向(或者正交于对角线方向)。RSF的系数和覆盖区也可以根据变化类型而变化。例如，σ_s与σ_r和滤波器覆盖区可以根据不同的列/行变化及二次变换而调整。

在另一实施例中，由于亮度信号与色度信号之间的不同特征，用于亮度和色度的RSF的配置设置可以被单独确定。例如色度信号通常包括比亮度信号更多的中频信号或者低频信号。RSF的配置设置可以包括滤波器中所使用的抽头(tap)或者参数(例如，双边滤波器中的σ_s和σ_r)的数量。因此，控制RSF中滤波器的平滑强度的不同参数设置可以帮助亮度信号与色度信号以移除适当的频带内的伪影。例如，由于在图像的相同区域内，亮度信号比色度信号通常包括更多的高频细节，用于亮度信号的双边滤波器中的空间参数σ_g可以比色度信号的空间参数σ_g更灵敏。

如果双边滤波器被用作RSF，则双边滤波器可以以如方程式(3)和方程式(4)所示的更归一化的形式表达，权重W_q、σ_s和σ_r取决于覆盖区中像素q的位置和内容信息(例如，TU尺寸、TU中的位置、比特深度(bit-depth)、颜色格式、颜色分量、量化参数(quantizationparameter，QP)、CU/PU/TU层模式(例如，帧内/帧内模式、帧内预测模式)、变换类型或者上述的任意组合)。

W_q可以取决于变换类型。如果垂直变换被跳过或者垂直变换被应用到垂直方向，则W_q可以被设置成0，以用于像素q，其与像素p(即当前中心像素)不是位于相同的y位置处。

在另一实施例中，为了实现更好的编解码效率，开启控制旗标/关闭控制旗标可以被适应性地包含在各个层中，即序列层、图像层、片段层、CTU层、CU层、PU层和/或TU层，或者上述的任意组合。开启控制/关闭控制可以由编解码信息或者残差或重构信息框的特征属性来确定。

在另一实施例中，为了平滑化用于更好视觉品质和更高编解码性能的已滤波结果，已平滑重构残差/重构信息框可以与原始重构残差/重构信息框被进一步融合。融合未平滑重构残差/重构信息框和已平滑重构残差/重构信息框的权重可以基于未平滑重构残差/重构信息框与已平滑重构残差/重构信息框之间的差值而调整。

在另一实施例中，未平滑重构残差数据或者重构信息框与已平滑重构残差数据或者重构信息框之间的差值可以被裁剪到一范围。这个裁剪范围可以是个固定范围，或者适应性范围。这个范围可以取决于TU尺寸、残差数据的幅度、TU中的位置、比特深度、颜色格式、颜色分量、QP、CU/PU/TU层模式(例如，帧内/帧内模式)、变换类型或者上述任意组合。

在另一实施例中，RSF的滤波器尺寸可以根据解析度相关信息而适应性调整，例如，重构信息框的解析度或者诸如QP、TU中的位置、CTU、CU、PU和/或TU的尺寸或者帧内实例或帧间实例中的预测模式或者上述的任意组合的编解码信息。也存在很多其他配置设置，其可以引用解析度相关信息。例如，一个配置设置可以被设计为变数“步幅(stride)”，其确定当前像素与待滤波的下一像素之间的像素距离。图6示出了内核尺寸(kernel size)为3x3且步幅＝2的RSF中的滤波器的示例。在图6中，于使用3x3视窗610内的相邻像素(如粗线框所示)以过滤像素p之后，使用3x3视窗620(如粗虚线所示)以过滤下一像素p₂。

在另一实施例中，RSF被应用到子采样像素。待引用的两个相邻像素之间的采样距离也可以是基于解析度相关信息(例如，重构信息框的解析度)、编解码信息(例如，QP、TU中的位置、CTU、CU、PU和/或TU的尺寸或者帧内实例或帧间实例中的预测模式)或上述任意组合而是可配置的。图7示出了内核尺寸为3x3且采样距离(即dist_k)等于2的RSF的示例，其中用于RSF的子采样像素由填充的方形表示。

图7示出了内核尺寸为3x3且dist_k等于2的RSF的示例。如果中心像素p的位置是(i,j)，则使用位于(i-2,j-2),(i-2,j),(i-2,j+2),(i,j-2),(i,j),(i,j+2),(i+2,j-2),(i+2,j)和(i+2,j+2)处的相邻像素，p将被过滤。

为了减少计算量，使用存储有用于二维阵列中的特定QP的所有权重的查阅数据表(Look-Up Table，LUT)，双边滤波器可以被实现。相同原理可以被扩展到具有更归一化形式的RSF的本发明中。因此，在另一实施例中，与RSF相关的系数或者参数可以被存储在查阅数据表中，以减少所需的计算。另外，为了减少从编码器发送至解码器的RSF的辅助信息，可以基于编解码信息、残差数据或者重构信息框的特征属性而估计RSF的参数。此外，在另一实施例中，编码器和解码器可以采用相邻视频信息框之间的时间相关性，并重新使用自之前编码信息框(previous encoded frame)所获得的RSF的参数。

如果滤波器覆盖区覆盖了不可用像素，则根据一个实施例，可以重新形成这个覆盖区。在另一实施例中，填充/镜像可以用于生成不可用像素，以用于滤波器。

图8示出了使用RSF的一示例性编解码系统的流程图。本流程图所示的步骤可以被实现为在编码器侧或者解码器侧处的一个或多个处理器(例如一个或多个CPU)上可执行的程式代码。本流程图所示的步骤也可以基于硬件来实现，例如，用于执行本流程图中的步骤的一个或多个电子设备或处理器。根据本方法，在步骤810中，接收与当前图像相关的输入数据。在步骤820中，自输入数据推导出对应于与当前图像中与当前块相关的重构残差的已去量化与已逆变换数据。在解码器侧处，输入数据对应于包括当前图像的已压缩数据的比特流。透过应用熵解码以自比特流推导出已变换与已量化残差，并将逆变换与去量化应用到已变换与已量化残差上以形成重构残差，自输入数据推导出已去量化与已逆变换数据。在编码器侧处，输入数据对应于当前图像的像素数据。透过将帧间预测或帧内预测应用到当前图像中的当前块以生成与当前块相关的残差，将变换和量化应用到残差以推导出已变换与已量化残差，并将逆变换和去量化应用到已变换与已量化残差以形成重构残差，自输入数据推导出已去量化与已逆变换数据。在步骤830中，将RSF应用到重构残差以形成已平滑重构残差，或者将RSF应用到已环内滤波重构块以形成已平滑滤波重构块，以用于当前块，其中RSF对应于边缘保持滤波器。在步骤840中，透过采用已平滑重构残差或者已平滑滤波重构块，生成最终重构块以用于当前块。在步骤850中，将最终重构块存储在暂存器中，用作编码器侧中后续图像的预测的参考数据，或者将最终重构块用作解码器侧中用于当前重构图像的输出。

图9示出了使用RSF的另一示例性编解码系统的流程图。根据本方法，在步骤910中，接收与当前图像相关的输入数据。在步骤920中，自输入数据推导出对应于与当前图像中当前块相关的重构残差的已去量化与已逆变换数据。在步骤930中，基于包括帧内预测模式或者帧间预测模式的信息，确定RSF，其中RSF对应于边缘保持滤波器。在步骤940中，将RSF应用到重构残差以形成已平滑重构残差，将RSF应用到当前重构块以形成当前已平滑重构块，或者将RSF应用到当前已环内滤波重构块以形成当前已平滑与已滤波重构块。在步骤950中，透过采用已平滑重构残差、当前已平滑重构块或者当前已平滑与已滤波重构块，生成最终重构块。在步骤960中，将最终重构块存储在暂存器，用作编码器侧中后续图像的预测的参考数据，或者将最终重构块用作解码器侧中用于当前重构图像的输出。

图10示出了使用RSF的又一示例性编解码系统的流程图。根据本方法，在步骤1010中，接收与当前图像相关的输入数据。在步骤1020中，检测控制旗标是否指示RSF处于开启状态，如果RSF处于开启状态(即来自于步骤1020的“是”路径)，则执行步骤1030到步骤1050。否则(即来自于步骤1020的“否”路径)，跳过步骤1030至1050。在步骤1030中，将RSF应用到重构残差以形成已平滑重构残差，将RSF应用到当前重构块以形成当前已平滑重构块，或者将RSF应用到当前已环内滤波重构块以形成当前已平滑与已滤波重构块。在步骤1040中，透过采用已平滑重构残差、当前已平滑重构块或者当前已平滑与已滤波重构块，生成最终重构块。在步骤1050中，将最终重构块存储在暂存器，用作编码器侧中后续图像的预测的参考数据，或者将最终重构块用作解码器侧中用于当前重构图像的输出。

本发明所示的流程图用于示出根据本发明的视频编码的示例。在不脱离本发明的精神的情况，本领域技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤来实施本发明。在本发明中，已经使用特定语法和语义来示出不同示例，以实施本发明的实施例。在不脱离本发明的精神的情况，透过用等价的语法和语义来替换该语法和语义，本领域的技术人员可以实施本发明。

在又一实施例中，只要目标块能透过两个或者更多不同的分割来产生，也可以对其他灵活的块分割变形使用上述提出的方法。

上述说明，使得本领域技术人员能够在特定应用程式的内容及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域技术人员理解的是，本发明能够被实践。

如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由电脑处理器、数字信号处理器、微处理器或现场可编程设计闸阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，透过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以被编译以用于不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。

本发明以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由附加的权利要求范围来表示，而不是前述的描述来表示。权利要求范围的含义以及相同范围内的所有变化都应纳入其范围内。