编码方法及其装置和解码方法及其装置

文档序号:12619 发布日期:2021-09-17 浏览:25次 >En<

阅读说明:本技术 编码方法及其装置和解码方法及其装置 (Encoding method and apparatus thereof, and decoding method and apparatus thereof ) 是由 安尼斯·塔姆塞 朴慜祐 于 2019-12-23 设计创作,主要内容包括:提供了一种视频解码方法,包括:从自比特流获取的色度帧内预测信息确定当前色度块的帧内预测模式的步骤;当当前色度块的帧内预测模式根据所述色度帧内预测信息是CCLM模式时,获取与当前色度块相邻的参考色度样点和与所述参考色度样点对应的参考亮度样点的步骤;以及基于所述参考色度样点与所述参考亮度样点之间的相关性并基于与当前色度块对应的参考亮度块来预测当前色度块的步骤,其中,不管当前色度块的尺寸如何,可获取所述参考色度样点的预定CCLM模式参考位置的数量是常数。(There is provided a video decoding method including: a step of determining an intra prediction mode of a current chroma block from chroma intra prediction information acquired from a bitstream; when the intra-frame prediction mode of the current chroma block is a CCLM mode according to the chroma intra-frame prediction information, acquiring a reference chroma sampling point adjacent to the current chroma block and a reference brightness sampling point corresponding to the reference chroma sampling point; and predicting a current chroma block based on a correlation between the reference chroma sampling points and the reference luma sampling points and based on a reference luma block corresponding to the current chroma block, wherein a number of predetermined CCLM mode reference positions from which the reference chroma sampling points can be obtained is constant regardless of a size of the current chroma block.)

编码方法及其装置和解码方法及其装置

技术领域

本公开涉及视频编码和解码方法,并且更具体地,涉及提供具有提高的编码效率的跨分量线性模型(CCLM)模式的视频编码和解码方法。

背景技术

高质量视频需要大量数据用于编码。然而,可用于发送视频数据的带宽存在限制,并且因此,应用于视频数据的发送的数据速率可能受到限制。因此,为了高效地发送视频数据,需要具有最小的图像质量劣化和提高的压缩率的视频数据编码和解码方法。

可通过去除像素之间的空间冗余和时间冗余来压缩视频数据。彼此相邻的像素通常具有共同的特性,并且因此,为了去除相邻像素之间的冗余,按由像素组成的数据单元发送编码信息。

不直接发送包括在数据单元中的像素的像素值,而是发送获得像素值所需的方法。针对每个数据单元确定预测与原始值相似的像素值的预测方法,并且将关于预测方法的编码信息从编码器发送到解码器。此外,因为预测值不完全等于原始值,所以原始值与预测值之间的差的残差数据从编码器被发送到解码器。

随着预测的准确度的提高,指定预测方法所需的编码信息增加,但残差数据的大小减小。因此,基于编码信息和残差数据的大小来确定预测方法。具体地,从画面划分出的数据单元具有各种尺寸,并且随着数据单元的尺寸增加,预测的准确度降低的可能性增加,而编码信息减少。因此,根据画面的特性来确定块的尺寸。

此外,预测方法包括帧内预测和帧间预测。帧内预测是指从块的相邻像素对块的像素进行预测的方法。帧间预测是指通过参考由包括块的画面所参考的另一画面的像素来对像素进行预测的方法。因此,根据帧内预测去除空间冗余,并且根据帧间预测去除时间冗余。

随着预测方法的数量增加,用于指示预测方法的编码信息的大小增加。因此,可通过从另一块预测编码信息来减小将被应用于块的编码信息的大小。

视频数据的丢失被允许到人眼不能识别丢失的程度,并且因此,可通过在变换和量化处理中对残差数据执行有损压缩来减少残差数据的量。

发明内容

技术问题

提供了一种使用作为编码工具的跨分量线性模型(CCLM)模式的视频编码方法,其中,所述编码工具用于根据相邻亮度像素与色度像素之间的相关性以及与色度块对应的亮度块来预测色度块。此外,提供了一种视频解码方法,包括:对当前块进行划分,确定划分出的下层块的编码顺序,并且根据当前块的相邻块是否已经被编码来确定编码方法。还提供了一种记录有用于在计算机上执行根据本公开的实施例的视频编码方法和视频解码方法的程序的计算机可读记录介质。

问题的解决方案

本公开提供了一种视频解码方法,包括:从自比特流获得的色度帧内预测信息确定当前色度块的帧内预测模式;当当前色度块的帧内预测模式根据所述色度帧内预测信息为跨分量线性模型(CCLM)模式时,获得与当前色度块相邻的参考色度样点和与所述参考色度样点对应的参考亮度样点;并且基于所述参考色度样点与所述参考亮度样点之间的相关性以及与当前色度块对应的参考亮度块来预测当前色度块,其中,不管当前色度块的尺寸如何,能够获得所述参考色度样点的预定CCLM模式参考位置的数量为常数。

本公开提供了一种视频解码设备,包括:存储器,存储用于实现所述视频解码方法的一个或更多个指令;以及处理器,被配置为执行所述一个或更多个指令。此外,提供了一种记录有包括用于实现所述视频解码方法的一个或更多个指令的程序的计算机可读记录介质。

本公开提供了一种视频编码方法,包括:获得与当前色度块对应的参考色度样点和与所述参考色度样点对应的参考亮度样点,并基于所述参考色度样点与所述参考亮度样点之间的相关性以及与当前色度块对应的参考亮度块来预测当前色度块;根据对当前色度块的预测的结果,确定跨分量线性模型(CCLM)模式是否将被应用于当前色度块;并且生成包括指示CCLM模式是否将被应用于当前色度块的色度帧内预测信息的比特流,其中,不管当前色度块的尺寸如何,能够获得所述参考色度样点的预定CCLM模式参考位置的数量是常数。

本公开提供了一种视频编码设备,包括:存储器,存储用于实现所述视频编码方法的一个或更多个指令;以及处理器,被配置为执行所述一个或更多个指令。此外,提供了一种记录有包括用于实现所述视频编码方法的一个或更多个指令的程序的计算机可读记录介质。

本实施例的技术问题不限于上述技术问题,并且可从下面的实施例推断其他未陈述的技术问题。

公开的有益效果

根据本公开中描述的跨分量线性模型(CCLM)模式的各种实施例,提高了针对色度块的预测准确度。由于对色度块的预测的改进,可提高视频编码效率。

附图说明

图1A是根据本公开的实施例的基于具有树结构的编码单元的图像编码设备的框图。

图1B是根据实施例的基于具有树结构的编码单元的视频解码设备的框图。

图2示出根据实施例的通过对当前编码单元进行划分来确定至少一个编码单元的处理。

图3示出根据实施例的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。

图4示出根据实施例的基于块形状信息和划分形状信息中的至少一个对编码单元进行划分的处理。

图5示出根据实施例的从奇数个编码单元中确定预定编码单元的方法。

图6示出根据实施例的当通过对当前编码单元进行划分来确定多个编码单元时对所述多个编码单元进行处理的顺序。

图7示出根据实施例的当编码单元不能按照预定顺序进行处理时确定当前编码单元将被划分为奇数个编码单元的处理。

图8示出根据实施例的通过对第一编码单元进行划分来确定至少一个编码单元的处理。

图9示出根据实施例的当对第一编码单元进行划分而确定的非正方形的第二编码单元满足预定条件时第二编码单元可被划分为的形状受到限制。

图10示出根据实施例的当划分形状信息不能指示正方形编码单元将被划分为四个正方形编码单元时对正方形编码单元进行划分的处理。

图11示出根据实施例的可根据对编码单元进行划分的处理来改变多个编码单元之间的处理顺序。

图12示出根据实施例的当编码单元被递归地划分使得多个编码单元被确定时,随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。

图13示出根据实施例的可基于编码单元的形状和尺寸确定的深度以及用于标识编码单元的部分索引(PID)。

图14示出根据实施例的基于画面中包括的多个预定数据单元来确定多个编码单元。

图15示出根据实施例的用作用于确定包括在画面中的参考编码单元的确定顺序的单元的处理块。

图16提供使用根据跨分量线性模型(CCLM)模式的色度块预测的视频解码设备。

图17提供使用根据CCLM模式的色度块预测的视频编码设备。

图18示出根据实施例的根据CCLM模式的预测方法。

图19示出由尺寸为4×4的色度块参考的CCLM模式参考位置。

图20示出由尺寸为8×8的色度块参考的CCLM模式参考位置。

图21示出由尺寸为4×8的色度块参考的CCLM模式参考位置。

图22示出由尺寸为8×4的色度块参考的CCLM模式参考位置。

图23示出在左上CCLM模式下由尺寸为M×N的色度块参考的CCLM模式参考位置的实施例。

图24示出在左上CCLM模式下由尺寸为M×N的色度块参考的CCLM模式参考位置的实施例。

图25示出在左上CCLM模式下由尺寸为M×N的色度块参考的CCLM模式参考位置的实施例。

图26示出在上CCLM模式下由尺寸为M×N的色度块参考的CCLM模式参考位置的实施例。

图27示出在上CCLM模式下由尺寸为M×N的色度块参考的CCLM模式参考位置的实施例。

图28示出在左CCLM模式下由尺寸为M×N的色度块参考的CCLM模式参考位置的实施例。

图29示出在左CCLM模式下由尺寸为M×N的色度块参考的CCLM模式参考位置的实施例。

图30描述从与参考色度样点对应的区域的多个亮度样点确定与参考色度样点对应的参考亮度样点的实施例。

图31是根据CCLM模式的视频解码方法的流程图。

图32是根据CCLM模式的视频编码方法的流程图。

最佳模式

本公开提供了一种视频解码方法,包括:从自比特流获得的色度帧内预测信息确定当前色度块的帧内预测模式;当当前色度块的帧内预测模式根据所述色度帧内预测信息为跨分量线性模型(CCLM)模式时,获得与当前色度块相邻的参考色度样点和与所述参考色度样点对应的参考亮度样点;并且基于所述参考色度样点与所述参考亮度样点之间的相关性以及与当前色度块对应的参考亮度块来预测当前色度块。

具体实施方式

通过参照实施例和附图,可以更容易地理解实施例的优点和特征以及实现其的方法。就此而言,本公开可具有不同形式,并且不应被解释为限于这里阐述的实施例。而是,提供这些实施例,使得本公开将是彻底和完整的并且将向本领域普通技术人员充分传达本公开的构思。

将简要定义说明书中使用的术语,并且将详细描述实施例。

本说明书中使用的包括描述性术语或技术术语的所有术语应被解释为具有对本领域普通技术人员显而易见的含义。然而,根据本领域普通技术人员的意图、先例或新技术的出现,这些术语可具有不同含义。此外,一些术语可由申请人任意选择,并且在这种情况下,将在本公开的详细描述中详细描述所选术语的含义。因此,本公开中使用的术语不应仅基于它们的名称来解释,而是必须基于术语的含义连同整个说明书中的描述一起来定义。

在以下说明书中,除非上下文另有明确指示,否则单数形式包括复数形式。

当部件“包括”或“包含”元件时,除非存在与其相反的特定描述,否则所述部件还可包括其他元件,而不排除其他元件。在以下描述中,诸如“单元”的术语指示诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)的软件组件或硬件组件,并且“单元”执行特定功能。然而,“单元”不限于软件或硬件。“单元”可被形成为在可寻址存储介质中,或者可被形成为操作一个或更多个处理器。因此,例如,术语“单元”可指诸如软件组件、面向对象的软件组件、类组件和任务组件的组件,并且可包括进程、功能、属性、过程、子例程、程序代码片段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组或变量。由组件和“单元”提供的功能可与较少数量的组件和“单元”相关联,或者可被划分为附加组件和“单元”。

“当前块”指示当前将被编码或解码的编码单元、预测单元和变换单元中的一个。此外,“下层块”指示从“当前块”划分出的数据单元。“上层块”指示包括“当前块”的数据单元。

在下文中,“样点”表示分配给图像的采样位置的数据,即,将被处理的数据。例如,空间域中的图像的像素值和变换域上的变换系数可以是样点。包括至少一个这样的样点的单元可被定义为块。

在下文中,现在将参照附图更全面地描述本公开,以使本领域普通技术人员能够毫无困难地执行实施例。此外,为了清楚地描述本公开,将在附图中省略与描述无关的部分。

图1A是根据本公开的实施例的基于具有树结构的编码单元的图像编码设备100的框图。

图像编码设备100包括最大编码单元确定器110、编码单元确定器120和输出单元130。

最大编码单元确定器110根据最大编码单元的尺寸将画面或包括在画面中的条带划分为多个最大编码单元。最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元,其中,所述数据单元的形状是宽度和长度为2的幂的正方形形状。最大编码单元确定器110可将指示最大编码单元的尺寸的最大编码单元尺寸信息提供给输出单元130。输出单元130可将最大编码单元尺寸信息添加到比特流。

编码单元确定器120通过对最大编码单元进行划分来确定编码单元。可根据最大编码单元和深度来确定编码单元。深度可被定义为编码单元从最大编码单元在空间上被划分的次数。每当深度增加1时,编码单元被划分为两个或更多个编码单元。因此,随着深度增加,针对每个深度的编码单元的尺寸减小。根据对编码单元的划分根据率失真优化是否高效来确定是否划分编码单元。然后,可生成指示编码单元是否被划分的划分信息。可以以标志的形式来表示划分信息。

可通过使用各种方法来划分编码单元。例如,正方形编码单元可被划分为宽度和高度是该正方形编码单元的宽度和高度的一半的四个正方形编码单元。正方形编码单元可被划分为宽度为该正方形编码单元的宽度的一半的两个矩形编码单元。正方形编码单元可被划分为高度为该正方形编码单元的高度的一半的两个矩形编码单元。正方形编码单元可通过按1:2:1划分其宽度或高度而被划分为三个编码单元。

宽度是高度的两倍的矩形编码单元可被划分为两个正方形编码单元。宽度是高度的两倍的矩形编码单元可被划分为宽度是高度的四倍的两个矩形编码单元。宽度是高度的两倍的矩形编码单元可通过按1:2:1划分宽度而被划分为两个矩形编码单元和一个正方形编码单元。

同样地,高度是宽度的两倍的矩形编码单元可被划分为两个正方形编码单元。此外,高度是宽度的两倍的矩形编码单元可被划分为高度是宽度的四倍的两个矩形编码单元。同样地,高度是宽度的两倍的矩形编码单元可通过按1:2:1划分其高度而被划分为两个矩形编码单元和一个正方形编码单元。

当图像编码设备100可使用两种或更多种划分方法时,可针对每个画面确定关于可由图像编码设备100使用的划分方法中的可被用于编码单元的划分方法的信息。因此,仅特定划分方法可被确定用于每个画面。当图像编码设备100仅使用一种划分方法时,不单独确定关于可用于编码单元的划分方法的信息。

当编码单元的划分信息指示编码单元被划分时,可生成指示编码单元的划分方法的划分形状信息。当仅存在可在编码单元所属的画面中使用的一种划分方法时,可不生成划分形状信息。当自适应地确定划分方法以对编码单元周围的信息进行编码时,可不生成划分形状信息。

可根据最小编码单元尺寸信息将最大编码单元划分为最小编码单元。可定义最大编码单元的深度是最高深度,并且最小编码单元的深度是最低深度。因此,较高深度的编码单元可包括较低深度的多个编码单元。

如上所述,根据编码单元的最大尺寸将当前画面的图像数据划分为最大编码单元。最大编码单元中的每一个可包括根据深度划分出的编码单元。因为最大编码单元根据深度被划分,所以可根据深度分层地划分包括在最大编码单元中的空间域的图像数据。

限制最大编码单元可被分层地划分的最大次数的编码单元的最大深度或最小尺寸可被预先设置。

编码单元确定器120将编码单元被分层地划分时的编码效率与编码单元未被划分时的编码效率进行比较。然后,编码单元确定器120根据比较的结果来确定是否划分编码单元。当确定划分编码单元更高效时,编码单元确定器120分层地划分编码单元。当根据比较的结果确定不划分编码单元是高效的时,编码单元确定器120不对编码单元进行划分。不管相邻编码单元是否被划分,都可确定是否对编码单元进行划分。

根据实施例,首先可在编码过程中针对大深度的编码单元确定是否对编码单元进行划分。例如,可在最大深度的编码单元与比最大深度小1的编码单元之间比较编码效率,并且可针对最大编码单元的每个区域确定最大深度的编码单元和比最大深度小1的编码单元中的哪一个将被进一步有效地编码。然后,根据确定的结果,可针对最大编码单元的每个区域确定是否对比最大深度小1的编码单元进行划分。之后,可针对最大编码单元的每个区域确定比最大深度小2的编码单元及基于确定的结果选择的比最大深度小1的编码单元的组合、以及最小深度的编码单元中的哪一个将被进一步有效地编码。对小深度的编码单元依次执行相同的确定处理,并且最后,根据最大编码单元和通过分层地划分最大编码单元而生成的分层结构中的哪一个将被进一步有效地编码,来确定是否对最大编码单元进行划分。

首先可在编码过程中针对小深度的编码单元确定是否对编码单元进行划分。例如,可在最大编码单元与深度比最大编码单元大1的编码单元之间比较编码效率,并且可确定最大编码单元和深度比最大编码单元大1的编码单元中的哪一个将被进一步有效地编码。在最大编码单元的编码效率更好的情况下,不对最大编码单元进行划分。在深度比最大编码单元大1的编码单元的编码效率更好的情况下,对最大编码单元进行划分,并且对划分出的编码单元重复执行相同的比较处理。

当首先从大深度的编码单元检查编码效率时,需要高计算量,但是可获得具有高编码效率的树结构。反之,当首先从小深度的编码单元检查编码效率时,需要小计算量,但是可获得具有低编码效率的树结构。因此,可考虑编码效率和计算量以各种方式设计用于获得最大编码单元的分层树结构的算法。

编码单元确定器120确定针对编码单元最高效的预测和变换方法,以便确定针对每个深度的编码单元的效率。编码单元可被划分为预定数据单元以确定最高效的预测和变换方法。根据编码单元划分方法,数据单元可具有各种形状。用于确定数据单元的编码单元划分方法可被定义为分区模式。例如,当尺寸为2N×2N(其中,N为正整数)的编码单元未被划分时,包括在编码单元中的预测单元的尺寸为2N×2N。当尺寸为2N×2N的编码单元被划分时,根据分区模式,包括在编码单元中的预测单元的尺寸可以是2N×N、N×2N、N×N等。根据实施例的分区模式不仅可生成通过按对称比率对编码单元的高度或宽度进行划分而获得的对称数据单元,而且还生成按诸如1:n或n:1的非对称比率划分出的数据单元、在对角线方向上划分出的数据单元、划分为几何形状的数据单元以及任意形状的数据单元。

可基于包括在编码单元中的数据单元对编码单元执行预测和变换。然而,根据实施例,可单独确定用于预测的数据单元和用于变换的数据单元。用于预测的数据单元可被定义为预测单元,并且用于变换的数据单元可被定义为变换单元。将被应用于预测单元的分区模式和将被应用于变换单元的分区模式可彼此不同,并且可并行且独立地执行编码单元中的使用预测单元的预测和使用变换单元的变换。

编码单元可被划分为一个或更多个预测单元以确定高效的预测方法。同样地,编码单元可被划分为一个或更多个变换单元以确定高效的变换方法。可独立地执行使用预测单元的划分和使用变换单元的划分。然而,当在帧内预测中使用编码单元中的重建样点时,在包括在编码单元中的预测单元或变换单元之间形成了依赖关系,并且因此,使用预测单元的划分和使用变换单元的划分可能彼此影响。

包括在编码单元中的预测单元可由于帧内预测或帧间预测而被预测。帧内预测是指通过使用与预测单元相邻的参考样点来对预测单元的样点进行预测的方法。帧间预测是指通过从当前画面所参考的参考画面获得参考样点来对预测单元的样点进行预测的方法。

针对帧内预测,编码单元确定器120可通过将多个帧内预测方法应用于预测单元来选择最高效的帧内预测方法。帧内预测方法包括直流(DC)模式、平面模式、诸如垂直模式和水平模式的方向模式等。

当与编码单元相邻的重建样点被用作参考样点时,可针对每个预测单元执行帧内预测。然而,当编码单元中的重建样点被用作参考样点时,对编码单元中的参考样点的重建必须先于预测,并且因此预测单元的预测顺序可取决于变换单元的变换顺序。因此,当编码单元中的重建样点被用作参考样点时,可仅确定用于与预测单元对应的变换单元的帧内预测方法,并且可对每个变换单元执行实际帧内预测。

编码器110可通过确定最佳运动矢量和最佳参考画面来选择最高效的帧间预测方法。针对帧间预测,编码单元确定器120可从在空间和时间上与当前编码单元相邻的编码单元确定多个运动矢量候选,并且可从运动矢量候选中将最高效的运动矢量确定为运动矢量。同样地,编码单元确定器120可从在空间和时间上与当前编码单元相邻的编码单元确定多个参考画面候选,并且可从参考画面候选中确定最高效的参考画面。根据实施例,可从针对当前画面预先确定的参考画面列表确定参考画面。根据实施例,为了预测的准确性,可将所述多个运动矢量候选中的最高效的运动矢量确定为运动矢量预测因子,并且可通过校正运动矢量预测因子来确定运动矢量。可对编码单元中的每个预测单元并行执行帧间预测。

编码单元确定器120可通过根据跳过模式仅获得指示运动矢量和参考画面的信息来重建编码单元。根据跳过模式,除了指示运动矢量和参考画面的信息之外,包括残差信号的所有编码信息都被跳过。因为残差信号被跳过,所以当预测的准确度非常高时可使用跳过模式。

可根据用于预测单元的预测方法来限制将被使用的分区模式。例如,仅针对尺寸为2N×2N或N×N的预测单元的分区模式可被应用于帧内预测,而针对尺寸为2N×2N、2N×N、N×2N或N×N的预测单元的分区模式可被应用于帧间预测。此外,仅针对尺寸为2N×2N的预测单元的分区模式可被应用于帧间预测的跳过模式。图像编码设备100中的每种预测方法所允许的分区模式可根据编码效率而变化。

图像编码设备100可基于编码单元或包括在编码单元中的变换单元来执行变换。图像编码设备100可通过预定处理对作为原始值与针对包括在编码单元中的像素的预测值之间的差值的残差数据进行变换。例如,图像编码设备100可通过量化和离散余弦变换(DCT)/离散正弦变换(DST)对残差数据执行有损压缩。可选地,图像编码设备100可在不进行量化的情况下对残差数据执行无损压缩。

图像编码设备100可确定在量化和变换中最高效的变换单元。以类似于根据树结构的编码单元的方式,编码单元中的变换单元被递归地划分为更小的变换单元,使得编码单元中的残差数据可根据基于树结构的变换单元根据深度被分区。然后,图像编码设备100可根据所确定的变换单元的树结构生成关于编码单元和变换单元的划分的变换划分信息。

在图像编码设备100中,变换深度可被设置为指示编码单元的高度和宽度被划分为变换单元的划分次数。例如,当尺寸为2N×2N的当前编码单元的变换单元的尺寸为2N×2N时,变换深度可被设置为0,当变换单元的尺寸为N×N时,变换深度可被设置为1,并且当变换单元的尺寸为N/2×N/2时,变换深度可被设置为2。也就是说,可根据变换深度来设置根据树结构的变换单元。

总之,编码单元确定器120从多个帧内预测方法和帧间预测方法中确定用于当前预测单元的最高效的预测方法。然后,编码单元确定器120基于预测结果根据编码效率确定预测单元确定方案。同样地,编码单元确定器120基于变换结果根据编码效率确定变换单元确定方案。根据最高效的预测单元确定方案和变换单元确定方案,最终确定编码单元的编码效率。编码单元确定器120基于根据每个深度的编码单元的编码效率来最终确定最大编码单元的分层结构。

编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化来测量根据深度的编码单元的编码效率、预测方法的预测效率等。

编码单元确定器120可根据所确定的最大编码单元的分层结构来生成指示是否对根据每个深度的编码单元进行划分的划分信息。然后,编码单元确定器120可针对划分出的编码单元生成用于确定预测单元的分区模式信息和用于确定变换单元的变换单元划分信息。此外,当可通过使用至少两种划分方法来划分编码单元时,编码单元确定器120可生成划分信息和指示划分方法的划分形状信息两者。编码单元确定器120可生成关于被用于预测单元和变换单元的预测方法和变换方法的信息。

输出单元130可在比特流中输出由最大编码单元确定器110和编码单元确定器120根据最大编码单元的分层结构而生成的多条信息。

下面将参照图3至图12详细描述根据实施例的根据最大编码单元的树结构确定编码单元、预测单元和变换单元的方法。

图1B是根据实施例的基于具有树结构的编码单元的图像解码设备150的框图。

图像解码设备150包括接收器160、编码信息提取器170和解码器180。

针对由图像解码设备150执行的解码操作的包括编码单元、深度、预测单元、变换单元、各种划分信息等的术语的定义与上面参照图1A和图像编码设备100描述的那些相同。此外,因为图像解码设备150被设计为重建图像数据,所以由图像编码设备100使用的各种编码方法可被应用于图像解码设备150。

接收器160接收并解析关于经过编码的视频的比特流。编码信息提取器170从经过解析的比特流提取用于对最大编码单元进行解码的多条信息,并将该信息提供给解码器180。编码信息提取器170可从当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。

此外,编码信息提取器170根据每个最大编码单元从经过解析的比特流提取具有树结构的编码单元的最终深度和划分信息。提取的最终深度和提取的划分信息被输出到解码器180。解码器180可通过根据提取的最终深度和提取的划分信息对最大编码单元进行划分来确定最大编码单元的树结构。

由编码信息提取器170提取的划分信息是由图像编码设备100确定的造成最小编码误差的树结构的划分信息。因此,图像解码设备150可通过根据造成最小编码误差的解码方法对数据进行解码来重建图像。

编码信息提取器170可提取数据单元(诸如包括在编码单元中的预测单元和变换单元)的划分信息。例如,编码信息提取器170可提取关于针对预测单元的最高效的分区模式的信息。编码信息提取器170可提取针对变换单元的最高效的树结构的变换划分信息。

此外,编码信息提取器170可获得关于针对从编码单元划分出的预测单元的最高效的预测方法的信息。然后,编码信息提取器170可获得关于针对从编码单元划分出的变换单元的最高效的变换方法的信息。

编码信息提取器170根据图像编码设备100的输出单元130构建比特流的方法从比特流提取信息。

解码器180可基于划分信息将最大编码单元划分为具有最高效的树结构的编码单元。然后,解码器180可根据关于分区模式的信息将编码单元划分为预测单元。解码器180可根据变换划分信息将编码单元划分为变换单元。

解码器180可根据关于预测方法的信息来对预测单元进行预测。解码器180可根据关于对变换单元进行变换的方法的信息对作为像素的原始值与预测值之间的差的残差数据执行反量化和逆变换。解码器180可根据预测单元的预测结果和变换单元的变换结果来重建编码单元的像素。

图2示出根据实施例的由图像解码设备150执行的通过对当前编码单元进行划分来确定至少一个编码单元的处理。

根据实施例,图像解码设备150可通过使用块形状信息来确定编码单元的形状,并且可通过使用划分形状信息来确定将根据其对编码单元进行划分的形状。也就是说,可根据由图像解码设备150使用的块形状信息指示哪种块形状来确定由划分形状信息指示的编码单元划分方法。

根据实施例,图像解码设备150可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码设备150可根据划分形状信息来确定是否不对正方形编码单元进行划分、是否对正方形编码单元进行垂直划分、是否对正方形编码单元进行水平划分、或者是否将正方形编码单元划分为四个编码单元。参照图2,当当前编码单元200的块形状信息指示正方形形状时,解码器180可根据指示不执行划分的划分形状信息不对与当前编码单元200具有相同尺寸的编码单元210a进行划分,或者可确定基于指示预定划分方法的划分形状信息而划分出的编码单元210b、210c或210d。

参照图2,根据实施例,图像解码设备150可基于指示垂直地执行划分的划分形状信息来确定通过垂直地划分当前编码单元200而获得的两个编码单元210b。图像解码设备150可基于指示水平地执行划分的划分形状信息来确定通过水平地划分当前编码单元200而获得的两个编码单元210c。图像解码设备150可基于指示垂直地和水平地执行划分的划分形状信息来确定通过垂直地和水平地划分当前编码单元200而获得的四个编码单元210d。然而,应解释为,用于划分正方形编码单元的划分形状不限于以上形状,并且划分形状可包括可由划分形状信息指示的各种形状。下面将通过各种实施例详细描述用于划分正方形编码单元的划分形状。

图3示出根据实施例的由图像解码设备150执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。

根据实施例,图像解码设备150可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码设备150可根据划分形状信息来确定是否不对当前非正方形编码单元进行划分或者是否通过使用预定方法来对非正方形当前编码单元进行划分。参照图3,当当前编码单元300或350的块形状信息指示非正方形形状时,图像解码设备150可根据指示不执行划分的划分形状信息而不对与当前编码单元300或350具有相同的尺寸的编码单元310或360进行划分,或者可确定根据指示预定划分方法的划分形状信息而划分出的编码单元320a和320b、330a、330b和330c、370a和370b、380a、380b和380c。下面将通过各种实施例详细描述对非正方形编码单元进行划分的预定划分方法。

根据实施例,图像解码设备150可通过使用划分形状信息来确定将根据其对编码单元进行划分的形状,并且在这种情况下,划分形状信息可指示当编码单元被划分时生成的至少一个编码单元的数量。参照图3,当划分形状信息指示当前编码单元300或350被划分为两个编码单元时,图像解码设备150可通过基于划分形状信息对当前编码单元300或350进行划分来确定分别包括在当前编码单元300或350中的两个编码单元320a和320b或者370a和370b。

根据实施例,当图像解码设备150基于划分形状信息来对具有非正方形形状的当前编码单元300或350进行划分时,图像解码设备150可考虑当前编码单元300或350的长边的位置来对具有非正方形形状的当前编码单元300或350进行划分。例如,图像解码设备150可通过考虑当前编码单元300或350的形状在划分当前编码单元300或350的长边的方向上对当前编码单元300或350进行划分,来确定多个编码单元。

根据实施例,当划分形状信息指示编码单元将被划分为奇数个块时,图像解码设备150可确定包括在当前编码单元300或350中的奇数个编码单元。例如,当划分形状信息指示当前编码单元300或350将被划分为三个编码单元时,图像解码设备150可将当前编码单元300或350划分为三个编码单元330a、330b和330c、或者380a、380b和380c。根据实施例,图像解码设备150可确定包括在当前编码单元300或350中的奇数个编码单元,并且所确定的编码单元的尺寸可不一致。例如,奇数个编码单元330a、330b和330c、或者380a、380b和380c中的编码单元330b或380b的尺寸可与编码单元330a和330c或者380a和380c的尺寸不同。也就是说,在当前编码单元300或350被划分时可确定的编码单元针对尺寸可具有多种类型。

根据实施例,当划分形状信息指示编码单元将被划分为奇数个块时,图像解码设备150可确定当前编码单元300或350中包括的奇数个编码单元,并且,可对通过划分当前编码单元300或350而生成的奇数个编码单元中的至少一个编码单元施加限制。参照图3,图像解码设备150可以以与编码单元330a和330c或者380a和380c不同的方式对当前编码单元300或350被划分时生成三个编码单元330a、330b和330c或者380a、380b和380c中的中心处的编码单元330b或380b进行解码。例如,与编码单元330a和330c或者380a和380c不同,图像解码设备150可限制中心处的编码单元330b或380b不被进一步划分或仅被划分预定次数。

图4示出根据实施例的由图像解码设备150执行的基于块形状信息和划分形状信息中的至少一个对编码单元进行划分的处理。

根据实施例,图像解码设备150可基于块形状信息和划分形状信息中的至少一个,确定将正方形的第一编码单元400划分为编码单元,或者不对正方形的第一编码单元400进行划分。根据实施例,当划分形状信息指示在水平方向上划分第一编码单元400时,图像解码设备150可通过在水平方向上划分第一编码单元400来确定第二编码单元410。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解编码单元被划分之前和编码单元被之后的关系的术语。例如,可通过划分第一编码单元来确定第二编码单元,并且可通过划分第二编码单元来确定第三编码单元。将理解,第一编码单元、第二编码单元和第三编码单元之间的关系被应用于以下描述。

根据实施例,图像解码设备150可基于块形状信息和划分形状信息中的至少一个来确定将第二编码单元410划分为多个编码单元,或者可确定不对第二编码单元410进行划分。参照图4,图像解码设备150可基于块形状信息和划分形状信息中的至少一个将通过划分第一编码单元400确定的非正方形的第二编码单元410划分为一个或更多个第三编码单元420a、或者420b、420c和420d,或者可不对非正方形的第二编码单元410进行划分。图像解码设备150可获得块形状信息和划分形状信息中的至少一个,并且可通过基于获得的块形状信息和划分形状信息中的至少一个对第一编码单元400进行划分来获得多个各种形状的第二编码单元(例如,410),并且可基于块形状信息和划分形状信息中的至少一个通过使用第一编码单元400的划分方法来对第二编码单元410进行划分。根据实施例,当基于第一编码单元400的块形状信息和划分形状信息中的至少一个将第一编码单元400划分为第二编码单元410时,也可基于第二编码单元410的块形状信息和划分形状信息中的至少一个将第二编码单元410划分为第三编码单元420a、或者420b、420c和420d。也就是说,可基于每个编码单元的块形状信息和划分形状信息中的至少一个来递归地划分编码单元。下面将通过各种实施例描述可被用于递归地划分编码单元的方法。

根据实施例,图像解码设备150可基于块形状信息和划分形状信息中的至少一个确定将第三编码单元420a、或者420b、420c和420d中的每一个划分为编码单元,或者可基于块形状信息和划分形状信息中的至少一个确定不对第二编码单元410进行划分。根据实施例,图像解码设备150可将非正方形的第二编码单元410划分为奇数个第三编码单元420b、420c和420d。图像解码设备150可对奇数个第三编码单元420b、420c和420d中的第三编码单元施加预定限制。例如,图像解码设备150可限制奇数个第三编码单元420b、420c和420d中的中心位置处的第三编码单元420c不再被划分或被划分可设置的次数。参照图4,图像解码设备150可将非正方形的第二编码单元410中所包括的奇数个第三编码单元420b、420c和420d中的中心位置处的第三编码单元420c限制为不再被划分、限制为通过使用预定划分方法被划分(例如,仅被划分为四个编码单元或被划分为与第二编码单元410被划分为的形状对应的形状)或者限制为仅被划分预定次数(例如,仅被划分n次(其中,n>0))。然而,对中心位置处的第三编码单元420c的限制不限于上述示例,并且可包括用于与其他第三编码单元420b和420d不同地对中心位置处的第三编码单元420c进行解码的各种限制。

根据实施例,图像解码设备150可从当前编码单元中的预定位置获得用于对当前编码单元进行划分的块形状信息和划分形状信息中的至少一个。

根据实施例,在当前编码单元被划分为预定数量的编码单元时,图像解码设备150可选择编码单元中的一个编码单元。下面将通过各种实施例描述可被用于选择多个编码单元中的一个编码单元的各种方法。

根据实施例,图像解码设备150可将当前编码单元划分为多个编码单元,并且可确定预定位置处的编码单元。

图5示出根据实施例的由图像解码设备150执行的从奇数个编码单元中确定预定位置的编码单元的方法。

根据实施例,图像解码设备150可使用指示奇数个编码单元的位置中的每个位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参照图5,图像解码设备150可通过划分当前编码单元500来确定奇数个编码单元520a、520b和520c。图像解码设备150可通过使用关于奇数个编码单元520a、520b和520c的位置的信息来确定中心位置处的编码单元520b。例如,图像解码设备150可通过基于指示编码单元520a、520b和520c中包括的预定样点的位置的信息确定编码单元520a、520b和520c的位置来确定中心位置的编码单元520b。详细地,图像解码设备150可通过基于指示编码单元520a、520b和520c的左上样点530a、530b和530c的位置的信息确定编码单元520a、520b和520c的位置来确定中心位置处的编码单元520b。

根据实施例,指示分别包括在编码单元520a、520b和520c中的左上样点530a、530b和530c的位置的信息可包括关于编码单元520a、520b和520c在画面中的位置或坐标的信息。根据实施例,指示分别包括在编码单元520a、520b和520c中的左上样点530a、530b和530c的位置的信息可包括指示当前编码单元500中包括的编码单元520a、520b和520c的宽度或高度的信息,并且所述宽度或高度可与指示编码单元520a、520b和520c在画面中的坐标之间的差的信息对应。也就是说,图像解码设备150可通过直接使用关于编码单元520a、520b和520c在画面中的位置或坐标的信息或者通过使用关于编码单元的与坐标之间的差值对应的宽度或高度的信息来确定中心位置处的编码单元520b。

根据实施例,指示上方编码单元520a的左上样点530a的位置的信息可包括坐标(xa,ya),指示中间编码单元520b的左上样点530b的位置的信息可包括坐标(xb,yb),并且指示下方编码单元520c的左上样点530c的位置的信息可包括坐标(xc,yc)。图像解码设备150可通过使用分别包括在编码单元520a、520b和520c中的左上样点530a、530b和530c的坐标来确定中间编码单元520b。例如,当左上样点530a、530b和530c的坐标按照升序或降序被排序时,可将包括中心位置处的样点530b的坐标(xb,yb)的编码单元520b确定为通过划分当前编码单元500而确定的编码单元520a、520b和520c中的中心位置处的编码单元。然而,指示左上样点530a、530b和530c的位置的坐标可包括指示画面中的绝对位置的坐标,或者可使用指示中间编码单元520b的左上样点530b相对于上方编码单元520a的左上样点530a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元520c的左上样点530c相对于上方编码单元520a的左上样点530a的位置的相对位置的坐标(dxc,dyc)。此外,通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定预定位置处的编码单元的方法不限于上述方法,并且可包括能够使用样点的坐标的各种算术方法。

根据实施例,图像解码设备150可将当前编码单元500划分为多个编码单元520a、520b和520c,并且可基于预定标准选择编码单元520a、520b和520c中的一个编码单元。例如,图像解码设备150可从编码单元520a、520b和520c中选择尺寸与其他编码单元的尺寸不同的编码单元520b。

根据实施例,图像解码设备150可通过使用指示上方编码单元520a的左上样点530a的位置的坐标(xa,ya)、指示中间编码单元520b的左上样点530b的位置的坐标(xb,yb)以及指示下方编码单元520c的左上样点530c的位置的坐标(xc,yc)来确定编码单元520a、520b和520c的宽度或高度。图像解码设备150可通过使用指示编码单元520a、520b和520c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元520a、520b和520c各自的尺寸。

根据实施例,图像解码设备150可将上方编码单元520a的宽度确定为xb-xa,并且将上方编码单元520a的高度确定为yb-ya。根据实施例,图像解码设备150可将中间编码单元520b的宽度确定为xc-xb,并且将中间编码单元520b的高度确定为yc-yb。根据实施例,图像解码设备150可通过使用当前编码单元500的宽度或高度或者上方编码单元520a和中间编码单元520b的宽度和高度来确定下方编码单元520c的宽度或高度。图像解码设备150可基于所确定的编码单元520a、520b和520c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图5,图像解码设备150可将具有与上方编码单元520a和下方编码单元520c的尺寸不同的尺寸的中间编码单元520b确定为预定位置的编码单元。然而,由图像解码设备150执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例对应,并且因此,可使用通过对基于预定样点的坐标确定的编码单元的尺寸进行比较来确定预定位置处的编码单元的各种方法。

然而,确定编码单元的位置所考虑的样点的位置不限于上述的左上位置,并且可使用关于包括在编码单元中的样点的任意位置的信息。

根据实施例,图像解码设备150可考虑当前编码单元的形状,从通过划分当前编码单元确定的奇数个编码单元中选择预定位置处的编码单元。例如,在当前编码单元具有宽度长于其高度的非正方形形状时,图像解码设备150可确定沿水平方向的预设位置处的编码单元。也就是说,图像解码设备150可确定沿水平方向的不同位置处的编码单元中的一个编码单元并且可对该编码单元施加限制。在当前编码单元具有高度长于其宽度的非正方形形状时,图像解码设备150可确定沿垂直方向的预定位置处的编码单元。也就是说,图像解码设备150可确定沿垂直方向的不同位置处的编码单元中的一个编码单元,并且可对该编码单元施加限制。

根据实施例,图像解码设备150可使用指示偶数个编码单元的各个位置的信息,以便确定偶数个编码单元中的预定位置处的编码单元。图像解码设备150可通过划分当前编码单元来确定偶数个编码单元,并且可通过使用关于偶数个编码单元的位置的信息来确定预定位置处的编码单元。与其相关的操作可与已经在上面参照图5详细描述的确定奇数个编码单元中的预定位置(例如,中心位置)处的编码单元的操作对应,并且因此这里不提供其详细描述。

根据实施例,当非正方形的当前编码单元被划分为多个编码单元时,可在划分操作中使用关于预定位置处的编码单元的预定信息来确定多个编码单元中的预定位置处的编码单元。例如,图像解码设备150可在划分操作中使用中心位置处的编码单元中包括的样点中所存储的块形状信息和划分形状信息中的至少一个来确定通过划分当前编码单元所确定的多个编码单元中的中心位置处的编码单元。

参照图5,图像解码设备150可基于块形状信息和划分形状信息中的至少一个将当前编码单元500划分为多个编码单元520a、520b和520c,并且可确定多个编码单元520a、520b和520c中的中心位置处的编码单元520b。此外,图像解码设备150可考虑获得块形状信息和划分形状信息中的至少一个的位置来确定中心位置处的编码单元520b。也就是说,可从当前编码单元500的中心位置处的样点540获得当前编码单元500的块形状信息和划分形状信息中的至少一个,并且当基于块形状信息和划分形状信息中的至少一个将当前编码单元500划分为多个编码单元520a、520b和520c时,可将包括样点540的编码单元520b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于块形状信息和划分形状信息中的至少一个,并且可使用各种类型的信息确定中心位置处的编码单元。

根据实施例,可从包括在将被确定的编码单元中的预定样点获得用于标识预定位置处的编码单元的预定信息。参照图5,图像解码设备150可使用从当前编码单元500中的预定位置处的样点(例如,当前编码单元500的中心位置处的样点)获得的块形状信息和划分形状信息中的至少一个来确定通过划分当前编码单元500而确定的多个编码单元520a、520b和520c中的预定位置处的编码单元(例如,划分出的多个编码单元中的中心位置处的编码单元)。也就是说,图像解码设备150可通过参考当前编码单元500的块形状来确定预定位置处的样点,可从通过划分当前编码单元500确定的多个编码单元520a、520b和520c中确定包括可获得预定信息(例如,块形状信息和划分形状信息中的至少一个)的样点的编码单元520b,并且可对编码单元520b施加预定限制。参照图5,根据实施例,在解码操作中,图像解码设备150可将当前编码单元500的中心位置处的样点540确定为可获得预定信息的样点,并且可对包括样点540的编码单元520b施加预定限制。然而,可获得预定信息的样点的位置不限于上述位置,并且可包括将被确定为进行限制的编码单元520b中所包括的样点的任意位置。

根据实施例,可基于当前编码单元500的形状确定可获得预定信息的样点的位置。根据实施例,块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状,并且可基于该形状确定可获得预定信息的样点的位置。例如,图像解码设备150可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个,将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得预定信息的样点。作为另一示例,当当前编码单元的块形状信息指示非正方形形状时,图像解码设备150可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可获得预定信息的样点。

根据实施例,在当前编码单元被划分为多个编码单元时,图像解码设备150可使用块形状信息和划分形状信息中的至少一个来确定多个编码单元中的预定位置处的编码单元。根据实施例,图像解码设备150可从编码单元中的预定位置处的样点获得块形状信息和划分形状信息中的至少一个,并且可通过使用划分形状信息和块形状信息中的至少一个对通过划分当前编码单元生成的多个编码单元进行划分,其中,所述划分形状信息和块形状信息中的至少一个是从所述多个编码单元中的每个编码单元中的预定位置的样点获得的。也就是说,可基于块形状信息和划分形状信息中的至少一个递归地划分编码单元,其中,所述块形状信息和划分形状信息中的至少一个是从每个编码单元中的预定位置处的样点获得的。上面已经参照图4描述了递归地划分编码单元的操作,并且因此这里将不提供其详细描述。

根据实施例,图像解码设备150可通过划分当前编码单元确定一个或更多个编码单元,并且可基于预定块(例如,当前编码单元)确定对所述一个或更多个编码单元进行解码的顺序。

图6示出根据实施例的当图像解码设备150通过划分当前编码单元确定多个编码单元时对所述多个编码单元进行处理的顺序。

根据实施例,基于块形状信息和划分形状信息,图像解码设备100可通过在垂直方向上划分第一编码单元600来确定第二编码单元610a和610b,可通过在水平方向上划分第一编码单元600来确定第二编码单元630a和630b,或者可通过在垂直方向和水平方向上划分第一编码单元600来确定第二编码单元650a、650b、650c和650d。

参照图6,图像解码设备150可确定按照水平方向顺序610c对通过在垂直方向上划分第一编码单元600而确定的第二编码单元610a和610b进行处理。图像解码设备150可确定按照垂直方向顺序630c对通过在水平方向上划分第一编码单元600而确定的第二编码单元630a和630b进行处理。图像解码设备150可确定根据预定顺序(例如,按照光栅扫描顺序或Z字形扫描顺序650e)通过在垂直方向和水平方向上划分第一编码单元600而确定的第二编码单元650a、650b、650c和650d,其中,根据所述预定顺序对一行中的编码单元进行处理然后对下一行中的编码单元进行处理。

根据实施例,图像解码设备150可递归地划分编码单元。参照图6,图像解码设备150可通过划分第一编码单元600来确定多个第二编码单元610a和610b、630a和630b、以及650a、650b、650c和650d,并且可递归地划分所确定的多个第二编码单元610a、610b、630a、630b、650a、650b、650c和650d中的每一个。对多个第二编码单元610a、610b、630a、630b、650a、650b、650c和650d进行划分的方法可对应于对第一编码单元600进行划分的方法。因此,多个第二编码单元610a、610b、630a、630b、650a、650b、650c和650d中的每一个可被独立地划分为多个编码单元。参照图6,图像解码设备150可通过在垂直方向上划分第一编码单元600来确定第二编码单元610a和610b,并且可确定独立地划分或者不划分第二编码单元610a和610b中的每一个。

根据实施例,图像解码设备150可通过在水平方向上对左侧第二编码单元610a进行划分来确定第三编码单元620a和620b,并且可不对右侧第二编码单元610b进行划分。

根据实施例,可基于划分编码单元的操作来确定编码单元的处理顺序。换句话说,可基于紧接在被划分之前的编码单元的处理顺序来确定划分后的编码单元的处理顺序。图像解码设备150可独立于右侧第二编码单元610b来确定通过划分左侧第二编码单元610a而确定的第三编码单元620a和620b的处理顺序。因为通过在水平方向上划分左侧第二编码单元610a来确定第三编码单元620a和620b,所以可按照垂直方向顺序620c对第三编码单元620a和620b进行处理。因为左侧第二编码单元610a和右侧第二编码单元610b按照水平方向顺序610c被处理,所以可在按照垂直方向顺序620c对左侧第二编码单元610a中包括的第三编码单元620a和620b进行处理之后对右侧第二编码单元610b进行处理。基于划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可使用各种方法按照预定顺序独立地处理被划分并被确定为各种形状的编码单元。

图7示出根据实施例的当编码单元不能按照预定顺序进行处理时,由图像解码设备150执行的确定当前编码单元将被划分为奇数个编码单元的处理。

根据实施例,图像解码设备150可基于获得的块形状信息和划分形状信息确定当前编码单元将被划分为奇数个编码单元。参照图7,正方形的第一编码单元700可被划分为非正方形的第二编码单元710a和710b,第二编码单元710a和710b可被独立地划分为第三编码单元720a和720b以及720c、720d和720e。根据实施例,图像解码设备150可通过在水平方向上划分左侧第二编码单元710a来确定多个第三编码单元720a和720b,并且可将右侧第二编码单元710b划分为奇数个第三编码单元720c、720d和720e。

根据实施例,图像解码设备150可通过确定第三编码单元720a和720b以及720c、720d、和720e是否能够按照预定顺序进行处理来确定任意编码单元是否被划分为奇数个编码单元。参照图7,图像解码设备150可通过递归地划分第一编码单元700来确定第三编码单元720a和720b以及720c、720d和720e。图像解码设备150可基于块形状信息和划分形状信息中的至少一个确定以下编码单元中的任意一个是否将被划分为奇数个编码单元:第一编码单元700、第二编码单元710a和710b、以及第三编码单元720a和720b及720c、720d和720e。例如,第二编码单元710a和710b中的位于右侧的第二编码单元710b可被划分为奇数个第三编码单元720c、720d和720e。第一编码单元700中包括的多个编码单元的处理顺序可以是预定顺序(例如,Z字形扫描顺序730),图像解码设备150可确定通过将右侧第二编码单元710b划分为奇数个编码单元所确定的第三编码单元720c、720d和720e是否满足用于按照预定顺序进行处理的条件。

根据实施例,图像解码设备150可确定第一编码单元700中包括的第三编码单元720a和720b以及720c、720d和720e是否满足用于按照预定顺序进行处理的条件,并且该条件与第二编码单元710a和710b的宽度和高度中的至少一个是否将沿着第三编码单元720a和720b以及720c、720d和720e的边界被对半划分有关。例如,虽然通过将非正方形的左侧第二编码单元710a的高度对半划分而确定的第三编码单元720a和720b可满足所述条件,但是因为通过将右侧第二编码单元710b划分为三个编码单元而确定的第三编码单元720c、720d和720e的边界没有将右侧第二编码单元710b的宽度或高度对半划分,所以可确定第三编码单元720c、720d和720e不满足所述条件。当如上所述不满足所述条件时,图像解码设备150可确定扫描顺序不连续,并且可基于确定结果确定右侧第二编码单元710b将被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备150可对划分出的编码单元中的预定位置处的编码单元施加预定限制,并且上面已经通过各种实施例描述了所述限制或所述预定位置,因此这里将不提供其详细描述。

图8示出根据实施例的由图像解码设备150执行的通过对第一编码单元800进行划分来确定至少一个编码单元的处理。根据实施例,图像解码设备150可基于通过接收器160获得的块形状信息和划分形状信息中的至少一个对第一编码单元800进行划分。正方形的第一编码单元800可被划分为四个正方形编码单元,或者可被划分为多个非正方形编码单元。例如,参照图8,当块形状信息指示第一编码单元800具有正方形形状并且划分形状信息指示将第一编码单元800划分为非正方形编码单元时,图像解码设备150可将第一编码单元800划分为多个非正方形编码单元。详细地,当划分形状信息指示通过在水平方向或垂直方向上划分第一编码单元800来确定奇数个编码单元时,图像解码设备150可将正方形的第一编码单元800划分为奇数个编码单元(例如,通过在垂直方向上划分正方形的第一编码单元800而确定的第二编码单元810a、810b和810c,或者通过在水平方向上划分正方形的第一编码单元800而确定的第二编码单元820a、820b和820c)。

根据实施例,图像解码设备150可确定包括在第一编码单元800中的第二编码单元810a、810b和810c以及820a、820b和820c是否满足用于按照预定顺序进行处理的条件,并且该条件与第一编码单元800的宽度和高度中的至少一个是否沿着第二编码单元810a、810b和810c以及820a、820b和820c的边界被对半划分有关。参照图8,因为通过在垂直方向上划分正方形的第一编码单元800所确定的第二编码单元810a、810b和810c的边界未将第一编码单元800的宽度对半划分,所以可确定第一编码单元800不满足用于按照预定顺序进行处理的条件。此外,因为通过在水平方向上划分正方形的第一编码单元800所确定的第二编码单元820a、820b和820c的边界未将第一编码单元800的高度对半划分,所以可确定第一编码单元800不满足用于按照预定顺序进行处理的条件。当如上所述不满足所述条件时,图像解码设备150可确定扫描顺序不连续,并且可基于确定结果确定第一编码单元800将被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码设备150可对划分出的编码单元中的预定位置处的编码单元施加预定限制,并且上面已经通过各种实施例描述了所述限制或所述预定位置,因此这里将不提供其详细描述。

根据实施例,图像解码设备150可通过划分第一编码单元来确定各种形状的编码单元。

参照图8,图像解码设备150可将正方形的第一编码单元800或非正方形的第一编码单元830或850划分为各种形状的编码单元。

图9示出根据实施例的当通过划分第一编码单元900确定的非正方形的第二编码单元满足预定条件时第二编码单元可被图像解码设备150划分为的形状受到限制。

根据实施例,图像解码设备150可基于由接收器160获得的块形状信息和划分形状信息中的至少一个确定将正方形的第一编码单元900划分为非正方形的第二编码单元910a、910b、920a和920b。第二编码单元910a、910b、920a和920b可被独立地划分。如此,图像解码设备150可基于第二编码单元910a、910b、920a和920b中的每一个的块形状信息和划分形状信息中的至少一个,确定将第一编码单元900划分为多个编码单元或者可确定不对第一编码单元900进行划分。根据实施例,图像解码设备150可通过在水平方向上对通过在垂直方向上划分第一编码单元900而确定的非正方形的左侧第二编码单元910a进行划分,来确定第三编码单元912a和912b。然而,当左侧第二编码单元910a在水平方向上被划分时,图像解码设备150可将右侧第二编码单元910b限制为不在左侧第二编码单元910a被划分的水平方向上被划分。当通过在同一方向上划分右侧第二编码单元910b来确定第三编码单元914a和914b时,因为左侧第二编码单元910a和右侧第二编码单元910b在水平方向上被独立地划分,所以可确定第三编码单元912a和912b、以及914a和914b。然而,这种情况与图像解码设备150基于块形状信息和划分形状信息中的至少一个将第一编码单元900划分为四个正方形的第二编码单元930a、930b、930c和930d的情况作用相同,并且在图像解码方面可能是低效的。

根据实施例,图像解码设备150可通过在垂直方向上对通过在水平方向上划分第一编码单元900而确定的非正方形的第二编码单元920a或920b进行划分,来确定第三编码单元922a和922b、或者第三编码单元924a和924b。然而,当第二编码单元(例如,上方第二编码单元920a)在垂直方向上被划分时,出于上述原因,图像解码设备150可将另一第二编码单元(例如,下方第二编码单元920b)限制为不在上方第二编码单元920a被划分的垂直方向上被划分。

图10示出根据实施例的当划分形状信息不能指示正方形编码单元将被划分为四个正方形编码单元时由图像解码设备150执行的对正方形编码单元进行划分的处理。

根据实施例,图像解码设备150可通过基于块形状信息和划分形状信息中的至少一个划分第一编码单元1000来确定第二编码单元1010a、1010b、1020a、1020b等。划分形状信息可包括关于可划分编码单元的各种形状的信息,但是关于各种形状的信息可能不能包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状信息,图像解码设备150不能将正方形的第一编码单元1000划分为四个正方形编码单元1030a、1030b、1030c和1030d。图像解码设备150可基于划分形状信息确定非正方形的第二编码单元1010a、1010b、1020a、1020b等。

根据实施例,图像解码设备150可独立地划分非正方形的第二编码单元1010a、1010b、1020a、1020b等中的每一个。第二编码单元1010a、1010b、1020a、1020b等中的每一个可按照预定顺序被递归地划分,并且该划分方法可与基于块形状信息和划分形状信息中的至少一个来划分第一编码单元1000的方法对应。

例如,图像解码设备150可通过在水平方向上划分左侧第二编码单元1010a来确定正方形的第三编码单元1012a和1012b,并且可通过在水平方向上划分右侧第二编码单元1010b来确定正方形的第三编码单元1014a和1014b。此外,图像解码设备150可通过在水平方向上划分左侧第二编码单元1010a和右侧第二编码单元1010b两者来确定正方形的第三编码单元1016a、1016b、1016c和1016d。在这种情况下,可确定与从第一编码单元1000划分出的四个正方形的第二编码单元1030a、1030b、1030c和1030d具有相同形状的编码单元。

作为另一示例,图像解码设备150可通过在垂直方向上划分上方第二编码单元1020a来确定正方形的第三编码单元1022a和1022b,并且可通过在垂直方向上划分下方第二编码单元1020b来确定正方形的第三编码单元1024a和1024b。此外,图像解码设备150可通过在垂直方向上划分上方第二编码单元1020a和下方第二编码单元1020b两者来确定正方形的第三编码单元1026a、1026b、1026c和1026d。在这种情况下,可确定与从第一编码单元1000划分出的四个正方形的第二编码单元1030a、1030b、1030c和1030d具有相同形状的编码单元。

图11示出根据实施例的多个编码单元之间的处理顺序可根据对编码单元进行划分的处理而改变。

根据实施例,图像解码设备150可基于块形状信息和划分形状信息来划分第一编码单元1100。当块形状信息指示正方形形状并且划分形状信息指示在水平方向和垂直方向中的至少一个方向上划分第一编码单元1100时,图像解码设备150可通过划分第一编码单元1100来确定第二编码单元(例如,第二编码单元1110a、1110b、1120a、1120b、1130a、1130b、1130c、1130d等)。参照图11,通过仅在水平方向或垂直方向上划分第一编码单元1100而确定的非正方形的第二编码单元1110a、1110b、1120a和1120b可基于每个编码单元的块形状信息和划分形状信息被独立地划分。例如,图像解码设备150可通过在水平方向上对通过在垂直方向上划分第一编码单元1100而生成的第二编码单元1110a和1110b进行划分来确定第三编码单元1116a、1116b、1116c和1116d,并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1100而生成的第二编码单元1120a和1120b进行划分来确定第三编码单元1126a、1126b、1126c和1126d。上面参照图9描述了划分第二编码单元1110a、1110b、1120a和1120b的操作,因此这里将不提供其详细描述。

根据实施例,图像解码设备150可按照预定顺序处理编码单元。上面已经参照图6描述了按照预定顺序处理编码单元的操作,因此这里将不提供其详细描述。参照图11,图像解码设备150可通过划分正方形的第一编码单元1100来确定四个正方形的第三编码单元1116a、1116b、1116c和1116d以及1126a、1126b、1126c和1126d。根据实施例,图像解码设备150可基于划分第一编码单元1100的形状来确定第三编码单元1116a、1116b、1116c和1116d以及1126a、1126b、1126c和1126d的处理顺序。

根据实施例,图像解码设备150可通过在水平方向上对通过在垂直方向上划分第一编码单元1100而生成的第二编码单元1110a和1110b进行划分来确定第三编码单元1116a、1116b、1116c和1116d,并且可按照如下处理顺序1117处理第三编码单元1116a、1116b、1116c和1116d:首先在垂直方向上处理左侧第二编码单元1110a中包括的第三编码单元1116a和1116c,然后在垂直方向上处理右侧第二编码单元1110b中包括的第三编码单元1116b和1116d。

根据实施例,图像解码设备150可通过在垂直方向上对通过在水平方向上划分第一编码单元1100而生成的第二编码单元1120a和1120b进行划分来确定第三编码单元1126a、1126b、1126c和1126d,并且可按照如下处理顺序1127处理第三编码单元1126a、1126b、1126c和1126d:首先在水平方向上处理上方第二编码单元1120a中包括的第三编码单元1126a和1126b,然后在水平方向上处理下方第二编码单元1120b中包括的第三编码单元1126c和1126d。

参照图11,可通过分别划分第二编码单元1110a、1110b、1120a和1120b来确定正方形的第三编码单元1116a、1116b、1116c和1116d以及1126a、1126b、1126c和1126d。尽管通过在垂直方向上划分第一编码单元1100而确定的第二编码单元1110a和1110b与通过在水平方向上划分第一编码单元1100而确定的第二编码单元1120a和1120b不同,但是从第二编码单元1110a和1110b以及第二编码单元1120a和1120b划分出的第三编码单元1116a、1116b、1116c和1116d以及第三编码单元1126a、1126b、1126c和1126d最终示出从第一编码单元1100划分出的相同形状的编码单元。如此,通过基于块形状信息和划分形状信息中的至少一个以不同的方式递归地划分编码单元,即使最终将编码单元确定为具有相同的形状,图像解码设备150也可按照不同顺序对多个编码单元进行处理。

图12示出根据实施例的当编码单元被递归划分从而确定多个编码单元时随着编码单元的形状和尺寸改变确定编码单元的深度的处理。

根据实施例,图像解码设备150可基于预定标准确定编码单元的深度。例如,所述预定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分后的当前编码单元的长边的长度的2n(n>0)倍时,图像解码设备150可确定当前编码单元的深度比划分之前的编码单元的深度增大n。在下面的描述中,具有增大的深度的编码单元被表示为更低深度的编码单元。

参照图12,根据实施例,图像解码设备150可通过基于指示正方形形状的块形状信息(例如,块形状信息可指示“0:SQUARE”)划分正方形的第一编码单元1200来确定更深深度的第二编码单元1202、第三编码单元1204等。假设正方形的第一编码单元1200的尺寸是2N×2N,通过将第一编码单元1200的宽度和高度划分为1/2而确定的第二编码单元1202可具有N×N的尺寸。此外,通过将第二编码单元1202的宽度和高度划分为1/2而确定的第三编码单元1204可具有N/2×N/2的尺寸。在这种情况下,第三编码单元1204的宽度和高度对应于第一编码单元1200的宽度和高度的1/2。当第一编码单元1200的深度为D时,宽度和高度是第一编码单元1200的宽度和高度的1/2的第二编码单元1202的深度可以是D+1,并且宽度和高度是第一编码单元1200的宽度和高度的1/2的第三编码单元1204的深度可以是D+2。

根据实施例,图像解码设备150可通过基于指示非正方形形状的块形状信息(例如,块形状信息可表示指示高度长于其宽度的非正方形形状的“1:NS_VER”,或者指示宽度长于其高度的非正方形形状的“2:NS_HOR”)划分非正方形的第一编码单元1210或1220,来确定更深深度的第二编码单元1212或1222、第三编码单元1214或1224等。

图像解码设备150可通过划分尺寸为N×2N的第一编码单元1210的宽度和高度中的至少一个来确定第二编码单元1202、1212或1222。也就是说,图像解码设备150可通过在水平方向上划分第一编码单元1210来确定尺寸为N×N的第二编码单元1202或尺寸为N×N/2的第二编码单元1222,或者可通过在水平方向和垂直方向上划分第一编码单元1210来确定尺寸为N/2×N的第二编码单元1212。

根据实施例,图像解码设备150可通过划分尺寸为2N×N的第一编码单元1220的宽度和高度中的至少一个来确定第二编码单元1202、1212或1222。也就是说,图像解码设备150可通过在垂直方向上划分第一编码单元1220来确定尺寸为N×N的第二编码单元1202或尺寸为N/2×N的第二编码单元1212,或者可通过在水平方向和垂直方向上划分第一编码单元1220来确定尺寸为N×N/2的第二编码单元1222。

根据实施例,图像解码设备150可通过划分尺寸为N×N的第二编码单元1202的宽度和高度中的至少一个来确定第三编码单元1204、1214或1224。也就是说,图像解码设备150可通过在垂直方向和水平方向上划分第二编码单元1202来确定尺寸为N/2×N/2的第三编码单元1204、尺寸为N/2×N/2的第三编码单元1214或尺寸为N/2×N/2的第三编码单元1224。

根据实施例,图像解码设备150可通过划分尺寸为N/2×N的第二编码单元1212的宽度和高度中的至少一个来确定第三编码单元1204、1214或1224。也就是说,图像解码设备150可通过在水平方向上划分第二编码单元1212来确定尺寸为N/2×N/2的第三编码单元1204或尺寸为N/2×N/2的第三编码单元1224,或者可通过在垂直方向和水平方向上划分第二编码单元1212来确定尺寸为N/2×N/2的第三编码单元1214。

根据实施例,图像解码设备150可通过划分尺寸为N×N/2的第二编码单元1214的宽度和高度中的至少一个来确定第三编码单元1204、1214或1224。也就是说,图像解码设备150可通过在垂直方向上划分第二编码单元1212来确定尺寸为N/2×N/2的第三编码单元1204或尺寸为N/2×N/2的第三编码单元1214,或者可通过在垂直方向和水平方向上划分第二编码单元1212来确定尺寸为N/2×N/2的第三编码单元1224。

根据实施例,图像解码设备150可在水平方向或垂直方向上划分正方形编码单元(例如,1200、1202或1204)。例如,图像解码设备150可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1200来确定尺寸为N×2N的第一编码单元1210,或者可通过在水平方向上划分第一编码单元1200来确定尺寸为2N×N的第一编码单元1220。根据实施例,当基于编码单元的最长边的长度确定深度时,通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1200、1202或1204而确定的编码单元的深度可与第一编码单元1200、1202或1204的深度相同。

根据实施例,第三编码单元1214或1224的宽度和高度可以是第一编码单元1210或1220的宽度和高度的1/2。当第一编码单元1210或1220的深度为D时,宽度和高度是第一编码单元1210或1220的宽度和高度的1/2的第二编码单元1212或1222的深度可以是D+1,宽度和高度是第一编码单元1210或1220的宽度和高度的1/2的第三编码单元1214或1224的深度可以是D+2。

图13示出根据实施例的可基于编码单元的形状和尺寸确定的深度以及用于标识编码单元的部分索引(PID)。

根据实施例,图像解码设备150可通过划分正方形的第一编码单元1300来确定各种形状的第二编码单元。参照图13,图像解码设备150可通过基于划分形状信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1300来确定第二编码单元1302a和1302b、第二编码单元1304a和1304b、以及第二编码单元1306a、1306b、1306c和1306d。也就是说,图像解码设备150可基于第一编码单元1300的划分形状信息来确定第二编码单元1302a和1302b、1304a和1304b以及1306a、1306b、1306c和1306d。

根据实施例,基于正方形的第一编码单元1300的划分形状信息确定的第二编码单元1302a和1302b、第二编码单元1304a和1304b以及第二编码单元1306a、1306b、1306c和1306d的深度可基于它们的长边的长度而被确定。例如,因为正方形的第一编码单元1300的边的长度等于非正方形的第二编码单元1302a和1302b以及1304a和1304b的长边的长度,所以第一编码单元1300和非正方形的第二编码单元1302a和1302b以及1304a和1304b可具有相同的深度,例如D。然而,当图像解码设备150基于划分形状信息将第一编码单元1300划分为四个正方形的第二编码单元1306a、1306b、1306c和1306d时,因为正方形的第二编码单元1306a、1306b、1306c和1306d的边的长度是第一编码单元1300的边的长度的1/2,所以第二编码单元1306a、1306b、1306c和1306d的深度可以是比第一编码单元1300的深度D深1的D+1。

根据实施例,图像解码设备150可通过基于划分形状信息在水平方向上划分高度长于其宽度的第一编码单元1310来确定多个第二编码单元1312a和1312b以及1314a、1314b和1314c。根据实施例,图像解码设备150可通过基于划分形状信息在垂直方向上划分宽度长于其高度的第一编码单元1320来确定多个第二编码单元1322a和1322b以及1324a、1324b和1324c。

根据实施例,基于非正方形的第一编码单元1310或1320的划分形状信息确定的第二编码单元1312a、1312b、1314a、1314b和1314c、或者1322a、1322b、1324a、1324b和1324c的深度可基于它们的长边的长度而被确定。例如,因为正方形的第二编码单元1312a和1312b的边的长度是高度长于其宽度的具有非正方形形状的第一编码单元1310的边的长度的1/2,所以正方形的第二编码单元1302a、1302b、1304a和1304b的深度是比非正方形的第一编码单元1310的深度D深1的D+1。

此外,图像解码设备150可基于划分形状信息将非正方形的第一编码单元1310划分为奇数个第二编码单元1314a、1314b和1314c。奇数个第二编码单元1314a、1314b和1314c可包括非正方形的第二编码单元1314a和1314c以及正方形的第二编码单元1314b。在这种情况下,因为非正方形的第二编码单元1314a和1314c的长边的长度以及正方形的第二编码单元1314b的边的长度是第一编码单元1310的边的长度的1/2,所以第二编码单元1314a、1314b和1314c的深度可以是比第一编码单元1310的深度D深1的D+1。图像解码设备150可通过使用上述确定从第一编码单元1310划分出的编码单元的深度的方法,确定从宽度长于其高度的非正方形的第一编码单元1320划分出的编码单元的深度。

根据实施例,当奇数个划分出的编码单元不具有相等的尺寸时,图像解码设备150可基于编码单元之间的尺寸比率来确定用于标识划分出的编码单元的PID。参照图13,奇数个划分出的编码单元1314a、1314b和1314c中的中心位置的编码单元1314b的宽度可等于其他编码单元1314a和1314c的宽度并且其高度是其他编码单元1314a和1314c的高度的两倍。也就是说,在这种情况下,中心位置处的编码单元1314b可包括两个其它编码单元1314a和1314c。因此,当中心位置处的编码单元1314b的PID基于扫描顺序而为1时,位于与编码单元1314b相邻位置的编码单元1314c的PID可增加2并且因此可以是3。也就是说,可能存在PID值不连续。根据实施例,图像解码设备150可基于用于标识划分出的编码单元的PID是否存在不连续,确定奇数个划分出的编码单元是否不具有相等的尺寸。

根据实施例,图像解码设备150可基于用于标识通过划分当前编码单元确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图13,图像解码设备150可通过划分具有高度长于其宽度的矩形形状的第一编码单元1310来确定偶数个编码单元1312a和1312b或奇数个编码单元1314a、1314b和1314c。图像解码设备150可使用指示各个编码单元的PID以便识别各个编码单元。根据实施例,可从每个编码单元的预定位置的样点(例如,左上样点)获得PID。

根据实施例,图像解码设备150可通过使用用于标识编码单元的PID来确定划分出的编码单元中的预定位置处的编码单元。根据实施例,当具有高度长于其宽度的矩形形状的第一编码单元1310的划分形状信息指示将编码单元划分为三个编码单元时,图像解码设备150可将第一编码单元1310划分为三个编码单元1314a、1314b和1314c。图像解码设备150可将PID分配给三个编码单元1314a、1314b和1314c中的每一个。图像解码设备150可对奇数个划分出的编码单元的PID进行比较,以确定编码单元中的中心位置处的编码单元。图像解码设备150可将PID与编码单元的PID中的中间值对应的编码单元1314b确定为通过划分第一编码单元1310确定的编码单元中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等的尺寸时,图像解码设备150可基于编码单元之间的尺寸比率确定用于标识划分出的编码单元的PID。参照图13,通过划分第一编码单元1310生成的编码单元1314b的宽度可等于其他编码单元1314a和1314c的宽度,并且其高度可以是其他编码单元1314a和1314c的高度的两倍。在这种情况下,当中心位置处的编码单元1314b的PID是1时,位于与编码单元1314b相邻位置的编码单元1314c的PID可增加2并且因此可以是3。当如上所述PID未均匀地增大时,图像解码设备150可确定编码单元被划分为多个编码单元,其中,所述多个编码单元包括尺寸与其他编码单元的尺寸不同的编码单元。根据实施例,当划分形状信息指示将编码单元划分为奇数个编码单元时,图像解码设备150可按照奇数个编码单元中的预定位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来划分当前编码单元。在这种情况下,图像解码设备150可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,将被确定的预定位置的编码单元的PID以及尺寸或位置不限于上述示例,并且可使用编码单元的各种PID以及各种位置和尺寸。

根据实施例,图像解码设备150可使用预定数据单元,其中,在该预定数据单元中开始递归地划分编码单元。

图14示出根据实施例的基于画面中包括的多个预定数据单元确定多个编码单元。

根据实施例,预定数据单元可被定义为通过使用块形状信息和划分形状信息中的至少一个开始递归地划分编码单元的数据单元。也就是说,预定数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元对应。在下面的描述中,为了便于解释,预定数据单元被称为参考数据单元。

根据实施例,参考数据单元可具有预定尺寸和预定形状。根据实施例,参考数据单元可包括M×N个样点。这里,M和N可彼此相等,并且可以是被表示为2的幂的整数。也就是说,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。

根据实施例,图像解码设备150可将当前画面划分为多个参考数据单元。根据实施例,图像解码设备150可通过使用针对每个参考数据单元的划分形状信息来对从当前画面划分出的多个参考数据单元进行划分。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。

根据实施例,图像解码设备150可预先确定当前画面中包括的参考数据单元所允许的最小尺寸。因此,图像解码设备150可确定具有等于或大于最小尺寸的尺寸的各种参考数据单元,并且可参考确定的参考数据单元通过使用划分形状信息和块形状信息来确定一个或更多个编码单元。

参照图14,图像解码设备150可使用正方形的参考编码单元1400或非正方形的参考编码单元1402。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)来确定参考编码单元的形状和尺寸。

根据实施例,图像解码设备150的接收器160可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经结合图10的划分当前编码单元300的操作描述了确定包括在正方形的参考编码单元1400中的一个或更多个编码单元的操作,并且上面已经结合图11的划分当前编码单元1100或1150的操作描述了确定包括在非正方形的参考编码单元1402中的一个或更多个编码单元的操作,因此,这里将不提供其详细描述。

根据实施例,图像解码设备150可根据基于预定条件预先确定的一些数据单元,使用用于标识参考编码单元的尺寸和形状的PID来确定参考编码单元的尺寸和形状。也就是说,接收器160可从比特流仅获得针对每个条带、条带片段或最大编码单元的用于标识参考编码单元的尺寸和形状的PID,其中,所述每个条带、条带片段或最大编码单元是各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)中的满足预定条件的数据单元(例如,尺寸等于或小于条带的数据单元)。图像解码设备150可通过使用PID确定针对满足预定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,并且因此,可仅获得并使用PID,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于标识参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。也就是说,图像解码设备150可通过选择基于PID预先确定的参考编码单元的尺寸和形状中的至少一个,确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。

根据实施例,图像解码设备150可使用包括在一个最大编码单元中的一个或更多个参考编码单元。也就是说,从图像划分出的最大编码单元可包括一个或更多个参考编码单元,并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例,最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说,根据各种实施例,图像解码设备150可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元,并且可基于块形状信息和划分形状信息中的至少一个来划分参考编码单元。

图15示出根据实施例的用作用于确定画面1500中包括的参考编码单元的确定顺序的单元的处理块。

根据实施例,图像解码设备150可确定从画面划分出的一个或更多个处理块。处理块是从图像划分出的包括一个或更多个参考编码单元的数据单元,并且可根据特定顺序确定处理块中包括的一个或更多个参考编码单元。也就是说,在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与各种类型的用于确定参考编码单元的顺序中的一个顺序对应,并且在每个处理块中确定的一个或更多个参考编码单元的确定顺序可根据处理块而变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如,光栅扫描、Z字形扫描、N字形扫描、右上对角线扫描、水平扫描和垂直扫描)中的一个,但不限于上述扫描顺序。

根据实施例,图像解码设备150可获得处理块尺寸信息,并且可确定包括在图像中的一个或更多个处理块的尺寸。图像解码设备150可从比特流获得处理块尺寸信息,并且可确定包括在图像中的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的预定尺寸。

根据实施例,图像解码设备150的接收器160可针对每个特定数据单元从比特流获得处理块尺寸信息。例如,可按照诸如图像、序列、画面、条带、条带片段等的数据单元从比特流获得处理块尺寸信息。也就是说,接收器160可针对各种数据单元中的每个数据单元从比特流获得处理块尺寸信息,图像解码设备150可通过使用获得的处理块尺寸信息确定从画面划分出的一个或更多个处理块的尺寸,并且处理块的尺寸可以是参考编码单元的尺寸的整数倍。

根据实施例,图像解码设备150可确定画面1500中包括的处理块1502和1512的尺寸。例如,图像解码设备150可基于从比特流获得的处理块尺寸信息确定处理块的尺寸。参照图15,根据实施例,图像解码设备150可将处理块1502和1512的宽度确定为参考编码单元的宽度的四倍,并且可将处理块1502和1512的高度确定为参考编码单元的高度的四倍。图像解码设备150可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。

根据实施例,图像解码设备150可基于处理块的尺寸确定画面1500中包括的处理块1502和1512,并且可确定包括在处理块1502和1512中的一个或更多个参考编码单元的确定顺序。根据实施例,参考编码单元的确定可包括确定参考编码单元的尺寸。

根据实施例,图像解码设备150可从比特流获得一个或更多个处理块中包括的一个或更多个参考编码单元的确定顺序信息,并且可基于获得的确定顺序信息来确定一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说,可针对每个处理块独立地确定参考编码单元的确定顺序。

根据实施例,图像解码设备150可针对每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如,接收器160可根据每个数据单元(诸如图像、序列、画面、条带、条带片段或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序,所以可针对包括整数个处理块的每个特定数据单元获得确定顺序信息。

根据实施例,图像解码设备150可基于确定的确定顺序来确定一个或更多个参考编码单元。

根据实施例,接收器160可从比特流获得参考编码单元的确定顺序信息作为与处理块1502和1512相关的信息,并且图像解码设备150可确定处理块1502和1512中包括的一个或更多个参考编码单元的确定顺序,并且可基于参考编码单元的确定顺序来确定画面1500中包括的一个或更多个参考编码单元。参照图15,图像解码设备150可分别确定处理块1502和1512中的一个或更多个参考编码单元的确定顺序1504和1514。例如,当针对每个处理块获得参考编码单元的确定顺序信息时,可针对处理块1502和1512获得参考编码单元的不同类型的确定顺序信息。当处理块1502中的参考编码单元的确定顺序1504是光栅扫描顺序时,可根据光栅扫描顺序确定处理块1502中包括的参考编码单元。反之,当另一处理块1512中的参考编码单元的确定顺序1514是反向光栅扫描顺序时,可根据反向光栅扫描顺序确定包括在处理块1512中的参考编码单元。参照图1A至图15,描述了将图像划分为最大编码单元并将最大编码单元划分为具有分层树结构的编码单元的方法。参照图16至图32,现在将描述根据CCLM模式对色度块进行预测的方法的实施例。

图16提供使用根据跨分量线性模型(CCLM)模式的色度块预测的视频解码设备1600。CCLM模式提供一种根据从与当前色度块相邻的样点获得的亮度色度线性模型从由当前色度块参考的参考亮度块对当前色度块进行预测的方法。将参照图18详细描述根据CCLM模式对当前色度块进行预测的方法。

视频解码设备1600包括帧内预测模式确定器1602和帧内预测器1604。帧内预测模式确定器1602确定将被应用于从视频图像划分出的多个块的帧内预测模式。然后,帧内预测器1604根据由帧内预测模式确定器1602确定的帧内预测模式对所述多个块进行帧内预测。图16示出在视频解码设备1600中仅包括与根据CCLM模式的帧内预测相关的帧内预测模式确定器1602和帧内预测器1604,但是根据实施例,视频解码设备1600还可包括对视频进行解码所需的其他组件。

帧内预测模式确定器1602可从自比特流获得的色度帧内预测信息确定当前色度块的帧内预测模式。色度帧内预测信息可被设置为指示DC模式、平面模式、垂直模式、水平模式、CCLM模式、与当前色度块对应的参考亮度块的帧内预测模式等中的一个。

根据实施例,当当前色度块的帧内预测模式根据色度帧内预测信息为CCLM模式时,帧内预测模式确定器1602可从比特流获得指示参考色度样点的位置的CCLM模式信息。然后,帧内预测模式确定器1602可基于根据CCLM模式信息的CCLM模式参考位置获得参考色度样点。然后,帧内预测模式确定器1602可获得与参考色度样点对应的参考亮度样点。

根据实施例,CCLM模式信息可指示左CCLM模式、上CCLM模式和左上CCLM模式中的一个,其中,左CCLM模式指示CCLM模式参考位置处于当前色度块的左侧和左下侧,上CCLM模式指示CCLM模式参考位置处于当前色度块的上侧和右上侧,左上CCLM模式指示CCLM模式参考位置处于当前色度块的左侧和上侧。

根据实施例,CCLM模式信息可不被包括在比特流中。当CCLM模式信息未被使用或未被包括在比特流中时,帧内预测模式确定器1602可根据默认CCLM模式来确定CCLM模式参考位置。默认CCLM模式可被设置为左CCLM模式、上CCLM模式和左上CCLM模式中的一个。

当当前色度块的帧内预测模式根据色度帧内预测信息为CCLM模式时,帧内预测器1604可获得与当前色度块相邻的参考色度样点以及与参考色度样点对应的参考亮度样点。

根据实施例,在与当前色度块相邻的色度样点中选择参考色度样点。参考色度样点位于与当前色度块相邻的预定CCLM模式参考位置。因此,参考色度样点被确定为在预定CCLM模式参考位置处且与当前色度块相邻的色度样点。

根据实施例,不管当前色度块的尺寸如何,预定CCLM模式参考位置的数量可被设置为常数。根据另一实施例,可根据当前色度块的尺寸设置CCLM模式参考位置的数量。例如,CCLM模式参考位置的数量可与当前色度块的尺寸成比例地设置。

根据实施例,预定CCLM模式参考位置可包括与当前色度块的上侧紧邻的色度样点中的位于最右侧的第一上参考色度样点、位于中间的第二上参考色度样点和位于最左侧的第三上参考色度样点的位置、以及与当前色度块的左侧紧邻的色度样点中的位于上方的第一左参考色度样点、位于中间的第二左参考色度样点和位于下方的第三左参考色度样点的位置。

根据实施例,预定CCLM模式参考位置可包括与当前色度块的上侧紧邻的色度样点中的位于最左侧的色度样点与中间的色度样点之间的第四上参考色度样点和位于最右侧的色度样点与中间的色度样点之间的第五上参考色度样点的位置、以及与当前色度块的左侧紧邻的色度样点中的位于上方的色度样点与中间的色度样点之间的第四左参考色度样点和位于下方的色度样点与中间的色度样点之间的第五左参考色度样点的位置。

根据实施例,当色度样点在预定CCLM模式参考位置处不可用时,可从CCLM模式默认参考位置获得色度样点。可选地,替代地,具有默认值的色度样点可被用于CCLM模式。可选地,替代地,最接近预定CCLM模式参考位置的色度样点可被用于CCLM模式。

将参照图19至图29描述CCLM模式参考位置的各种实施例。

根据实施例,当从比特流获得CCLM模式信息时,帧内预测器1604可根据由CCLM模式信息指示的CCLM模式来确定CCLM模式参考位置。

帧内预测器1604根据参考色度样点的位置确定参考亮度样点。根据实施例,可通过根据颜色格式对亮度样点进行子采样来获得参考亮度样点,其中,所述亮度样点对应于参考色度样点的位置。可选地,与参考色度样点的位置对应的一个或更多个亮度样点中的一个亮度样点可被确定为参考亮度样点。将参照图30描述确定参考亮度样点的方法的各种实施例。

根据实施例,可通过根据参考色度样点的位置和参考亮度样点的位置确定亮度-色度样点对并且根据亮度-色度样点对确定亮度样点和色度样点的线性模型,来确定参考色度样点与参考亮度样点之间的相关性。

根据实施例,可根据基于亮度-色度样点对的线性回归分析来确定亮度样点和色度样点的线性模型。

根据实施例,可根据第一代表性亮度样点值、第一代表性色度样点值、第二代表性亮度样点值和第二代表性色度样点值来确定亮度样点和色度样点的线性模型。

根据实施例,可从亮度-色度样点对中的具有最大亮度样点值的亮度-色度样点对确定第一代表性亮度样点值和第一代表性色度样点值。可从亮度-色度样点对中的具有最小亮度样点值的亮度-色度样点对确定第二代表性亮度样点值和第二代表性色度样点值。

根据实施例,可从第一亮度-色度样点对组确定第一代表性亮度样点值和第一代表性色度样点值,并且可从第二亮度-色度样点对组确定第二代表性亮度样点值和第二代表性色度样点值。第一亮度-色度样点对组可包括亮度-色度样点对中的具有大亮度样点值的亮度-色度样点对。此外,第二亮度-色度样点对组可包括亮度-色度样点对中的具有小亮度样点值的亮度-色度样点对。

例如,当从四个亮度-色度样点对确定亮度样点和色度样点的线性模型时,可从具有大色度样点值的两个亮度-色度样点对确定第一代表性色度样点值和第一代表性亮度样点值,并且可从具有小色度样点值的两个亮度-色度样点对确定第二代表性色度样点值和第二代表性亮度样点值。

根据实施例,可从第一代表性亮度样点值(Xb)、第一代表性色度样点值(Xa)、第二代表性亮度样点值(Yb)和第二代表性色度样点值(Ya)确定线性模型的缩放参数(Α)和偏移参数(β)。下面的等式1指示缩放参数(Α)的计算公式,并且下面的等式2指示偏移参数(β)的计算公式。

[等式1]

[等式2]

β=Yb-α·Xb

帧内预测器1604可基于参考色度样点与参考亮度样点之间的相关性以及与当前色度块对应的参考亮度块来预测当前色度块。在当前色度块之前对参考亮度块进行解码,并且参考亮度块的位置对应于当前色度块的位置。通过将对应亮度样点的样点值应用于亮度样点和色度样点的线性模型来确定当前色度块的色度样点。

例如,可基于缩放参数(Α)和偏移参数(β)根据参考亮度块的亮度样点(recL'(i,j))来确定当前色度块的色度样点(predc(i,j))。下面的等式3指示当前色度块的色度样点(predc(i,j))与参考亮度块的亮度样点(recL'(i,j))之间的线性关系。

[等式3]

predc(i,j)=α·recL′(i,j)+β

视频解码设备1600的帧内预测模式确定器1602和帧内预测器1604可包括用于执行视频解码设备1600的视频解码方法的一个或更多个指令。视频解码设备1600的帧内预测模式确定器1602和帧内预测器1604可被实现为包括所述一个或更多个指令的程序。视频解码设备1600可包括存储所述程序的一个或更多个存储器装置以及被配置为执行所述程序的所述一个或更多个指令的一个或更多个处理器。包括所述一个或更多个指令的所述程序可被存储在计算机可记录存储介质中。

图17提供使用根据CCLM模式的色度块预测的视频编码设备1700。

视频编码设备1700包括帧内预测器1702、帧内预测模式确定器1704和比特流生成器1706。帧内预测器1702根据各种帧内预测模式对包括在视频图像中的当前色度块进行帧内预测。帧内预测模式确定器1704根据各种帧内预测模式的帧内预测结果,将最高效的帧内预测模式确定为当前色度块的帧内预测模式。比特流生成器1706生成包括指示当前色度块的帧内预测模式的色度帧内预测信息的比特流。

图17示出在视频编码设备1700中仅包括与根据CCLM模式的帧内预测相关的帧内预测器1702、帧内预测模式确定器1704和比特流生成器1706,但是根据实施例,视频编码设备1700还可包括对视频进行编码所需的其他组件。

帧内预测器1702根据CCLM模式对当前色度块进行预测。对于基于CCLM模式的预测,帧内预测器1702获得与当前色度块相邻的参考色度样点以及与参考色度样点对应的参考亮度样点。然后,帧内预测器1702基于参考色度样点与参考亮度样点之间的相关性以及与当前色度块对应的参考亮度块来对当前色度块进行预测。

帧内预测模式确定器1704根据基于CCLM模式针对当前色度块的预测结果来确定CCLM模式是否将被应用于当前色度块。

比特流生成器1706生成包括指示CCLM模式是否将被应用于当前色度块的色度帧内预测信息的比特流。

根据实施例,可根据参考色度样点的位置将CCLM模式分类为左CCLM模式、上CCLM模式和左上CCLM模式。帧内预测器1702可根据左CCLM模式对当前色度块进行预测。帧内预测器1702可根据上CCLM模式对当前色度块进行预测。此外,帧内预测器1702可根据左上CCLM模式对当前色度块进行预测。

帧内预测模式确定器1704可基于根据左CCLM模式针对当前色度块的预测结果、根据上CCLM模式针对当前色度块的预测结果以及根据左上CCLM模式针对当前色度块的预测结果,来确定左CCLM模式、上CCLM模式和左上CCLM模式中的哪一个CCLM模式将被应用于当前色度块。然后,比特流生成器1706可生成包括指示参考色度样点的位置的CCLM模式信息的比特流。

图17的视频编码设备1700的CCLM模式可被设置为等于图16的视频解码设备1600的CCLM模式的预测方法。因此,图17的CCLM模式具有图16的CCLM模式的特性。

视频编码设备1700的帧内预测器1702、帧内预测模式确定器1704和比特流生成器1706可包括用于执行视频编码设备1700的视频编码方法的一个或更多个指令。视频编码设备1700的帧内预测器1702、帧内预测模式确定器1704和比特流生成器1706可被实现为包括所述一个或更多个指令的程序。视频编码设备1700可包括存储所述程序的一个或更多个存储器装置以及被配置为执行所述程序的所述一个或更多个指令的一个或更多个处理器。包括所述一个或更多个指令的所述程序可被存储在计算机可记录存储介质中。

在下文中,参照图18至图29,现在将详细描述CCLM模式的实施例。在图18至图29中,位于色度块的左上方的样点的坐标被设置为参考点(0,0)。样点的坐标的x分量向右增加,并且向左减小。样点的坐标的y分量向下增加并且向上减小。

图18示出根据实施例的根据CCLM模式的预测方法。

在当前色度块1800的色度样点与对应于当前色度块1800的参考亮度块1820的亮度样点之间可存在线性相关性。因此,根据当前色度块1800与参考亮度块1820之间的线性相关性,将很可能从参考亮度块1820精确地预测当前色度块1800。CCLM模式提供一种根据上述线性相关性对当前色度块1800进行预测的方法。

因为当前色度块1800未被解码,所以视频解码器无法准确地推导当前色度块1800与参考亮度块1820之间的线性相关性。当前色度块1800的已经被解码的相邻色度样点1810与参考亮度块1820的已经被解码的相邻亮度样点1830之间的线性相关性类似于当前色度块1800与参考亮度块1820之间的线性相关性。因此,替代地,将当前色度块1800的相邻色度样点1810与参考亮度块1820的相邻亮度样点1830之间的线性相关性应用于当前色度块1800。

根据在空间上同位置的亮度样点和色度样点的亮度-色度样点对来确定相邻色度样点1810与相邻亮度样点1830之间的线性相关性。例如,根据色度样点1812和与色度样点1812对应的四个亮度样点1832来确定一个亮度-色度样点对。

亮度-色度样点对可被表示为(L,C)。其中,上述L指示亮度样点的样点值,并且上述C指示色度样点的样点值。例如,在色度样点1812和四个亮度样点1832的亮度-色度样点对中,L可被确定为四个亮度样点1832的平均样点值或四个亮度样点1832中的一个样点值,并且C可被确定为色度样点1812的样点值。

参照图18,根据4:2:0的颜色格式,描述了当前色度块1800与参考亮度块1820之间的关系。当颜色格式为4:2:0时,四个亮度样点对应于一个色度样点。因此,示出了色度样点1812对应于四个亮度样点1832。

然而,当颜色格式为4:2:2(其中,两个亮度样点对应于一个色度样点)时,每个色度样点可对应于两个亮度样点。此外,当颜色格式为4:4:4(其中,一个亮度样点对应于一个色度样点)时,每个色度样点可对应于一个亮度样点。

根据包括在相邻色度样点1810和相邻亮度样点1830中的所有亮度样点和色度样点,可确定多个亮度-色度样点对。然后,可从所述多个亮度-色度样点对推导相邻色度样点1810与相邻亮度样点1830之间的线性相关性。从线性相关性,可推导用于从参考亮度块1820预测当前色度块1800的线性模型。

根据实施例,可根据包括在相邻色度样点1810和相邻亮度样点1830中的一些亮度样点和色度样点来确定一个或更多个亮度-色度样点对。当从包括在相邻色度样点1810和相邻亮度样点1830中的所有亮度样点和色度样点的亮度-色度样点对推导线性相关性时,针对CCLM模式的计算量可能非常大。具体地,当当前色度块1800大于预定尺寸时,编码和解码速率可能由于根据CCLM模式的计算量的增加而降低。因此,通过仅使用包括在相邻色度样点1810和相邻亮度样点1830中的一些亮度样点和色度样点,根据CCLM模式的计算量的增加可受到约束。

图19至图26示出相邻色度样点1810和相邻亮度样点1830中的在CCLM模式下使用的亮度样点和色度样点的各种实施例。

图19示出由尺寸为4×4的色度块1900参考的CCLM模式参考位置。

根据CCLM模式参考位置将与色度块1900相邻的色度样点1910中的一些色度样点选为参考色度样点。根据实施例,色度样点1912、1914、1916、1918、1920、1922、1924、1926和1928的位置中的至少两个位置被确定为CCLM模式参考位置。

根据实施例,上色度样点1912、1914、1916、1918和1920的位置中的两个位置以及左色度样点1922、1924、1926和1928的位置中的两个位置可被确定为CCLM模式参考位置。

此外,根据实施例,上色度样点1912、1914、1916、1918和1920的位置中的一个位置以及左色度样点1922、1924、1926和1928的位置中的一个位置可被确定为CCLM模式参考位置。

图20示出由尺寸为8×8的色度块2000参考的CCLM模式参考位置。

根据CCLM模式参考位置将与色度块2000相邻的色度样点2010中的一些色度样点选为参考色度样点。根据实施例,色度样点2012、2014、2016、2018、2020、2022、2024、2026、2028、2030、2032、2034、2036、2038、2040、2042和2044的位置中的至少两个位置被确定为CCLM模式参考位置。

根据实施例,上色度样点2012、2014、2016、2018、2020、2022、2024、2026和2028的位置中的四个位置以及左色度样点2030、2032、2034、2036、2038、2040、2042和2044的位置中的四个位置可被确定为CCLM模式参考位置。

根据实施例,上色度样点2012、2014、2016、2018、2020、2022、2024、2026和2028的位置中的两个位置以及左色度样点2030、2032、2034、2036、2038、2040、2042和2044的位置中的两个位置可被确定为CCLM模式参考位置。

根据实施例,上色度样点2012、2014、2016、2018、2020、2022、2024、2026和2028的位置中的一个位置以及左色度样点2030、2032、2034、2036、2038、2040、2042和2044的位置中的一个位置可被确定为CCLM模式参考位置。

图21示出由尺寸为4×8的色度块2100参考的CCLM模式参考位置。

根据CCLM模式参考位置将与色度块2100相邻的色度样点2110中的一些色度样点选为参考色度样点。根据实施例,色度样点2112、2114、2116、2118、2120、2122、2124、2126、2128、2130、2132、2134和2136的位置中的至少两个位置被确定为CCLM模式参考位置。

根据实施例,上色度样点2112、2114、2116、2118和2120的位置中的两个位置以及左色度样点2122、2124、2126、2128、2130、2132、2134和2136的位置中的四个位置可被确定为CCLM模式参考位置。

根据实施例,上色度样点2112、2114、2116、2118和2120的位置中的两个位置以及左色度样点2122、2124、2126、2128、2130、2132、2134和2136的位置中的两个位置可被确定为CCLM模式参考位置。

根据实施例,上色度样点2112、2114、2116、2118和2120的位置中的一个位置以及左色度样点2122、2124、2126、2128、2130、2132、2134和2136的位置中的一个位置可被确定为CCLM模式参考位置。

图22示出由尺寸为8×4的色度块2200参考的CCLM模式参考位置。

根据CCLM模式参考位置将与色度块2200相邻的色度样点2210中的一些色度样点选为参考色度样点。根据实施例,色度样点2212、2214、2216、2218、2222、2222、2224、2226、2228、2230、2232、2234和2236的位置中的至少两个位置被确定为CCLM模式参考位置。

根据实施例,上色度样点2212、2214、2216、2218、2220、2222、2224、2226和2228的位置中的四个位置以及左色度样点2230、2232、2234和2236的位置中的两个位置可被确定为CCLM模式参考位置。

根据实施例,上色度样点2212、2214、2216、2218、2220、2222、2224、2226和2228的位置中的两个位置以及左色度样点2230、2232、2234和2236的位置中的两个位置可被确定为CCLM模式参考位置。

根据实施例,上色度样点2212、2214、2216、2218、2220、2222、2224、2226和2228的位置中的一个位置以及左色度样点2230、2232、2234和2236的位置中的一个位置可被确定为CCLM模式参考位置。

根据图18至图21,可针对上色度样点和左色度样点中的每一个设置一个CCLM模式参考位置。可选地,可针对上色度样点和左色度样点中的每一者设置两个CCLM模式参考位置。可选地,可针对上色度样点和左色度样点设置与色度块的尺寸成比例的CCLM模式参考位置的数量。

图23示出在左上CCLM模式下由尺寸为M×N的色度块2300参考的CCLM模式参考位置的实施例。其中,M和N分别是正整数。

根据CCLM模式参考位置将与色度块2300相邻的上色度样点2310中的一些上色度样点和左色度样点2320中的一些左色度样点选为参考色度样点。CCLM模式参考位置之间的间隔被设置为在CCLM模式参考位置之间是规则的。例如,CCLM模式参考位置2312、2314、2316和2318可被设置为使得针对上色度样点2310在CCLM模式参考位置2312、2314、2316和2318之间可使用k样点单位的间隔。此外,CCLM模式参考位置2322、2324、2326和2328可被设置为使得针对左色度样点2320在CCLM模式参考位置2322、2324、2326和2328之间可使用k样点单位的间隔。其中,上述k是等于或大于2的整数。

在图23中,可与块的尺寸成比例地确定针对上色度样点2310的CCLM模式参考位置。例如,当M值为32且k为4时,可针对上色度样点2310确定8个CCLM模式参考位置。因此,可与块的宽度(M)成比例地确定针对上色度样点2310的CCLM模式参考位置的数量。

同样地,类似于上色度样点2310,可与块的尺寸成比例地确定针对左色度样点2320的CCLM模式参考位置。因此,可与块的高度(N)成比例地确定针对左色度样点2320的CCLM模式参考位置的数量。

根据实施例,仅CCLM模式参考位置的数量可根据块的尺寸被自适应地确定,并且CCLM模式参考位置之间的间隔可被设置为不规则。

图24示出在左上CCLM模式下由尺寸为M×N的色度块2400参考的CCLM模式参考位置的实施例。其中,上述M和N分别是正整数。

根据图24,从上色度样点2410确定三个CCLM模式参考位置2412、2414和2416,并且从左色度样点2420确定三个CCLM模式参考位置2422、2424和2426。与图23的实施例不同,确定CCLM模式参考位置的数量,而不管色度块2400的尺寸(M×N)如何。因此,当色度块2400的尺寸大时,根据CCLM模式的预测所需的计算量的增加可受到约束。

根据实施例,第一上CCLM模式参考位置2412与色度块2400的左上顶点相邻。例如,第一上CCLM模式参考位置2412的坐标可被设置为(0,-1)。第二上CCLM模式参考位置2414与色度块2400的上中心点相邻。例如,第二上CCLM模式参考位置2414的坐标可被设置为(M/2,-1)。第三上CCLM模式参考位置2416与色度块2400的右上顶点相邻。例如,第三上CCLM模式参考位置2416的坐标可被设置为(M-1,-1)。

根据实施例,第一左CCLM模式参考位置2422与色度块2400的左上顶点相邻。例如,第一左CCLM模式参考位置2422的坐标可被设置为(-1,0)。第二左CCLM模式参考位置2424与色度块2400的左端中心点相邻。例如,第二左CCLM模式参考位置2424的坐标可被设置为(-1,N/2)。第三左CCLM模式参考位置2426与色度块2400的左下顶点相邻。例如,第三左CCLM模式参考位置2426的坐标可被设置为(-1,N-1)。

本领域普通技术人员可改变图24中介绍的六个CCLM模式参考位置。因此,为了优化CCLM模式,所述六个CCLM模式参考位置可根据预定样点单位而改变。

图25示出在左上CCLM模式下由尺寸为M×N的色度块2500参考的CCLM模式参考位置的实施例。其中,上述M和N分别是正整数。

根据图25,从上色度样点2510确定两个CCLM模式参考位置2512和2514,并且从左色度样点2520确定两个CCLM模式参考位置2522和2524。如在图24的实施例中,确定CCLM模式参考位置的数量,而不管色度块2500的尺寸(M×N)如何。因此,当色度块2500的尺寸大时,根据CCLM模式的预测所需的计算量的增加可受到约束。

根据实施例,第四上CCLM模式参考位置2512位于色度块2500的左上顶点与色度块2500的上中心点之间的中间。例如,第四上CCLM模式参考位置2512的坐标可被设置为(M/4,-1)。第五上CCLM模式参考位置2514位于色度块2500的右上顶点与色度块2500的上中心点之间的中间。例如,第五上CCLM模式参考位置2514的坐标可被设置为(3M/4,-1)。

根据实施例,第四左CCLM模式参考位置2522位于色度块2500的左上顶点与色度块2500的左端中心点之间的中间。例如,第四左CCLM模式参考位置2522的坐标可被设置为(-1,N/4)。第五左CCLM模式参考位置2524位于色度块2500的左下顶点与色度块2500的左端中心点之间的中间。例如,第五左CCLM模式参考位置2524的坐标可被设置为(-1,3N/4)。

本领域普通技术人员可改变图25中介绍的四个CCLM模式参考位置。因此,为了优化CCLM模式,所述四个CCLM模式参考位置可根据预定样点单位而改变。

图26示出在上CCLM模式下由尺寸为M×N的色度块2600参考的CCLM模式参考位置的实施例。其中,上述M和N分别是正整数。

根据CCLM模式参考位置将与色度块2600相邻的上色度样点2610中的一些上色度样点选为参考色度样点。CCLM模式参考位置之间的间隔被设置为在CCLM模式参考位置之间是规则的。例如,CCLM模式参考位置2612、2614、2616、2618、2620、2622、2624、2626和2628可被设置为使得针对上色度样点2610在CCLM模式参考位置2612、2614、2616、2618、2620、2622、2624、2626和2628之间可使用k样点单位的间隔。其中,上述k是等于或大于2的整数。在上CCLM模式下不使用左色度样点2620。

在图26中,可与块的宽度成比例地确定CCLM模式参考位置。例如,当M值为32且k为4时,可针对上色度样点2610确定16个CCLM模式参考位置。因此,可与块的宽度(M)的2倍成比例地确定针对上色度样点2610的CCLM模式参考位置的数量。

位于色度块2600的右上方的色度样点远离色度块2600,并且因此与色度块2600具有相对小的相似性。因此,根据实施例,CCLM模式参考位置可被设置为使得位于色度块2600的上方的色度样点多于位于右上方的色度样点。

根据实施例,仅CCLM模式参考位置的数量可根据块的尺寸被自适应地确定,并且CCLM模式参考位置之间的间隔可被设置为不规则。

图27示出在上CCLM模式下由尺寸为M×N的色度块2700参考的CCLM模式参考位置的实施例。其中,上述M和N分别是正整数。

参照图27,从上色度样点2710确定四个CCLM模式参考位置2712、2714、2716和2718。与图26的实施例不同,确定CCLM模式参考位置的数量,而不管色度块2700的尺寸(M×N)如何。因此,当色度块2700的尺寸大时,根据CCLM模式的预测所需的计算量的增加可受到约束。

根据实施例,第四上CCLM模式参考位置2712可位于色度块2700的左上顶点与色度块2700的上中心点之间的中间。例如,第四上CCLM模式参考位置2712的坐标可被设置为(M/4,-1)。第五上CCLM模式参考位置2714可位于色度块2700的右上顶点与色度块2700的上中心点之间的中间。例如,第五上CCLM模式参考位置2714的坐标可被设置为(3M/4,-1)。

第六上CCLM模式参考位置2716可位于在右侧方向上与色度块2700的右上顶点相距色度块2700的宽度(M)的1/4的点处。例如,第六上CCLM模式参考位置2716的坐标可被设置为(5M/4,-1)。第七上CCLM模式参考位置2718可位于在右侧方向上与色度块2700的右上顶点相距色度块2700的宽度(M)的3/4的点处。例如,第七上CCLM模式参考位置2718的坐标可被设置为(7M/4,-1)。

根据另一实施例,第四上CCLM模式参考位置2712可在左侧方向上与色度块2700的左上顶点相距与色度块2700的宽度和高度之和的1/8对应的值。例如,第四上CCLM模式参考位置2712的坐标可被设置为((M+N)/8,-1)。第五上CCLM模式参考位置2714可在左侧方向上与色度块2700的左上顶点相距与色度块2700的宽度和高度之和的3/8对应的值。例如,第五上CCLM模式参考位置2714的坐标可被设置为(3(M+N)/8,-1)。

第六上CCLM模式参考位置2716可在左侧方向上与色度块2700的左上顶点相距与色度块2700的宽度和高度之和的5/8对应的值。例如,第六上CCLM模式参考位置2716的坐标可被设置为(5(M+N)/8,-1)。第七上CCLM模式参考位置2718可在左侧方向上与色度块2700的左上顶点相距与色度块2700的宽度和高度之和的7/8对应的值。例如,第七上CCLM模式参考位置2718的坐标可被设置为(7(M+N)/8,-1)。

本领域普通技术人员可改变图27中介绍的四个CCLM模式参考位置。因此,为了优化CCLM模式,所述四个CCLM模式参考位置可根据预定样点单位而改变。

图28示出在左CCLM模式下由尺寸为M×N的色度块2800参考的CCLM模式参考位置的实施例。其中,上述M和N分别是正整数。

根据CCLM模式参考位置将与色度块2800相邻的左色度样点2820中的一些左色度样点选为参考色度样点。CCLM模式参考位置之间的间隔被设置为在CCLM模式参考位置之间是规则的。例如,CCLM模式参考位置2822、2824、2826、2828、2830、2832、2834、2836和2838可被设置为使得针对左色度样点2820在CCLM模式参考位置2822、2824、2826、2828、2830、2832、2834、2836和2838之间可使用k样点单位的间隔。其中,上述k是等于或大于2的整数。在左CCLM模式下不使用上色度样点2810。

在图28中,可与块的高度成比例地确定CCLM模式参考位置。例如,当N值为32且k为4时,可针对左色度样点2820确定16个CCLM模式参考位置。因此,可与块的高度(N)的2倍成比例地确定针对左色度样点2820的CCLM模式参考位置的数量。

位于色度块2800的左下方的色度样点远离色度块2800,并且因此与色度块2800具有相对小的相似性。因此,根据实施例,CCLM模式参考位置可被设置为使得位于色度块2800左侧的色度样点多于位于左下方的色度样点。

根据实施例,仅CCLM模式参考位置的数量可根据块的尺寸被自适应地确定,并且CCLM模式参考位置之间的间隔可被设置为不规则。

图29示出在左CCLM模式下由尺寸为M×N的色度块2900参考的CCLM模式参考位置的实施例。其中,上述M和N分别是正整数。

参照图29,从左色度样点2920确定四个CCLM模式参考位置2922、2924、2926和2928。与图28的实施例不同,确定CCLM模式参考位置的数量,而不管色度块2900的尺寸(M×N)如何。因此,当色度块2900的尺寸大时,根据CCLM模式的预测所需的计算量的增加可受到约束。

根据实施例,第四左CCLM模式参考位置2922可位于色度块2900的左上顶点与色度块2900的左端中心点之间的中间。例如,第四左CCLM模式参考位置2922的坐标可被设置为(-1,N/4)。第五左CCLM模式参考位置2924可位于色度块2900的左下顶点与色度块2900的左端中心点之间的中间。例如,第五左CCLM模式参考位置2924的坐标可被设置为(-1,3N/4)。

第六左CCLM模式参考位置2926可位于在下方方向上与色度块2900的左下顶点相距色度块2900的高度(N)的1/4的点处。例如,第六左CCLM模式参考位置2926的坐标可被设置为(-1,5N/4)。第七左CCLM模式参考位置2928可位于在下方方向上与色度块2900的左下顶点相距色度块2900的高度(N)的3/4的点处。例如,第七左CCLM模式参考位置2928的坐标可被设置为(-1,7N/4)。

根据另一实施例,第四左CCLM模式参考位置2922可在下方方向上与色度块2900的左上顶点相距与色度块2900的宽度和高度之和的1/8对应的值。例如,第四左CCLM模式参考位置2922的坐标可被设置为(-1,(M+N)/8)。第五左CCLM模式参考位置2924可在下方方向上与色度块2900的左上顶点相距与色度块2900的宽度和高度之和的3/8对应的值。例如,第五左CCLM模式参考位置2924的坐标可被设置为(-1,3(M+N)/8)。

第六左CCLM模式参考位置2926可在下方方向上与色度块2900的左上顶点相距与色度块2900的宽度和高度之和的5/8对应的值。例如,第六左CCLM模式参考位置2926的坐标可被设置为(-1,5(M+N)/8)。第七左CCLM模式参考位置2928可在下方方向上与色度块2900的左上顶点相距与色度块2900的宽度和高度之和的7/8对应的值。例如,第七左CCLM模式参考位置2928的坐标可被设置为(-1,7(M+N)/8)。

本领域普通技术人员可改变图29中介绍的四个CCLM模式参考位置。因此,为了优化CCLM模式,所述四个CCLM模式参考位置可根据预定样点单位而改变。

图30描述从与参考色度样点3020对应的区域3010的多个亮度样点3030、3032、3034、3036、3038、3040、3042、3044和3046确定与参考色度样点3020对应的参考亮度样点的实施例。图像3000的每个正方形表示亮度样点,并且每个圆圈表示色度样点。

在图30中,根据4:2:0的颜色格式排列图像3000的亮度样点和色度样点。根据4:2:0的颜色格式,一个色度样点对应于四个亮度样点。区域3010包括一个参考色度样点3020以及与参考色度样点3020的位置相邻的9个亮度样点3030、3032、3034、3036、3038、3040、3042、3044和3046。为了确定参考色度样点3020的亮度-色度样点对,必须从9个亮度样点3030、3032、3034、3036、3038、3040、3042、3044和3046获得与参考色度样点3020对应的一个亮度样点。

根据实施例,可根据9个亮度样点3030、3032、3034、3036、3038、3040、3042、3044和3046的平均样点值来确定参考亮度样点。可选地,可根据9个亮度样点3030、3032、3034、3036、3038、3040、3042、3044和3046的加权平均样点值来确定参考亮度样点。此外,除了9个亮度样点3030、3032、3034、3036、3038、3040、3042、3044和3046之外,可在确定参考亮度样点时另外参考与区域3010相邻的多个亮度样点。

根据实施例,可根据区域3010的三个亮度样点3036、3038和3040的加权平均值来确定参考亮度样点。将被应用于三个亮度样点3036、3038和3040的权重可被设置为[1,2,1]。

根据实施例,可根据区域3010的三个亮度样点3032、3038和3044的加权平均值来确定参考亮度样点。将被应用于三个亮度样点3032、3038和3044的权重可被设置为[1,2,1]。

根据实施例,可根据区域3010的五个亮度样点3032、3036、3038、3040和3044的加权平均值来确定参考亮度样点。将被应用于五个亮度样点3032、3036、3038、3040和3044的权重可被设置为[1,1,4,1,1]。

根据实施例,可根据区域3010的六个亮度样点3036、3038、3040、3042、3044和3046的加权平均值来确定参考亮度样点。将被应用于六个亮度样点3036、3038、3040、3042、3044和3046的权重可被设置为[1,2,1,1,2,1]。

根据实施例,可根据九个亮度样点3030、3032、3034、3036、3038、3040、3042、3044和3046中的一个亮度样点来确定参考亮度样点。因为九个亮度样点3030、3032、3034、3036、3038、3040、3042、3044和3046中的样点值之间的差可能较小,所以可通过简单地仅使用九个亮度样点3030、3032、3034、3036、3038、3040、3042、3044和3046中的一个亮度样点来减少确定参考亮度样点所需的计算量。例如,可通过仅使用区域3010的特定位置处的亮度样点来确定参考亮度样点。因此,仅位于左上方的亮度样点3030可被用于确定参考亮度样点。

与图30的颜色格式不同,当4:2:2的颜色格式被应用于图像3000时,一个色度样点对应于两个亮度样点。因此,从与参考色度样点对应的两个亮度样点确定与参考色度样点对应的参考亮度样点。因此,可从所述两个亮度样点的平均样点值或者从所述两个亮度样点中的一个样点值确定参考亮度样点。

与图30的颜色格式不同,当4:4:4的颜色格式被应用于图像3000时,一个色度样点对应于一个亮度样点。因此,参考亮度样点可被确定为与参考色度样点对应的亮度样点。

图31是根据CCLM模式的视频解码方法3100的流程图。

在操作3102,根据从比特流获得的色度帧内预测信息来确定当前色度块的帧内预测模式。

在操作3104,当当前色度块的帧内预测模式根据色度帧内预测信息是CCLM模式时,获得与当前色度块相邻的参考色度样点和与参考色度样点对应的参考亮度样点。

在操作3106,基于参考色度样点与参考亮度样点之间的相关性以及与当前色度块对应的参考亮度块来预测当前色度块。

参照图16描述的根据CCLM模式的视频解码设备1600的功能可被应用于根据CCLM模式的视频解码方法3100。视频解码方法3100的每个操作可由视频解码设备1600的帧内预测模式确定器1602和帧内预测器1604来执行。此外,视频解码方法3100的每个操作可由实质上执行帧内预测模式确定器1602和帧内预测器1604的功能的一个或更多个处理器来执行。

图32是根据CCLM模式的视频编码方法3200的流程图。

在操作3202,获得与当前色度块相邻的参考色度样点和与参考色度样点对应的参考亮度样点。然后,基于参考色度样点与参考亮度样点之间的相关性以及与当前色度块对应的参考亮度块来预测当前色度块。

在操作3204,根据针对当前色度块的预测的结果,确定CCLM模式是否将被应用于当前色度块。

在操作3206,生成包括指示CCLM模式是否将被应用于当前色度块的色度帧内预测信息的比特流。

参照图17描述的根据CCLM模式的视频编码设备1700的功能可被应用于根据CCLM模式的视频编码方法3200。视频编码方法3200的每个操作可由视频编码设备1700的帧内预测器1702、帧内预测模式确定器1704和比特流生成器1706来执行。此外,视频编码方法3200的每个操作可由实质上执行帧内预测器1702、帧内预测模式确定器1704和比特流生成器1706的功能的一个或更多个处理器来执行。

根据参照图1A至图32描述的视频编码方案,针对具有树结构的编码单元中的每个编码单元对空间域中的图像数据进行编码,并且根据基于具有树结构的编码单元的视频解码方案,对最大编码单元中的每一个执行解码,并且重建空间域中的图像数据,因此可重建诸如画面和画面序列的视频。重建视频可由再现装置来再现,可被存储在存储介质中,或者可通过网络被发送。

另外,本公开的实施例可被实现为计算机可执行程序,并且可在使用计算机可读记录介质操作该程序的通用数字计算机中被实现。

虽然描述了本公开的最佳实施例,但是本领域普通技术人员将理解,可对一个或更多个实施例进行各种替换、修改和修正。也就是说,所述替换、修改和修正不脱离本公开的范围,并且被解释为被包括在本公开中。因此,所述实施例应仅在描述性意义上被考虑,而不是为了限制的目的。

68页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:用于编码和解码表示至少一个图像的数据流的方法和设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类