图像编码方法及其装置、图像解码方法及其装置
阅读说明：本技术 图像编码方法及其装置、图像解码方法及其装置 (Image encoding method and device, image decoding method and device ) 是由 崔娜莱 艾琳娜·阿尔辛娜 于 2018-10-31 设计创作，主要内容包括：一种图像解码方法,其包括：从比特流获得关于当前块的变换系数的信息；基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器；获得包括使用所确定的滤波器而产生的当前样点的预测样点的当前块的预测块；基于获得的关于当前块的变换系数的信息来获得当前块的残差块；以及基于当前块的预测块和当前块的残差块来恢复当前块。(A method of image decoding, comprising: obtaining information on a transform coefficient of a current block from a bitstream; determining a filter for a current sample point in the current block based on at least one of a distance between the current sample point and a reference sample point in the current block and a size of the current block; obtaining a prediction block for a current block comprising prediction samples for a current sample generated using the determined filter; obtaining a residual block of the current block based on the obtained information on the transform coefficient of the current block; and restoring the current block based on the prediction block of the current block and the residual block of the current block.)
技术领域
根据实施例的方法及其装置可以通过使用包括在图像中的各种形状的编码单元来对图像进行编码或解码。根据实施例的方法及其装置包括帧内预测方法及其装置。
背景技术
随着能够再现和存储高分辨率或高质量图像内容的硬件正被开发和提供，对于有效地对高分辨率或高质量图像内容进行编码或解码的编解码器的需求正在增加。编码的图像内容可通过解码而被再现。最近，用于有效地对诸如高分辨率或高质量图像内容进行压缩的方法已被实行。例如，通过对将经由任意方法被编码的图像进行处理来执行有效地对图像进行压缩的方法。
各种数据单元可以用于对图像进行压缩，并且包含关系可存在于这些数据单元间。数据单元可由各种方法被划分以确定用于这些图像压缩的数据单元的尺寸，并且随着根据图像的特征而被优化的数据单元被确定，由此可以对图像执行编码或解码。
发明内容
技术方案
根据实施例的图像解码方法其包括：从比特流获得关于当前块的变换系数的信息；基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器；获得包括使用所确定的滤波器而产生的当前样点的预测样点的当前块的预测块；基于所获得的关于当前块的变换系数的信息来获得当前块的残差块；以及基于当前块的预测块和当前块的残差块来恢复当前块。
基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器的步骤可以包括：基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器的类型和所述滤波器的系数。
所述滤波器的类型可以是低通滤波器(low pass filter)、高斯滤波器(Gaussianfilter)、双边滤波器(bilateral filter)、均匀滤波器(uniform filter)、双线性插值滤波器(bilinear interpolation filter)、三次滤波器(cubic filter)和离散余弦变换(Discrete Cosine Transform；DCT)滤波器(DCT filter)之一。
用于当前样点的滤波器的抽头数是预定的值，或者基于当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定。预定的值可以是等于或大于4的整数。
基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器的步骤可以包括：基于当前块的尺寸和当前块中的样点与参考样点之间的距离中的至少一个来确定用于当前块的多个滤波器；以及在用于当前块的多个滤波器中确定与当前样点相对应的滤波器。
基于当前块的尺寸和当前块中的当前样点与参考样点之间的距离中的至少一个来确定用于当前块的多个滤波器的步骤可以包括：基于当前块的高度或宽度和当前块中的样点与参考样点之间的距离的比率来确定用于当前块的多个滤波器。
基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器的步骤可以包括：基于当前块的帧内预测模式来确定与当前块中的样点相对应的第一参考样点；基于所述样点与第一参考样点之间的距离来确定用于当前块的多个滤波器；以及在用于当前块的多个滤波器中确定与当前样点相对应的滤波器。
基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器的步骤可以包括：基于当前块的尺寸来确定用于当前块的滤波器的数量，并且确定与所述滤波器的数量相对应的用于当前块的滤波器；以及基于当前样点与参考样点之间的距离和当前块的尺寸来在用于当前块的滤波器中确定用于当前样点的滤波器。
基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器的步骤可以包括：进一步基于当前块的帧内预测模式和当前块的形状中的至少一个来确定用于当前样点的滤波器。
进一步基于当前块的帧内预测模式和当前块的形状(shape)中的至少一个来确定用于当前样点的滤波器的步骤可以包括：
当当前块的帧内预测模式是预定的帧内预测模式时，基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器。
进一步基于当前块的帧内预测模式和当前块的形状(shape)中的至少一个来确定用于当前样点的滤波器的步骤可以包括：
当当前块的宽度小于或等于预定的第一值，并且当前块的高度小于或等于预定的第二值时，基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器。
基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器的步骤可以包括：当当前样点与参考样点之间的距离小于预定的值时，确定用于当前样点的第一滤波器，当当前样点和参考样点之间的距离大于预定的值时，确定用于当前样点的第二滤波器，第一滤波器的平滑强度可以小于第二滤波器的平滑强度。
根据实施例的图像编码方法包括：基于当前块中的当前样点与参考前样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器；产生包括使用所确定的滤波器而产生的当前样点的预测样点的当前块的预测块；以及基于当前块的预测块来对关于当前块的变换系数的信息进行编码。
根据实施例的图像解码装置包括：处理器，其从比特流获得关于当前块的变换系数的信息；基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器；获得包括使用所确定的滤波器而产生的当前样点的预测样点的当前块的预测块；基于所获得的关于当前块的变换系数的信息来获得当前块的残差块；以及基于当前块的预测块和当前块的残差块来恢复当前块。
根据本公开的实施例，关于图像解码方法的一种计算机程序可以被记录在计算机可读记录介质上。
附图说明
图1a图示根据各种实施例的图像解码装置的框图。
图1b图示根据各种实施例的图像解码方法的流程图。
图1c图示根据各种实施例的图像解码器的框图。
图1d图示根据各种实施例的图像解码装置的框图。
图2a图示根据各种实施例的图像编码装置的框图。
图2b图示根据各种实施例的图像编码方法的流程图。
图2c图示根据各种实施例的图像解码器的框图。
图2d图示根据各种实施例的图像编码装置的框图。
图3图示根据实施例的随着图像解码装置划分当前编码单元而确定至少一个编码单元的过程。
图4图示根据实施例的图像解码装置划分具有非正方形形状的编码单元来确定至少一个编码单元的过程。
图5图示根据实施例的图像解码装置基于块形状信息和划分形状模式信息中的至少一个来划分编码单元的过程。
图6图示根据实施例的由图像解码装置从奇数个编码单元当中确定预定的编码单元的方法。
图7图示根据实施例的当图像解码装置划分当前编码单元而确定多个编码单元时处理多个编码单元的顺序。
图8图示根据实施例的当编码单元不可由图像解码装置以预定的顺序处理时确定当前编码单元被划分为奇数个编码单元的过程。
图9图示根据实施例的随着图像解码装置划分第一编码单元而确定至少一个编码单元的过程。
图10图示根据实施例图像编码装置当第一编码单元被划分而确定的具有非正方形形状的第二编码单元满足预定的条件时第二编码单元可被划分的形状被限制。
图11图示根据实施例的当划分形状模式信息不能指示编码单元被划分为四个正方形形状时图像解码装置划分具有正方形形状的编码单元的过程。
图12图示根据实施例的多个编码单元的处理顺序可以根据划分编码单元的过程变化。
图13图示根据实施例的当编码单元被递归地划分来确定多个编码单元时编码单元的深度随着编码单元的形状和尺寸变化而被确定的过程。
图14图示根据实施例的可以根据编码单元的形状和尺寸来确定的深度和用于区分编码单元的索引(part index，在下文中称PID)。
图15图示根据实施例的根据包括在画面中的多个预定的数据单元来确定多个编码单元。
图16图示根据实施例的用作确定包括在画面中的参考编码单元的确定顺序的准则的处理块。
图17为用于说明根据实施例的帧内预测模式的图。
图18为用于说明根据本公开的实施例，图像解码装置基于当前样点与参考样点之间的距离和当前块的尺寸中的至少一个，通过使用不同的滤波器来产生当前样点的预测样点的方法。
图19为用于说明根据本公开的实施例，基于编码顺序标志将编码单元之间的编码(解码)顺序确定为正向或反向，根据确定的编码(解码)顺序右部参考线或上部参考线可以用于帧内预测的图。
最佳模式
根据各种实施例的视频解码方法包括：从比特流获得关于当前块的变换系数的信息；基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器；获得包括使用所确定的滤波器而产生的当前样点的预测样点的当前块的预测块；基于所获得的关于当前块的变换系数的信息来获得当前块的残差块；以及基于当前块的预测块和当前块的残差块来恢复当前块。
根据各种实施例的视频编码方法包括：基于当前块中的当前样点与参考前样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器；产生包括使用所确定的滤波器而产生的当前样点的预测样点的当前块的预测块；以及基于当前块的预测块来对关于当前块的变换系数的信息进行编码。
根据各种实施例的视频解码装置包括：处理器，其从比特流获得关于当前块的变换系数的信息；基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器；获得包括使用所确定的滤波器而产生的当前样点的预测样点的当前块的预测块；基于所获得的关于当前块的变换系数的信息来获得当前块的残差块；以及基于当前块的预测块和当前块的残差块来恢复当前块。
根据本公开的另一方面，一种计算机可读记录介质在其上记录有用于执行根据各种实施例的方法的程序。
具体实施方式
参考以下后述的实施例以及附图，所公开的实施例的优点和特征，以及实现该优点和特征的方法将变得更加明确。然而，本公开并不限于在以下公开的实施例，可以以各种不同的形式实现，本实施例只提供用于使本公开更加完整，向本公开所属领域的技术人员完整地告知发明的范围。
将简要描述在说明书中使用的术语，并且将详细地描述所公开的实施例。
在本说明书中使用的术语已经选择了在考虑本公开中的功能时当前可能被广泛使用的通用术语，但是可以根据所属技术领域的技术人员的意图或判例、新技术的出现等来改变。另外，一些术语可由申请人任意选择，并且在这种情况下，选择的术语的含义将在所属的发明内容中被详细地描述。因此，本公开中使用的术语应基于术语的含义以及整个说明书中的描述来定义，而不仅仅是术语的名称。
除非以单数形式使用的表述在上下文中具有明显不同的含义，否则以单数形式使用的表述包括复数表述。
在说明书中，当某一部件包括”某个构成要素时，除非存在与其相反的明确描述，否则该部件可进一步包括其他构成要素，而不排除其他构成要素。
另外，说明书中使用的术语“-器”是指软件或硬件构成要素，并且“-器”执行预定的功能。然而，术语“-器”不限于软件或硬件。“-器”可被形成为位于可寻址存储介质中，或者可被形成为再现一个或更多个处理器。因此，作为一个实施例，“-器”包括诸如软件构成要素、面向对象的软件构成要素、类构成要素和任务构成要素的构成要素，并可包括进程、功能、函数、属性、步骤、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组或变量。在构成要素和“-器”内提供的功能可以由较少数量的构成要素和“-器”结合，或者可由附加构成要素和“-器”被划分。
根据本公开的实施例，“-器”可以被实现为处理器和存储器。术语“处理器”应广义地解释为包括通用处理器、中央处理器、微处理器、数字信号处理器、控制器、微控制器、状态机等。在一些环境中，“处理器”可以是指专用集成电路、可编程逻辑器件、现场可编程门阵列等。术语“处理器”是指处理装置的组合，例如数字信号处理器和微处理器的组合、多个微处理器的组合、与离散余弦变换内核结合的一个或多个微处理器的组合，或者此类装置的任何其他组合。
术语“存储器”应广义地解释为包括能够存储电子信息的任何电子组件。术语存储器可以是指各种类型的处理器可读介质，例如随机存取存储器、只读存储器、非易失性随机存取存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、闪存、磁或光数据存储器、寄存器等。如果处理器可以从该存储器读取信息和/或将信息写入该存储器，则该存储器被称为与处理器处于电子通信状态。集成在处理器中的存储器与处理器处于电子通信状态。
以下，“图像”可以表示诸如视频的静止图像的静态图像或者诸如视频(即，视频本身)的动态图像。
在下文中，“样点”是指被分配给图像的采样位置并且将被处理的数据。例如，空间域的图像中的像素值或变换域上的变换系数可以是样点。包括至少一个样点的单元可被定义为块。
在下文中，将参考附图详细描述实施例，以本公开所属领域的技术人员可以容易地实施。另外，为了在附图中明确地描述本公开，省略了与描述无关的部分。
在下文中，将参照图1至19详细描述图像编码装置和图像解码装置、图像编码方法和图像解码方法。参照图3至16描述根据实施例确定图像的数据单元的方法，并且参照图1-2和图17至19描述图像编码或图像解码方法及其装置，其根据实施例基于到参考样点的距离和当前块的尺寸中的至少一个来确定滤波器，并且使用所确定的滤波器来自适应地执行帧内预测。
在下文中，将参照图1和2描述根据本公开的一实施例的基于各种形状的编码单元来自适应地执行帧内预测的图像编码/解码方法及其装置。
图1a是根据各种实施例的图像解码装置的框图。
根据各种实施例的图像解码装置100可以包括获得器105、帧内预测器110和图像解码器115。
获得器105、帧内预测器110和图像解码器115可以包括至少一个处理器。另外，获得器105、帧内预测器110和图像解码器115可以包括存储器，其存储将由至少一个处理器执行的指令。图像解码器115可以以与获得器105和帧内预测器110分开的硬件来实现，或者可以包括获得器105和帧内预测器110。
获得器105可以从比特流获得关于当前块的变换系数的信息。获得器105可以从比特流获得关于当前块的预测模式的信息和关于当前块的帧内预测模式的信息。
获得器105可以包括指示关于当前块的预测模式是帧内预测模式或帧间预测模式的信息。关于当前块的帧内预测模式的信息可以是关于在多个帧内预测模式中应用于当前块的帧内预测模式的信息。例如，帧内预测模式可以是DC模式、平面模式和具有预测方向的至少一个角度模式中的一种。角度模式可以包括水平模式、垂直模式和对角线模式，并且可以包括具有除了水平方向、垂直方向和对角线方向之外的预定的方向的模式。例如，角度模式的数量可以是65或33。
当当前块的预测模式是帧内预测模式时，可以激活帧内预测器110。
帧内预测器110可以基于当前块的帧内预测模式来对当前块执行帧内预测。帧内预测器110可以基于当前块中的当前样点的位置和当前块的帧内预测模式，在参考样点中确定用于当前样点的参考样点，并且可以使用用于当前样点的参考样点来产生当前样点的预测样点值。这里，参考样点可以包括与当前块相邻的左部或上部的参考线的样点。用于当前样点的参考样点可以包括在当前块的左部或上部的参考线的样点中的至少一个邻近当前块的样点。当用于当前样点的参考样点只有一个时，帧内预测器110可以使用该参考样点来产生当前样点的预测样点值。同时，当存在两个或更多用于当前样点的参考样点时，帧内预测器110可以通过对用于当前样点的两个或更多个参考样点的样点值应用滤波器来产生当前样点的预测样点。这里，滤波器的系数可以是整数。为了将滤波器的系数确定为整数，对滤波器的系数执行缩放，并且可以使用缩放的滤波器的系数。当对滤波器的系数执行缩放并且使用缩放的滤波器的系数时，此后可以根据滤波器的系数的缩放程度进行去缩放的过程。滤波器的准确度可以是1/32分数像素的准确度。
帧内预测器110可以基于当前块的尺寸和当前样点与参考样点之间的距离中的至少一个来确定用于当前样点的滤波器。帧内预测器110可以确定可应用于当前样点的至少一个滤波器候选，并且基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定至少一个滤波器候选中的用于当前样点的滤波器。这里，当前样点与参考样点之间的距离可以是当前样点与位于当前样点的垂直方向上的参考样点之间的距离或者当前样点与位于当前块的水平方向上的参考样点之间的距离，在这种情况下，当前样点与参考样点之间的距离可以对应于当前块中的当前样点的位置坐标值。因此，可以看帧内预测器110基于当前块的尺寸和当前样点与参考样点之间的距离中的至少一个来确定用于当前样点的滤波器。
帧内预测单元110可以基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器的类型和滤波器的系数。这里，滤波器的类型可以是低通滤波器(low pass filter)、高斯滤波器(Gaussian filter)、双边滤波器(bilateral filter)、均匀滤波器(uniform filter)、双线性插值滤波器(bilinearinterpolation filter)、三次滤波器(cubic filter)、[1 2 1]滤波器和离散余弦变换(Discrete Cosine Transform；DCT)滤波器(DCT filter)之一。这里，离散余弦变换滤波器可以是用于补偿色度分量的子像素运动的4-抽头离散余弦变换插值滤波器(DCTinterpolation filter；DCT-IF)。另外，可以通过组合两个或更多个滤波器来产生新的滤波器，并且可以添加新创建的滤波器作为滤波器类型，另外，不限于上面列出的滤波器的类型，各种类型的滤波器可以是用于当前样点的滤波器的类型。
用于当前样点的滤波器的抽头的数量可以是预定的值。这里，预定的值可以是4，即，用于当前样点的滤波器可以是4抽头滤波器，然而不限于此，预定的值可以是1或更大，优选是2或更大的各种整数值之一。
另外，用于当前样点的滤波器的抽头的数量可以基于当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定。例如，当当前样点和参考样点之间的距离小于预定的值时，帧内预测器110可以将滤波器的抽头的数量确定为预定的第一抽头的数量。当当前样点和参考样点之间的距离大于预定的值时，帧内预测器110可以将滤波器的抽头的数量确定为预定的第二抽头的数量。这里，预定的第一抽头的数量可以小于预定的第二抽头的数量。
帧内预测器110可以基于当前块的尺寸和当前块中的至少一个样点与参考样点之间的距离中的至少一个来确定用于当前块的多个滤波器。换句话说，用于当前块的多个滤波器可以包括可以用于当前样点的至少一个滤波器候选。
帧内预测器110可以在用于当前块的多个滤波器中确定与当前样点相对应的滤波器。这里，帧内预测器110可以基于当前块的尺寸(高度或宽度)和当前块中的至少一个样点之间的距离的比率和在当前块中的当前样点的位置(或当前样点与参考样点之间的距离)来在用于当前块的多个滤波器中确定与当前样点相对应的滤波器。
帧内预测器110可以基于当前块的帧内预测模式来确定与当前块中的样点相对应的第一参考样点。例如，帧内预测器110可以在参考样点中将与从当前样点的根据当前块的帧内预测模式的帧内预测方向的延长线交叉的参考样点确定为第一参考样点。帧内预测器110可以基于样点与第一参考样点之间的距离来确定用于当前块的多个滤波器。帧内预测器110可以在用于当前块的多个滤波器中确定与当前样点相对应的滤波器。
帧内预测器110可以基于当前块的尺寸来确定用于当前块的滤波器的数量，并且确定与滤波器的数量相对应的用于当前块的滤波器。例如，当当前块的高度或宽度小于预定的值时，图像解码装置100可以将用于当前块的滤波器的数量确定为一个。当将用于当前块的滤波器的数量确定为1时，帧内预测器110可以基于当前块的尺寸和当前帧内预测模式来确定用于当前块的滤波器。换句话说，帧内预测器110可以基于当前块的尺寸来确定临界值，并且基于当前帧内预测模式与垂直模式和水平模式之间的索引差值来确定帧内预测模式索引差值，并且通过将所确定的帧内预测模式索引差值与临界值进行比较来确定用于当前块的滤波器。
另外，当当前块的帧内预测模式的索引的值为奇数值时，帧内预测器110可以将第一滤波器确定为用于当前块的滤波器，并且当当前块的帧内预测模式的值为偶数时，可以将第二滤波器确定为用于当前块的滤波器。
帧内预测器110可以基于当前块的尺寸来确定每个滤波器被应用的样点与参照样点之间的距离的范围。例如，当当前块的高度和宽度都大于或等于32时，滤波器f0被使用的当前块的样点与参考样点之间的距离可以是[0，2)，并且滤波器f1被使用的当前块的样点与参考样点之间的距离可以是[2，4)，并且滤波器f2被使用的当前块的样点与参考样点之间的距离可以是[4，8)，并且滤波器f3被使用的当前块的样点与参考样点之间的距离可以是[8，16)，并且滤波器f4被使用的当前块的样点与参考样点之间的距离可以是[16，size)。否则当当前块的高度或宽度小于32时，滤波器f0被使用的当前块的样点与参考样点之间的距离可以是[0，1)，并且滤波器f1被使用的当前块的样点与参考样点之间的距离可以是[1，2)，并且滤波器f2被使用的当前块的样点与参考样点之间的距离可以是[2，3)，并且滤波器f3被使用的当前块的样点与参考样点之间的距离可以是[3，4]，并且滤波器f4被使用的当前块的样点与参考样点之间的距离可以是[4，size)。
帧内预测器110可以基于当前样点和参考样点之间的距离和当前块的尺寸中的至少一个来在用于当前块的滤波器中确定用于当前样点的滤波器。
帧内预测器110可以进一步基于当前块的帧内预测模式和当前块的形状中的至少一个来确定使用于当前样点的滤波器。
例如，当当前块的帧内预测模式是预定的帧内预测模式时，帧内预测器110可以基于当前块中的当前样点和参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器。这里，预定的帧内预测模式可以是除DC模式和平面模式之外的角度模式之一。详细地，预定的帧内预测模式可以是在角度模式中除对角线模式之外的其余模式之一。
例如，当当前块的预测模式是水平模式或垂直模式时，帧内预测器110可以在对参考样点不使用任何滤波器(例如，双线性插值滤波器或[1，2，1]参考滤波器等)的情况下执行帧内预测，以便产生当前块的预测样点。当当前块的预测模式是具有45度的倍数的角度的对角线模式时，帧内预测器110可以通过使用[1，2，1]参考样点滤波器来执行帧内预测，以便产生当前块的预测样点。当当前块的预测模式是除所述模式之外的角度模式时，帧内预测器110可以基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器。
帧内预测器110可以进一步基于当前块是否是正方形或者矩形，并且基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于所述当前样点的滤波器。
另外，帧内预测器110可以进一步基于当前块的高度和宽度的比率，并且基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器。
当当前块的宽度小于或等于预定的第一值，并且当前块的高度小于或等于预定的第二值时，帧内预测器110可以基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的第一滤波器。另外，当当前块的宽度大于预定的第一值，或者当前块的高度大于预定的第二值时，帧内预测器110可以基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的第二滤波器。
当当前样点与参考样点之间的距离小于预定的值，帧内预测器110可以确定用于当前样点的第一滤波器，并且当当前样点与参考样点之间的距离大于预定的值时，帧内预测器110可以确定用于当前样点的第二滤波器。这里，第一滤波器的平滑强度可以小于第二滤波器的平滑强度。
帧内预测器110可以获得当前块的预测块，其包括使用所确定的滤波器产生的当前样点的预测样点。
图像解码器115可以基于关于当前块的变换系数的信息来获得当前块的残差块。换句话说，图像解码器115可以基于关于当前块的变换系数的信息执行反量化和逆变换来从比特流获得关于当前块的残差块的残差样点。
图像解码器115可以基于当前块的预测块和当前块的残差块来恢复当前块。图像解码器115可以通过使用当前块的预测块中的预测样点的样点值和当前块的残差块中的残差样点的样点值来产生当前块中的恢复样点，并且可以基于恢复样点产生当前块的恢复块。
同时，图像解码装置100可以基于当前块的尺寸和当前样点与参考样点之间的距离中的至少一个来确定用于当前样点的滤波器，并且从比特流获得指示是否适应地执行帧内预测的标志信息，可以基于标志信息基于当前块的尺寸和当前样点与参考样点之间的距离中的至少一个来确定是否确定用于当前样点的滤波器。这里，标志信息是可以按块获得的，尤其是按最大编码单元获得的。另外，可以按帧获得标志信息。
另外，图像解码装置100可以获得共同应用于亮度分量和色差分量的标志信息。另外，图像解码装置100可以获得分别应用于亮度分量或者色差分量的标志信息。
图像解码装置100可以确定共同应用于亮度分量和色差分量的滤波器集。另外，图像解码装置100可以确定按分量应用的滤波器集。
另外，图像解码装置100可以在从比特流不获得标志信息的情况下基于当前块的尺寸和当前样点与参考样点之间的距离中的至少一个来确定是否确定用于当前样点的滤波器。例如，当当前块的预测模式是预定的帧内预测模式时，图像解码装置100可以通过基于当前块的尺寸和当前样点与参考样点之间的距离中的至少一个确定用于当前样点的滤波器来确定适应地执行帧内预测。
另外，图像解码装置100可以在从比特流不获得标志信息的情况下通过使用邻近块的信息来基于执行滤波参考样点和滤波器的加权值确定是否适应地执行帧内预测。例如，图像解码装置100可以为当前块的邻近块基于邻近块的尺寸和其邻近块中的第一样点与参考样点之间的距离来确定用于邻近块中的第一样点的滤波器，并且基于邻近块的标志信息确定是否基于至少一个当前块的尺寸和当前样点与参考样点之间的距离中的至少一个来确定用于当前样点的滤波器，其中，邻近块的标志信息指示是否基于用于邻近块中的第一样点的滤波器来适应地执行帧内预测。另外，当当前块的尺寸是预定的第一块的尺寸时，图像解码装置100可以基于当前块的尺寸和当前样点与参考样点之间的距离中的至少一个来确定用于当前样点的滤波器，并且基于用于当前样点的滤波器来确定执行帧内预测。当当前块的尺寸是预定的第二块的尺寸时，图像解码装置100可以在不基于当前块的尺寸和当前样点与参考样点之间的距离来确定用于当前样点的滤波器的情况下执行现有的帧内预测。
图像解码装置100可以基于当前块的尺寸和当前样点与参考样点之间的距离中的至少一个来确定用于当前样点的滤波器，并且可以通过将基于用于当前样点的帧内预测的编码/解码工具和类似的帧内预测的编码/解码工具彼此组合来执行帧内预测。另外，图像解码装置100可以在多个帧内预测的编码/解码工具之间给出优先级，并且可以根据编码/解码工具之间的优先级来执行帧内预测。换句话说，当使用具有高优先级的编码/解码工具时，可以不使用具有低优先级的编码/解码工具，并且当不使用具有高优先级的编码/解码工具时，可以使用具有低优先级的编码/解码工具。
图1b图示根据各种实施例的图像解码方法的流程图。
在操作S105中，图像解码装置100可以从比特流获得关于当前块的变换系数的信息。
在操作S110中，图像解码装置100可以基于在当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器。
在操作S115中，图像解码装置100可以获得当前块的预测块，其包括通过使用所确定的滤波器产生的当前样点的预测样点。
在操作S120中，图像解码装置100可以基于关于当前块的变换系数的信息来获得当前块的残差块。
在操作S125中，图像解码装置100可以基于当前块的预测块和残差块来恢复当前块。
图1c图示根据各种实施例的图像解码器6000的框图。
根据各种实施例的图像解码器6000执行由图像解码装置100的图像解码器115对图像数据进行解码时执行的操作。
参考图1c，熵解码器6150从比特流6050中解析要解码的经编码的图像数据和解码所需要的编码信息。经过编码的图像数据是经过量化的变换系数。反量化器6200和逆变换器6250从量化后的变换系数恢复残差数据。
帧内预测器6400按每块执行帧内预测。图1c的帧内预测器6400可以对应于图1A的帧内预测器110。
帧间预测器6350按块通过使用从恢复画面缓冲器6300获得的参考图像来执行帧间预测。用于当前图像的块的空间域的数据可以通过将由帧内预测器6400或帧间预测器6350产生的用于每个块的预测数据和残差数据相加来恢复，并且去块单元6450和样点自适应偏移执行器6500可以通过对恢复的空间域的数据执行环路滤波来输出滤波后的恢复图像6600。另外，存储在恢复画面缓冲器6300中的恢复图像可以作为参考图像被输出。
为让图像解码装置100的解码器(未示出)对图像数据进行解码，可以按块执行根据各种实施例的图像解码器6000的逐步操作。
图1d图示根据实施例的图像解码装置100的框图。
根据实施例的图像解码装置100可以包括存储器120和连接到存储器120的至少一个处理器125。根据实施例的图像解码装置100的操作可以作为单独的处理器操作，或者可以根据中央处理器的控制来操作。另外，图像解码装置100的存储器120可以存储从外部接收的数据和由处理器产生的数据。图像解码装置100的处理器125可以从比特流获得关于当前块的信息，并且基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器，并且获得包括使用所确定的滤波器产生的当前样点的预测样点的当前块的预测块，并且基于关于当前块的变换系数的信息来获得当前块的残差块，并且基于当前块的预测块和残差块来恢复当前块。
图2a图示根据各种实施例的图像编码装置的框图。
根据各种实施例的图像编码装置150可以包括帧内预测器155和图像编码器160。
帧内预测器155和图像编码器160可以包括至少一个处理器。另外，帧内预测器155和图像编码器160可以包括存储器，其存储将由至少一个处理器执行的指令。由帧内预测器155和图像编码器160之外的硬件实现，或者可以包括帧内预测器155和图像编码器160。
帧内预测器155可以基于在当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器。
帧内预测器155可以产生包括使用用于当前样点的滤波器来产生的当前样点的预测样点的当前块的预测块。
帧内预测器155可以基于在当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器的类型和滤波器的系数。
用于当前样点的滤波器的抽头的数可以是预定的值。这里，预定的值可以是4或更大的整数。另外，用于当前样点的滤波器的抽头的数可以基于当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定。
帧内预测器155可以基于当前块的尺寸和当前块中的样点与参考样点之间的距离中的至少一个来确定用于当前块的多个滤波器。
帧内预测器155可以在用于当前块的多个滤波器中确定与当前样点相对应的滤波器。
帧内预测器155可以基于当前块的帧内预测模式来确定与当前块中的样点相对应的第一参考样点。帧内预测器155可以基于所述当前块中的样点与第一参考样点之间的距离来确定用于当前块的多个滤波器。帧内预测器155可以在用于当前块的多个滤波器中确定与当前样点相对应的滤波器。
帧内预测器155可以基于当前块的尺寸来确定用于当前块的滤波器的数量，并且确定与滤波器数量相对应的用于当前块的滤波器，并且帧内预测器155可以基于当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来在用于当前块的滤波器中确定用于当前样点的滤波器。
当当前块的帧内预测模式是预定的帧内预测模式时，帧内预测器155可以基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器。
当当前样点与参考样点之间的距离小于预定的值时，帧内预测器155可以确定用于当前样点的第一滤波器，并且当当前样点与参考样点之间的距离大于预定的值时，帧内预测器110可以确定用于当前样点的第二滤波器。这里，第一滤波器的平滑强度可以小于第二滤波器的平滑强度。
图像编码器160可以基于当前块的预测块来对关于当前块的变换系数的信息进行编码。换句话说，图像编码器160可以基于当前块的原始块和当前块的预测块来产生当前块的残差块，并且通过将当前块的残差块变换并量化来对关于当前块的变换系数的信息进行编码。图像编码器160可以对关于当前块的预测模式的信息和关于当前块的帧内预测模式的信息进行编码。
图像编码器160可以产生包括关于当前块的变换系数的信息的比特流，并且输出该比特流。
图2b是根据各种实施例的图像编码方法的流程图。
在操作S150中，图像编码装置150可以基于当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器。
在操作S155中，图像编码装置150可以产生包括使用所确定的滤波器产生的当前样点的预测样点的当前块的预测块。在操作S160中，图像编码装置150可以基于当前块的预测块来对关于当前块的变换系数的信息进行编码。
图2c图示根据各种实施例的图像编码器的框图。
根据各种实施例的图像编码器7000执行由图像编码装置150的图像编码器160对图像数据进行解码时执行的操作。
换句话说，帧内预测器7200按块对当前图像7050执行帧内预测，并且帧间预测器7150按块通过使用每块的当前图像7050和从恢复画面缓冲器7100获得的参考图像来执行帧间预测。
可以通过将用于从帧内预测器7200或帧间预测器7150输出的每各块的预测数据从用于当前图像7050的编码的块的数据中减去来产生残差数据，并且变换器7250和量化器7300可以通过对残差数据执行变换和量化来输出按块量化的变换系数。图2c的帧内预测器7200可以对应于图2A的帧内预测器155。
反量化器7450和逆变换器7500可以通过对量化后的变换系数执行反量化和逆变换来恢复空间域的残差数据。可以将恢复的空间域的的残差数据与用于从帧内预测器7200或帧间预测器7150输出的每个块的预测数据相加以被恢复为用于当前图像7050的块的空间域的数据。去块单元7550和样点自适应偏移执行器通过对恢复的空间域的数据执行环路内滤波来产生滤波后的恢复图像。所产生的恢复图像被存储在恢复画面缓冲器7100中。存储在恢复画面缓冲器7100中的恢复图像可以被用作用于另一图像的帧间预测的参考图像。熵编码器7350可以对量化后的变换系数进行熵编码，并且经熵编码的系数可以作为比特流7400被输出。
为让根据各种实施例的图像编码器7000被应用于图像编码装置150，可以按块执行根据各种实施例的图像编码器7000的逐步操作。
图2d是根据实施例的图像编码装置150的框图。
根据实施例的图像编码装置150可以包括存储器165和连接到存储器170的至少一个处理器170。根据实施例的图像编码装置150的操作可以作为单独的处理器操作，或者可以根据中央处理器的控制来操作。另外，图像编码装置150的存储器165可以存储从外部接收的数据和由处理器产生的数据。
图像编码装置150的处理器170可以基于当前块中的当前样点与参考前样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器，并且产生包括使用所确定的滤波器来产生的当前样点的预测样点的当前块的预测块，并且基于当前块的预测块来对关于当前块的变换系数的信息进行编码。
在下文中，根据本公开的实施例将详细描述编码单元的划分。
首先，一个画面(Picture)可以被划分为一个或多个条带。一个条带可以是一个或多个最大编码单元(Coding Tree Unit；CTU)的序列。与最大编码单元(CTU)形成对比的概念有最大编码块(Coding Tree Block；CTB)。
最大编码块(CTB)是指包括N×N个样点(N是整数)的N×N块。每个颜色分量可以被划分为一个或多个最大编码块。
当画面具有三个样点数组(按Y、Cr和Cb分量的样点数组)时，最大编码单元(CTU)是包括亮度样点的最大编码块和与之相对应的色度样点的两个最大编码块、用于对亮度样点和色度样点进行编码的语法结构的单元。当画面是单色画面时，最大编码单元是包括单色样点的最大编码块和用于对单色样点进行编码的语法结构的单元。当画面是由对每个颜色分量分开的颜色平面进行编码的画面时，最大编码单元是包括用于对相应的画面和画面的样点进行编码的语法结构的单元。
一个最大编码块(CTB)可以被划分为包括MxN个样点(M和N是整数)的MxN编码块(coding block)。
当画面具有按Y、Cr和Cb分量的样点数组时，编码单元(Coding Unit；CU)是包括亮度样点的编码块和与之相对应的色度样点的两个编码块、用于对亮度样点和色度样点进行编码的语法结构。当画面是单色画面时，编码单元是包括单色样点的编码块和用于对单色样点进行编码的语法结构的单元。当画面是由对每个颜色分量分开的颜色平面进行编码的画面时，编码单元是包括相应的图片和用于对该图片的样点进行编码的语法结构的单元。
如上所述，最大编码块和最大编码单元是彼此区别的概念，并且编码块和编码单元是彼此不同的概念。换句话说，(最大)编码单元是指包括相应的样点的(最大)编码块和包括与之对应的语法结构的数据结构。然而，本领域的普通技术人员可以理解，(最大)编码单元或(最大)编码块指称包括预定的数量的样点的预定的尺寸的块，因此在以下说明书中，最大编码块和最大编码单元，或编码块和编码单元除非另外说明，否则无区别地提及。
图像可以被划分为最大编码单元(Coding Tree Unit；CTU)。可以基于从比特流获得的信息来确定最大编码单元的尺寸。最大编码单元的形状可以具有相同尺寸的正方形，然而不限于此。
例如，可以从比特流获得关于亮度编码块的最大尺寸的信息。例如，关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是16×16、32×32、64×64、128×128和256×256之一。
例如，可以从比特流获得关于可被划分为两个的亮度编码块的最大尺寸与亮度块的尺寸之间的差的信息。关于亮度块尺寸的差的信息可以指示亮度最大编码单元和能够被划分为两个的最大亮度编码块之间的尺寸的差。因此，当组合关于从比特流获得的可划分为两个的亮度编码块的最大尺寸的信息和关于亮度块尺寸的差的信息时，可以确定亮度最大编码单元的尺寸。当使用亮度最大编码单元的尺寸时，可以确定色度最大编码单元的尺寸。例如，当根据颜色格式Y：Cb：Cr的比率为4：2：0时，色度块的尺寸可以是亮度块的尺寸的一半，并且类似地，色度最大编码单元的尺寸可以是亮度最大编码单元的一半。
根据实施例，从比特流获得关于能够进行二划分(binary split)的亮度编码块的最大尺寸的信息，因此可以可变地确定能够二划分的亮度编码块的最大尺寸。与此不同，可以固定能够进行三划分(ternary split)的亮度编码块的最大尺寸。例如，能够在I条带中进行三划分的亮度编码块的最大尺寸可以是32×32，并且能够在P条带或B条带中进行三划分的亮度编码块的最大尺寸可以是64×64。
另外，最大编码单元可以基于从比特流获得的划分形状模式信息来被分层地划分为编码单元。作为划分形状模式信息，可以从比特流获得指示是否进行四划分(quadsplit)的信息、指示是否多元划分的信息、指示划分方向的信息和划分类型的信息中的至少一个。
例如，指示是否四划分(quad split)的信息可以指示当前编码单元是否被四划分(QUAD_SPLIT)。
当当前编码单元不被四划分时，指示是否多元划分当前编码单元的信息可以指示当前编码单元是否不再被划分(NO_SPLIT)还是被二/三划分。
当当前编码单元被二划分或三划分时，划分方向信息指示当前编码单元以水平方向或垂直方向被划分。
当以水平或垂直方向划分当前编码单元时，划分类型信息指示当前编码单元被二或三划分。
根据划分方向信息和划分类型信息，可以确定当前编码单元的划分模式。当当前编码单元以水平方向被二划分时的划分模式可以被确定为二水平划分(SPLIT_BT_HOR)，当以水平方向被三划分时的三水平划分(SPLIT_TT_HOR)，当以垂直方向被二划分时的划分模式可以被确定为二垂直划分(SPLIT_BT_VER)，并且当以垂直方向被三划分时的划分模式可以被确定为三垂直划分(SPLIT_BT_VER)。
图像解码装置100可以在比特流从一个二进制串(binstring)获得划分形式模式信息。由图像解码装置100接收的比特流的形状可以包括固定长度二进制代码(Fixedlength binary code)、一元编码(Unary code)、截断一元编码(Truncated unary code)和预定的二进制代码等。二进制串通过排列二进制数字来指示信息。二进制串可以由至少一个位构成。图像解码装置100可以基于划分规则获得与二进制串对应的划分形式模式信息。图像解码装置100可以基于一个二进制串来确定是否将编码单元四划分、是否不划分或者划分方向和划分类型。
编码单元可以小于或等于最大编码单元。例如，最大编码单元是具有最大尺寸的编码单元，最大编码单元也是编码单元之一。当关于划分形式模式的划分形状模式信息指示不进行划分时，最大编码单元中确定的编码单元具有与最大编码单元的大小相同的大小。当关于最大编码单元的划分形式模式信息指示进行划分时，最大编码单元可以被划分为编码单元。并且，当针对关于编码单元的划分形式模式信息指示进行划分时，编码单元可以划分为其尺寸更小的编码单元。然而，图像的划分不限于此，最大编码单元和编码单元可能不被区别。在图3至图16更加详细地描述编码单元的划分。
另外，可以从编码单元确定用于预测的一个或多个预测块。预测块可以等于或小于编码单元。另外，可以从编码单元确定用于变换的一个或多个变换块。变换块可以等于或小于编码单元。
变换块和预测块的形状和尺寸可以彼此不相关。
根据另一实施例，编码单元可以通过作为预测块使用编码单元来执行预测。另外，编码单元可以通过作为变换块使用编码单元来执行变换。
在图3至图16更加详细地描述编码单元的划分。本公开的当前块和邻近块可以指示最大编码单元、编码单元、预测块和变换块中的一个。并且，当前块或当前编码单元为目前被执行解码或编码的块或目前被执行划分的块。邻近块可以是在当前块之前被恢复的块。邻近块可以空间上或时间上与当前块相邻。邻近块可以位于当前块的左下侧、左侧、左上侧、上侧、右上侧、右侧和右下侧中的一个。
图3根据一实施例图示图像解码装置100划分当前编码单元来确定至少一个编码单元的过程。
块形状可以包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。这里，N可以是正整数。块形状信息为指示编码单元的形状、方向、宽度与高度的比例和尺寸中的至少一个的信息。
编码单元的形状可以包括正方形(square)及非正方形(non-square)。当编码单元的宽度和高度的大小相同时(即，当编码单元的块形状为4N×4N时)，图像解码装置100可以将编码单元的块形状信息确定为正方形。图像解码装置100可以将编码单元的形状确定为非正方形。
当编码单元的宽度和高度的大小不同时(即当编码单元的块形状为4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N时)，图像解码装置100可以将编码单元的块形状信息确定为非正方形。当编码单元的形状是非正方形时，图像解码装置100可以将编码单元的块形状信息中宽度和高度的比率确定为1：2、2：1、1：4、4：1、1：8、8：1、1:16、16：1、1:32、32：1中的至少一个。并且，基于编码单元的宽度的大小和高度的大小，图像解码装置100可以确定编码单元是水平方向还是垂直方向。并且，基于编码单元的宽度的大小、高度的大小和面积中的至少一个，图像解码装置100可以确定编码单元的大小。
根据一实施例，图像解码装置100可以使用块形状信息确定编码单元的形状，且可以使用划分形式模式信息来确定编码单元以哪种形式被划分。换句话说，根据由图像解码装置100使用的块形状信息指示哪种块形状可以确定划分形式模式信息指示的编码单元的划分方法。
图像解码装置100可以从比特流获得划分形状模式信息。然而，不限于此，并且图像解码设备100和图像编码设备150可以基于块形状信息来确定预先确定的分割形状模式信息。图像解码装置100可以确定对最大编码单元或最小编码单元预先确定的划分形状模式信息。例如，对最大编码单元，图像解码装置100可以将划分形式模式信息确定为四划分(quad split)。并且，对最小编码单元，图像解码装置100可以将划分形式模式信息确定为“不进行划分”。具体地，图像解码装置100可以将最大编码单元的尺寸确定为256×256。图像解码装置100可以将预先确定的划分形状模式信息确定为四划分。四划分为将编码单元的宽度和高度都二等分的划分形式模式。图像解码装置100可以基于划分形状模式信息来从尺寸为256×256的最大编码单元获得尺寸为128×128的编码单元。另外，图像解码装置100可以将最小编码单元的尺寸确定为4x4。图像解码装置100可以获得对最小编码单元指示“不进行划分”的划分形式模式信息。
根据实施例，图像解码设备100可以使用指示当前编码单元具有正方形形状的块形状信息。例如，图像解码装置100可以根据划分形式模式信息来确定将正方形的编码单元不划分、垂直划分、水平划分还是划分为四个编码单元等。参照图3，当当前编码单元300的块形状信息显示正方形形状时，解码器120可以基于指示不被划分的划分形式模式信息来不划分具有与当前编码单元300相同尺寸的编码单元310a，或者可以确定基于指示预定的划分方式的划分形式模式信息被划分的编码单元310b、310c、310d、310e和310f等。
参照图3，图像解码装置100可以根据一实施例基于指示以垂直方向进行划分的划分形式模式信息，来将当前编码单元300以垂直方向划分而确定两个编码单元310b。图像解码装置100可以基于指示以水平方向进行划分的划分形式模式信息来确定将当前编码单元300以水平方向划分的两个编码单元310c。图像解码装置100可以基于指示编码单元被以垂直方向和水平方向划分的划分形式模式信息来确定以垂直方向和水平方向划分当前编码单元300的四个编码单元310d。根据实施例，图像解码装置100可以通过基于指示编码单元被以垂直方向进行三(ternary)划分的划分形状模式信息来确定以垂直方向划分当前编码单元300的三个编码单元310e。图像解码装置100可以通过基于指示编码单元以水平方向三划分的划分形状模式信息来确定以水平方向划分当前编码单元300的三个编码单元310f。然而，可以用于划分正方形的编码单元的划分形式不应解释为限于上述的形式，而可以包括能够由划分形式模式信息指示的各种形式。在下文中参照各种实施例具体地描述划分正方形的编码单元的预定的划分形式。
图4图示根据一实施例的图像解码装置100划分非正方形形状的编码单元来确定至少一个编码单元的过程。
根据一实施例，图像解码装置100可以使用指示当前编码单元具有非正方形形状的块形状信息。图像解码装置100可以基于划分形式模式信息来确定是不划分非正方形的当前编码单元还是以预定的方法划分当前编码单元。参照图4，当当前编码单元400或450的块形状信息指示非正方形形状时，图像解码装置100可以根据指示不进行划分的划分形式模式信息来确定具有与当前编码单元400或450的尺寸相同的尺寸的编码单元410或460，或者可以基于指示预定的划分方法的划分形式模式信息确定被划分的编码单元420a、420b、430a、430b、430c、470a、470b、480a、480b，及480c。在下文中参照各种实施例具体地描述划分非正方形的编码单元的预定的划分方法。
根据一实施例，图像解码装置100可以使用划分形式模式信息来确定划分编码单元的形式，在这种情况下，划分形式模式信息可以指示通过划分编码单元而生成的至少一个编码单元的数量。参照图4，当划分形式模式信息指示当前编码单元400或450划分为两个编码单元时，图像解码装置100可以基于划分形式模式信息来划分当前编码单元400或450而确定在当前编码单元中包括的两个编码单元420a、420b或470a、470b。
根据一实施例，当图像解码装置100基于划分形式模式信息来划分非正方形形状的当前编码单元400或450时，图像解码装置100可以考虑非正方形的当前编码单元400或450的长边的位置来划分当前编码单元。例如，图像解码装置100可以考虑当前编码单元400或450的形状来以划分当前编码单元400或450的长边的方向来划分当前编码单元400或450而确定多个编码单元。
根据一实施例，当划分形式模式信息指示将编码单元划分(三划分：ternarysplit)成奇数个块时，图像解码装置100可以确定在当前编码单元400或450中包括的奇数个编码单元。例如，当划分形式模式信息指示将当前编码单元400或450划分为三个编码单元时，图像解码装置100可以将当前编码单元400或450划分为三个编码单元430a、430b及430c或480a、480b、480c。
根据一实施例，当前编码单元400或450的宽度与高度的比例可以为4：1或者1：4。当宽度与高度的比例为4：1时，由于宽度的大小大于高度的大小，块形状信息可以为水平方向。当宽度与高度的比例为1：4时，由于宽度的大小短于高度的大小，块形状信息可以为垂直方向。图像解码装置100可以基于划分形式模式信息来确定将当前编码单元划分为奇数个块。并且，图像解码装置100可以基于当前编码单元400或450的块形状信息来确定当前编码单元400或450的划分方向。例如，当当前编码单元400为垂直方向时，图像解码装置100可以通过将当前编码单元400以水平方向划分来确定编码单元430a、430b及430c。另外，当当前编码单元450为水平方向时，图像解码装置100可以通过将当前编码单元以垂直方向划分来确定编码单元480a、480b及480c。
根据一实施例，图像解码装置100可以确定在当前编码单元400或450中包括的奇数个编码单元，所确定的编码单元的尺寸不一定相同。例如，所确定的奇数个的编码单元430a、430b、430c、480a、480b及480c中预定的编码单元430b或480b的尺寸可以与其他编码单元430a、430c、480a及480c的尺寸不同。换言之，可以通过划分当前编码单元400或450而确定的编码单元可以具有多个类型的尺寸，根据情况，奇数个编码单元430a、430b、430c、480a、480b及480c各自可以具有不同的尺寸。
根据一实施例，当划分形式模式信息指示编码单元被划分为奇数个块时，图像解码装置100可以确定在当前编码单元400或450中包括的奇数个的编码单元，进而，图像解码装置100可以对在通过划分而生成的奇数个编码单元中的至少一个编码单元实施预定的限制。参照图4，图像解码装置100可以使对通过划分当前编码单元400或450来生成的三个编码单元430a、430b及430c或480a、480b及480c中位于中央的编码单元430b和480b的解码过程与对其他编码单元430a、430c、480a，及480c的解码过程不同。例如，与其他编码单元430a、430c、480a及480c不同，图像解码装置100可以限制位于中央的编码单元430b和480b不再被划分或只以预定的次数划分。
图5图示根据一实施例的图像解码装置100基于块形状信息和划分形式模式信息中的至少一个来划分编码单元的过程。
根据一实施例，图像解码装置100可以基于块形状信息和划分形式模式信息中的至少一个确定将正方形的第一编码单元500划分为多个编码单元或确定不进行划分。根据一实施例，当划分形式模式信息指示以水平方向划分第一编码单元500时，图像解码装置100可以通过将第一编码单元500以水平方向划分来确定第二编码单元510。根据一实施例所使用的第一编码单元、第二编码单元及第三编码单元是为了理解编码单元之间的划分前后关系而使用的术语。例如，可以通过划分第一编码单元来确定第二编码单元，可以通过划分第二编码单元来确定第三编码单元。在下文中，可以理解所使用的第一编码单元、第二编码单元与第三编码单元之间的关系基于上述的特点。
根据一实施例，图像解码装置100可以基于划分形式模式信息确定将所确定的第二编码单元510划分为多个编码单元或确定不进行划分。参照图5，图像解码装置100可以基于划分形式模式信息将通过划分第一编码单元500而确定的非正方形形状的第二编码单元510划分为至少一个第三编码单元520a、520b、520c及520d等或不划分第二编码单元510。图像解码装置100可以获得划分形式模式信息，并且可以基于所获得的划分形式模式信息来将第一编码单元500划分为各种形式的多个第二编码单元(例如，510)，而且，第二编码单元510是可以基于划分形式模式信息根据第一编码单元500被划分的方式来被划分的。根据一实施例，当第一编码单元500基于关于第一编码单元500的划分形式模式信息而被划分为第二编码单元510时，第二编码单元510也可以基于关于第二编码单元510的划分形式模式信息而被划分为第三编码单元(例如，520a、520b、520c及520d等)。换言之，编码单元可以基于与各编码单元有关的划分形式模式信息被递归地划分。因此，可以在非正方形形状的编码单元中确定正方形的编码单元，也可以通过递归地划分该正方形形状的编码单元来确定非正方形形状的编码单元。
参照图5，在通过划分非正方形形状的第二编码单元510来被确定的奇数个的第三编码单元520b、520c及520d中的预定的编码单元(例如，位于中央的编码单元或正方形形状的编码单元)可以被递归地划分。根据一实施例，作为奇数个第三编码单元520b、520c及520d中的一个的正方形的第三编码单元520b可以被以水平方向划分且被划分为多个第四编码单元。多个第四编码单元530a、530b、530c及530d中的一个的非正方形形状的第四编码单元530b或530d可以再被划分为多个编码单元。例如，非正方形的第四编码单元530b或530d可以再被划分为奇数个编码单元。稍后通过各种实施例描述可以用于递归地划分编码单元的方法。
根据一实施例，图像解码装置100可以基于划分形式模式信息来将第三编码单元520a、520b、520c及520d分别划分为多个编码单元。并且，图像解码装置100可以基于划分形式模式信息来确定不划分第二编码单元510。图像解码装置100可以根据一实施例将非正方形形状的第二编码单元510划分为奇数个第三编码单元520b、520c及520d。图像解码装置100可以对在奇数个的第三编码单元520b、520c及520d中的预定数量的第三编码单元实施预定的限制。例如，图像解码装置100可以将在奇数个的第三编码单元520b、520c及520d中的位于中央的编码单元520c限制为不再被划分或可以被划分可设定的次数。
参照图5，图像解码装置100可以限制在非正方形形状的第二编码单元510中包括的奇数个的第三编码单元520b、520c及520d中的位于中央的编码单元520c不再被划分，限制划分形式(例如，仅被划分为四个编码单元或以与第二编码单元510被划分的形式对应的形式被划分)，或限制进行划分的次数(例如，仅进行划分n次，n>0)。然而，对位于中央的编码单元520c的所述限制仅仅是单纯的实施例，不应被解释为限于上述的实施例，应解释为包括位于中央的编码单元520c能够被解码成与其他编码单元520b和520d不同的各种限制。
根据一实施例，图像解码装置100可以从当前编码单元内的预定的位置获得用于划分当前编码单元的划分形式模式信息。
图6图示根据一实施例的图像解码装置100从奇数个的编码单元中确定预定的编码单元的方法。
参照图6，当前编码单元600和650的划分形式模式信息可以是从在当前编码单元600和650中包括的多个样点中位于预定位置的样点(例如，位于中央的样点640和690)获得的。然而，可以获得这种划分形式模式信息中至少一个的当前编码单元600内的预定位置不应被限制性地解释为在图6中所示的中央位置，而预定位置可以解释为包括可以包括在当前编码单元600内的各种位置(例如，最上端、最下端、左侧、右侧、左侧上端、左侧下端、右侧上端或右侧下端等)。图像解码装置100可以获得从预定位置获得的划分形式模式信息来确定将当前编码单元划分为各种形状和尺寸的编码单元或确定不进行划分。
根据一实施例，当当前编码单元被划分为预定数量的编码单元时，图像解码装置100可以选择其中一个编码单元。可以存在从多个编码单元中选择一个的各种方法，参照以下的各种实施例稍后描述这些各种方法。
根据一实施例，图像解码装置100可以将当前编码单元划分为多个编码单元并确定预定位置的编码单元。
根据一实施例，图像解码装置100可以使用指示奇数个编码单元各自的位置的信息以确定在奇数个编码单元中的位于中央的编码单元。参照图6，图像解码装置100可以划分当前编码单元600或当前编码单元650来确定奇数个的编码单元620a、620b及620c或奇数个的编码单元660a、660b及660c。图像解码装置100可以使用关于奇数个的编码单元620a、620b及620c或奇数个的编码单元660a、660b及660c的位置的信息来确定中央编码单元620b或中央编码单元660b。例如，图像解码装置100可以基于指示在编码单元620a、620b及620c中包括的预定样点的位置的信息来确定编码单元620a、620b及620c的位置以确定位于中央的编码单元620b。具体地，图像解码装置100可以基于指示编码单元620a、620b及620c的左侧上端的样点630a、630b及630c的位置的信息来确定编码单元620a、620b及620c的位置以确定位于中央的编码单元620b。
根据一实施例，指示分别包括在编码单元620a、620b及620c中的左侧上端的样点630a、630b及630c的位置的信息可以包括关于编码单元620a、620b及620c在画面内的位置或坐标的信息。根据一实施例，指示分别包括在编码单元620a、620b及620c中的左侧上端的样点630a、630b及630c的位置的信息可以包括指示在当前编码单元600中包括的编码单元620a、620b及620c的宽度或高度的信息，该宽度或高度可以相当于指示编码单元620a、620b及620c在画面内的坐标之间的差的信息。也就是说，图像解码装置100可以直接使用关于编码单元620a、620b及620c在画面内的位置或坐标的信息或使用关于与坐标之间的差值对应的编码单元的宽度或高度的信息来确定位于中央的编码单元620b。
根据一实施例，指示上端编码单元620a的左侧上端的样点630a的位置的信息可以指示(xa，ya)坐标，指示中央编码单元620b的左侧上端的样点630b的位置的信息可以指示(xb，yb)坐标，指示下端编码单元620c的左侧上端的样点630c的位置的信息可以指示(xc，yc)坐标。图像解码装置100可以使用分别在编码单元620a、620b及620c中包括的左侧上端的样点630a、630b及630c的坐标来确定中央编码单元620b。例如，将左侧上端的样点630a、630b及630c的坐标按照升序或降序排列，可以将包括位于中央的样点630b的坐标(即，(xb，yb))的编码单元620b确定为在通过划分当前编码单元600来确定的编码单元620a、620b及620c中的位于中央的编码单元。然而，指示左侧上端的样点630a、630b及630c的位置的坐标可以是指指示在画面内的绝对位置的坐标，进而，可以使用作为指示中央编码单元620b的左侧上端的样点630b相对于上端编码单元620a的左侧上端的样点630a的位置的相对位置的信息的(dxb，dyb)坐标和作为指示下端编码单元620c的左侧上端的样点630c相对于上端编码单元620a的左侧上端的样点630a的位置的相对位置的信息的(dxc，dyc)坐标。并且，通过将指示在编码单元中包括的样点的位置的信息用作该样点的坐标来确定预定位置的编码单元的方法不应被解释为限于上述的方法，而应被解释为可以使用样点的坐标的各种算术性方法。
根据一实施例，图像解码装置100可以将当前编码单元600划分为多个编码单元620a、620b及620c，且可以从编码单元620a、620b及620c中根据预定标准确定编码单元。例如，图像解码装置100可以从编码单元620a、620b及620c中选择具有不同尺寸的编码单元620b。
根据一实施例，图像解码装置100可以使用作为指示上端编码单元620a的左侧上端的样点630a的位置的信息的(xa，ya)坐标、作为指示中央编码单元620b的左侧上端的样点630b的位置的信息的(xb，yb)坐标)及作为指示下端编码单元620c的左侧上端的样点630c的位置的信息的(xc，yc)坐标来确定各个编码单元620a、620b及620c的宽度和高度。图像解码装置100可以使用指示编码单元620a、620b及620c的位置的坐标(xa，ya)、(xb，yb)及(xc，yc)来确定编码单元620a、620b及620c各自的尺寸。根据一实施例，图像解码装置100可以将上端编码单元620a的宽度确定为当前编码单元600的宽度。图像解码装置100可以将上端编码单元620a的高度确定为yb-ya。根据一实施例，图像解码装置100可以将中央编码单元620b的宽度确定为当前编码单元600的宽度。图像解码装置100可以将中央编码单元620b的高度确定为yc-yb。根据一实施例，图像解码装置100可以使用当前编码单元的宽度或高度和上端编码单元620a及中央编码单元620b的宽度和高度来确定下端编码单元的宽度或高度。图像解码装置100可以基于所确定的编码单元620a、620b及620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6，图像解码装置100可以将具有与上端编码单元620a和下端编码单元620c的尺寸不同的尺寸的中央编码单元620b确定为处于预定位置的编码单元。然而，所述的图像解码装置100确定具有与其他编码单元的尺寸不同的尺寸的过程仅为使用基于样点坐标确定的编码单元的尺寸确定预定位置的编码单元的一个实施例，因此可以使用将根据预定的样点坐标确定的编码单元的尺寸进行比较来确定预定位置的编码单元的各种过程。
图像解码装置100可以使用作为指示左侧编码单元660a的左侧上端的样点670a的位置的信息的(xd，yd)坐标)、作为指示中央编码单元660b的左侧上端的样点670b的位置的信息的(xe，ye)坐标及作为指示右侧编码单元660c的左侧上端的样点670c的位置的信息的(xf，yf)坐标来确定编码单元660a、660b及660c各自的宽度或高度。图像解码装置100可以使用作为指示编码单元660a、660b及660c的位置的坐标的(xd，yd)、(xe，ye)及(xf，yf)来确定各编码单元660a、660b，及660c的尺寸。
根据一实施例，图像解码装置100可以将左侧编码单元660a的宽度确定为xe-xd。图像解码装置100可以将左侧编码单元660a的高度确定为当前编码单元650的高度。根据一实施例，图像解码装置100可以将中央编码单元660b的宽度确定为xf-xe。图像解码装置100可以将中央编码单元660b的高度确定为当前编码单元600的高度。根据一实施例，图像解码装置100可以使用当前编码单元650的宽度或高度和左侧编码单元660a和中央编码单元660b的宽度和高度来确定右侧编码单元660c的宽度或高度。图像解码装置100可以基于所确定的编码单元660a、660b及660c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6，图像解码装置100可以将中央编码单元660b确定为预定位置的编码单元，所述中央编码单元660b具有与左侧编码单元660a和右侧编码单元660c的尺寸不同的尺寸。但是，所述图像解码装置100确定具有与其他编码单元的尺寸不同的尺寸的编码单元的过程仅为使用基于样点坐标确定的编码单元的尺寸来确定预定位置的编码单元的一个实施例，因此可以使用将根据预定的样点坐标确定的编码单元的尺寸进行比较来确定预定位置的编码单元的各种过程。
然而，为了确定编码单元的位置而考虑的样点的位置不应被解释为局限于所述左侧上端，而可以被解释为可以使用关于包括在编码单元中的任何样点的位置的信息。
根据一实施例，图像编码装置100可以考虑当前编码单元的形式来从通过划分当前编码单元而确定的奇数个编码单元中选择预定位置的编码单元。例如，若当前编码单元具有其宽度比高度大的非正方形形状，图像解码装置100可以根据水平方向确定处于预定位置的编码单元。换言之，图像解码装置100可以从在水平方向上位于不同位置的编码单元中确定一个并对该编码单元实施限制。若当前编码单元具有其高度比宽度大的非正方形形状，图像解码装置100可以根据垂直方向确定处于预定位置的编码单元。换言之，图像解码装置100可以从在垂直方向位于不同位置的编码单元中确定一个并对该编码单元实施限制。
根据一实施例，图像解码装置100可以使用指示偶数个编码单元的各个位置的信息来确定在偶数个编码单元中处于预定位置的编码单元。图像解码装置100可以通过划分(二划分；binary-split)当前编码单元来确定偶数个的编码单元，且可以使用关于偶数个的编码单元的位置的信息来确定处于预定位置的编码单元。对此的具体过程可对应于参照图6详细描述的从奇数个的编码单元中确定处于预定位置(例如，中央位置)的编码单元的过程，故不再赘述。
根据一实施例，当将具有非正方形形状的当前编码单元划分为多个编码单元时，在划分过程中可以使用关于处于预定位置的编码单元的预定信息来从多个编码单元中确定处于预定位置的编码单元。例如，图像解码装置100在划分过程中可以使用存储在包括在中央编码单元中的样点的块形状信息和划分形式模式信息中的至少一个，来从划分当前编码单元的多个的编码单元中确定处于中央的编码单元。
参照图6，图像解码装置100可以基于划分形式模式信息将当前编码单元600划分为多个编码单元620a、620b及620c，且可以从多个编码单元620a、620b及620c中确定处于中央的编码单元620b。进而，图像解码装置100可以考虑获得划分形式模式信息的位置来确定处于中央的编码单元620b。就是说，可以从处于当前编码单元600的中央的样点640获得划分形式模式信息，且可以基于所述划分形式模式信息来将在当前编码单元600划分为多个编码单元620a、620b及620c时包括所述样点640的编码单元620b确定为处于中央的编码单元。然而，用于确定位于中央的编码单元的信息不应被解释为局限于划分形式模式信息，而是各种信息可以被使用在确定位于中央的编码单元的过程中。
根据一实施例，用于识别处于预定位置的编码单元的预定的信息是可以从包括在在所要确定的编码单元中的预定的样点获得的。参照图6，图像解码装置100可以使用从当前编码单元600内的预定位置的样点(例如，位于当前编码单元600的中央的样点)获得的划分形式模式信息，来确定从通过划分当前编码单元600而确定的多个编码单元620a、620b及620c中的预定位置的编码单元(例如，在被划分为多个的编码单元中的位于中央的编码单元)。也就是说，图像解码装置100可以考虑当前编码单元600的块形状来确定所述位于预定位置的样点，且可以在通过划分当前编码单元600来确定的多个的编码单元620a、620b及620c中确定包括可以获得预定信息(例如，划分形式模式信息)的样点的编码单元620b并对该编码单元620b实施预定的限制。参照图6，根据一实施例，图像解码装置100可以将位于当前编码单元600的中央的样点640确定为可以用于获得预定的信息的样点，且可以在解码过程中对包括该样点640的编码单元620b实施预定的限制。然而，可以获得预定信息的样点的位置不应被解释为局限于上述的位置，而可以被解释为在为了设置限制而确定的编码单元620b中包括的任何位置的样点。
根据一实施例，可以获得预定信息的样点的位置是可以根据当前编码单元600的形状确定的。根据一实施例，块形状信息可以确定当前编码单元的形状是正方形还是非正方形，并且，可以根据该形状确定可以获得预定信息的样点的位置。例如，图像解码装置100可以使用当前编码单元的关于宽度的信息和关于高度的信息中的至少一个可以将位于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可以从该样点获得预定信息的样点。根据另一个例子，当关于当前编码单元的块形状信息指示非正方形形状时，图像解码装置100可以将与将当前编码单元的长边对半划分的边界相邻的样点中的一个确定为可以获得预定信息的样点。
根据一实施例，当将当前编码单元划分为多个编码单元时，图像解码装置100可以使用划分形式模式信息来确定在多个编码单元中位于预定位置的编码单元。根据一实施例，图像解码装置100可以从包括在编码单元中的预定位置的样点中获得划分形式模式信息，且可以通过使用从在多个编码单元中分别包括的预定位置的样点中获得的关于划分形式模式信息来将通过划分当前编码单元来生成的多个编码单元进行划分。换言之，可以使用从包括在各编码单元的预定位置的样点中获得的划分形式模式信息递归地划分编码单元。已参照图5详细描述了编码单元的递归划分过程，故不再赘述。
根据一实施例，图像解码装置100可以通过划分当前编码单元来确定至少一个编码单元，且可以根据预定的块(例如，当前编码单元)来确定对至少一个编码单元进行解码的顺序。
图7图示根据一实施例的当图像解码装置100划分当前编码单元来确定多个编码单元时多个编码单元被处理的顺序。
根据一实施例，图像解码装置100可以根据划分形式模式信息以垂直方向划分第一编码单元700来确定第二编码单元710a和710b，以水平方向划分第一编码单元来确定第二编码单元730a和730b，或者以垂直方向和水平方向划分第一编码单元700来确定第二编码单元750a、750b、750c，及750d。
参照图7，图像解码装置100可以确定顺序以使通过以垂直方向划分第一编码单元700来确定的第二编码单元710a和710b被以水平方向710c处理。图像解码装置100可以将通过以水平方向划分第一编码单元700来确定的第二编码单元730a和730b的处理顺序为垂直方向730c。图像解码装置100可以根据位于一个行的编码单元被处理后位于下一个行的编码单元被处理的预定顺序(例如，光栅扫描顺序(raster scan order)或z扫描顺序(z scanorder)750e等)来确定通过以垂直方向和水平方向划分第一编码单元700来确定的第二编码单元750a、750b、750c，750d。
根据一实施例，图像解码装置100可以递归地划分编码单元。参照图7，图像解码装置100可以通过划分第一编码单元700来确定多个编码单元710a、710b、730a、730b、750a、750b、750c、750d，且可以递归地划分所确定的多个编码单元710a、710b、730a、730b、750a、750b、750c、750d。划分多个编码单元710a、710b、730a、730b、750a、750b、750c、750d的方法可以是与划分第一编码单元700的方法对应的方法。因此，多个编码单元710a、710b、730a、730b、750a、750b、750c、750d可以各自独立地被划分为多个编码单元。参照图7，图像解码装置100可以以垂直方向划分第一编码单元700来确定第二编码单元710a和710b，进而，也可以确定将第二编码单元710a和710b进行划分或不进行划分。
根据一实施例，图像解码装置100可以将左侧的第二编码单元710a以水平方向划分为第三编码单元720a和720b，而可以不划分右侧的第二编码单元710b。
根据一实施例，编码单元的处理顺序是可以根据编码单元的划分过程确定的。换言之，划分的编码单元的处理顺序是可以基于划分之前的编码单元的处理顺序来确定的。图像解码装置100可以与右侧的第二编码单元710b分开地确定对通过划分左侧的第二编码单元710a来确定的第三编码单元720a和720b的处理顺序。由于通过以水平方向划分左侧的第二编码单元710a来确定第三编码单元720a和720b，可以以垂直方向720c处理第三编码单元720a和720b。并且，左侧的第二编码单元710a和右侧的第二编码单元710b被处理的顺序相当于水平方向710c，因此，在在左侧的第二编码单元710a中包括的第三编码单元720a和720b被以垂直方向720c处理后，右侧编码单元710b可以被处理。上述的内容仅用于说明根据划分前的编码单元确定各编码单元的处理顺序的过程，不应将其解释为限于上述实施例，应解释为上述内容适用于以各种形式划分来确定的编码单元可以按照预定顺序独立地处理的各种方法。
图8图示根据一实施例的当图像解码装置100不能按照预定的顺序处理编码单元时确定当前编码单元将被划分为奇数个的编码单元的过程。
根据一实施例，图像解码装置100基于关于所获得的块形状信息和划分形式模式信息来确定当前编码单元被划分为奇数个编码单元。参照图8，具有正方形形状的第一编码单元800可以被划分为非正方形的第二编码单元810a和810b，第二编码单元810a和810b可以各自独立地被划分为第三编码单元820a、820b、820c、820d和820e。根据一实施例，在第二编码单元中，图像解码装置100可以将左侧编码单元810a以水平方向划分来确定多个第三编码单元820a和820b，且可以将右侧编码单元810b划分为奇数个的第三编码单元820c、820d和820e。
根据一实施例，图像解码装置100可以判断第三编码单元820a、820b、820c、820d和820e是否可以按照预定的顺序被处理来确定是否存在划分为奇数个的编码单元。参照图8，图像解码装置100可以递归地划分第一编码单元800来确定第三编码单元820a、820b、820c、820d和820e。图像解码装置100可以基于划分形式模式信息来确定第一编码单元800、第二编码单元810a和810b或第三编码单元820a、820b、820c、820d和820e在划分形式中是否被划分为奇数个编码单元。例如，在第二编码单元810a和810b中位于右侧的编码单元可以被划分为奇数个的第三编码单元820c、820d和820e。在第一编码单元800中包括的多个编码单元的处理顺序可以为预定顺序(例如，z-扫描顺序(z-scan order)830，图像解码装置100可以判断通过将右侧的第二编码单元810b划分为奇数个来确定的第三编码单元820c、820d和820e是否满足可以按照所述预定顺序被处理的条件。
根据一实施例，图像解码装置100可以确定在第一编码单元800中包括的第三编码单元820a、820b、820c、820d和820e是否满足可以按照预定顺序被处理的条件，所述条件与是否可以按照第三编码单元820a、820b、820c、820d和820e的边界将第二编码单元810a和810b的宽度和高度中的至少一个对半划分有关。例如，通过将非正方形形状的左侧第二编码单元810a的高度对半划分来确定的第三编码单元820a和820b可以满足条件。通过将右侧第二编码单元810b划分为三个编码单元而确定的第三编码单元820c、820d、820e的边界不能将右侧第二编码单元810b的宽度或高度对半划分，因此可以确定第三编码单元820c、820d和820e不满足条件。图像解码装置100可以将这种条件不满足的情况判断为扫描顺序的不连续(disconnection)，且可以基于判断结果确定右侧第二编码单元810b被划分为奇数个的编码单元。根据一实施例，当编码单元被划分为奇数个的编码单元时，图像解码装置100可以对划分出的编码单元中的在预定位置的编码单元实施预定的限制，由于参照各种实施例详细描述了关于这些限制内容或预定位置，故不再赘述。
图9图示根据一实施例的图像解码装置100划分第一编码单元900来确定至少一个编码单元的过程。
根据一实施例，图像解码装置100可以基于从接收器(未示出)获得的划分形式模式信息来划分第一编码单元900。正方形的第一编码单元900可以被划分为具有正方形形状的四个编码单元或被划分为多个的非正方形形状的编码单元。例如，参照图9，当第一编码单元900为正方形且划分形式模式信息指示以非正方形的编码单元划分时，图像解码装置100可以将第一编码单元900划分为多个非正方形的编码单元。具体地，当划分形式模式信息指示通过以水平方向或垂直方向划分第一编码单元900来确定奇数个编码单元时，图像解码装置100可以将正方形形状的第一编码单元900划分为奇数个的编码单元，即，以垂直方向划分来确定的第二编码单元910a、910b和910c或通过以水平方向划分来确定的第二编码单元920a、920b和920c。
根据一实施例，图像解码装置100可以确定在第一编码单元900中包括的第二编码单元910a、910b、910c、920a、920b和920c是否满足可以按照预定顺序处理的条件，所述条件与是否可以按照第二编码单元910a、910b、910c、920a、920b和920c的边界将第一编码单元900的宽度和高度中至少一个对半划分有关。参照图9，通过以垂直方向划分正方形形状的第一编码单元900来确定的第二编码单元910a、910b和910c的边界不能将第一编码单元900的宽度对半划分，因此可以确定第一编码单元900不满足可以按照预定顺序处理的条件。并且，通过以水平方向划分正方形形状的第一编码单元900来确定的第二编码单元920a、920b和920c的边界不能将第一编码单元900的高度对半划分，因此可以确定第一编码单元900不满足可以按照预定顺序处理的条件。图像解码装置可以将这种条件不满足的情况判断为扫描顺序的不连续(disconnection)，基于判断结果，可以确定第一编码单元900划分为奇数个的编码单元。根据一实施例，当编码单元被划分为奇数个的编码单元时，图像解码装置100可以对划分出的编码单元中的在预定位置的编码单元实施预定的限制，由于参照各种实施例详细描述了关于这些限制内容或预定位置，故不再赘述。
根据一实施例，图像解码装置100可以划分第一编码单元来确定各种形式的编码单元。
参照图9，图像解码装置100可以将正方形形状的第一编码单元900、非正方形形状的第一编码单元930或950划分为各种形式的编码单元。
图10图示根据一实施例的当图像解码装置100划分第一编码单元1000来确定的非正方形形状的第二编码单元满足预定条件时，可划分第二编码单元的形式受到限制。
根据一实施例，图像解码装置100可以基于从接收器(未示出)获得的划分形式模式信息来确定将正方形形状的第一编码单元1000划分为非正方形形状的第二编码单元1010a、1010b、1020a、及1020b)。第二编码单元1010a、1010b、1020a和1020b可以被独立地划分。由此，图像解码装置100可以基于各个第二编码单元1010a、1010b、1020a和1020b的划分形式模式信息确定将第二编码单元1010a、1010b、1020a和1020b分别划分为多个编码单元或确定不进行划分。根据一实施例，图像解码装置100可以将通过以垂直方向划分第一编码单元1000确定的非正方形形状的左侧第二编码单元1010a以水平方向划分来确定第三编码单元1012a和1012b。只是，图像解码装置100可以以水平方向划分左侧的第二编码单元1010a后限制右侧的编码单元1010b不可以被以与左侧第二编码划分1010a的划分方向相同的水平方向划分。当通过以相同的方向划分右侧的第二编码单元1010b来确定第三编码单元1014a和1014b时，可以以水平方向各自独立地划分左侧的第二编码单元1010a和右侧的第二编码单元1010b来确定第三编码单元1012a、1012b、1014a和1014b。然而，这是与图像解码装置100基于划分形式模式信息将第一编码单元1000划分为四个正方形形状的第二编码单元1030a、1030b、1030c和1030d相同的结果，这在图像解码的角度来看可能是低效率的。
根据一实施例，图像解码装置100可以通过将以水平方向划分第一编码单元1000来确定的非正方形形状的第二编码单元1020a或1020b以垂直方向划分来确定第三编码单元1022a、1022b、1024a和1024b。然而，当将第二编码单元中的一个(例如，上端第二编码单元1020a)以垂直方向划分时，根据上述的理由，图像解码装置100可以限制另一第二编码单元(例如下端编码单元1020b不能被以与划分上端第二编码单元1020a的方向相同的垂直方向划分。
图11图示根据一实施例的当划分形式模式信息不能指示划分为四个正方形形状的编码单元时图像解码装置100划分正方形形状的编码单元的过程。
根据一实施例，图像解码装置100可以基于划分形式模式信息中划分第一编码单元1100来确定第二编码单元1110a、1110b、1120a和1120b等。划分形式模式信息可以包括关于可以划分编码单元的各种形式的信息，然而，在有些情况下，关于各种形式的包括不能包括用于将编码单元划分为正方形的四个编码单元的信息。根据该划分形式模式信息，图像解码装置100不能将正方形形状的第一编码单元1100划分为四个正方形形状的第二编码单元1130a、1130b、1130c和1130d。基于划分形式模式信息，图像解码装置100可以确定非正方形形状的第二编码单元1110a、1110b、1120a和1120b等。
根据一实施例，图像解码装置100可以各自独立地划分非正方形形状的第二编码单元1110a、1110b、1120a和1120b等。各个第二编码单元1110a、1110b、1120a和1120b通过递归的方法按照预定的顺序被划分，这可以是与基于划分形式模式信息划分第一编码单元1100的方法对应的划分方法。
例如，图像解码装置100可以通过以水平方向划分左侧第二编码单元1110a来确定正方形形状的第三编码单元1112a和1112b，且可以通过以水平方向划分右侧第二编码单元1110b来确定正方形形状的第三编码单元1114a和1114b。进而，图像解码装置100可以通过将左侧第二编码单元1110a和右侧第二编码单元1110b均以水平方向划分来确定正方形形状的第三编码单元1116a、1116b、1116c和1116d。在这种情况下，可以以与第一编码单元1100被划分为四个正方形形状的第二编码单元1130a、1130b、1130c和1130d的形式相同的形式确定编码单元。
根据另一个例子，图像解码装置100可以通过以垂直方向划分上端第二编码单元1120a来确定正方形形状的第三编码单元1122a和1122b，且可以通过以垂直方向划分下端第二编码单元1120b来确定正方形形状的第三编码单元1124a和1124b。进而，图像解码装置100可以通过将上端第二编码单元1120a和下端第二编码单元1120b均以垂直方向划分来确定正方形形状的第三编码单元1126a、1126b、1126a和1126b。在这种情况下，可以与将第一编码单元1100划分为四个正方形形状的第二编码单元1130a、1130b、1130c和1130d类似的形状确定编码单元。
图12图示根据一实施例的多个编码单元之间的处理顺序可以根据编码单元的划分过程而变更。
根据一实施例，图像解码装置100可以基于划分形式模式信息来划分第一编码单元1200。当块形状为正方形形状且划分形式模式信息指示第一编码单元1200被以水平方向和垂直方向中的至少一个方向划分时，图像解码装置100可以通过划分第一编码单元1200来确定第二编码单元(例如，1210a、1210b、1220a和1220b等)。参照图12，通过仅以水平方向或垂直方向划分第一编码单元1200来确定的非正方形形状的第二编码单元1210a、1210b、1220a和1220b可以基于关于各第二编码单元1210a、1210b、1220a和1220b的划分形式模式信息被独立地划分。例如，图像解码装置100可以将通过以垂直方向划分第一编码单元1200来生成的第二编码单元1210a和1210b分别以水平方向划分来确定第三编码单元1216a、1216b、1216c和1216d，且可以将通过以水平方向划分第一编码单元1200生成的第二编码单元1220a和1220b分别以水平方向划分来确定第三编码单元1226a、1226b、1226c和1226d。已结合图11详细地描述了第二编码单元1210a、1210b、1220a和1220b的划分过程，故不再赘述。
根据一实施例，图像解码装置100可以按照预定的顺序来处理编码单元。已经结合图7描述了关于按照预定顺序的编码单元的处理的特征，故不再赘述。参照图12，图像解码装置100可以划分正方形形状的第一编码单元1200来确定四个正方形形状的第三编码单元1216a、1216b、1216c、1216d、1226a、1226b、1226c和1226d。根据一实施例，图像解码装置100可以根据第一编码单元100被划分的形式确定第三编码单元1216a、1216b、1216c、1216d、1226a、1226b、1226c和1226d的处理顺序。
根据一实施例，图像解码装置100可以通过将以垂直方向划分而生成的第二编码单元1210a和1210b分别以水平方向划分来确定第三编码单元1216a、1216b、1216c和1216d，且可以按首先以垂直方向处理在左侧第二编码单元1210a中包括的第三编码单元1216a和1216c，然后以垂直方向处理在右侧第二编码单元1210b中包括的第三编码单元1216b和1216d的顺序1217来处理第三编码单元1216a、1216b、1216c和1216d。
根据一实施例，图像解码装置100可以通过将以水平方向划分而生成的第二编码单元1220a和1220b分别以垂直方向划分来确定第三编码单元1226a、1226b、1226c和1226d，且可以按首先以垂直方向处理在上端第二编码单元1220a中包括的第三编码单元1226a和1226b，然后以垂直方向处理在下端第二编码单元1220b中包括的第三编码单元1226c和1226d的顺序1227来处理第三编码单元1226a、1226b、1226c和1226d。
参照图12，通过将第二编码单元1210a、1210b、1220a和1220b各自划分可以确定正方形形状的第三编码单元1216a、1216b、1216c、1216d、1226a、1226b、1226c和1226d。以垂直方向划分而确定的第二编码单元1210a和1210b及以水平方向划分而确定的第二编码单元1220a和1220b是以彼此不同的形式划分的，然而，如果根据稍后被确定的第三编码单元，第一编码单元1200可以被划分为相同形状的编码单元。基于此，通过基于划分形式模式信息来将编码单元以不同的过程进行递归划分，即使确定了结果上相同形状的多个编码单元，但是图像解码装置100可以按彼此不同的顺序来处理这种确定的相同形状的多个编码单元。
图13图示根据一实施例的当递归地划分编码单元来确定多个编码单元时随着编码单元的形状和尺寸的变化而确定编码单元的深度的过程。
根据一实施例，图像解码装置100可以根据预定的基准确定编码单元的深度。例如，预定的基准可以是编码单元的长边的长度。当以划分前的编码单元的长边的长度的2n(n>0)倍来将当前编码单元的长边的长度划分时，图像解码装置100可以确定当前编码单元的深度比划分前的编码单元的深度增加了n。以下，将其深度增加的编码单元表现为具有下位深度的编码单元。
参照图13，基于根据一实施例指示正方形形状的块形状信息(例如，块形状信息可以指示‘0：SQUARE’)，图像解码装置100可以通过划分正方形形状的第一编码单元1300来确定下位深度的第二编码单元1302、第三编码单元1304等。若假定正方形形状的第一编码单元1300的尺寸为2N×2N，通过以1/2倍划分第一编码单元1300的宽度和高度而确定的第二编码单元1302可以具有N×N的尺寸。进而，通过将第二编码单元1302的宽度和高度分别划分为1/2尺寸而确定的第三编码单元1304可以具有N/2×N/2的尺寸。此时，第三编码单元1304的宽度和高度分别相当于第一编码单元1300的宽度和高度的1/4倍。当第一编码单元1300的深度为D时，第一编码单元1300的宽度和高度的1/2倍的第二编码单元1302的深度可以为D+1，第一编码单元1300的宽度和高度的1/4倍的第三编码单元1304的深度可以为D+2。
根据一实施例，图像解码装置100可以基于指示非正方形形状的块形状信息(例如，块形状信息可以指示'1：NS_VER'，其指示高度长于宽度的非正方形，或者'2:NS_HOR'，其指示宽度长于高度的非正方形)来划分非正方形形状的第一编码单元1310或1320而确定下位深度的第二编码单元1312或1322、第三编码单元1314或1324等。
图像解码装置100可以通过划分具有N×2N尺寸的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元(例如，第二编码单元1302、1312和1322等)。换言之，图像解码装置100可以以水平方向划分第一编码单元1310来确定具有N×N尺寸的第二编码单元1302或具有N×N/2尺寸的第二编码单元1322，也可以以水平方向和垂直方向划分来确定具有N/2×N尺寸的第二编码单元1312。
根据一实施例，图像解码装置100可以通过划分具有2N×N尺寸的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元(例如，1302、1312和1322等)。也就是说，图像解码装置100可以通过以垂直方向划分第一编码单元1320来确定具有N×N尺寸的第二编码单元1302或具有N/2×N尺寸的第二编码单元1312，也可以以水平方向和垂直方向来确定N×N/2尺寸的第二编码单元1322。
根据一实施例，图像解码装置100可以通过划分具有N×N尺寸的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元(例如，1304、1314和1324等)。换言之，图像解码装置100可以通过以垂直方向和水平方向划分第二编码单元1302来确定具有N/2×N/2尺寸的第三编码单元1302，确定具有N/4×N/2尺寸的第三编码单元1314，或确定具有N/2×N/4尺寸的第三编码单元1324。
根据一实施例，图像解码装置100可以通过划分具有N/2×N尺寸的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元(例如，1304、1314和1324等)。也就是说，图像解码装置100可以通过以水平方向划分第二编码单元1312来确定具有N/2×N/2尺寸的第三编码单元1304或具有N/2×N/4尺寸的第三编码单元1324，或者可以通过以垂直方向和水平方向划分第二编码单元1312来确定具有N/4×N/2尺寸的第三编码单元1314。
根据一实施例，图像解码装置100还可以通过划分具有N×N/2尺寸的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元(例如，1304、1314和1324等)。换言之，图像解码装置100可以通过以垂直方向划分第二编码单元1322来确定具有N/2×N/2尺寸的第三编码单元1304或N/4×N/2尺寸的第二编码单元1304，或者可以通过以垂直方向和水平方向划分第二编码单元1322来确定具有N/2×N/4尺寸的第三编码单元1324。
根据一实施例，图像解码装置100可以以水平方向或垂直方向划分具有正方形形状的编码单元(例如，1300、1302或1304)。例如，通过以垂直方向划分具有2N×2N尺寸的第一编码单元1300来确定具有N×2N尺寸的第一编码单元1310或以水平方向划分第一编码单元1300来确定具有2N×N尺寸的第一编码单元1320。根据一实施例，当深度基于编码单元的长度最大的边被确定的时，通过以水平方向或垂直方向划分具有2N×2N尺寸的第一编码单元1300而确定的编码单元的深度可以与第一编码单元1300的深度相同。
根据一实施例，第三编码单元1314或1324的宽度和高度可以相当于第一编码单元1310或1320的1/4倍。当第一编码单元1310或1320的深度为D时，作为第一编码单元1310或1320的高度和宽度的1/2倍的第二编码单元1312或1322的深度可以为D+1，作为第一编码单元1310或1320的1/4倍的第三编码单元1314或1324的深度可以为D+2。
图14图示根据一实施例的可根据编码单元的形状和尺寸确定的深度和用于区分编码单元的部分索引(part index，下称PID)。
根据一实施例，图像解码装置100可以通过划分具有正方形形状的第一编码单元1400来确定具有各种形状的第二编码单元。参照图14，图像解码装置100可以根据划分形式模式信息以垂直方向和水平方向中的至少一个方向划分第一编码单元1400来确定第二编码单元1402a、1402b、1404a、1404b、1406a、1406b、1406c和1406d。就是说，图像解码装置100可以基于针对第一编码单元1400的划分形式模式信息来确定第二编码单元1402a、1402b、1404a、1404b、1406a、1406b、1406c、1406d。
根据一实施例，基于针对正方形形状的第一编码单元1400的划分形式模式信息而被确定的第二编码单元1402a、1402b、1404a、1404b、1406a、1406b、1406c和1406的深度可以基于长边的长度被确定。例如，正方形形状的第一编码单元1400的一个边的长度与非正方形形状的第二编码单元1402a、1402b、1404a和1404b的长边的长度相同，因此，第一编码单元1400和非正方形形状的第二编码单元1402a、1402b、1404a和1404b的深度可以被视为相同的D。相反地，当图像解码装置100基于划分形式模式信息将第一编码单元1400划分为四个正方形形状的第二编码单元1406a、1406b、1406c和1406d的时，正方形形状的第二编码单元1406a、1406b、1406c和1406d的一个边的长度为第一编码单元1400的一个边的1/2倍，因此，第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深一个深度的深度，即，D+1。
根据一实施例，图像解码装置100可以根据划分形式模式信息将长度大于宽度的第一编码单元1410以水平方向划分为多个第二编码单元1412a、1412b、1414a、1414b和1414c。根据一实施例，图像解码装置100可以根据划分形式模式信息将宽度大于长度的第一编码单元1420以水平方向划分为多个第二编码单元1422a、1422b、1424a、1424b和1424c。
根据一实施例，根据针对非正方形形状的第一编码单元1410或1420的划分形式模式信息而被确定的第二编码单元1412a、1412b、1414a、1414b、1414c、1422a、1422b、1424a、1424b和1406的深度可以基于长边的长度被确定。例如，正方形形状的第二编码单元1412a、1412b的一个边的长度为高度大于宽度的非正方形形状的第一编码单元1410的一个边的长度的1/2倍，因此，正方形形状的第二编码单元1412a和1412b的深度为比非正方形形状的第一编码单元1410的深度D深一个深度的深度D+1。
进而，图像解码装置100可以基于划分形式模式信息将非正方形形状的第一编码单元1410划分为奇数个的第二编码单元1414a、1414b和1414c。奇数个的第二编码单元1414a、1414b和1414c可以包括非正方形形状的第二编码单元1414a和1414c及正方形形状的第二编码单元1414b。在这种情况下，非正方形形状的第二编码单元1414a和1414c的长边的长度和正方形形状的第二编码单元1414b的一个边的长度等于第一编码单元1410的一个边的长度的1/2倍，因此，第二编码单元1414a、1414b和1414c的深度为比第一编码单元1410的深度D深一个深度的深度D+1。图像解码装置100可以按照与确定与第一编码单元1410有关的编码单元的深度的所述方式对应的方式确定与宽度大于高度的非正方形形状的第一编码单元1420有关的编码单元的深度。
根据一实施例，对于确定用于区分被划分的编码单元的索引PID而言，当奇数个划分的编码单元的尺寸彼此不同时，图像解码装置100可以基于编码单元之间的尺寸比例来确定索引。参照图14，在划分的奇数个的编码单元1414a、1414b和1414c中，位于中央的编码单元1414b的宽度可以与其他编码单元1414a和1414c的宽度相同，然而，其高度可以等于其他编码单元1414a和1414c的高度的两倍。换言之，在这种情况下，位于中央的编码单元1414b可以包括两个其他编码单元1414a和1414c。因此，根据扫描顺序，若位于中央的编码单元1414的部分索引PID为1，位于下一个顺序的编码单元1414c的部分索引可以是从1增加2的3。换言之，有可存在索引值的不连续性。根据一实施例，图像解码装置100可以基于用于区分划分的编码单元的索引的不连续性是否存在，确定划分的奇数个的编码单元是否具有彼此相同的尺寸。
根据一实施例，图像解码装置100可以基于用于区分通过将当前编码单元划分来确定的多个编码单元的索引的值而确定是否使用特定划分形式进行划分。参照图14，图像解码装置100可以通过划分高度大于宽度的矩形形状的第一编码单元1410来确定偶数个的编码单元1412a和1412b或确定奇数个的编码单元1414a、1414b和1414c。图像解码装置100可以使用各编码单元的PID来区分多个编码单元。根据一实施例，可以从各编码单元中的预定位置的样点(例如，左侧上端的样点)获得PID。
根据一实施例，图像解码装置100可以使用用于区分编码单元的索引来确定被划分而确定的编码单元中的在预定位置的编码单元。根据一实施例，当针对高度大于宽度的矩形形状的第一编码单元1410的划分形式信息指示第一编码单元1410被划分为三个编码单元时，图像解码装置100可以将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码装置100可以分配针对三个编码单元1414a、1414b和1414c各自的索引。图像解码装置100可以对关于各编码单元的索引进行比较以在被划分的奇数个的编码单元中确定中央编码单元。图像解码装置100可以基于编码单元的索引将具有与索引的中央值对应的索引的编码单元1414b确定为通过划分第一编码单元1410来确定的编码单元中的位于中央的编码单元。根据一实施例，对于确定用于区分划分的编码单元的索引而言，当编码单元的尺寸彼此不同的时，图像解码装置100可以基于编码单元之间的尺寸比例来确定索引。参照图14，通过划分第一编码单元1410而生成的编码单元1414b的宽度与其他编码单元1414a和1414c的宽度相同，但其高度可以是高度同的其他编码单元1414a和1414c的高度的两倍。在这种情况下，若位于中央的编码单元1414b的PID为1，位于下一个顺序的编码单元1414的索引为增加2的3。如在这种情况下，当索引均匀地增加时增幅改变时，图像解码装置100可以确定通过使用包括具有与其他编码单元不同尺寸的编码单元的多个编码单元来进行划分。根据一实施例，当划分形式模式信息指示以奇数个的编码单元进行划分时，图像解码装置100可以使用在奇数个编码单元中的具有预定位置的编码单元(例如，中央编码单元)具有与其他编码单元的尺寸不同的尺寸的形式将当前编码单元划分。在这种情况下，图像解码装置100可以使用关于编码单元的索引PID来确定具有不同尺寸的中央编码单元。然而，上述的索引、所要确定的预定位置的编码单元的尺寸或位置是为了说明一实施例而预定的，编码单元的确定不应被解释为受到限制，应解释为可以使用各种索引、编码单元的位置及尺寸。
根据一实施例，图像解码装置100可以使用开始编码单元的递归性划分的预定的数据单元。
图15图示根据一实施例的基于在画面中包括的多个预定的编码单元来确定多个编码单元。
根据一实施例，预定的数据单元可以被定义为使用划分形式模式信息开始在其中递归地划分编码单元的数据单元。换言之，预定的数据单元可以相当于在确定划分当前画面的多个编码单元的过程中使用的最上位深度的编码单元。在下文中，为了便于说明，将这些预定的数据单元指称为基准数据单元。
根据一实施例，基准数据单元可以指示预定的尺寸和形状。根据一实施例，基准编码单元可以包括M×N的样点。这里，M和N可以彼此相同，也可以是被表现为2的乘数的整数。换言之，基准数据单元可以显示出正方形或非正方形的形状，以后可以被划分为整数个的编码单元。
根据一实施例，图像解码装置100可以将当前画面划分为多个基准数据单元。根据一实施例，图像解码装置100可以使用针对各个基准数据单元的划分形式模式信息来划分用于划分当前画面的多个基准数据单元。基准数据单元的这种划分过程可以对应于使用四树(quad-tree)结构的划分过程。
根据一实施例，图像解码装置100可以预先确定包括在当前画面中的基准数据单元可以具有的最小的尺寸。由此，图像解码装置100可以确定具有等于或大于最小尺寸的各种尺寸的基准数据单元，且可以基于所确定的基准数据单元使用划分形式模式信息来确定至少一个编码单元。
参照图15，图像解码装置100既可以使用正方形形状的基准编码单元1500，也可以使用非正方形形状的基准编码单元1502。根据一实施例，基准编码单元的形状和尺寸可以由可包括至少一个基准编码单元的各种数据单元(例如，序列(sequence)、画面(picture)、条带(slice)、条带片段(slice segment)和最大编码单元等)所确定。
根据一实施例，图像解码装置100的接收器(未示出)可以根据所述各种数据单元从比特流获得关于基准编码单元的形状的信息和关于基准编码单元的尺寸的信息中的至少一个。通过图3的当前编码单元300被划分的过程详细地描述了在正方形形状的基准编码单元1500中包括的至少一个编码单元被确定的过程，而且通过图4的当前编码单元400或450被划分的过程详细地描述了在非正方形形状的基准编码单元1502中包括的至少一个编码单元的过程，故不再赘述。
根据一实施例，图像解码装置100可以使用用于识别基准编码单元的尺寸和形状的索引以根据基于预定条件被预定的一些数据单元确定基准编码单元的尺寸和形状。换言之，针对作为所述各种数据单元(例如，序列、画面、条带、条带片段和最大编码单元等)中满足预定条件(例如，尺寸小于或等于条带的数据单元)的数据单元的每个条带、条带段、最大编码单元，接收器(未示出)可以从比特流仅获得用于识别基准编码单元的尺寸及形状的索引。图像解码装置100可以使用索引对满足所述预定条件的每个数据单元确定基准数据单元的尺寸和形状。当根据相对小的数据单元从比特流获得并使用关于基准编码单元的形状的信息和关于基准编码单元的尺寸的信息时，比特流的使用效率可能不好，因此，可以仅获得并使用所述索引，而不是直接获得关于基准编码单元的形状的信息和关于基准编码单元的尺寸的信息。在这种情况下，与指示基准编码单元的尺寸和形状的索引对应的基准编码单元的尺寸和形状中的至少一个可以是预定的。换言之，图像解码装置100可以基于索引选择预定的基准编码单元的尺寸和形状中的至少一个以确定在用作获得索引的基准的数据单元中包括的基准编码单元的尺寸和形状中的至少一个。
根据一实施例，图像解码装置100可以使用在一个最大编码单元中包括的至少一个基准编码单元。换言之，划分图像的最大编码单元可以包括至少一个基准编码单元，且可以通过各个基准编码单元的递归划分过程确定编码单元。根据一实施例，最大编码单元的宽度和高度中的至少一个可以相当于基准编码单元的宽度和高度中的至少一个的整数倍。根据一实施例，基准编码单元的尺寸可以是将最大编码单元根据四树结构划分n次而获得的尺寸。换言之，图像解码装置100可以通过将最大编码单元根据四树结构划分n次来确定基准编码单元，且可以根据各种实施例基于块形状信息和关于划分形式模式的信息中的至少一个划分基准编码单元。
图16图示根据一实施例的作为确定在画面1600中包括的基准编码单元的确定顺序的基准的处理块。
根据一实施例，图像解码装置100可以确定用于划分画面的至少一个处理块。处理块为包括划分图像的至少一个基准编码单元的数据单元，在处理块中包括的至少一个基准编码单元是可以按照特定顺序确定的。换言之，在各个处理块中确定的至少一个基准编码单元的确定顺序可以相当于可以确定基准编码单元的各种顺序的类型之一，在各个处理块中确定的基准编码单元的确定顺序可以根据各处理块不同。在每个处理块中确定的基准编码单元的确定顺序可以是光栅扫描(raster scan)、Z扫描(Z-scan)、N扫描(N-scan)、右上对角扫描(up-right diagonal scan)、水平扫描(horizontal scan)和垂直扫描(verticalscan)，然而，可以确定的顺序不应被解释为限于所述扫描顺序。
根据一实施例，图像解码装置100可以通过获得关于处理块的尺寸的信息来确定被包括在图像中的至少一个处理块的尺寸。图像解码装置100可以通过从比特流中获得关于处理块的信息来确定在图像中包括的至少一个处理块的尺寸。这种处理块的尺寸可以是关于处理块的尺寸的信息所指示的数据单元的预定的尺寸。
根据一实施例，图像解码装置100的接收器(未示出)可以从比特流中根据每个预定的数据单元获得关于处理块的尺寸的信息。例如，关于处理块的尺寸的信息是可以根据图像、序列、画面、条带、条带片段等的数据单元从比特流中获得的。换言之，接收器(未示出)可以根据所述多个数据单元分别从比特流中获得关于处理块的尺寸的信息，图像解码装置100可以使用所获得的关于处理块的尺寸的信息来确定用于划分画面的至少一个处理块的尺寸，这种处理块的尺寸可以是基准编码单元的整数倍的尺寸。
根据一实施例，图像解码装置100可以确定包括在画面1600中的处理块1602和1612的尺寸。例如，图像解码装置100可以基于从比特流获得的关于处理块的尺寸的信息来确定处理块的尺寸。参照图16，图像解码装置100可以根据一实施例将处理块1602和1612的横向尺寸确定为基准编码单元的横向尺寸的四倍，并将纵向尺寸确定为基准编码单元的纵向尺寸的四倍。图像解码装置100可以确定在至少一个处理块内确定至少一个基准编码单元的顺序。
根据一实施例，图像解码装置100可以基于处理块的尺寸来确定被包括在画面1600中的各个处理块1602和1612，且可以确定被包括在处理块1602和1612中的至少一个基准编码单元的确定顺序。根据一实施例，对基准编码单元的确定可以包括对基准编码单元的尺寸的确定。
根据一实施例，图像解码装置100可以从比特流中获得关于在至少一个处理块中包括的至少一个基准编码单元的确定顺序的信息，且可以基于所获得的关于确定顺序的信息来确定至少一个基准编码单元被确定的顺序。关于确定顺序的信息是可以根据在处理块内的基准编码单元被确定的顺序或方向确定的。换言之，基准编码单元被确定的顺序是可以在每个处理块中独立地确定的。
根据一实施例，图像解码装置100可以根据每个特定数据单元从比特流中获得关于基准编码单元的确定顺序的信息。例如，接收器(未示出)可以根据图像、序列、画面、条带、条带片段、处理块等的每个数据单元从比特流中获得关于基准编码单元的确定顺序的信息。关于基准编码单元的确定顺序的信息指示在处理块内的基准编码单元的确定顺序，因此，可以根据包括整数个的处理块的每个特定数据单元获得关于确定顺序的信息。
图像解码装置100可以基于根据一实施例确定的顺序来确定至少一个基准编码单元。
根据一实施例，接收器(未示出)可以从比特流中获得作为与处理块1602和1612有关的信息的关于基准编码单元的确定顺序的信息，图像解码装置100可以确定在所述处理块1602和1612中包括的至少一个基准编码单元的顺序，且可以基于编码单元的确定顺序来确定在画面1600中包括的至少一个基准编码单元。参照图16，图像解码装置100可以确定与各个处理块1602和1612有关的至少一个基准编码单元的确定顺序1604和1614。例如，当根据每个处理块而获得关于基准编码单元的确定顺序的信息时，与各个处理块1602和1612有关的基准编码单元的确定顺序可以根据每个处理块不同。当与处理块1602有关的基准编码单元的确定顺序1604为光栅扫描(raster scan)顺序时，在处理块1602中包括的基准编码单元可以根据光栅扫描顺序而被确定。相反，当与其他处理块1612有关的基准编码单元的确定顺序1614是光栅扫描顺序的倒序时，在处理块1612中包括的基准编码单元是以根据光栅扫描顺序的倒序而被确定。
图像解码装置100可以根据一实施例对所确定的至少一个编码单元进行解码。图像解码装置100可以根据通过上述的实施例被确定的基准编码单元对图像进行解码。对基准编码单元进行解码的方法可以包括对图像进行解码的各种方法。
根据一实施例，图像解码装置100可以从比特流中获得且使用指示当前编码单元的形状的块形状信息或指示划分当前编码单元的方法的划分形式模式信息。划分形式模式信息可以包括在与各种数据单元有关的比特流中。例如，图像解码装置100可以使用在序列参数集(sequence parameter set)、画面参数集(picture parameter set)、视频参数集(video parameter set)、条带头(slice header)和条带片段头(slice segment header)中包括的划分形式模式信息。进而，图像解码装置100可以根据最大编码单元、基准编码单元和处理块从比特流获得与划分形式模式信息对应的语法元素并使用该语法元素。
以下，详细描述根据本公开的一实施例的确定划分规则的方法。
图像解码装置100可以确定图像的划分规则。划分规则可在图像解码装置100和图像编码装置150之间预先确定。图像解码装置100可以基于从比特流获得的信息来确定图像的划分规则。图像解码装置100可以基于从序列参数集(sequence parameter set)、画面参数集(picture parameter set)、视频参数集(video parameter set)、条带头(sliceheader)和条带片段头(slice segment header)中的至少一个获得的信息来确定划分规则。图像解码装置100可以根据帧、条带、时域层(Temporal layer)、最大编码单元或编码单元而不同地确定划分规则。
图像解码装置100可以基于编码单元的块形状来确定划分规则。块形状可以包括编码单元的尺寸、形状、宽度与高度的比例和方向。图像编码装置150和图像解码装置100可以预先确定基于编码单元的块形状来确定划分规则。然而，不限于此。图像解码装置100可以基于从图像解码装置150接收的比特流中获得的信息来确定划分规则。
编码单元的形状可以包括正方形(square)及非正方形(non-square)。当编码单元的宽度和高度彼此相同时，图像解码装置100可以将编码单元的形状确定为正方形。并且，当编码单元的宽度和高度的长度彼此不同时，图像解码装置100可以将编码单元的形状确定为非正方形。
编码单元的尺寸可以包括4×4、8×4、4×8、8×8、16×4、16×8、...、256×256的各种尺寸。编码单元的尺寸是可以根据编码单元的长边的长度、短边的长度或面积而分类的。图像解码装置100可以对被分类成相同群组的编码单元应用相同的划分规则。例如，图像解码装置100可以将具有长边的长度相同的编码单元分类成相同的尺寸。并且，图像解码装置100可以对具有相同的长边长度的编码单元应用相同的划分规则。
编码单元的宽度与高度的比例可以包括1：2、2：1、1：4、4：1、1：8、8：1、1：16或16：1等。并且，编码单元的方向可以包括水平方向和垂直方向。水平方向可以指示编码单元的宽度的长度大于高度的长度的情况。垂直方向可以指示编码单元的宽度的长度小于高度的长度的情况。
图像解码装置100可以基于编码单元的尺寸适应性地确定划分规则。图像解码装置100可以基于编码单元的尺寸不同地确定可允许的划分形式模式。例如，图像解码装置100可以基于编码单元的尺寸确定是否可以允许划分。图像解码装置100可以根据编码单元的大小确定划分方向。图像解码装置100可以根据编码单元的大小来确定可允许的划分类型。
基于编码单元的尺寸确定划分规则可以是在图像编码装置2300和图像解码装置100之间预先确定的划分规则。并且，图像解码装置100可以基于从比特流获得的信息确定划分规则。
图像解码装置100可以基于编码单元的位置适应性地确定划分规则。图像解码装置100可以基于编码单元在图像中占据的位置适应性地确定划分规则。
并且，图像解码装置100可以确定划分规则以防止通过彼此不同的划分途径生成的编码单元具有相同的块形状。然而，并不限于此，通过彼此不同的划分途径生成的编码单元可以具有相同的块形状。通过彼此不同的划分途径生成的编码单元可以具有彼此不同的解码处理顺序。已经结合图12描述了解码处理顺序，故不再赘述。
在下文中，参考图17至18，将详细描述基于当前块中的当前样点与参考样点之间的距离和当前块的尺寸中的至少一个来确定用于当前样点的滤波器，并且基于所确定的滤波器执行帧内预测的图像编码/解码方法和装置。
图17为用于说明根据实施例的帧内预测模式的图。
参考图17，根据实施例的帧内预测模式可以包括平面模式(模式0)和直流模式(模式1)。另外，帧内预测模式可以包括具有预测方向的角度模式(模式2至66)。角度模式可以包括对角线模式(模式2或66)、水平模式(模式18)和垂直模式(模式50)。
在上文中，已经参考图17描述了根据实施例的帧内预测模式，但不限于此，并且可以通过添加新的帧内预测模式或者减去现有的帧内预测模式来具有各种形状的帧内预测模式，并且本领域的普通技术人可以理解的是，每个帧内预测模式的模式号可以因情况而异。
图18为用于说明根据本公开的实施例，图像解码装置基于当前样点与参考样点之间的距离和当前块的尺寸中的至少一个，通过使用不同的滤波器来产生当前样点的预测样点的方法。
参考图18，图像解码装置100可以通过使用参考样点1820来产生关于当前块中的样点的预测样点值，以便对当前块1800执行帧内预测。
例如，图像解码装置100可以通过使用与从当前样点1810的当前块1800的帧内预测模式的预测方向的延长线1830交叉的参考样点和其相邻的样点来根据式1确定当前块1800的当前样点1810的预测样点值px，y。这里，x，y可以基于当前块的左上侧样点的位置是指当前样点的x坐标和y坐标。
[式1]
px，y＝fk，0＊a-1+fk，1＊a0+fk，2＊a1+fk，3＊a2
此时，fk，i可以是指对包括M+1个(M为整数)滤波器的滤波器集中的第k+1个滤波器的第i+1个(0<＝i<＝3)滤波器系数。a0可以是指与从当前样点1810的延长线1830交叉的参考样点的样点值，并且a-1可以是指参考样点的样点值，其直接位于与从当前样点1810的延长线1830交叉的参考样点的左侧，并且a1可以是指参考样点的样点值，其直接位于与从当前样点1810的延长线1830交叉的参考样点的右侧，并且a2可以是指参考样点的样点值，其位于与从当前样点1810的延长线1830交叉的参考样点的右侧第二位。
在上文中，已经根据式1描述了通过使用参考样点值a0、a-1、a1、a2来产生当前样点的预测样点值的内容，但是不限于此，并且本领域的普通技术人员可以理解的是，可以基于a0通过使用邻近的各种参考样点的样点值来产生当前样点的预测值。例如，可以通过使用a-2、a-1、a0和a1来产生当前样点的预测样点值。另外，可以通过使用a0、a1、a2和a3来产生当前样点的预测样点值。
图像解码装置100可以基于当前样点1810与参考样点之间的距离和当前块1800的尺寸确定在多个滤波器fk(0<＝k<＝M)中将用于当前样点1810的滤波器。例如，图像解码装置100可以将当前块的尺寸乘以预定的比率预先确定多个滤波器fk(0<＝k<＝M)的每一个被使用的样点的范围，并且将在包括当前样点1810的样点的范围内使用的滤波器确定为用于当前样点1810的滤波器。例如，包括在滤波器集中的滤波器的数量可以是四个。换句话说，滤波器集可以包括滤波器f0、f1、f2和f3。
当当前样点1810与位于当前样点1810的上侧的参考样点之间的距离为[0，size/4)，或者当前样点1810与位于当前样点1810的左侧的参考样点之间的距离为[0，size/4)时，图像解码装置100可以将f0确定为用于当前样点1810的滤波器。这里，size可以是当前块1800的尺寸(高度或宽度)。当当前样点1810与位于当前样点1810的上侧的参考样点之间的距离为[size/4，size/2)并且当前样点1810与位于当前样点1810的左侧的参考样点之间的距离为[size/4，size)，或者当前样点1810与位于当前样点1810的左侧的参考样点之间的距离为[size/4，size/2)并且当前样点1810与位于当前样点1810的上侧的参考样点之间的距离为[size/4，size)时，图像解码装置100可以将f1确定为用于当前样点1810的滤波器。当当前样点1810与位于当前样点1810的上侧的参考样点之间的距离为[size/2，3*size/4)并且当前样点1810与位于当前样点1810的左侧的参考样点之间的距离为[size/2，size)，或者当前样点1810与位于当前样点1810的左侧的参考样点之间的距离为[size/2，3*size/4)并且当前样点1810与位于当前样点1810的上侧的参考样点之间的距离为[size/2，size)时，图像解码装置100可以将f2确定为用于当前样点1810的滤波器。
当当前样点1810与位于当前样点1810的上侧的参考样点之间的距离为[3*size/4，size)并且当前样点1810与位于当前样点1810的左侧的参考样点之间的距离为[3*size/4，size))时，图像解码装置100可以将f3确定为用于当前样点1810的滤波器。
换句话说，参考图18，当当前样点1810位于第一区域1850中时，图像解码装置100可以将f0确定为用于当前样点1810的滤波器。当当前样点1810位于第二区域1860中时，图像解码装置100可以将f1确定为用于当前样点1810的滤波器。当当前样点1810位于第三区域1870中时，图像解码装置100可以将f2确定为用于当前样点1810的滤波器。当当前样点1810位于第四区域1880中时，图像解码装置100可以将f4确定为用于当前样点1810的滤波器。
这里，在滤波器f0、f1、f2和f3的平滑强度中，用于与参考样点距离最近的样点的滤波器f0的平滑强度可以最小，并且用于与参考样点距离最远的样点的滤波器f0的平滑强度可以最大。
在上文中，已经参考图18描述了图像解码装置100通过对当前块的滤波器使用四个来对当前块执行帧内预测的内容，但是不限于此，并且本领域的普通技术人员可以理解的是，图像解码装置100可以通过使用各种数量的滤波器来对当前块执行帧内预测。这里，可以基于滤波器的数量来不同地确定使用每个滤波器的样点的范围。例如，参考图18，当将用于当前块1800的滤波器的数量确定为三个时，图像解码装置100可以将第三区域1870和第四区域1880统合在一起，并且当当前样点1810位于第三区域1870或第四区域1880中时，图像解码装置100可以将f3确定为用于当前样点1810的滤波器。
另外，图像解码装置100可以基于当前块中的样点与参考样点之间的距离来预先确定fk(0<＝k<＝M)的每一个被使用的样点的范围，并且将用于在包括当前样点的样点的范围内的滤波器确定为用于当前样点的滤波器。
例如，当当前样点和参考样点之间的垂直和水平距离中的最小距离小于4时，图像解码装置100可以将f0确定为用于当前样点的滤波器。当当前样点和参考样点之间的垂直和水平距离中的最小距离大于或等于4且小于8时，图像解码装置100可以将f1确定为用于当前样点的滤波器。当当前样点和参考样点之间的垂直和水平距离中的最小距离大于或等于8且小于16时，图像解码装置100可以将f2确定为用于当前样点的滤波器。当当前样点和参考样点之间的垂直和水平距离中的最小距离大于或等于16且小于32时，图像解码装置100可以将f3确定为用于当前样点的滤波器。当当前样点和参考样点之间的垂直和水平距离中的最小距离大于或等于32且小于64时，图像解码装置100可以将f4确定为用于当前样点的滤波器。当当前样点和参考样点之间的垂直和水平距离中的最小距离大于64时，图像解码装置100可以将f5确定为用于当前样点的滤波器。在这种情况下，图像解码装置100可以根据当前块的尺寸来改变用于当前块的滤波器的数量。已经描述了图像解码装置100可以基于当前样点和参考样点之间的垂直和水平距离中的最小距离来预先确定多个滤波器fk(0<＝k<＝M)的每一个被使用的样点的范围，但是不限于此，本领域的普通技术人可以理解的是，图像解码装置100可以基于当前块的帧内预测模式确定与从当前样点的预测方向的延长线交叉的参考样点之间的距离，并且基于参考样点之间的距离预先确定多个滤波器fk(0<＝k<＝M)的每一个被使用的样点的范围。
另外，已经描述了图像解码装置100可以将当前块的尺寸乘以预定的比率预先确定多个滤波器fk(0<＝k<＝M)的每一个被使用的样点的范围，或者基于当前块中的样点与参考样点之间的距离预先确定fk(0<＝k<＝M)的每一个被使用的样点的范围，但是不限于此，本领域的普通技术人员可以理解的是，图像解码装置100可以基于当前块的尺寸和当前块中的样点与参考样点之间的距离中的至少一个的各种方法来确定多个滤波器的每一个被使用的样点的范围。
另外，图像解码装置100可以基于当前块的尺寸(高度或宽度)来确定用于当前块的滤波器的数量，并且确定与滤波器的数量相对应的滤波器。例如，如果当前块的尺寸大于或等于预定的尺寸，图像解码装置100可以将滤波器f0、f1、f2、...、和fM-1确定为用于当前块的滤波器。当当前块的尺寸小于预定的尺寸时，图像解码装置100可以将用于当前块的滤波器的数量确定为小于M的预定的数量K(K为整数)。在这种情况下，视频解码装置100可以根据在对滤波器f0、f1、f2、...、和fM-1可能组合的各种组合中预定的组合来确定预定的数量K个滤波器。例如，图像解码装置100可以将滤波器f0、f1、f2、...、和fK-1确定为用于当前块的滤波器。例如，当将用于当前块的滤波器的数量确定为两个时，图像解码装置100可以将滤波器f0和f1确定为用于当前块的滤波器。另外，当将用于当前块的滤波器的数量确定为两个时，图像解码装置100可以将滤波器f0和fM-1确定为用于当前块的滤波器。
例如，图像解码装置100可以如下确定包括用于对当前块执行帧内预测的滤波器f0、f1、f2和f3的4抽头滤波器集。例如，图像解码装置100可以将滤波器f0的系数确定为{-2，126，4，0}。(所述滤波器的系数是指应用于预定的分数像素位置的滤波器的系数)图像解码装置100可以将滤波器f1的系数确定为{12，99，18，-1}。图像解码装置100可以将滤波器f2的系数确定为{21，82，23，2}。图像解码装置100可以将滤波器f3的系数确定为{31，63，33，1}。这里，滤波器f0可以是在滤波器f0、f1、f2和f3中平滑强度最弱的滤波器，并且滤波器f3可以是在滤波器f0、f1、f2和f3中平滑强度最强的滤波器。同时，滤波器的系数值不限于上面列出的系数值，本领域的普通技术人员可以理解的是，滤波器的系数值可以稍微改变(例如+1至5，-1至5)而使用。
同时，图像解码装置100可以基于当前样点与参考样点之间的距离来确定用于确定当前样点的预测样点值的参考样点的数量。图像解码装置100可以通过使用与参考样点的数量相对应的参考样点来对当前样点执行滤波。
例如，当当前样点和参考样点之间的距离大于或等于预定的距离时，图像解码装置100可以通过使用M个参考样点对当前样点执行滤波来产生当前样点的预测样点值。当当前样点和参考样点之间的距离小于预定的距离时，图像解码装置100可以通过使用小于M个数量的参考样点对当前样点执行滤波来产生当前样点的预测样点值。例如，当当前样点和参考样点之间的距离小于预定的距离时，图像解码装置100可以通过使用一个或两个参考样点执行滤波来产生当前样点的预测样点值。当当前样点和参考样点之间的距离大于或等于预定的距离时，图像解码装置100可以通过使用四个或更多个参考样点执行滤波来产生当前样点的预测样点值。
图像解码装置100可以通过调整滤波器的抽头的数来确定用于对当前样点执行滤波的参考样点的数量。例如，当当前样点和参考样点之间的距离大于或等于预定的距离时，图像解码装置100可以将具有4抽头或更多个抽头的滤波器确定为用于当前样点的滤波器。当当前样点与参考样点之间的距离小于预定的距离时，图像解码装置100可以将1抽头滤波器或2抽头滤波器确定为用于当前样点的滤波器。这里，图像解码设备100可以不执行滤波而不是通过使用1抽头滤波器来执行滤波。
另外，图像解码装置100可以通过固定滤波器的抽头数，并且调整一些滤波器的系数值来确定用于对当前样点执行滤波的参考样点的数量。
例如，图像解码装置100可以将滤波器的抽头数确定为4抽头，并且当当前样点与参考样点之间的距离小于预定的距离时，将用于当前样点的滤波器的系数确定为{0，128，0，0}。当当前样点与参考样点之间的距离大于或等于预定的距离时，图像解码装置100可以将用于当前样点的滤波器的系数确定为{32，63，31，1}。
图像解码装置100可以基于当前块中的当前样点的位置、帧内预测模式和当前块的尺寸从用于当前块的滤波器中确定用于当前样点的滤波器。
例如，当当前样点的x轴坐标值小于预定的值，或者当前样点的y轴坐标值小于预定的值时，图像解码装置100可以确定使用第一滤波器，否则可以确定使用第二滤波器。
这里，第一滤波器的平滑强度小于第二滤波器，并且可以具有锋利的特性。这里，预定的值可以是8，然而不限于此，并且可以是4的倍数的各种值之一。
当当前块的帧内预测模式的索引值小于或等于模式34的索引值时，图像解码装置100可以确定是否当前块的宽度小于或等于第一值且当前块的高度小于或等于第二值。这里，第一值可以小于第二值。例如，第一值可以是16，第二值可以是32。
当当前块的帧内预测模式的索引值大于模式34的索引值时，图像解码装置100可以确定当前块的宽度是否小于或等于第一值且当前块的高度是否小于或等于第二值。这里，第一值可以小于第二值。第一值可以是16，第二值可以是32。
图像解码装置100可以基于当前块的宽度和高度来确定用于当前块的滤波器。例如，当当前块的宽度小于或等于第一值，并且当前块的高度小于或等于第二值时，图像解码装置100可以将f0和f1确定为用于当前块的滤波器。当当前块的宽度大于第一值，或者当前块的宽度大于第二值时，图像解码装置100可以将f2和f3确定为用于当前块的滤波器。
图19为用于说明根据本公开的实施例，基于编码顺序标志将编码单元之间的编码(解码)顺序确定为正向或反向，根据确定的编码(解码)顺序右侧参考线或上侧参考线可以用于帧内预测的图。
参考图19，最大编码单元1950被划分为多个编码单元1956、1958、1960、1962、1968、1970、1972、1974、1980、1982、1984和1986。最大编码单元1950对应于树结构的最高节点1900。另外，多个编码单元1956、1958、1960、1962、1968、1970、1972、1974、1980、1982、1984、1986分别对应于多个节点1906、1908、1910、1912、1918、1920、1922、1924、1930、1932、1934和1936。指示树结构中的编码顺序的上段编码顺序标志1902、1914和1926对应于箭头1952、1964和1976，并且上段编码顺序标志1904、1916和1928对应于箭头1954、1966和1978。
上段编码顺序标志指示在相同深度的四个编码单元中位于上段的两个编码单元的编码顺序。当上段编码顺序标志为0时，则沿正向执行编码。与此相反，当上段编码顺序标志为1时，则沿反向执行编码。
类似地，下段编码顺序标志指示在相同深度的四个编码单元中位于下段的两个编码单元的编码顺序。当下段编码顺序标志为0时，则沿正向执行编码。与此相反，当下段编码顺序标志为1时，则沿反向执行编码。
例如，上段编码顺序标志1914为0，因此编码单元1968和1970之间的编码顺序沿着从左侧朝着右侧方向的正向被确定。另外，下段编码顺序标志1916为1，因此编码单元1972和1974之间的编码顺序沿着从右侧朝着左侧方向的反向被确定。
根据实施例，可以将上段编码顺序标志和下段编码顺序标志设置为具有相同的值。例如，当上段编码顺序标志1902被确定为1时，与上段编码顺序标志1902相对应的下段编码顺序标志1904也可以被确定为1。以1比特确定上段编码顺序标志和下段编码顺序标志的值，因此编码顺序信息的信息量也减少。
根据实施例，可以通过参考应用于深度小于当前编码单元的编码单元的上段编码顺序标志和下段编码顺序标志中的至少一个来确定当前编码单元的上段编码顺序标志和下段编码顺序标志。例如，应用于编码单元1980、1982、1984和1986的上段编码顺序标志1926和下段编码顺序标志1928可以基于应用于编码单元1972和1974的下段编码顺序标志1916被确定。因此，上段编码顺序标志1926和下段编码顺序标志1928可以被确定为与编码顺序标志1916相同的值。从当前编码单元的上段编码单元确定上段编码顺序标志和下段编码顺序标志的值，因此编码顺序信息不是从比特流获得的。因此，编码顺序信息的信息量也减少。
这里，可以使用包括在当前编码单元1986之前经过解码的右侧相邻编码单元1958中的样点的数据和包括在上侧相邻编码单元中的样点的数据1980和1982，因此图像解码装置100可以通过使用包括在右侧相邻编码单元1958中的样点(右侧参考线)的数据和包括在上侧相邻编码单元1980和1982中的样点(上侧参考线)的数据来对根据本公开的实施例执行预测。
换句话说，已经参考图17至18描述了基于当前块的尺寸和当前样点与参考样点之间的距离中的至少一个来确定使用于当前样点的滤波器，并且基于所确定的滤波器适应地执行帧内预测的一种方法和装置，并且已经描述了在根据对现有编码单元的编码和解码顺序来执行编码和解码的前提下，基于与当前块的上侧或左侧角相邻的参考样点来执行帧内预测的内容，但是不限于此，并且本领域的普通技术人员可以理解的是，如图19所示，当一些相邻编码单元之间的编码/解码顺序是右侧编码单元或者左侧编码单元的反向顺序时，可以基于与当前块的上侧或右侧角相邻的参考样点来执行帧内预测。
根据本公开的各种实施例，可以通过基于当前才样点与参考样点之间的距离适应地确定在使用于前样点的滤波器来提高预测准确度，并且可以产生自然的图案的预测块。
换句话说，可以通过对与参考样点接近的样点使用平滑强度小且具有锋利特性的滤波器来提高预测准确度。另外，可以通过对远离参考样点的样点使用平滑强度强的滤波器来产生自然的图案的预测块。
另外，可以通过产生具有自然的图案和高预测准确度的预测块来进行指示突然的预测误差(prediction error)的补正，因此可以提高变换效率。
到目前为止，已经描述了本公开的各种实施例。本领域的普通技术人员应理解的是，本公开在不脱离本公开的本质特征的情况下，可以以修改的形状实现本公开。应当仅在描述性意义上而不出于限制的目的考虑这些实施例。因此，本公开的范围不是由本公开的详细描述而是由所附权利要求限定的，并且本范围内的所有差异将被解释为被包括在本公开中。
本公开的实施例可作为计算机程序被编写并且可用使用计算机可读记录介质来执行程序的通用数字计算机加以实现。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。