具体实施方式

以下对附图的描述始于对用于对视频的图像进行编码的基于块的预测性编解码器的编码器和解码器的描述的呈现，以便形成用于编码架构的示例，在所述架构中可以构建用于内预测编解码器的实施例。相对于图1至3来描述前者的编码器和解码器。之后，一起呈现本申请的内预测技术的实施例的描述以及关于如何将这些技术分别构建到图1和图2的编码器和解码器中的描述，但是以图4以及后续图示所描述的实施例也可以用来形成不是根据图1和2的编码器和解码器所基于的编码架构来操作的编码器和解码器。

图1示出一种示例性地使用基于变换的残差编码将图像12预测性地编码为数据流14的装置。所述装置或者编码器使用参考标记10来指示。图2示出对应的解码器20，即被配置为也使用基于变换的残差解码从数据流14预测性地解码图像12'的装置20，其中撇号已经用来表示：由解码器20重构的图像12'从通过预测残差信号的量化引入的编码损失方面来看，偏离于最初由装置10编码的图像12。虽然图1和图2示例性地使用基于变换的预测残差编码，但是本申请的实施例并不局限于这种预测残差编码。对于针对图1和2所描述的其他的细节也是如此，如将会在下文中所概述的。

编码器10被配置为对预测残差信号进行空间到频谱的变换，并将由此获得的预测残差信号编码为数据流14。同样地，解码器20被配置为从数据流14解码预测残差信号，并对如此获得的预测残差信号进行频谱到空间的变换。

在内部，编码器10可以包括预测残差信号形成器22，其产生预测残差24，以便测量预测信号26与原始信号、即图像12之间的偏差。例如，预测残差信号形成器22可以是减法器，它从原始信号、即图像12中减去预测信号。然后，编码器10进一步包括变换器28，其对预测残差信号24进行空间到频谱的变换，以获得频域的预测残差信号24'，然后由量化器32进行量化，所述量化器也由编码器10包括。如此量化后的预测残差信号24”被编码为位流14。为此，编码器10可以选择性地包括熵编码器34，其将经变换和量化的预测残差信号熵编码为数据流14。预测残差26是由编码器10的预测级36在被编码为数据流14并且可以从数据流14解码的预测残差信号24”的基础上产生的。为此，预测级36可以在内部包括去量化器38，如图1中所示，其对预测残差信号24”进行去量化以便获得频域预测残差信号24”'，其除了量化损失之外对应于信号24'，后面接着逆变换器40，其对预测残差信号24”'进行逆变换，即频谱到空间的变换，以获得预测残差信号24””，其除了量化损失之外对应于原始预测残差信号24。然后，预测级36的组合器42进行重新组合，诸如通过将预测信号26与预测残差信号24””相加，以便获得重构信号46，即原始信号12的重构。重构信号46可以对应于信号12'。然后，预测级36的预测模块44通过使用例如空间预测、即内预测，和/或时间预测、即间预测，在信号46的基础上产生预测信号26。

同样地，解码器20可以内部地由对应于预测级36并且以对应于预测级36的方式被互连的组件所构成。具体地说，解码器20的熵解码器50可以从数据流熵解码经量化的频域预测残差信号24”，其中反量化器52、逆变换器54、组合器56以及预测模块58以上述针对预测级36的模块所描述的方式互连和协作，在预测残差信号24”的基础上恢复重构的信号，如在图2中所示，使得组合器56的输出产生重构的信号，即图像12'。

虽然上面并没有具体地描述，但很清楚的是，编码器10可以根据一些优化方案，诸如，例如以优化某种数据率和失真相关的标准、即编码成本的方式，设置一些编码参数，例如包括预测模式、运动参数、等等。例如，编码器10和解码器20以及相应的模块44、58分别可以支持不同的预测模式，诸如内编码模式和间编码模式。编码器和解码器在这些预测模式类型之间切换的粒度可以分别对应于将图像12和12'细分为编码区段或者编码块的细分。以这些编码区段为单位，例如，图像可以被细分成内编码块以及间编码块。内编码块是基于相应块的空间的、已经编码/解码的邻域来预测的，如下面会更详细地被概述的。若干个内编码模式可以存在、并且可以被选择用于相应的内编码区段，包括方向性的或者角度的内编码模式，根据所述内编码模式，通过沿着特定方向外插邻域的样本值而将相应区段填充进入相应内编码区段，其中所述特定方向特定于相应的方向性内编码模式。内编码模式可以例如还包括一种或多种另外的模式，诸如DC编码模式，根据模式用于相应内编码块的预测将DC值指派给在相应生成内编码区段内的所有的样本；和/或平面内编码模式，根据所述模式，相应块的预测被近似或者被确定为样本值的空间分布，空间分布是由在相应内编码块的样本位置上的二维线性函数所描述，具有由二维线性函数在相邻样本的基础上定义的平面的驱动倾斜和偏移。与此相比，间编码块可以例如在时间上被预测。对于间编码块，运动向量可以在数据流内用信号通知，所述运动向量指示图像12所属的视频的先前编码图像的部分的空间位移，在所述位置处先前被编码/解码的图像被采样以获得用于相应间编码块的预测信号。这意味着，除了由数据流14包括的残差信号编码之外，诸如表示经量化的频域预测残差信号24”的经熵编码的变换系数级别，可以将以下参数编码于数据流14中：用于将编码模式指派给各种块的编码模式参数，用于一些块的预测参数，诸如用于间编码区段的运动参数，以及另外的可选参数，诸如分别控制和用信号通知图12和12'的细分的参数。解码器20使用这些参数以与编码器相同的方式来细分图像，以将相同的预测模式指派给区段，并以执行相同的预测以产生相同的预测信号。

图3示出在一方面的重构信号、即重构图像12'与另一方面的如在数据流中用信号通知的预测残差信号24””与预测信号26的组合之间的关系。如上已经被陈述的，所述组合可以是加法。预测信号26在图3中被示出为将所述图像区域细分为内编码块，其被图示性地使用阴影线指示，并且间编码块被图示性地使用无阴影线指示。细分可以是任何细分，诸如将图像区域细分为块的行和列或者块的常规细分，或者将图像12细分成不同大小的叶块的多树细分，诸如细分成块的四叉树细分或者类似物，其中它们的一种混合被图示在图3中，其中图像区域首先被细分成树根块的行和列，然后根据递归的多树细分对其进一步的细分。再次地，针对内编码块80，可以将内编码模式编码到数据流14中，其将若干个支持的内编码模式中的一个指派给相应的内编码块80。进一步的细节描述如下。针对间编码块82，可以将一个或多个运动参数编码至数据流14中。一般而言，间编码块82并不局限于被时间编码。或者，间编码块82可以是从以下预测的任何块：当前图像12本身之外的先前编码部分，诸如图像12所属的视频的先前编码图像，或者在编码器和解码器分别是可以缩放的编码器和解码器的情形下的另一视角的图像或者分层架构较下层的图像。在图3中的预测残差信号24””也被图示为将图像区域细分为块84的细分。这些块可以被称为变换块，以便将其与编码块80和82区分开。实际上，图3示出编码器10和解码器20可以分别使用将图像12和图像12'分别细分为块的两种不同的细分，即分别成为编码块80和82的一种细分，以及成为块84的另一种细分。这两种细分可能是相同的，即每一个编码块80和82可以同时形成变换块84，但在图3示出的情形中，举例来说，成为变换块84的细分形成成为编码块80/82的细分的延伸，使得块80和82的两个块之间的任何边界覆盖两个块84之间的边界，或者可以替代地说，每一个块80/82或者与变换块84中的一个重合，或者与变换块84的一个群集重合。然而，所述细分也可以彼此独立地被确定或者选择，使得变换块84可以替代地跨越块80/82之间的块边界。因此，对于成为变换块84的细分来说，也存在与相对于成为块80/82的细分提出的那些内容类似的陈述，即块84可以是细分为块/布置成行和列的块的图像区域的常规细分的结果，图像区域的递归式多树细分的结果，或者它们的组合或者任何其他种类的块化。另外，应注意块80、82和84并不局限于方形的、矩形的或者任何其他的形状。

图3示出预测信号26与预测残差信号24””的组合直接产生重构信号12'。然而，应该注意的是，根据替代的实施例，可以将多于一个的预测信号26与所述预测残差信号24””组合以产生图像12'。

在图3中，变换区段84应具有以下的含义。变换器28和逆变换器54以这些变换区段84为单位来执行它们的变换。例如，许多编解码器对所有变换块84使用某种DST或者DCT。一些编解码器允许跳过变换，使得对于变换区段84中的一些，直接在空间域中对预测残差信号进行编码。然而，根据下面描述的实施例，编码器10和解码器20以一种它们可以支持多种变换方式来配置。例如，由编码器10和解码器20支持的变换可以包括：

οDCT-II(或者DCT-III)，其中DCT代表离散余弦变换

οDST-IV，其中DST代表离散正弦变换

οDCT-IV

οDST-VII

ο恒等变换(IT)

当然，在变换器28将支持这些变换的所有的正向变换版本的同时，解码器20或者逆变换器54将支持其对应的反向或者逆变换版本：

ο逆DCT-II(或者逆DCT-III)

ο逆DST-IV

ο逆DCT-IV

ο逆DST-VII

ο恒等变换(IT)

随后的描述提供关于编码器10和解码器20可以支持哪些变换的更多细节。在任何的情形下，应当注意的是，所支持的变换的集合可以仅包括一个变换，诸如一个频谱到空间或者空间到频谱的变换。

如上面已经概述的，已经呈现图1-3作为示例，可以在其中实现下文将进一步描述的内预测概念，以形成用于根据本申请的编码器和解码器的具体示例。就此而言，图1和2的编码器和解码器分别表示下面描述的编码器和解码器的可能实现方式。如下面将更详细地概述的，当具有随后解释的根据本申请用于内预测的实施例被构建于图1和2的编码器和解码器中时，图1的编码器和图2的解码器，至少作为一种选择，支持以下文更详细描述的方式来处理内预测块80。因此，下文中所描述的实施例涉及一种编码器，其等于图1的编码器10，其以下文更详细描述的方式来处理内预测块80，并且该方式也应用于图2的解码器，因此，图2表示根据实施例的解码器的示例，其中以下文更详细概述的方式来处理内编码块。然而，图1和2仅是具体的示例。然而，根据本申请的实施例的编码器可以使用下文更详细概述的技术来执行图像12的基于块编码，而且不同于图1的编码器，诸如，例如不同在于其不是视频编码器，不同在于其不支持内预测，或者不同在于成为块80的细分是以与图3中示例不同的方式被执行的，或者甚至不同在于此编码器不使用变换预测残差编码，而是例如在空间域中直接对预测残差进行编码。同样地，根据本申请的实施例的解码器可以使用下文进一步概述的内预测技术执行从数据流14基于块解码图像12'，但也可以不同于图2的解码器20，例如，不同在于其不是视频解码器，而是静止图像解码器，不同在于其不支持内预测，或者不同在于其以与参照图3描述的方式不同的方式将图像12'细分成块，和/或不同在于其不是在变换域中而是例如在空间域中从数据流14中导出预测残差。

已经说过，以下的描述集中于根据本申请的实施例的内预测的描述。根据在这里所呈现的内预测，允许将内预测块诸如图4中的块80划分成分区。根据一些实施例，所述分区是固定地一维水平分区或者一维垂直分区，但正如在本文中被多次提到的，这种情形将被理解为是可以变化的示例，以便得到替换实施例，在其中分区或者更宽，分区或者甚至具有额外性质，不是沿着某个分割方向/维度分割块，而是以任何其他的方式执行成为一维和/或二维分区的分割，上述方式包括例如使用多树分割的操作，首先定义分区列，然后将上述分区列分别分割为分区，或者其他方式。可以针对具有任何尺寸的内预测块80或者仅限于在块尺寸的预定范围内的块80，诸如大于特定尺寸的块，来提供以下文描述方式处理块的可用性。与分区相关的“一维”是指分区沿着分区维度仅为一个样本宽的事实，而与分割相关的一维或者1D是指沿着一个方向将块分割成为分区，从而产生沿着垂直于分割方向的方向在整个块上延伸的分区/条带。

参见例如图4。图4在左侧示出内预测块80，即，将被解码的块或者将被编码的块。它具有尺寸W×H。即，它是W×H大小的块，其中H是块80的高度而W是块80的宽度，分别以样本为单位被测量。根据图4，有两个划分或者分割选项可用，即水平分割100，根据该水平分割100，沿着垂直轴，即分割维度104，将块80划分或者分割为多个分区102₁、102₂、102₃和102₄。根据图4的示例，该示例是在以下描述中应用的示例，每个分区102₁至102₄是一个样本宽，如双头箭头106所示，使得由块80所产生的分区102₁至102₄的数量等于H，即，以块80的样本108为单位的块80的高度，但是应该清楚的是，所述分割也可以由编码器和解码器根据在编码器与解码器之间商定以一种不同的方式来执行，诸如，例如沿着维度104的块80的分割可以以导致分区102_i的预定数量的方式来进行，例如，所述预定数量大于二，或者是与以下方式的混合：沿着分割维度将块80的尺寸均匀分布到预定数量的分区上。并且根据更进一步的实施例，分割本身的一维性质甚至可以被改变以产生另一种分割概念，在以下被泛义地称为FIPS，上述分割本身的一维性质在于其沿着特定方向发生，所得到的分区就像在横向于分割方向的方向上完全地在块上延伸的条带。

被描绘在图4中并以附图标记110所表示的另一个编码选项对应于将块80分割成垂直分区112₁，112₂，...112₈。也就是说，根据选项110，沿着水平轴，即水平分割维度104，将块80分割成分区112_i。在选项100的情形下，每个分区102_i与块80一样宽，即，具有块的宽度W，而分区112_i采用块80的高度H，即，具有高度H。总之，以类似于选项100描述相同的方式，垂直分割110可以将块80划分成W个分区112_i，其中W表示以样本108测得的块80的横向宽度，使得每个分区112_i在水平方向上是一个样本宽，然而其中，根据选项110的分割也可以以另一种在编码器与解码器之间达成一致的方式来进行。

因此，根据图4，编码器可以自由地根据所述水平分割选项100将块80划分成H个W×1个分区102_i，或者根据垂直分割选项110划分成W个1×H个分区112_i，并且由编码器选择用于块80的分割选项可以在用于块80的数据流14中用信号通知，诸如，例如借助于数据流14中对应的分割维度标志114。然而，应该清楚的是，本申请的实施例也涵盖编码器和解码器，其在预设的情形下，仅使用选项100和110中的一个，而不需要数据流中的标志114。甚至进一步地，在其他的示例中，取决于在从编码器到解码器的用于块80的数据流14中用信号通知的内编码模式116，标志114可以在所述数据流80中被传送。如以上所述，内编码模式可以指示可用/支持的内编码模式的集合中的一个，所述模式的集合包括例如，角度模式，以及可选地，一个或多个非角度模式，诸如DC模式或者平面模式。也就是说，根据不会在下文中进一步讨论的替代实施例，标志114可以以一种有条件地取决于内编码模式116的方式在数据流14中被传送。根据下文描述的实施例中，标志114存在于用于块80的数据流14中，其独立于用于块80的数据流14中用信号通知的内编码模式116。然而，一种依赖性可能存在，该依赖性与在刚刚讨论的内编码块80的分割处理与将在下文概述的处理内编码块80的不同方式之间的标志切换相关。

根据本申请的实施例，分区102/112的每一个被单独地预测、变换、量化和编码，并以此方式顺序地处理分区。因此，某个分区的重构样本将能够被用来在块80已被分割而成的分区中以分区次序预测任何后续的分区102/112，并以此方式，内预测的过程循环遍历过块80已被分割而成的分区102/112。图5示例性地示出根据选项100划分的内预测块80。对块80的每一个分区102₁至102₄经历预测，即，相应分区102_i的预测器的导出，以及预测残差相关的任务，即，使用预测残差执行预测器的校正。可以通过结合预测残差和预测器来执行所述后者任务。这在解码器中被完成以进行重构。作为预测残差相关的任务，编码器执行预测残差的确定，所述确定例如包括的变换与量化，以及使用预测残差校正预测器，即通过用图像的重构填充解码器中的解码图像缓冲器以便使预测循环保持与解码器同步。刚刚提到的任务，即，预测和残差的处理，针对分区102₁至102₄单独地、并且在分区102₁至102₄之中顺序地执行。在针对当前处理分区的这两个步骤之后，以相同的方式处理根据分区次序的下一个分区102_i。在图5中使用三个箭头126示例性地示出分区次序。

图5示出包括块80的最左上像素的分区将首先被处理，之后处理直接相邻的下方邻近分区102₂，等等，对应于图5中的对于分区102₁至102₄的索引指派，但此顺序仅仅是一示例，并随着后续的描述将清晰呈现，可以以取决于诸如内编码模式和/或块80的尺寸的其他设置的方式来选择分区次序，其中前者的依赖性将在下文中被讨论。

在下面进一步讨论的示例中，分区次序126仅在以使得紧接着的分区彼此直接相邻的方式遍历分区102/112的方式之间变化，使得在划分类型100的情形下，所述分区次序是从顶部到达底部或者从底部到达顶部，并且在划分类型110的情形下，是分别从左到右或者从右到左。然而，应被提到的是，其他的示例也是可以被想象的。例如，可以以如下方式来选择分区次序：使得以刚刚概述的相邻次序，以两次扫描的方式来扫描分区，在第一次扫描中，每隔一个分区从上到下、从下到上、从左到右或者从右到左处理，任选适用的方式，然后以相同的次序方向或者相反的方向来处理其间剩下的分区。

在任何情形下，图5示出第一分区102₁首先要被处理，的并且是当前处理的分区。对于第一分区，在这里示例性地为102₁，用于形成用于分区102₁的预测器的相邻样本的集合118₁可以仅基于位于块80的边界之外的样本来选择，因为当在处理块80的第一分区时，还没有块80的样本已经被处理，即，被重构或者被编码。也就是说，已经使用任何的预测以及通过使用在数据流中所传送的预测残差对相应预测器进行的校正，在编码器中重构了集合118₁中的样本。它们属于先前已编码/解码的图像块，并且可以是被间编码或者被内编码或者被任何其他方式编码的块。至于用于形成第一分区102₁的预测器的相邻样本集合118₁的样本的数量以及精确位置，其取决于指派给块80的内编码模式。此内编码模式被共同地、或者同等地用于处理块80的每一个分区，如以下将要讨论的。为了完成第一分区102₁的处理，就编码器而言，确定通过取决于集合118₁中的一个或多个已经重构/编码的样本来填充分区102₁而在解码器和编码器中导出的用于此分区102₁的预测器，即通过如上所概述的变换以及量化来确定，然后，此预测残差—以在数据流中传送的版本，即包括量化损失—被用于通过使用数据流14中的预测残差校正所述预测器来重构此分区102₁。例如，图5在120₁处示例性地示出用于分区102₁的预测残差。也就是说，120₁包括对应于分区102₁的预测残差的变换的变换系数，其中数据120₁的描述将在下面被更详细地讨论。

现在转向到分区次序中的下一个分区，即图5的示例中的分区102₂。目前，情况已经改变，因为用于导出用于分区102₂的预测器的相邻已经重构/编码的样本集合现在可以由位于块80外部的样本和/或在块80内的样本所组成，即位于任何已经处理分区中的样本，在这里是当前在图5所述示例中的分区102₁，因为对于这些样本，已经确定了预测残差并且已经在数据流14中可用。也就是说，编码器和解码器导出用于此分区102₂的预测器，随后是编码器中的预测残差确定，以及分别在编码器和解码器中将预测残差用于校正预测器。然后，此处理继续进行在排队中的下一个分区，即，在分区次序中的下一个分区，从而顺序地处理块80的所有分区。

正如已经在上述所提及的，有可能以不同于遍历分区使得紧接着的连续分区是直接相邻分区的方式来选择分区次序126。也就是说，分区次序可以从一个分区跳到下一个分区。这意味着通过填充相应分区102_i来导出相应预测器所使用的相邻样本的集合118_i不局限于相应分区的直接相邻样本，如在图5中所示。这也与分区次序126的开始的选择相关。想象一下，例如，分区102₄曾是分区次序中的第一分区。然后，它的预测器可以通过取决于未在图5中示出的相邻样本的集合118₄对其进行填充而导出，其收集位于块80周围直至块80左侧和顶部的样本。在集合118₄中的一些样本不会与分区102₄直接相邻。顺便说一下，这将对应于在块80整块的常规内预测填充中填充最后一个样本列的情形。对于任何后续处理的分区，即，在分区次序中的第二以及其他的分区，刚刚提到的可能性也会是如此。也就是说，它们的相邻样本集合118_i还可以包括与相应分区102_i不直接相邻的样本。甚至更进一步来讲，在以不限制分区次序为连续分区是彼此直接相邻的方式来遍历分区的情形下，任何第二或者随后处理分区102_i的参考样本集合118_i不仅可以收集位于相应分区102_i的左侧和顶部的样本，而且还可以是位于相应分区102₁下方的样本，取决于根据分区次序是否有任何块80的分区已早于分区102₁被处理。也就是说，集合180_i可以包括位于分区102_i的多于两侧的样本。

简要地总结，图5示出块80的分区102/112的顺序处理，在这里仅示例性地针对水平的分区，但是相同的描述也适用于针对垂直分区112_i的垂直模式110。对于每个分区102_i，对应的预测残差102_i被包括在数据流14中。数据120₁至120₄一起形成用于块80的预测残差，即120。应该记得的是，根据本申请的替代的实施例，可以不使用变换残差编码，即，例如，可以在数据流14中直接在空间域中用信号通知块80的预测残差120。在这种情形下，用于相应分区102₁至102₄的数据120₁至120₄可以在数据流14中不包括如在图5中所示的分区分隔字段，其中每一个数据部分120_i表示用于相应分区102_i的某种变换的信号通知。相反的是，在这种情形下，用于块80的预测残差120可以形成数据14的一个字段。在此替代的实施例中，解码器将在处理某一分区102_i时从字段120收集关于用于此分区102_i的预测残差的信息。当使用变换的完全可逆版本时，也可以应用此过程，使得量化可以在空间域中完成。

因此，图5示出在编码器和解码器中，针对每一个分区102_i执行两个任务，即：1)预测导出任务122，产生用于相应分区102₁的预测或者预测器，即，用于相应分区102_i的每一个样本的预测样本值；以及2)之后执行的预测残差相关的任务，即在编码器处的预测残差导出，包括量化预测残差以便使其进入数据流14，以及通过组合或者校正预测残差和预测器来重构相应分区102_i的样本，以便获得用于此分区102_i的重构样本。为了预测导出任务，重构样本可以用作用于在分区次序126中后续的顺序处理的分区102_j的相邻样本集合118_j的贮存器。

在继续进一步描述本申请的实施例的细节之前，图6示出了通过填充当前处理分区102_i进行的预测导出122的过程，其中应该回想起关于水平分区102的图示仅仅被选择进行例示，并且相同的描述也适用于垂直分区112。图6示出当前处理分区102_i及其对应的已被重构/编码的相邻样本集合118_i。如以上已经针对图5所述的，集合118_i可以不被限制为直接相邻于或者邻近于分区102_i的样本128。然而，由于分割，当在块80的所有样本上进行平均时，在分区102_i的样本与集合118_i的样本128之间的平均距离130，与以从例如H.264或者HEVC已知的方式执行块80的内预测相比要低。如参照图5所描述的，预测器导出或者填充122是使用与块80相关联的内预测模式针对每一个分区102_i执行的，其中此模式指示可用的内预测模式的集合中的一个。此集合可以包括角度或者方向模式，它们在相邻样本集合118_i的样本内容被复制到分区102_i的样本134中时所沿着的角度或者方向132上彼此不同。为了执行这种复制，分区102_i的每一个样本134的预测可以基于在面向与方向132相反的方向上相对于样本134定位的集合118_i中的相邻样本134的数量来导出。例如，所述数量由被用于导出在样本集118_i的样本128之间的像素间位置的插值滤波器的内核来定义。例如，图6示出了集合118_i中的三个样本128被用于计算当前处理的分区102_i中的一个样本134的预测。由于相对小的平均距离130，分区102_i的每一样本134的参考样本134数量可以保持很低。以下将给出更多细节。然而，为了完整起见，应该注意的是，可用的内预测模式的集合也可以包括DC模式，根据该DC模式，DC值被指派给分区102_i的所有的样本134，其中通过在相邻样本集合118_i上执行平均来导出所述DC值。此外，平面模式可以存在，根据该平面模式，用于样本134的预测值是通过在分区102_i内的样本位置上的线性函数来定义，其中在相邻样本118_i的基础上导出此线性函数的斜率和偏移。此外，应该注意的是，相邻集合118_i可以根据针对块80所选择的内预测模式而不同，并且可以是，例如，特别是在角度模式与非角度模式DC/平面之间不同。

例如，在现有技术的JEM解码器中，有67种内预测模式可用：其中65种是角度模式，并且其中两种是DC和平面模型非方向性结构。1D分区模式，即，上文和下文概述的针对分区102/112执行的预测器导出122，根据该1D分区模式，块80沿着维度104被分割/划分为分区，其中所得到的分区横向于维度104在块的整个宽度上延伸，沿着方向104是一个样本宽或者多于一个样本宽，通过对下文使用名称“灵活内预测子分区模式”进一步描述的分割过程进行概要而直接由此产生的实施例可以与它们中的任何一个组合，或者，以不同的方式来讲，可以使用它们中的任何一个来实现。如已经针对图5所描述的，诸如编码单元CU的一个块80的所有分区102/112使用与块80相同的相关联的内预测模式，从而避免了在信号化中的过度开销，因为对于块80，预测模式116仅需要在数据流14中被传送一次。

也就是说，如果子分区是二维的，则可以以与JEM解码器中所概述的正常情形相同的方式执行预测122。然而，如果它是1-D子分区，即，一条线，无论是水平的或者垂直的，被计算用于当前处理的分区102/112，使得与JEM相比，将相应地调整预测过程122。在选择以使得连续分区彼此直接相邻的方式遍历分区的分区次序的情形下，预测过程122可以对应于JEM的正常情形，但仅对应于第一条线(如果分区是单一样本宽，否则它就像是在常规的情形中)，即，最接近已重构/编码邻域的那一条。在一些情形下，HEVC以及JEM都允许使用在参考样本128上或者在所得到的预测器上应用的某些滤波器。这在一般的情形下是有用的，以更好地预测在预测块80内远离参考样本128的样本以减少边界不连续性。然而，通过使用成为分区102/112的分割，可能的、并且应该成为目的的是利用在附近像素之间的高度相关性。

也就是说，应该利用减小的平均距离130。过度平滑会降低此质量。因此，编码器或者解码器应该能够执行两种类型的内预测，即，使用如针对图4至6所概述的分割的内预测，并且随后，内滤波器，即在预测器导出122中涉及的滤波器，或者被禁用，或者针对至少每一个分区样本134的贡献样本134的数量相对于在一般情形下贡献给一个样本的样本数量有所降低，其中用于块80的内预测是在块上执行的，或者是根据HEVC执行的，即分解成为将块80细分为矩形块的分层架构四叉树细分的叶块。

从上面所提出的讨论中可以清楚地看出，为了执行预测残差相关任务124，解码器例如从数据流14解码当前处理分区的相应预测残差的变换，并对此变换执行逆变换，诸如频谱到空间变换，以便产生预测残差，所述预测残差随后通过组合/相加被用于校正在122处所获得的预测器。在编码器中完成相同的操作以使预测循环与解码器保持同步。此外，编码器还执行使用122针对当前处理分区所确定的预测器的预测误差的变换，对所述预测误差进行变换，诸如空间到频谱的变换，随后是量化这些变换系数，随后将所述变换编码至数据流14中，以产生当前处理分区102_i的对应数据120_i。至于变换，可以使用相同的变换来处理块80内的所有分区102/112。它可以是DCT-II，但除了在平面模式的情形中之外，例如，其中可以使用DST-VII。因此，如果使用内预测模式以到目前为止参照图4至7所概述的、并且在下面将进一步概述的分割方式对块80进行编码，则可以禁用与编码器和解码器可以用于其他块的变换以及逆变换相关的所有工具，诸如变换跳跃，即，在空间域中的编码、EMT(EMT＝显式多核心变换)、NSST(NSST＝模式依赖的不可分离的二次变换)或者其他，以避免不必要的开销位。甚至替代地，所述变换可以是线性变换，其类型是基于内预测模式、专用语法元素以及预定分区次序中的一个或多个来选择的。

已经针对用于顺序地处理当前处理块80的分区102/112的分区次序126进行了一些说明。应被强调的是，此实施例仅是一示例，并且根据替代的实施例，分区次序可以是静态的，或者可以根据下面所列出示例所针对的其他实施例以不同的方式改变。图7通过内接编号指示可能的分区/处理次序，使用在图5中的箭头126来示出。这里，此次序以升序遵循所述内接数字。图5表示一示例，其中次序126开始于包括块80的左上像素/样本140的分区，向下引导至最低分区。类似地，如果划分类型是垂直的，那么处理次序将从包括左上角像素/样本的最左边的分区开始，再次地向右前进。然而，这不是所有现有内预测模式的最佳情形。这在图7中被示例出，图7也示出针对对角线模式的块80的垂直和水平分割，即，复制角度/方向132从左下到右上指向45°，以及34，即，复制角度/方向132从左上到右下指向-45°。在前一种情形下，如果分割是水平的，则从块80的左上角开始将产生重构样本将不会对后续分区的预测产生任何影响的分区。因此，从块的左下角开始会更为合理，使得每一个分区的重构样本可以被用于按分区次序来预测下一个分区。然而，在垂直分割中，这不是必要的，因为它可以在前述附图中被观察到。在另一方面，考虑到样本从两侧进入水平和垂直分割，模式34不具有任何的这些问题。因此，可以在所述两个分割中采用正常的处理次序。

表1示出根据内预测模式和划分类型的处理次序的完整列表。

表I：根据内模式和划分类型的处理次序。HOR_DIR和VER_DIR分别是水平和垂直模式，以及VDIA_DIR是垂直对角线模式

总结到目前为止关于信号化开销所描述的实施例，请参考图8。图8示出根据本申请的实施例用于块80的传送内容。具体地说，存在内预测模式信号化116，其用信号通知关于哪种内预测模式将被应用到块80。因此，信号化116例如指示角度模式中的一种，或者可用模式中的一种，所述可用模式包括角度模式以及非角度模式，诸如DC和平面。除了信号化116之外，存在由编码器编码到数据流14中、以及由解码器从块80解码的分割标志160，其指示根据图4至7的分割处理是否被应用到块80，或者是否其被“正常”处理，诸如整块地或者整体地，即，仅块80之外的样本被用于形成参考样本贮存器118以预测块80内的每一个样本。再次地，如在下面进一步被描述的，此实施例直接地意味着通过改变上述实施例而得到的替代实施例。替代地，标记160可以在一方面的针对图4至7所讨论的分割处理、与使用四叉树细分的块80的分解之间切换，所述四叉树细分将块80细分为变换块，所述变换块然后被顺序地处理，但是存在以下缺点：必须在数据流14中用信号通知所述分解。如果分割标记160指示根据图4的分割，则数据流14包含用于块80的分割维度标志114，所述分割维度标志114在针对图4所讨论的分割类型100和110之间切换。并且然后，对于块80被细分/分割而成的块80的每一个分区，如果分割标志160指示此分割选项，则数据流14包括信令/数据120₁，其具有诸如如上所指示的，在变换域中被编码于其中的相应分区的预测残差。

相对于图8，应当注意的是，预测残差数据120₁、120₂...可以以对应于分割/编码次序126的次序被编码到数据流14中。如以上所讨论的，后者可以通过信号化116所指示的内预测模式来唯一地确定。然而，一种替代实施例将是基于在数据流14中的可选的附加信号化来至少部分地确定所述分割次序126。

本文所提出描述的另一替代方案是以下事实：信号化116可以替代地使用，以便指示是否使用分割选项。换句话说，一个语法元素通常可以承担116和160的信号化的责任。这样的语法元素将假设一范围的值中的一个，每一个所述值对应于内预测模式的一种组合‘以及块分割是否被使用的指示。在这种情形下，仅针对内预测模式的子集提供分割选项也将是有可能的。并且最后，应被注意的是，仅在由信号化116指示的内预测模式采取可用内预测模式中的某一个子集的情形下，也可以有条件地在数据流14中传送分割标志160。

图9示例性地示出了具有某个分区102/112_i的预测残差的数据120_i的可能形态。根据图9的实施例，预测残差在变换域中被编码到数据流14中。也就是说，编码器通过变换180产生预测残差的变换182，其中解码器通过逆变换184导出所述预测残差和空间域。图9示出变换182的变换系数186，其对应于例如不同的频频谱率f。数据120_i可以包括编码块标志CBF 188，其指示变换182是否包括任何显著的变换系数186，即，变换182是否全为零。如果CBF 188被置位时，变换182不为零，数据120_i可以包括最后位置(LP)语法元素190，其指示192沿着显著变换系数、即非零变换系数186的增加频谱频率(参见轴194)的最后位置，其开始于最低或者DC系数196。然后，数据120_i包括信令198，其以信号通知从196到192的变换系数。

也就是说，图9示出每一个分区102_i/112_i可以通过CBF 188、LP 190以及变换系数数据198将其预测残差编码到数据流14中。也就是说，对于具有n个分区102/112的块80，对于具有非n零CBF 188的每一个分区，将存在n个CBF 188以及一个LP 190，并且变换系数数据198仅用于具有与其相关联的非零CBF 188的分区。系数数据198可以以与正常处理的内预测块相同的方式被编码，即，分割标志160指示非分割选项的块80，但具有以下的例外：每一个LP 190仅需要一个坐标，如果分区是单一样本宽的话(否则它需要两个坐标，如通常情形)，即x表示水平分割100，而y表示垂直分割110。但是，如果是二维分区，LP 190指示或者使用排序指示、或者使用x和y坐标，沿着一扫描方向或者路径的最后一个位置。每一个CBF188的上下文可以被选择为先前编码的CBF的值，即，在分区次序126中的先前分区的CBF。此外，由于分割，变换系数数据198涉及不同的形状。也就是说，变换182也具有不同的形状。在分区是一维分区的情形下，变换182是一维变换，如针对图4所讨论的那样。也就是说，变换182可以是变换系数186的W/H长向量，其取决于分割类型100或者110。

针对图8的标志160和114、以及它们的编码，以下应被注意。指示块80是否将被划分为分区102/112的标志160定义了将被检查标志114是否在用于块80的数据流14中传送的条件。具体地说，如果标志160指示分割成为分区102/112，标志114存在于数据流14中并被传送到解码器，以便用信号通知要执行哪种类型的分割100/110，即，水平或垂直。如标志CBF一样，标志114也可以使用与上下文依赖的熵编码/解码来编码。根据块80的内预测模式，标志114的上下文可以具有三种可能性：0表示非角度模式、1表示水平模式以及2表示垂直模式。

虽然图9示出CBF 188可能在当前块80的每一个分区i处出现一次，但是附加地或者替代地，当前块的分区120_i的变换182可以各自被分成一个或多个子块，其中针对数据120ⁱ内的每一个子块用信号通知编码的子块标志，指示在所述子块内的变换系数186是否全为零或者至少其中一个系数为非零。因此，只有编码的子块标志以信号通知存在非零系数的子块内的系数186将会被编码。编码的子块标志以信号通知没有任何非零系数的子块内的其他系数，将会在解码器侧被推断为零。请注意，由于每个分区120_i被单独地变换，属于一个分区的子块在分区变换182的频谱成分中不同，并且在变换之外它们所包括的变换系数186中不同。例如，只要相应分区102_i/112_i具有在x(分区宽度)以及y(分区高度)中的大小均大于或者等于4个样本140，并且因此，只要相应分区102_i/112_i的变换180具有在x和y中的大小均大于或者等于4个系数186，就可以以4×4系数块的方式来设置子块。在4×N分区的情形中，子块形成m个4×4子块的一行，其中m*4＝N并且m是整数。在N×4分区的情形中，子块形成m个4×4子块的一列，其中m*4＝N并且m是整数。对于更宽的分区，可能会产生按行和列排列的4×4子块的数组。然而，取决于实施例，比4个样本更宽和/或4个样本宽的此类分区不会发生。无论所述发生是否出现，对于较窄的分区，即其维度中的一个少于4个样本，即在至少一个维度x或者y中少于4个样本宽，可以完成将其变换180的子块分割为子块，每个所述子块收集该变换180的不同的系数群组，使得所述子块在当前块尺寸的所有可能的情形下具有最小数量M个系数。也就是说，分区可以被设置为沿着一个维度与块宽度N一样大，其中分割沿着另一个维度104发生。因此，每一个分区的变换180可以具有1×N、2×N、N×1或者N×2的大小。实际上，某个分区的变换180可以具有与在此分区中的样本数量相等的系数数量。在1×N分区/变换的情形中，这些子块可以形成m个1×M子块的一列，其中m*M＝N并且m是整数。在N×1分区的情形中，子块形成m个M×1子块的一行，其中m*M＝N且m是整数。在2×N分区/变换的情形中，子块可以形成m个2×(M/2)子块的一列，其中m*(M/2)＝N并且m是整数。在N×2分区的情形中，子块可以形成m个(M/2)×2子块的一行，其中m*(M/2)＝N并且m是整数。这被示例性地示出表1中，其针对用于最少系数数量的M＝16的示例情形。

表1：熵编码系数群组尺寸

虽然图9示出当前块80的每一个分区i可能出现CBF 188一次，但在解码器与编码器之间可能同意当前块80的分区中的n个分区中的至少一个具有非零CBF 188。由于这个原因，如果n是子分区的数量，并且在编码次序中的首先n-1个子分区已经产生了零CBF，那么第n个分区的CBF将被推断为1。因此，没有必要对它进行解码并且它不被编码。因此，数据120_n的将会丢失的CBF是在数据120₁到120_n-1中的用信号通知为零的CBF，并且解码器将推断此CBF，以用信号通知在分区的变换中存在至少一个非零系数。

就内编码模式信号化116而言，以下可以成立。所码模式信号化116可作为指向最可能模式(MPM)的列表中的一个的指针或者索引被传送。接下来，MPM列表可以通过编码器和编码器以基于用于先前编码/解码的内预测块的内预测模式以相同方式被确定，诸如空间和/或时间上相邻的内预测模式。因此，MPM列表可以表示可用/支持的内预测模式的适当子集，即前述的角度模式和/或DC和平面模式中的一个或多个。正如上面所提到的，可能存在使用LIP或者ISP方案的内预测块，诸如在图中的块80，此外还有被以经典方式内预测的那些，即整块地或者以使用递归四叉树分割将此类内预测块分割而成的变换块为单位。两种类型的内预测块可能都支持可用/支持的内预测模式的相同集合。虽然对于后者正常/传统内预测块，可以在数据流中用信号通知MPM标志—解码器对其进行解码并且编码器对其进行编码—指示该块的模式是否是从MPM列表中选择的，在这种情形下，指向MPM列表的指针/索引被传送—解码器对其解码并且编码器对其进行编码—在使用LIP或者ISP方案的内预测块诸如块80的情形中，MPM标志将被推断出来用信号通知MPM列表限制。如果，对于某个正常/传统的内预测块，MPM标志用信号通知不使用任何的MPM模式，则在数据流中的块不存在索引/指针，而是针对所述块在数据流中传送指向内预测模式的剩余列表的替换指针/索引。剩余列表也可以是可用/支持的内预测模式集合的适当子集，并且尤其可以是与可用/支持的内预测模式集合相比的MPM列表的互补集合，即可用/支持的内预测模式集合的每一个成员将或者是MPM列表的成员或者是剩余集合的成员。指向MPM列表的指针/索引可以是VLC编码的，而指向剩余集合的指针/索引可以使用固定长度码来编码。当然，即使针对LIP或者ISP方案的内预测块，也可以传送MPM标志，并且编码器可以自由地从可用/支持的内预测模式集合中选择任何的模式，其中对MPM标志置位取决于选择的模式是在MPM列表中还是在剩余集合中。

对于正常/传统内预测块以及对于ISP/LIP内预测块，MPM列表可以是相同的，即可以由编码器和编码器以相同方式来决定。然而，不管对MPM列表有无限制以及有没有用MPM标志的推断来用信号通知ISP/LIP内预测块的MPM列表使用，替代地，针对ISP/LIP内预测块MPM列表可以被不同地决定以适应ISP/LIP模式的统计量。例如，可以改变以从MP列表中排除DC内模式并且针对ISP水平分割，即水平方向104，优先化水平内模式，以及针对ISP垂直分割，即垂直方向104，优先化垂直内模式。也就是说，对于正常/传统的内预测块，MPM列表可以形成可用/支持的内预测模式集合的适当子集，所述模式根据某一特定概念来被选择以及被排序。对于ISP/LIP内预测块80，MPM索引可以指向MPM列表，所述MPM列表取决于由标志114用信号通知的分割方向104和/或形成可用/支持的内预测模式集合的适当子集减去DC模式或者减去DC和平面模式，即在可用/支持的内预测模式集合中角度模式的适当子集。基于先前被编码/解码的先前使用的内预测模式的MPM列表构造可以在标志114指示分割方向104将为水平的情形下，优选角度内预测方向的角度模式更接近水平维度，并且在标志114指示分割方向104将为垂直的情形下，优选角度内预测方向的角度模式更接近垂直维度。

针对刚刚所提出的描述，请再次注意，在正常处理的内预测模式与如本文所概述使用分割处理的内预测模式之间的并置是不需要的。也就是说，编码器和解码器可以不可避免地使用此处呈现的分割来处理内预测块80，因此，例如，分割标志160会变得过时。然而，如果由标志160用信号通知的分割选项作为用于编码器的一个决定是可用的，则以下的描述揭示了关于编码器如何执行决定的可能性，或者发现分区模式是否应该被用于特定的块80，以及哪种划分类型，即水平或者垂直，是最好的。为了执行此操作，编码器应针对用于每一个块的不同的内预测模式测试两个选项。与编码器仅具有诸如正常选项的一个选项的情形相比，编码器将因此更慢，因为必须测试更多的选项。为了减少这种影响，可以通过根据以下策略被编码的方式来测试由标志160信号通知的分区模式，其中参考了图10以及11。

1)1D分区模式(或者根据随后说明修改实施例的灵活内预测子分区)是要被测试的最后内模式。

2)令C_min成为到目前为止在1D分区模式(或者根据随后说明修改实施例的灵活内预测子分区)将被测试时的最小成本。

3)选择将被测试的内模式和划分类型的一种组合。

4)块被分割成N个分区，并且令i表示分区的每一个的索引，其中i＝[1,N]。

5)在每一个分区被对进行编码之后，其子成本J_i被计算。因此，我们可以知道在分区i已被编码之后所有可用子成本的总和，其是所述过程被图示在图10中，因此，其图示分区子成本的累积以获得整个块的最终成本。

6)在处理完每个分区之后，表达式S_i<C_min被评估。如果是真的话，我们继续对分区进行编码直到结束。否则，被保证的是这个测试模式将不会产生比C_min更低的RD成本，因此所述过程被中断，我们继续到下一个内模式和划分类型的组合。

7)如果所有的分区都被编码，则测试模式是最佳模式并且C_min被相应地更新。

此过程的优点在于它避免了处理不必要的分区，因为已经知道1D分割(或者根据随后解释修改实施例的灵活内预测子分区)模式将不会比已存在的最低成本产生更佳的成本。此外，它在RD损失方面没有任何的缺点。整个过程正如图11中的流程图所示。

请再次注意的是，所有上述实施例示出在横向于方向104的一个样本宽条带中所进行的分割，所述分割可以替代地以导致更宽分区的一种方式来进行，从而导致二维分区，除非在实施例描述中的某些细节利用了一维特性。有关于分割的其他的替代方案被如下所述。

换句话说，在上面描述中实施例已被描述，其可以被简要描述为包括基于行的内预测(LIP)编码模式工具，根据所述工具，内预测的W×H块80被分割为1-D分区102/112或者行。然后，所得的行102/112的每一条被预测并产生残差信号，对其进行变换、量化以及熵编码，并且最后系数被描述成将被传送到解码器。这种行的重构样本可以被用于预测下一行、等等。所述过程被重复，直到在原始块内的所有的1-D分区都被编码为止。

然而，相对于此LIP概念，修改是可行的。它已经在前面在讨论图4时被指示，本申请的实施例并不被局限为沿着分割/划分方向104的具有一个样本宽的分区102/112。在以下描述的实施例中，沿着划分方向104上的宽度的限定是基于1)内预测模式是角度模式还是非角度模式，以及2)沿着方向104的内预测块的宽度。

1)W×H(其中假设W和H是2的幂)块80可以被水平或者垂直地分割(例如，以被传送到解码器的语法元素114来指示)成为具有w×h大小的K个相等分区102/112，其值被列于表II中。根据表II，具有W＝16、H＝8的块，使用无角度内模式被预测以及按照垂直划分(即，维度104是垂直的)，例如，将被划分为4个分区102，其中的全部都具有尺寸w＝16以及h＝2。此示例如图12a所示。如果使用角度内模式预测相同的块80，则它会被划分成8个分区102，每一个分区102具有尺寸w＝16以及h＝1。

表II：用于额外布局示例1的w,h和K的值

2)W×H(其中假设W和H是2的幂)块80可以替代地被水平地或者垂直地分割(例如，以被传送到解码器的语法元素114来指示)成为具有w×h大小的K个相等分区，其中K的值不是固定的(并且因此用语法元素将它传送到解码器)，并且其范围可以是在2和S之间任意的2的幂，其中S是正被划分的维度的值(用于垂直划分的宽度以及用于水平划分的高度)。w和h的值被如表III中所述获得。

表III：用于额外布局示例2的w和h的值

代之以，沿着维度104用于块80的分区的宽度可以被直接以信号通知。

3)W×H(其中假设W和H是2的幂)块80可以替代地被水平地或者垂直地分割(例如，以被传送到解码器的语法元素114来指示)成为K个分区(其中K取决于W和H)具有w_i×h_i个维度，其中i＝1,2，...,K。如果分割是水平的，令S＝H，s_i＝h_i，而如果分割是垂直的，令S＝W，s_i＝w_i。针对S的不同值在表IV中描述了s_i的值的各种选项，S沿着维度104测量块80的宽度，而s_i沿着维度104测量分区i的宽度。

表IV：用于不同分区布局的s_i的值

由解码器所使用的选项是固定的，或者可以根据在解码器侧的现有的参数值被隐式地确定。

4)W×H(其中假设W和H是2的幂)块80可以替代地被水平地或者垂直地分割(例如，以被传送到解码器的语法元素114来指示)成为K个分区(其中K取决于W和H)具有w_i×h_i个维度，其中i＝1,2,...,K。如果划分是水平的，令S＝H，s_i＝h_i，而如果划分是垂直的，令S＝W,s_i＝w_i。s_i的值将通过语法元素来确定，语法元素指示在示例3)中所呈现的三种选项中的哪一个将被用于将块划分为子分区。

因此，如在上述示例1至4所示，分割可以沿着一个维度104执行使得分区垂直于预定维度与预定块一样宽，而沿着预定维度104所测量的分区的宽度是从至少两个不同的宽度设置或者选项中被选择。可以使用显式或者隐式信令的概念来使得所述选择在编码器与解码器之间保持同步。因此，所述选择使得虽然可以在具相同大小和形状的块之间改变分割，但是与所述改变相关联的开销被保持相当的低。例如，可以根据用于预定块的内编码模式执行所述选择，诸如取决于用于预定块的内编码模式是否是角度模式。所述选择还可以取决于在数据流中的索引，用于对如在示例4中所示的至少两个不同宽度设置进行索引的预定块。分区可以是沿着分割维度的一个或多个样本宽。在一个块内，沿着分割/预定方向的分区宽度可以变化。一种可以是一个样本宽，即，是一维条带，而另一种是多于一个样本宽，是样本的二维域。

此外，在以上所呈现的一些LIP概念实施例的情形下，提出了两种类型的处理次序–在上面的描述中被称为分区次序126–可以用于每一个块80，其中最终选择使用哪一个是取决于块80的内模式。然而，正如已在以上所述，存在用于决定分区次序126的替代方案。处理次序126指示要以何种顺序处理子分区102/112。可能的处理次序126包括从左上角子分区开始，然后以预定顺序继续，诸如在水平划分的情形下向下或者在垂直划分的情形下向右，或者在另一个情形下以任何其他的顺序诸如光栅扫描方式来分割成为分区。通常，处理次序126可以通过在将被解码/处理的相应子分区时在解码器侧可用的现有的参数来确定。也就是说，对于解码器，处理次序126可以是实时被确定的，即在预测各种子分区102/112中交替。如此的现有参数可以包括内模式、子分区索引、原始块的尺寸、子分区的尺寸、当前分区的CBF标志、等等。次序126也可以直接用信号通知给解码器。

即使对于使用相同分割成为分区102/112的分区内预测的块80，改变分区次序的动机也可能源于以上针对图5已经讨论的构思：改变在分区102/112处被处理的次序126以使得能够在各种分区102/112之间分配预测精确度。例如，如以上所示例的，当根据分区次序126选择远离邻近样本集118而将首先被处理的分区102/112时，这将意味着其内预测将会比原本如果按照分区次序126所述分区被最后处理更糟糕，因为在后一种情形下，被用于填充所述分区的参考将位于更近的位置，即在其面向参考样本集118的一侧处与分区邻接的分区处。在图5的情形下，例如，很明显，对于分区102₄所获得的内预测结果将在根据分区次序126是第一个的情形下导致出更大的预测残差(使得将基于块80之外的相邻样本来获得所述预测)与根据分区次序126最后处理分区102₄的情形相比(在这种情形下，分区102₄将基于覆盖相对于分区102₄紧接相邻样本的邻近的样本集并且包括例如分区102₃的样本来产生预测)。然而，对于剩下的分区则刚好相反。在首先处理分区102₄的情形下，使用分区102₄的预测残差重构其可以被包括到根据分区次序126的任何随后处理的分区的邻近样本集合118_i之中，从而使得能够，例如，预测图5的每一个分区102₁到102₃的内部，从分区的两侧使用用于块80的内预测模式。在处理分区102₄的情形下，邻近样本集118_i仅位于分区102_i，其中i＝1...4的每一个的相应分区的一侧。即，对于分区102₁到102₃，所述情形恰恰相反。对于分区，在首先处理分区102₄的情形下，与最后处理分区102₄相比，预测残差将会较低。更进一步的是，应该考虑上面已经说明的内容，即次序不仅可以在并排连续遍历分区的两个选项之间切换，而且还有可能允许进一步分区次序126，诸如按照预定顺序首先处理每隔一个的分区，然后以相同次序或者相反的预定次序来处理剩余的分区。哪一个选项最佳可以通过测试在编码器侧的各种次序选项来确定，同时在数据流中以次序126传送用于块80的相应附加信号化，或者可以在编码器侧和解码器侧以相同的方式选择次序126取决于针对块80在数据流中所传送的语法元素，或者对于相邻块以相同的方式使得即使对于具有相同大小和形状的块80并且以相同的方式被分割为分区102/112，次序126是不相同的而且在这些块80之间变化。

因此，可以从至少两个不同的顺序中选择处理块80的分区的分区次序。可以使用显式或者隐式信令的概念来使得所述选择在编码器与解码器之间保持同步。因此，所述选择使得当分区次序应用于预定块时，另一种次序可以应用于另一个块，也使用分区内预测概念来编码，具有相同的大小和形状并且以相同的方式被分割为分区。在选择用于编码器的分区处理次序中有自由度，或者依赖于除了大小、形状以及分割之外的其他参数的分区处理次序，在提高分区内预测模式的有效性方面是有效的。当收集用于导出某一分区102_i的预测器的参考样本118_i时，以一种取决于从至少两种不同次序中选择用于预定块的预定分区次序126的方式，有效性甚至可能会更大。特别地，如图所示，被收集的参考样本118_i可以在一个可用的或者可选择的分区次序的情形下被定位在当前分区的两个相对侧，而且在另一个可用的分区次序的情形下，其可以仅被定位在分区120_i的两个相对侧中的一侧。在沿着维度104进行分割的情形下，“侧”可以是分区120_i面向沿着方向的侧面，诸如在垂直方向104的情形下的上侧和下侧，以及在水平方向的情形下的左侧和右侧，但是在下文中还简要的讨论了另一种分割的情形，“侧”可以简单地定义为面向位于块80之外部的参考样本集118_i中那些样本的分割的一侧，以及面向位于块80的内部的参考样本集118_i中那些样本的分割的一侧，即在先前处理的分区中的一个的内部。例如，当至少两种不同的可选择次序中的一个可以从距离预定块的左上角最远的分区开始遍历分区时，至少两种不同的可选择次序中的另一个可以从距离预定块的左上角最近的分区遍历分区。

应被解决的另一个课题涉及残差编码。如上所述，其可以使用变换编码来完成。每一个子分区102/112可以在数据流中具有其自己的编码块标志(CBF)188、最后位置(LP)语法元素190以及变换系数198，其将被传送到解码器。因此，对于具有K个子分区102/112的块80，诸如CU，将对于具有非零CBF的每一个分区102/112存在K个CBF 188和一个LP 190。用于对每一个CBF 188进行编码的上下文可以取决于在同一块内先前编码的子分区的CBF值–例如，沿着次序126。额外地，可以在数据流中向解码器传送另一个尚未被提及的语法元素，以指示在每一个块上是否使用所描述的概念，或者指示在对应于整个数据流或者某一图像或者例如用于某一图像的片段的范围内，是否本文所描述的分区内预测概念被使用在所述范围内的每一个内预测块80上，或者是否用信号通知其中一些将被视为一个整体，即好像仅被分割成一个分区。

同样地，在上面已经描述了可以使用一个变换分别变换每一个子分区，从而为未被量化成全零的每一个分区102/112产生一个变换。作为用于特定分区102/112的变换，可以使用2-D变换，除了在分区102/112的维度中的一个是一的情形之外，在这种情形下将应用1-D变换。变换核心可以是DCT-II或者在子分区将被解码时由在解码器侧的现有的参数来确定的任何其他的变换。例如，可以根据内模式、子分区索引以及子分区维度的组合或者后者参数的某个子集来选择变换。也可以直接用信号通知解码器，或者不同地说，例如以额外语法元素的形式对于块80内的所有的分区或者对于一个块80的每一个分区102/112分别地传送。

一个方面涉及上面已经讨论的方面是这样的事实：在通过以单个分区的方式对每一个分区的预测残差进行变换(其变换系数随后被量化)而得到在空间或者一些中间变换域中的量化之后，可以对块80的分区102/112的残差进行尽管无损或者可逆的进一步的变换。因此，解码器能够获得用于整个块80的变换的变换系数级别，使其进行逆无损变换，以从通过对每一个分区102/112进行重新变换所获得的在空间域中的预测残差来获得在空间域或者中间变换域中用于每一个分区102/112的预测残差。

应被注意的是，根据上述实施例的变化，分割可以以不同于沿着维度104的分割的形式来进行。使用这种变化的内预测性编码可以被赋予名称，诸如灵活内预测子分割(FIPS)。不是分割成为条带102/112，而代之以，块80的划分/分割可以产生块80的任何矩形子分区。灵活内预测子分割(FIPS)将W×H的内预测块80分割为K个矩形的尺寸为w_i×h_i的非重叠子分区，其中i＝1,2,...,K。所得到的子分区布局完全地紧凑，这意味着子分区的面积总和等于原始块的面积，即图12b示出块80的这种一般化分割的示例，其中附图标记102已被重新使用用于分区。在这种情形下，16×8块80被划分成K＝7个子分区102，其维度被定义在表V中。

表V：图12b中描绘的子分区的维度

到目前为止，上述实施例产生了刚刚提到的分割的示例分割。例如，图4示出了块80的这种FIPS分割的两个示例。然而，在这种情形下，所有子分区102/112具有相同的大小。特别地是，垂直于维度104，它们具有块的宽度，而沿着维度104，它们具有相等的宽度，对应于沿着维度104的块宽度的特定分数。类似于上述任何的分区102/112，例如，以FIPS生成的一般化子分区102的每一个被预测，并且单独地对所得到的残差信号进行变换、量化以及编码。因此，其重构值可以被用于预测尚未编码/解码的其他子分区102。例如，在图12b中所描绘的块80的情形下，可以首先预测1号子分区，然后可以使用其重构的样本来预测2号以及3号子分区。重复所述过程直到所有的子分区都已经被编码/解码为止。

总结FIPS一般化，可以以不同于上面所讨论的方式经由数据流来定义以及用信号通知内预测块80成为分区102/112的分割，诸如，例如使用块80的递归多树细分成为具不同大小的矩形分区或者成为任何其他可以定义分割的可能性。例如，可以如以上所讨论的方式由维度104的导出来定义分割，以基于其来确定块80的分区是否是水平条带102还是垂直条带112，并只要涉及条带的横向宽度，即分别是水平条带102的高度以及垂直条带112的宽度是取决于内预测模式。以上讨论的所有其他的可能性仍然是诸如例如，改变处理/分区次序126的可能性，如以上所述，改变化可以取决于内预测模式、在用于块80的数据流中所传送的一些语法元素以及内预测模式参数或者根据在数据流中所传送的一些其他的信息诸如可以从在用于相应分区的数据流中所传送的预测残差可以导出的信息。

此外，在上面已经讨论过，以一种相对于所述分区的生成内预测的交替方式，对于块80的相应分区的预测残差顺序地、分区接着分区地被量化并被编码为数据流。这已经参照图5以及参照图10和图11进行了描述。然而，解码器不需要通过在一方面残差解码与在另一方面通过组合内预测以及预测残差的相应分区重构之间交替来执行解码。也就是说，在对某一个块80进行解码时，解码器可以将用于各个分区的预测残差120的解码与包括各个分区的单独内预测的实际重构过程解耦合。请参见图5：解码器可以根据一个处理任务从数据流14解码所有分区的预测残差120，即，块80的预测残差120₁到120₄，并且解码器可以根据另一个处理任务，使用分区102_i的预测残差120_i以便按照分区次序126分区接着分区地重构块80的内部。为此目的，在第二任务中解码器使用块80的内预测模式来执行每一个分区120_i的内预测，然后添加从第一任务所得到的预测残差120_i，然后通过前进到在分区次序126中的下一个分区120_i+1来继续块80的重构以便执行空间预测，之后使用分区的预测残差来重构以校正内预测结果。解码器可以在开始使用预测残差执行预测以及预测校正的第二任务之前完成从数据流14完全导出预测残差120的第一任务，或者解码器可以以提供的措施并行地执行两个任务以保证某一个分区102_i的预测残差120_i在被需要时已准备就绪，即在当已经使用块的内预测模式获得分区102_i的预测结果并且需要被校正时。具体地说，在第一任务或者阶段期间，解码器可以并行地对所有非零的分区执行所有的逆变换，即，对用信号通知预测残差120_i为非零的所有的分区102执行所有的逆变换。

正如一方面所指示的，根据上述实施例，其中分区i的残差120_i在变换域中被量化，可能发生：分区的重构样本可能会离开，即超过或者超越，某一个允许的样本值范围。如以上所讨论的，它们可以作用为依照次序126中用于分区j的参考样本118j的成员。根据实施例，这些样本被留下，因为它们是依照次序126用于预测分区j的目的，具有执行块80的这些样本的限幅作为整个块80的最终的限幅步骤，从而例如在解码器侧增加实现方式的友好性。因此，在为分区102_i导出预测器中，根据分区次序126在这个分区102_i前面分区的重构样本，其是在一个或多个已经重构样本118_i之中用作当前分区的参考，可以在尚未被限幅的状态下被使用，其中在已经执行顺序重构之后，在最后重构预定块的情形下，限幅重构的样本从尚未限幅的状态到被限幅成允许样本值范围的状态。在编码器侧，仅是为了获得如此样本的重构版本而执行限幅，以用作随后编码的块的预测参考，以便保持与解码器的参考同步。然而，这种限幅的最终清理类型仅是示例性的，并且可以替代为立即地执行限幅，即，在分区i的重构样本用作为随后处理分区j的一参考样本118j之前被限幅。

在到目前为止讨论的实施例中，下面将使用具体的示例来说明其中的一种。具体地说，根据实施例，数据流14通过划分模式标志160用信号通知内编码块80是否使用LIP或者ISP方案对其进行编码。在数据流14中对应的语法元素可以被命名为intra_subpartitions_mode_flag。例如，如果标志是1，则可以使用LIP或者ISP方案对内编码块80进行编码，否则使用正常内预测对块80进行编码。例如，只要满足某一个或多个条件，LIP或者ISP方案就可用于当前内编码块80。例如，一个或多个条件可以包括：例如内编码块80需要在块80的样本数量方面大于某个最小的大小、和/或内编码块80可能不允许超过一特定大小，至少在水平和垂直方向上，以便例如不会导致太大的变换大小。更确切地说，LSP或者ISP模式可能仅在块80在至少一个方向上，即水平或者垂直方向，小于或者等于刚刚提到的最大变换相关大小的情形下才可用。因此，intra_subpartitions_mode_flag仅会在块80满足刚刚所提到条件的情形下存在于数据流中。否则，解码器会推断内编码块80是被正常内编码。在划分模式标志，intra_subpartitions_mode_flag，指示内编码块80是LSP或者ISP编码块的情形下，还可以针对内编码块80进一步以信号通知分区维度标志114。然而，可能的是，intra_subpartitions_mode_flag并非不避免地被显式地信令，而是在某些情形下被推断来指示某一个分区维度104。例如，在内编码块80的宽度超过上述最大变换大小(但其高度则未超过)的情形下，则分区维度104可以被迫成为水平的，并且在块80的高度超过刚刚提到最大变换大小(但其宽度则未超过)的情形下，则维度104可以被迫成为垂直的。在这两种情形下，intra_subpartitions_split_flag将不会在数据流中被明确地用信号通知，而是由解码器相应地推断出。可以如上所述在数据流中以信号通知内编码模式116，即通过使用在编码器和解码器的所述侧构建的最可能内预测模式的列表。虽然对于LIP或者ISP内编码块80，数据流14可以通过MPM列表指针码以信号通知内编码模式，MPM列表指针码不避免地指向到可能内预测模式的列表中，所述MPM列表指针被称为，例如，intra_luma_mpm_IDX，这在内编码块未以LIP或者ISP方案被编码的情形下，在数据流14中所述指针可以在MPM标志之前。如果MPM标志，例如，被称为intra_luma_mpm_flag，具有特定的标志状态，而不是指向最可能内预测模式的列表的指针，则在数据流中会用信号通知指向内预测模式的剩余列表的指针码。然而，如以上所述，这仅仅是一示例，并且对于正常编码的内预测块以及LIP或ISP内预测块两者，可以用信号通知的内预测模式集合可以是相同的，即覆盖所有支持的内预测模式。例如，可以针对两种类型的内编码块传送intra_luma_mpm_flag。或者，对于两种类型的内编码块，针对两种类型的内预测块所传送的指针码可以直接指向支持的内预测模式的完整列表，而没有任何MPM标志。如果使用LIP或者ISP方案对内编码块80进行编码，则可以如下定义分区102/112的数量。特别地是，编码器和解码器可以根据块80的大小来确定分区的数量。在数据流中不会花费任何的信号。对于小的块尺寸，数量可以是二，否则分区102/112的数量会是四。执行分区内预测以及数据流中的预测残差编码的分区次序，可以在水平方向n14的情形下从最左边的分区并且在垂直分区方向的情形下从最上边的分区沿着分区方向104顺序引导到最远的分区。这也不会花费任何信号。如以上所述，可以对每一个分区102/112完成残差变换。也就是说，每一个分区都可以被单独地变换。与此相比，在正常内编码块80的情形下，变换的数量可以取决于内编码块80的大小，如以下所述：如果内编码块在水平和垂直方向上小于上述的最大变换大小，则使用一个变换对内编码块80的残差进行编码，即，块80的残差被完全地经历一个变换。在水平方向超过最大变换大小的情形下，内编码块80被水平地划分两个半部或者相应数量的变换块，使得所述半部或者变换块满足最大的变换大小，并且块80的残差针对每个半部/变换块经历一个变换。在块80在垂直方向上超过最大变换大小的情形下也是如此。如果在垂直和水平方向都超过最大的变换大小，则四个或者相应数量的变换被用于在此块80的四个象限中来变换块80的残差、或者变换块80的成为对应数量的变换块的常规二维子划分的残差。此外，正常内编码块80的处理可能偏离LIP或者ISP编码的内编码块80的处理，因为正常内编码的块是被整块内预测的。也就是说，其是不被子分割的。进一步的差异可涉及用于编码块80的预测残差的变换的编码。对于每一个变换，可以传送编码块标志188，诸如tu_cbf_luma，但是对于正常内编码块80，可能不可避免地针对在块80内的每一个变换来对此标志进行编码，在块80被LIP或者ISB编码并且先前变换的所有先前CBF为零的情形下，这个标志可以被推断成为用于块80的最后变换的一个。此外，在每一个变换内的子块的大小的选择可以在一方面正常内编码块80与另一方面LIP或者ISP编码块80之间有所不同。细节如以上所述。然而，替代地，对于正常内编码块以及LIP或者ISP编码块可以同等地对变换182进行子分割成为子块。例如，令log2SbW以及log2SbH分别是这些子块的宽度以及高度的对数对，而log2TbWidth以及log2TbHeight则分别是变换的宽度和高度。然后，子块尺寸可以被如下地确定：

上述的伪码产生在表1中所列出的大小的子块。可能是，由于内编码块80的固有的最小大小以及正常内编码块的非子分割，正常内编码块80仅导致出4×4系数的子块。最终应该注意到的是，刚刚所概述的示例可以导致出不同大小的LIP或者ISP内预测块，包括仅分割为两个分区102/112的块，但是无论是否存在这种LIP或者ISP内预测块，都存在被分割为两个以上分区的LIP或者ISP内预测块。

因此，以上的描述除了其他的事项之外揭示了用于图像12的基于块编码概念，其涉及在数据流14中针对图像的预定块80用信号通知内编码模式116以及将预定块80分割成若干个分区102_i/112_i；其中预定块的分区都将根据顺序地遍历过分区的预定分区次序126被重构，对于当前分区并且在继续到随后分区之前，通过以取决于内编码模式的方式取决于与当前分区相邻的一个或多个已经重构/编码的样本来填充当前分区，导出用于当前分区的预测器122，并且通过使用在数据流中用信号通知的预测残差120_i来校正预测器122，来重构当前的分区。如以上所述，所述分割可以沿着预定维度104进行，使得分区在垂直于预定维度104方向上与预定块80一样宽，并且沿着预定维度104测量的分区的宽度可以通过编码器和解码器取决于数据流，诸如取决于所述预定块的大小，从至少两种不同的宽度设置中来选择，诸如通过选择预定块被分割的分区数量，分割是根据块的维度的大小或者沿着预定维度的块的大小。所有分区的预测残差编码可以使用上述概念的任一来进行，特别是在上下文选择和/或编码语法方面。此外，用于包括或者排除MPM列表建构的模式传送的任何概念可以被使用。

尽管已经在装置的上下文中描述了一些方面，但是显然这些方面也表示相应方法的一描述，其中块或者设备对应于方法步骤或者方法步骤的特征。类似地，在方法步骤的上下文中所描述的方面还表示对应设备的对应块或者项目或者特征的描述。一些或者所有的方法步骤可以由(或者使用)硬件设备执行，例如微处理器、可编程计算机或者电子电路。在一些实施例中，最重要方法步骤中的一个或多个可以由这样的设备来执行。

本发明的数据流可以被存储在数字存储介质上，或者可以在诸如无线传输介质的传输介质或者诸如因特网的有线传输介质上被传输。

根据某些实现方式的要求，本发明的实施例可以用硬件或者软件来实现。可以使用数字存储介质来执行所述实现方式，例如软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或者闪存，其具有电子可读控制信号被存储在其上，其与可编程的计算机系统协作(或者能够协作)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作，从而执行本文所描述的这些方法之一。

一般而言，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品运行在计算机上时，程序代码可以被操作来执行方法之一。所述程序代码可以例如被存储在机器可读载体上。

其他的实施例包括用于执行本文所描述的方法之一的计算机程序，其被存储在机器可读载体上。

换句话说，本发明方法的实施例因此是具有程序代码的计算机程序，当计算机程序在计算机上运行时，所述程序代码可以执行本文所描述的方法之一。

因此，本发明方法的进一步实施例是数据载体(或者数字存储介质、或者计算机可读介质)，包括记录在其上用于执行本文所描述的方法之一的计算机程序。数据载体、数字存储介质或者记录的介质通常是有形的和/或非暂时性的。

因此，本发明方法的进一步实施例是表示用于执行本文所描述方法之一的计算机程序的数据流或者信号序列。所述数据流或者信号序列可以例如被配置为经由数据通信连接，例如经由因特网来被传输。

进一步实施例包括处理装置，例如计算机、或者可编程逻辑器件，配置为或者适配于执行本文所描述的方法之一。

进一步实施例包括计算机，其上安装有用于执行本文所描述的方法之一的计算机程序。

根据本发明的进一步实施例包括装置或者系统，被配置为将用于执行本文所描述的方法之一的计算机程序传送(例如，电子式地或者光学式地)到接收器。所述接收器可以例如是计算机、移动装置、内存设备或者类似物。所述装置或者系统可以例如包括用于将计算机程序传送到接收器的文件服务器。

在一些实施例中，可编程逻辑器件(例如现场可编程门阵列)可以被用于执行本文所描述的方法中的一些或者全部的功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行本文所描述的方法之一。一般而言，所述方法优选地是由任何的硬件设备来执行。

本文所描述的装置可以使用硬件设备、或者使用计算机、或者使用硬件设备与计算机的组合来实现。

本文所描述的装置，或者本文所描述的装置的任何组件，可以至少部分地以硬件和/或软件来被实现。

本文所描述的方法可以使用硬件设备、或者使用计算机、或者使用硬件设备与计算机的组合来实现。

本文所描述的方法，或者本文所描述的装置的任何组件，可以至少部分地以硬件和/或软件来被实现。

上述实施例仅是用于说明本发明的原理。应被理解的是，对本文所描述的布置及细节的修改以及变化对于本领域技术人员而言将会是显而易见的。因此，本文旨在仅受所附专利权利要求的范围的限制，而不受由本文实施例描述以及解释所呈现的具体细节的限制。