具体实施方式

现在参考附图，提供图1至图4e以给出利用以下结合实施方式描述的压缩和/或解压缩装置的装置或系统的示意图。

下面将要描述的所有数据压缩和/或解压缩装置可以用硬件、运行在通用数据处理装置(诸如通用计算机)上的软件、可编程硬件(诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA))或这些的组合来实现。在实施方式由软件和/或固件实现的情况下，将理解，这样的软件和/或固件、以及通过其存储或以其他方式提供这样的软件和/或固件的非瞬态机器可读数据存储介质被认为是实施方式。

图1示意性示出了使用视频数据压缩和解压缩的音频/视频数据传输和接收系统。

将输入音频/视频信号10提供至视频数据压缩装置20，视频数据压缩装置20至少压缩音频/视频信号10的视频分量以沿着诸如，电缆、光纤、无线链路等的传输路径30传输。压缩信号由解压缩装置40处理，以提供输出音频/视频信号50。对于返回路径，压缩装置60压缩音频/视频信号以沿着传输路径30传输到解压缩装置70。

因此，压缩装置20和解压缩装置70可以形成传输链路的一个节点。解压缩装置40和解压缩装置60可形成传输链路的另一节点。当然，在传输链路是单向的情况下，这些节点的仅一个节点需要压缩装置并且另一节点仅需要解压缩装置。

图2示意性示出了使用视频数据解压缩的视频显示系统。具体地，压缩的音频/视频信号100由解压缩装置110处理以提供可显示在显示器120上的解压缩信号。解压缩装置110可被实现为显示器120的组成部分，例如被提供在与显示设备相同的外壳内。可替代地，解压缩装置110可被提供为(例如)所谓的机顶盒(STB)，注意表达“机顶”并不意味着要求该盒相对于显示器120以任何特定的方向或位置放置；它仅是在本领域中用于指示可作为外围设备连接到显示器的设备的术语。

图3示意性示出了使用视频数据压缩和解压缩的音频/视频存储系统。输入音频/视频信号130被提供给压缩装置140，压缩装置140生成压缩信号以供诸如磁盘设备、光盘设备、磁带设备、固态存储设备(诸如半导体存储器)或其他存储设备的存储设备150存储。为了重放，从存储设备150读取压缩数据并将其传递到解压缩装置160来解压缩以提供输出音频/视频信号170。

应当理解，压缩或编码的信号以及存储该信号的存储介质或数据载体被认为是实施方式。参照以下描述的图4d和图4e。

图4a示意性地示出了使用视频数据压缩的摄像机。在图4a中，图像捕获设备180(诸如电荷耦合器件(CCD)图像传感器和关联的控制和读出电子器件)生成视频信号，该视频信号被传递到压缩装置190。麦克风(或多个麦克风)200生成音频信号，以传递到压缩装置190。压缩装置190生成待存储和/或待传输的压缩音频/视频信号210(一般示出为示意性阶段220)。

下文将描述的技术主要涉及视频数据压缩。将理解到，许多现有技术可结合将描述的视频数据压缩技术用于音频数据压缩，以生成压缩的音频/视频信号。因而，将不单独论述音频数据压缩。还将理解到，与视频数据相关联的数据率(特别是广播质量视频数据)通常比与音频数据相关联的数据率(无论是压缩的还是未压缩的)高得多。因此，应当理解，未压缩的音频数据可伴随压缩的视频数据以形成压缩的音频/视频信号。将进一步理解，尽管本实例(图1至图4e中所示)涉及音频/视频数据，但以下描述的技术可用于仅处理(也就是说，压缩、解压缩、存储、显示和/或传输)视频数据的系统。也就是说，实施方式可应用于视频数据压缩，而根本不必具有任何相关联的音频数据处理。

图4b更详细地示意性地示出示例摄像机装置183。将不再进一步描述共同编号为图4a的这些特征。图4b是图4a的相机(在图4a的单元220提供存储能力的情况下)的实例，其中，压缩数据首先被缓冲器221缓冲，然后被存储在诸如磁盘、光盘、闪存、所谓的固态盘驱动器(SSD)等的存储介质222中。注意，图4b的布置可被实现为单个(物理)单元182。

图4c示意性地示出了另一个示例性摄像机，其中，代替图4b的存储器的布置，提供了网络接口223以允许将压缩数据传输至另一个单元(未示出)。网络接口223还可允许摄像机接收输入数椐，例如控制数据。注意，图4b的布置可被实现为单个(物理)单元183。

图4d和图4e示意性地示出了数据载体，例如用作存储介质222并且承载已经根据本申请中所描述的压缩技术压缩过的压缩数据。图4d示出了实现为诸如闪存的固态存储器的可移除非易失性存储介质225的示意性实例。图4e示出了实现为诸如光盘的盘介质的可移除非易失性存储介质226的示意性实例。

图5提供了视频数据压缩和解压缩装置的示意性概述。

将输入视频信号300的连续图像提供至加法器310和图像预测器320。以下将参考图6更详细地描述图像预测器320。加法器310实际上进行减法(负加法)运算，因为它在“+”输入上接收输入视频信号300，并且在“-”输入上接收图像预测器320的输出，从而从输入图像中减去预测的图像。结果是生成表示实际图像与投影图像之间的差异的所谓的残差图像信号330。

生成残差图像信号的一个原因如下。待描述的数据编码技术，即将应用于残差图像信号的技术，在待编码的图像中的“能量”较少时，趋于更有效地工作。这里，术语“有效地”是指生成少量的编码数据；对于特定的图像质量级别，希望(并被视为“有效”)生成尽可能少的数据。残余图像中对“能量”的引用涉及残余图像中包含的信息量。如果预测图像与实际图像相同，则两者之间的差异(也就是说，残差图像)将包含零信息(零能量)并且将非常容易编码成少量的编码数据。通常，如果可以使预测过程正常运行，则期望残差图像数据将包含比输入图像更少的信息(更少的能量)并且因此将更容易编码成少量的编码数据。

残差图像数据330被提供给变换单元340，变换单元340生成残差图像数据的离散余弦变换(DCT)表示。DCT技术本身是公知的，所以将不在这里详细描述。

注意，在一些实施方式中，使用离散正弦变换(DST)而不是DCT。在其他实施方式中，可以不使用变换。这可以选择性地完成，从而使得变换阶段实际上例如在“变换-跳过”命令或模式的控制下被绕过。

也就是说，变换单元340的输出(图像数据的每个变换块的一组变换系数)被提供给量化器350。在视频数据压缩领域中已知各种量化技术，范围从简单乘以量化比例因子直到在量化参数的控制下应用复杂的查找表。总体目的是双重的。首先，量化过程减少变换数据的可能值的数目。其次，量化过程可增加变换数据的值为零的可能性。这两者可以使熵编码过程在生成少量的压缩视频数据中更有效地工作。

控制器345根据下面将进一步论述的技术控制变换单元340和量化器350(以及它们各自的逆单元)的操作。注意，控制器345还可以控制图5的装置的操作的其他方面，并且实际上控制图6的装置的操作。

通过扫描单元360应用数据扫描过程。扫描过程的目的是对量化的变换数据进行重新排序，以便将尽可能多的非零量化的变换系数收集在一起，并且当然因此将尽可能多的零值系数收集在一起。这些特征可允许有效地应用所谓的游程编码或类似技术。因此，扫描过程涉及根据“扫描顺序”从量化的变换数据中，特别是从与已变换和量化的图像数据块相对应的系数块中选择系数，从而(a)将所有系数一次选择为扫描的一部分，并且(b)扫描倾向于提供所需的重新排序。可倾向于给出有用结果的一个示例性扫描顺序为所谓的Z字形扫描顺序。

接着将扫描的系数传递到熵编码器(EE)370。再次，可使用各种类型的熵编码。两个实例是所谓的CABAC(上下文自适应二元算术编码)系统的变型和所谓的CAVLC(上下文自适应可变长度编码)系统的变型。一般而言，认为CABAC提供更好的效率，并且在一些研究中已经示出与CAVLC相比，针对可比较的图像质量，编码输出数据的量减少10％至20％。然而，认为CAVLC表示比CABAC低得多的复杂度(就其实现而言)。

注意，扫描过程和熵编码过程被示为单独的过程，但实际上两者可组合或一起处理。也就是说，可按照扫描顺序将数据读入熵编码器(或由熵编码器处理数据)。相应的考虑适用于相应的逆过程。

熵编码器370的输出与例如定义预测器320生成预测图像的方式的附加数据一起提供压缩的、输出视频信号380。

然而，因为预测器320本身的操作取决于压缩的输出数据的解压缩版本，所以还提供返回路径。

该特征的原因如下。在解压缩过程中的适当阶段，生成残差数据的解压缩版本。该解压缩的残差数据必须被添加到预测图像以生成输出图像(因为原始残差数据是输入图像与预测图像之间的差异)。为了使该过程在压缩侧和解压缩侧之间类似，由预测器320生成的预测图像在压缩过程期间和在解压缩过程期间应当相同。当然，在解压缩时，装置不访问原始输入图像，而是仅访问解压缩图像。因此，在压缩时，预测器320将其预测(至少对于图像间编码)基于压缩图像的解压缩版本。

由熵编码器370执行的熵编码过程被认为是“无损的”，也就是说，可以将其反转以得到与首先被提供给熵编码器370的数据完全相同的数据。因此，可以在熵编码阶段之前实现返回路径。实际上，由扫描单元360执行的扫描过程也被认为是无损的，但是在本实施方式中，返回路径390是从量化器350的输出至互补逆量化器420的输入。

一般而言，熵解码器410、反向扫描单元400、逆量化器420和逆变换单元430提供熵编码器370、扫描单元360、量化器350和变换单元340的相应逆功能。现在，通过压缩过程继续论述；解压缩输入的压缩视频信号的过程对应于压缩过程的返回路径，因此解码装置或方法对应于这里描述的编码器的解码路径的特征或操作。

在压缩过程中，扫描的系数通过返回路径390从量化器350传递到逆量化器420，逆量化器420执行扫描单元360的逆操作。通过单元420和430执行逆量化和逆变换过程以生成压缩-解压缩残差图像信号440。

在加法器450处，将图像信号440添加到预测器320的输出以生成重构的输出图像460。这形成到图像预测器320的一个输入。

现在转到应用于接收到的压缩视频信号470的过程，该信号被提供给熵解码器410，然后从熵解码器410被提供给反向扫描单元400、逆量化器420和逆变换单元430的链，然后通过加法器450被添加到图像预测器320的输出。简而言之，加法器450的输出460形成输出解压缩视频信号480。实际上，可以在输出信号之前应用进一步的滤波。

图6示意性示出在控制器345(其自身在图6中未示出)的控制下生成预测图像，且具体地操作图像预测器320。

存在两种基本的预测模式：所谓的图像内预测和所谓的图像间或运动补偿(MC)预测。

图像内预测基于来自同一图像内的数据预测图像的块的内容。这对应于其他视频压缩技术中的所谓的I帧编码。与其中整个图像被帧内编码的I帧编码相比，在本实施方式中，可以在逐块的基础上来挑选帧内编码与帧间编码，但是在其他实施方式中，仍然在逐图像的基础上进行挑选。

运动补偿预测利用运动信息，所述运动信息试图在另一邻近或附近图像中定义当前图像中待编码的图像细节的来源。因而，在理想实例中，预测图像中的图像数据块的内容可非常简单地编码为指向相邻图像中的相同或稍微不同位置处的对应块的参考(运动向量)。

返回至图6，示出了两个图像预测布置(对应于图像内预测和图像间预测)，其结果是由复用器500在模式信号510的控制下选择的，以提供预测图像的块以提供给加法器310和450。根据哪个选择给出最低“能量”(如以上所论述的，该能量可被认为是要求编码的信息内容)来进行挑选，并且在编码的输出数据流内将该挑选发信号给编码器。在此背景下，例如可以通过执行从输入图像试验减去预测图像的两个版本的区域，对该差异图像的每个像素值进行平方，对这些平方值进行求和，并且标识这两个版本中的哪一个版本产生了与该图像区域相关的该差异图像的较低的均方值来检测图像能量。

在帧内编码系统中，基于作为信号460的一部分接收的图像块进行实际预测，也就是说，预测基于编码-解码的图像块，以便在解压缩装置处可以进行完全相同的预测。然而，帧内模式选择器520可从输入视频信号300导出数据以控制图像内预测器530的操作。

对于图像间预测，运动补偿(MC)预测器540使用诸如由运动估计器550从输入视频信号300导出的运动矢量的运动信息。运动补偿预测器540将这些运动矢量应用于重建图像460的处理版本以生成图像间预测的块。

现在将描述应用于信号460的处理。首先，滤波器单元560对信号进行滤波。这涉及应用“去块”滤波器以去除或至少趋于减小由变换单元340执行的基于块的处理和后续操作的影响。此外，使用通过处理重建信号460和输入视频信号300导出的系数来应用自适应环路滤波器。自适应环路滤波器是使用已知技术将自适应滤波器系数应用于待滤波的数据的滤波器的类型。也就是说，滤波器系数可根据各种因素而变化。作为编码的输出数据流的一部分包括定义使用哪些滤波器系数的数据。

来自滤波器单元560的滤波输出实际上形成输出视频信号480。它还被缓冲在一个或多个图像存储器570中；连续图像的存储是运动补偿预测处理，尤其是运动向量的生成的要求。为了节省存储要求，图像存储器570中所存储的图像可以以压缩形式保存，然后解压缩以用于生成运动向量。为了该特定目的，可以使用任何已知的压缩/解压缩系统。存储的图像被传递到插值滤波器580，插值滤波器580生成较高分辨率版本的存储图像；在该实例中，生成中间样本(子样本)，使得由插值滤波器580输出的插值图像的分辨率是存储在图像存储器570中的图像的分辨率的8倍(在每个维度上)。插值图像作为输入被传递到运动估计器550并且还传递到运动补偿预测器540。

在实施方式中，提供另一可选的阶段，该阶段使用乘法器600将输入视频信号的数据值乘以因子四(有效地仅将数据值左移两位)，并且使用分频器或右移相器610在装置的输出处应用相应的分频操作(右移两位)。因此，左移和右移改变纯用于装置的内部操作的数据。由于减少了任何数据舍入误差的影响，所以该测量可以在装置内提供更高的计算精度。

现在将描述分割图像进行压缩处理的方式。在基本级别，待压缩的图像被视为样本块的阵列。出于本论述的目的，所考虑的最大的这种块是所谓的编码树单元(CTU)700(图7)，其在本实例中表示64x64样本的正方形阵列。在此，论述涉及亮度样本。取决于色度模式，诸如4：4：4、4：2：2、4：2：0或4：4：4：4(GBR加关键数据)，存在与亮度块对应的不同数目的对应色度样本。

一般来说，CTU的递归细分允许输入图片被分割，使得块大小和块编码参数(诸如预测或残差编码模式)两者可以根据待编码图像的特定特征来设置。

CTU可被细分为所谓的编码单元(CU)。编码单元可为正方形或矩形且具有在最小尺寸(小于CTU)与CTU 700的全尺寸之间的大小。编码单元可被布置为一种树结构，使得可发生如图8所示的第一细分，给出32x32样本的编码单元710；然后，可以在选择性的基础上进行随后的细分，以便给出16x16样本的一些编码单元720(图9)和潜在地8x8样本的一些编码单元730(图10)。总的来说，该过程可以提供CU块的内容自适应编码树结构，每一个CU块可以与CTU一样大或者与8x8样本一样小。基于编码单元结构进行输出视频数据的编码。

CU还可表示用于预测和变换的最小细分，使得CU还用作预测单元(PU)和变换单元(TU)，或在其他实例中，可进行到PU和/或TU的不同的或进一步的细分。

由熵编码器370执行的熵编码操作的至少部分可利用所谓的CABAC(上下文自适应二元算术编码)技术。在“Draft high efficiency video coding(HEVC)version 2,combined format range extensions(RExt),scalability(SHVC),and multi-view(MV-HEVC)extensions”,JCTVC-R1013_v6,Draft ISO/IEC 23008-HEVC；201x(E)2014-10-01中更详细地描述了CABAC上下文建模和编码过程。

CABAC系统的重要特征是特定CABAC比特流必须由单个解码器解码。也就是说，特定单独比特流的CABAC数据固有地序列化，因为每个编码值取决于先前编码的值，并且不能由多个解码器并行处理。然而，当以极高操作点(例如，高位速率和/或高质量，诸如专业质量)解码视频时，CABAC处理量要求使得变得难以实施能够及时地解码最差情况帧的熵解码器。考虑到这些和其他类似处理量约束，已提议诸如HEVC视频解码器的数据处理系统的并行操作。

在预期并行解码器操作时出现各种问题。如上所述，特定位流应由相应解码器解码。现在将描述用于满足这些要求的技术。

参考图11，按CTU顺序从图像的左上到右下对CTU进行编码。显然，这仅是示例性顺序，并且可以使用不同的顺序，但是在这里，示出了在图像内预测布置中的相关性顺序，使用TU 1100上方和左侧的参考样本1110预测的特定变换单元(TU)1100可能需要使用来自一个或多个邻近和先前编码(和解码)的CTU的参考样本。在图11的实例中，处于CTU 1120的上边缘处的TU 1100依赖于对来自邻近CTU 1130、1140的样本的参考。类似地，如果TU在CTU的极左边缘处，那么TU可依赖于来自当前CTU左侧的CTU的参考样本。这提供了相对于当前图像区域，在当前图像区域上方和左侧布置一组参考样本的实例。在实例中，该组参考样本包括相对于当前区域布置的参考样本的一个或多个线性阵列，图像内预测器被配置为依据由预测方向指向的一个或多个线性阵列的参考样本导出预测的样本。

CTU之间的该潜在相关性对图12中示意性地示出的CTU强加解码顺序。这里，首先对左上CTU 1200进行解码，随后是紧挨着CTU 1200的右侧的CTU 1210。之后，可以对顶行中的下一个CTU 1220进行解码，但是也考虑图11中所示类型的相关性，可以对第二行的第一CTU 1230进行解码。解码可以逐个CTU地以由图12中的每个框(表示相应的CTU)内绘制的数字所指示的顺序进行。通过查看图12中指示解码顺序的数字，可以看出这种布置可以被称为所谓的波前系统，其中，一旦上面一行的左侧两个CTU已经完成，每行就可以开始解码。

关于所谓的波前系统，其带来的任何优点往往随着CTU大小的增大而减小。此外，波前布置的平行度仅取决于图片的高度而非宽度。具体地，由该系统提供的平行度因此倾向于随着像素数量的平方根而不是随着像素数量本身而增加。

关于图13，示出了一个不同的示例性布置，其中，包括关于图像内预测的限制，从而使得完全禁止使用来自邻近CTU的参考样本。这意味着从图像内预测看来，没有CTU依赖于任何其他CTU。这导致图13中示意性示出的可能解码顺序，其中，可以潜在地并行地对所有CTU 1300进行解码。这种布置仅影响CTU的顶部和/或左侧的TU，使得对于较大CTU，因为顶部和/或左侧的TU的比例对于较大CTU将较低，所以影响减小。在该布置中，可并行地解码所有CTU，尽管如所述，并不需要全部并行编码，但它们之间仅不存在相关性以阻止这种解码。然而，通过阻止这些邻近参考样本，将存在潜在的编码效率损失，至少对于CTU的顶部/左侧TU，因为不允许使用可能以任何方式与有效预测相关的参考样本。

图13的该论述提供其中预测模式选择器被配置为禁止选择当前区域的预测操作的实例，对于该预测操作，至少一些参考样本布置在当前CTU上方的CTU中。

在另一替代布置中，修改上述限制以使得来自当前CTU左侧的CTU的参考样本可用于图像内预测，但不能使用当前CTU上方和右上方的参考样本。这导致在图14中示意性地示出的潜在解码顺序，其中，解码可以在CTU 1400之间逐列地进行。再一次，与图12相比，存在在解码时并行性的潜在增加，但编码效率的潜在降低，因为不使用参考样本(其可能以其他方式相关)。

图14的该论述提供其中预测模式选择器被配置为禁止选择当前区域的预测操作的实例，对于该预测操作，在当前CTU左侧的CTU中布置至少一些参考样本。

例如，在其中预测模式选择器被配置为禁止选择用于当前区域的预测操作，参考样本中的至少一些被布置在当前CTU上方的CTU中或当前CTU左侧的CTU中的布置，可禁止使用来自其他CTU的上方和左侧参考样本。

图15示意地示出图6的布置的变型，特别地涉及在图像内预测和图像间预测之间进行挑选的方式。

编码效率检测器1500操作以使用常规技术(例如，通过检测指示在使用每一候选技术的情况下将出现的编码数据的量的一个或多个度量并选择候选技术)在图像内预测与图像间预测之间进行基本挑选：根据指示较少数量的编码数据的度量，

·使用由运动估计器550挑选的当前选择的运动矢量的图像间预测；或

·使用帧内模式选择器520当前选择的模式的图像内预测。

然而，作为预测操作选择器的功能的一部分，提供其他电路或模块1510、1520。

具体地，参考样本编码检测器1510响应于来自帧内模式选择器520的当前选择的预测模式，至少在可应用于该模式的参考样本(或者参考样本中的至少一些)位于邻近CTU中的情况下，检测关于当前选择的帧内模式所需的参考样本使用的编码的类型。如果邻近CTU中的这些参考样本被图像内编码，则对于当前TU，模式控制器1520禁止(或者在一些实例中阻止)使用由帧内选择器520临时选择的图像内模式，并且强制使用图像间编码。在替代布置中，可以仍然允许图像内编码，但是可以启用不同的图像内模式，这是不使用来自该邻近CTU的参考样本的模式。换言之，当(例如)以上行不可用时，所述限制不阻止使用(例如)45度预测。在这些示例性情况下，参考样本的顶行可被可以从参考样本的左行导出的其他值替换。或者在另一布置中，可代替地使用dc模式或平面模式。

模式控制器1520还可以充当被配置为生成指示符数据1521的生成器，该指示符数据提供给图像数据解码器(例如，作为编码数据流的一部分或以其他方式与其相关联)，指示由选择器选择的预测模式。

因此，如果邻近CTU样本本身是通过图像间编码获得的(其在特定图像内不具有相同的相关性排序)，那么邻近CTU样本可用作参考。这表示帧内预测中的限制，使得当它们来自邻近CTU时，不允许使用本身是帧内预测的邻近参考样本。因此，这允许帧内预测过程在CTU级并行进行，因为对当前CTU之外的其他帧内预测块不存在相关性。与以上论述的其他技术相反，还可以降低编码效率的损失，因为更多的参考数据，例如邻近帧间预测样本潜在地可用。

这提供了以下实例:禁止选择针对当前区域的图像内预测操作，对于图像内预测操作，在当前图像区域的一个或多个预定侧的至少一些参考样本布置在除当前CTU之外的CTU中，并且这些参考样本是使用图像内预测模式生成的；以及允许选择针对当前区域的图像内预测操作，对于图像内预测操作，在当前图像区域的一个或多个预定侧的至少一些参考样本被布置在除当前CTU之外的CTU中，并且这些参考样本是使用图像间预测模式生成的。

当根据这些原理操作并且潜在地使用图15的装置时，图5的装置提供一种图像编码装置(图5)的实例，该图像编码装置包括：选择器(图15)，被配置为从候选预测操作集合选择预测操作，用于相对于一组参考样本中的一个或多个参考样本预测当前图像的当前区域的样本，候选预测操作中的至少一些候选预测操作将待预测的当前样本与同一图像中的一组参考样本之间的预测方向定义为图像内预测操作；以及图像内预测器530，被配置为响应于通过选择器选择当前图像区域的图像内预测操作，从同一图像的参考样本导出当前图像区域的预测样本；其中：当前区域至少包括CTU阵列中的当前编码树单元(CTU)的子集；相对于当前图像区域，在当前图像区域的一个或多个预定侧处布置该组参考样本；并且选择器被配置为禁止选择用于当前区域的预测操作，对于预测操作，在当前图像区域的一个或多个预定侧的至少一些参考样本被布置在除当前CTU之外的CTU中。

返回参考图6，在其中当前图像是图像序列中的图像的实例中；装置可包括图像间预测器540，该图像间预测器被配置为根据指示参考图像区域与当前图像区域的空间位移的方向向量来预测当前图像区域相对于图像序列中的另一个参考图像的参考图像区域的样本。此处，候选预测操作集合可包括图像间预测操作。

图16示意性地示出了使用图15的技术编码的CTU的潜在解码顺序，示出了所有CTU1600可潜在地被并行编码或解码。

图17示意性示出根据上面论述的任一个限制进行操作的并行编码和/或解码装置，其中，输入数据(在编码器的情况下待编码的图像数据或者在解码器的情况下待解码的编码图像数据)由解复用器1705解复用到多个编码器和/或解码器单元1700，用于并行编码或解码，结果由多路复用器1710多路复用回到输出信号(在编码器的情况下是编码数据或在解码器的情况下是解码数据)中。

现在将论述以上论述的技术与所谓的“受约束的帧内”技术之间的相互作用。在标准和建议书内提供了受约束的帧内模式以允许例如周期性地刷新图像，即使没有提供整个帧内编码图像(MPEG术语中的“I帧”)。在受约束的帧内模式中，至少部分图像受到约束，使得这些部分可仅从其他样本导出，这些其他样本本身已进行图像内编码或使用帧内块复制处理进行编码。以此方式，受约束的帧内模式阻止(例如，在若干图像的过程中)来自先前处理的图像的错误数据借助于图像间处理传播到后续图像中。因此，在受约束的帧内模式中，含有用于当前块的参考样本的源块必须本身已进行帧内图像编码和/或使用帧内块复制处理进行编码。

然而，受约束的帧内操作不涉及CTU边界。受约束的帧内规则(在应用时)同等地应用于CTU中的所有块。

图15的本技术涉及对参考样本跨越CTU的帧内模式的使用的抑制，但不一定强加将图像间编码用于这些块的要求。因此，受约束的帧内操作模式仍可与这些技术组合使用。

图18是示出图像编码方法的示意性流程图，该图像编码方法包括：

从候选预测操作集合中选择(在步骤1800)用于相对于一组参考样本中的一个或多个参考样本预测当前图像的当前区域的样本的预测操作，至少一些候选预测操作将待预测的当前样本与同一图像中的一组参考样本之间的预测方向定义为图像内预测操作；以及

响应于对当前图像区域选择的图像内预测操作的选择，(在步骤1810)从同一图像的参考样本预测当前图像区域的样本；

其中：

当前区域至少包括编码树单元CTU阵列中的当前CTU的子集；

相对于当前图像区域，在当前图像区域的一个或多个预定侧布置该组参考样本；并且

选择步骤包括禁止选择当前区域的预测操作，对于预测操作，当前图像区域的一个或多个预定侧的至少一些参考样本被布置在除当前CTU之外的CTU中。

数据信号

应理解，由以上所论述的编码装置的变型生成的数据信号以及承载这种信号的存储器或传输介质被视为表示本公开的实施方式。例如，图19示意性地表示包括根据图18的方法生成的编码数据的数据信号，该编码数据包括各自表示CTU并且各自可在不参考表示不同CTU的数据部分的情况下解码的连续数据部分1900…1930。数据部分1900…1930被示意性地表示为一个接一个，但是应当理解的是，这并不意味着它们被连续地生成或需要被连续地生成，并且这种表示也不意味着它们被连续地地传输或需要被连续地存储。

就已将本公开的实施方式描述为至少部分地由软件控制的数据处理装置实现的情况而言，将理解的是，承载此类软件的非暂时性机器可读介质，诸如光盘、磁盘，半导体存储器等也被认为代表本公开的实施方式。

将清楚的是，鉴于以上教导，本公开的众多修改和变型是可能的。因此，应当理解，在所附权利要求的范围内，可以以不同于本文具体描述的方式来实践本技术。

例如，尽管以上论述涉及一种图像解码器(具有四个部分解码器)，但该系统可被扩展，例如使得两个(或多个)图像解码器(例如，在非线性编辑器中预览两个或更多个视频流)可在八个部分解码器之间共享资源，等。

本公开的进一步的对应特征由以下编号条款限定：

1、一种图像编码装置，包括：

选择器，被配置为从候选预测操作集合选择用于相对于一组参考样本中的一个或多个参考样本预测当前图像的当前区域的样本的预测操作，至少一些候选预测操作将待预测的当前样本与同一图像中的一组参考样本之间的预测方向定义为图像内预测操作；以及

图像内预测器，被配置为响应于选择器对当前图像区域的图像内预测操作的选择，从同一图像的参考样本导出当前图像区域的预测样本；

其中：

当前区域至少包括编码树单元CTU阵列中的当前CTU的子集；

相对于当前图像区域，在当前图像区域的一个或多个预定侧布置该一组参考样本；并且

选择器被配置为禁止选择当前区域的预测操作，对于预测操作，在当前图像区域的一个或多个预定侧的参考样本中的至少一些参考样本布置在除当前CTU之外的CTU中。

2、根据条款1所述的装置，其中，相对于当前图像区域，在当前图像区域的上方和左侧布置该一组参考样本。

3、根据条款2所述的装置，其中，该选择器被配置为禁止选择该当前区域的预测操作，对于该预测操作，至少一些参考样本被布置在该当前CTU上方的CTU中。

4、根据条款2所述的装置，其中，该选择器被配置为禁止选择用于该当前区域的预测操作，对于该预测操作，至少一些参考样本被布置在当前CTU左侧的CTU中。

5、根据条款2所述的装置，其中，该选择器被配置为禁止选择用于该当前区域的预测操作，对于该预测操作，至少一些参考样本被布置在当前CTU上方的CTU中或当前CTU左侧的CTU中。

6、根据以上条款中任一项所述的装置，

其中，当前图像是图像序列中的图像；

装置包括图像间预测器，该图像间预测器被配置为根据指示参考图像区域从当前图像区域的空间位移的方向矢量，相对于图像序列中的另一参考图像的参考图像区域，预测当前图像区域的样本。

7、根据条款6所述的装置，其中，候选预测操作的集合包括图像间预测操作。

8、根据条款7所述的装置，其中选择器被配置为：

禁止选择当前区域的图像内预测操作，对于该图像内预测操作，在当前图像区域的一个或多个预定侧的参考样本中的至少一些参考样本布置在除当前CTU之外的CTU中，并且这些参考样本是使用图像内预测模式生成的；并且

允许选择用于当前区域的图像内预测操作，对于该图像内预测操作，在当前图像区域的一个或多个预定侧的参考样本中的至少一些参考样本布置在除当前CTU之外的CTU中，并且这些参考样本是使用图像间预测模式生成的。

9、根据以上条款中任一项所述的装置，其中对于至少一些候选预测操作：

该一组参考样本包括相对于当前区域布置的参考样本的一个或多个线性阵列，图像内预测器被配置为根据由预测方向指向的一个或多个线性阵列的参考样本来导出预测样本。

10、根据以上条款中任一项所述的装置，包括：生成器，被配置为生成用于提供给图像数据解码器的、指示由选择器选择的预测模式的指示符数据。

11、一种视频存储、捕捉、传输或接收装置，包括根据前述条款中任一项所述的装置。

12、一种图像编码方法，包括：

从候选预测操作集合选择用于相对于一组参考样本中的一个或多个参考样本预测当前图像的当前区域的样本的预测操作，至少一些候选预测操作将待预测的当前样本与同一图像中的一组参考样本之间的预测方向定义为图像内预测操作；以及

响应于对当前图像区域选择的图像内预测操作的选择，从同一图像的参考样本预测当前图像区域的样本；

其中：

当前区域至少包括编码树单元CTU阵列中的当前CTU的子集；

相对于当前图像区域，在当前图像区域的一个或多个预定侧处布置该组参考样本；并且

选择步骤包括禁止选择当前区域的预测操作，对于该预测操作，当前图像区域的一个或多个预定侧的至少一些参考样本被布置在除当前CTU之外的CTU中。

13、一种计算机软件，当由计算机执行时，该计算机软件使计算机执行根据条款12所述的方法。

14、一种机器可读非暂时性存储介质，存储有根据条款13所述的软件。

15、一种数据信号，包括根据条款13所述的方法生成的编码数据，编码数据包括各自表示CTU并且各自能够在不参考表示不同CTU的数据部分的情况下解码的连续的数据部分。