具体实施方式

本发明施加各种变更，并具有各种实施例，在附图例示特定实施例，并具体说明。但其并非按特定实施例限定本发明。本说明书中使用的用语仅用于说明特定实施例而使用，并非以限定本发明的技术思想的意图使用。对于单数的表达在文脉上未作明确不同定义的，包括复数表达。在本说明书中“包括”或“具有”等用语指定在说明书上记载的特征、数字、步骤、动作、构成要素、部件或特征、数字、步骤、动作、构成要素、部件组合的存在，应以未提前排除一个或一个以上其它特征、数字、步骤、动作、构成要素、部件或特征、数字、步骤、动作、构成要素、部件组合的存在或附加可能性理解。

另外，本发明中说明的附图上的各个结构为了便于说明相互不同特征的功能，而独立显示，各个结构并非通过相互个别的硬件或另外的软件实现。例如，合成各个结构中两个以上结构，也能够构成一个结构，一个结构也能够分为多个结构。各个结构在综合及/或分离的实施例未脱离本发明的本质，而包含于本发明的权利要求范围。

下面参照附图而对本发明的优选的实施例进行更具体说明。下面，对于附图中相同的构成要素使用相同的参照符号，对相同构成要素省略重复说明。

另外，本发明涉及视频/影像编码。例如，本发明公开的方法/实施例适用于VVC(通用视频编码标准，versatile video coding)标准、EVC(基本视频编码，Essential VideoCoding)标准、AV1(视频编码格式，AOMedia Video 1)标准、AVS2(第二代数字音频编码标准，2nd generation of audio video coding standard)或新一代视频/图像编码标准(例如，H.267、H.268等)公开的方法。

在本说明书中存取单元(Access unit；AU)是指显示在相同时间内从DPB(解码图像缓冲器，Decoded picture buffer)输出的相互不同的分层所属的多个图像集的单位。图像(picture)一般是指显示特定时间段的一个影像的单位，切片(slice)是指在编码时构成图像的一部分的单位。一个图像由多个切片构成，根据需要，图像及切片相互混合使用。

像素(pixel)或图元(pel)是指构成一个图像(或影像)的最小单位。并且，作为与像素对应的用语，使用“样本(sample)”。样本一般显示像素或像素的值，也能够仅显示亮度(luma)成分的像素/像素值，也能够仅显示色彩度(chroma)成分的像素/像素值。

单元(unit)显示处理影像的基本单位。单元包括与图像的特定区域及相应区域相关的信息中的至少一个。单元根据情况而与块(block)或区域(area)等用语混合使用。对于一般情况，MxN块显示由M个列和N个行构成的样本或转换参数(transform coefficient)的集合。

图1为简要说明本发明适用的视频编码装置的结构的附图。

参照图1，视频编码装置100包括：图像分割部105、预测部110、残差处理部120、熵编码部130、加算部140、过滤部150及存储器160。残差处理部120包括：减算部121、转换部122、量化部123、重新排列部124、逆量化部125及逆转换部126。

图像分割部105将所输入的图像分割为至少一个处理单元(processing unit)。

例如，处理单元称为编码单元(coding unit，CU)。对于该情况，编码单元从编码树单元(Coding Tree Unit)根据QTBT(四叉树加二叉树，Quad-tree binary-tree)结构而递归性(recursively)分割。例如，一个编码树单元基于四叉树结构及/或二进制树结构而分割为下位(deeper)深层的多个节点。对于该情况，例如，首先适用四叉树结构，最终适用二进制树结构。或者也能够首先适用二进制树结构。对于无法再分割的节点，执行译码，由此，对于无法再分割的节点而确定编码单元。编码树单元在为用于编码单元的分割的单位的方面，也能够将编码树单元命名为编码单元。对于该情况，通过编码树单元的分割而在确定编码单元的方面，也能够将编码树单元命名为最大的编码单元(largest coding unit，LCU)。

由此，基于无法再分割的最终编码单元，执行本发明的编码程序。对于该情况，基于影像特性的编码效率等，编码树单元直接作为最终编码单元使用，或根据需要，编码单元递归性(recursively)被分割为下位深层的编码单元，最合适的尺寸的编码单元作为最终编码单元使用。在此，所谓编码程序包括下面的预测、转换及恢复等程序。

另一例，处理单元也包括：编码单元(coding unit，CU)、预测单元(predictionunit，PU)或转换单元(transform unit，TU)。编码单元从编码树单元根据四叉树结构而分割(split)下位(deeper)深层的编码单元。对于该情况，基于根据影像特性的编码效率等，编码树单元直接作为最终编码单元使用，或者根据需要，编码单元递归性(recursively)分割为下位深层的编码单元，而最佳尺寸的编码单元最终作为编码单元使用。对于设定最小编码单元(min coding unit，minCU)的情况，编码单元被分割为比最小编码单元更小的编码单元。在此，所谓最终编码单元是指基于分区或分割为预测单元或转换单元的编码单元。预测单元作为从编码单元分区(partitioning)的单元，为样本预测的单元。此时，预测单元也能够分为子块(sub block)。转换单元从编码单元而根据四叉树结构分割，为从引导转换参数的单元及/或转换参数引导残差信号(residual signal)的单元。下面，编码单元称为编码块(coding block，CB)，预测单元称为预测块(prediction block，PB)，转换单元称为转换块(transform block，TB)。预测块或预测单元是指在图像内的块状的特定区域，包括预测样本的数组(array)。并且，转换块或转换单元是指在图像内的块状的特定区域，包括转换参数或残差样本的数组。

预测部110执行对处理对象块(下面，称为当前块)的预测，生成包含所述当前块的预测样本的预测的块(predicted block)。在预测部110中执行的预测的单位为编码块，也能够为转换块，也能够为预测块。

预测部110在当前块内确定是适用帧内预测，还是适用帧间预测。例如，预测部110按CU单位确定适用帧内预测或帧间预测。

在帧内预测的情况下，预测部110基于当前块所属图像(下面，称为当前图像)内的当前块外部的参照样本而引导当前块的预测样本。此时，预测部110(i)基于当前块的周边(neighboring)参照样本的平均(average)或插值(interpolation)而引导预测样本，(ii)对于当前块的周边参照样本中的预测样本，基于在特定(预测)方向存在的参照样本，也能够引导所述预测样本。对于(i)的情况，称为非方向性模式或非角度模式，对于(ii)的情况，称为方向性(directional)模式或角度(angular)模式。在帧内预测中，预测模式具有例如33个方向性预测模式和至少两个非方向性模式。非方向性模式包括DC预测模式及平面模式(Planar mode)。预测部110利用适用于周边块的预测模式，也能够确定适用于当前块的预测模式。

在帧间预测的情况下，预测部110基于在参照图像上通过移动矢量而特定的样本，能够引导当前块的预测样本。预测部110适用跳跃(skip)模式、合并(merge)模式及MVP(移动矢量预测，motion vector prediction)模式中的任一个，能够引导当前块的预测样本。对于跳跃模式和合并模式的情况，预测部110利用周边块的移动信息作为当前块的移动信息。对于跳跃模式的情况，与合并模式不同，未传送预测样本和原样本之间的残差。对于MVP模式的情况，利用周边块的移动矢量作为移动矢量预测器(Motion Vector Predictor)，利用当前块的移动矢量预测器而引导当前块的移动矢量。

对于帧间预测的情况，周边块包括存在于当前图像内的空间周边块(spatialneighboring block)和存在于参照图像(reference picture)的时间性周边块(temporalneighboring block)。包含所述时间性周边块的参照图像也称为共置图像(collocatedpicture，colPic)。移动信息(motion information)包括移动矢量和参照图像索引。预测模式信息和移动信息等信息进行(熵)编码而以位流形式输出。

在跳跃模式和合并模式中，在利用时间性周边块的移动信息的情况下，参照图像列表(reference picture list)上的最上位图像也能够作为参照图像使用。包含于参照图像列表的参照图像基于当前图像和相应参照图像之间的POC(图像序列号，Picture ordercount)差异而排列。POC与图像的显示顺序对应，与编码顺序区分。

减算部121生成原样本和预测样本之间的差异即残差样本。在适用跳跃模式的情况下，未如上所述生成残差样本。

转换部122以转换块单位转换残差样本，生成转换参数(transformcoefficient)。转换部122根据相应转换块的尺寸、与相应转换块空间重叠的编码块或适用于预测块的预测模式而执行转换。例如，在与所述转换块重叠的所述编码块或所述预测块内适用了帧内预测，在所述转换块为4×4的残差数组(array)的情况下，残差样本利用DST(离散正弦变换，Discrete Sine Transform)转换内核而转换，对于除此之外的情况，残差样本利用DCT(离散余旋转环，Discrete Cosine Transform)转换内核而转换。

量化部123将转换参数进行量子化，生成量子化的转换参数。

重新排列部124重新排列量子化的转换参数。重新排列部124将通过扫描(scanning)参数方法而将块状的量子化的转换参数按一维矢量形式重新排列。在此，重新排列部124以另外的结构进行了说明，但重新排列部124为量化部123的一部分。

熵编码部130执行对于量子化的转换参数的熵编码。熵编码例如包括：指数哥伦布(exponential Golomb)、CAVLC(基于上下文的变长编码，context-adaptive variablelength coding)、CABAC(算数编码，context-adaptive binary arithmetic coding)等编码方法。熵编码部130在除了量子化的转换参数之外，也能够一起或另外对视频恢复所需的信息(例如，语法要素(syntax element)的值等进行编码。熵编码的信息为位流形式而按NAL(network abstraction layer)单元单位传送或存储。

逆量化部125对在量化部123量子化的值(量子化的转换参数)进行逆量子化，逆转换部126对在逆量化部125逆量子化了的值进行逆转换而生成残差样本。

加算部140合并残差样本和预测样本而恢复图像。残差样本和预测样本按块为单位增加而生成恢复块。在此，加算部140作为另外的结构进行了说明，但加算部140为预测部110的一部分。另外，加算部140也能够称为恢复部或恢复块生成部。

对于恢复的图像(reconstructed picture)，过滤部150适用去块过滤及/或取样自适应偏移(sample adaptive offset)。通过去块过滤及/或取样自适应偏移而补正恢复图像内的块界线的伪影或量子化过程的歪曲。取样自适应偏移按样本单位适用，并在去块过滤的过程结束后适用。过滤部150也能够适用恢复ALF(自适应环路滤波器，AdaptiveLoop Filter)的图像。ALF对于适用去块过滤器及/或取样自适应偏移之后的恢复的图像而适用。

存储器160存储恢复图像(解码的图像)或编码/解码所需的信息。在此，恢复图像为通过所述过滤部150而完成过滤程序的恢复图像。所述存储的恢复图像运用为用于预测其他图像的(帧间)的参照图像。例如，存储器160存储在帧间预测使用的(参照)图像。此时，在帧间预测使用的图像通过参照图像集(reference picture set)或参照图像列表(reference picture list)指定。

图2为显示通过视频编码装置而执行的影像编码方法的一例。参照图2，所述影像编码方法包括：块分区(block partitioning)、帧内/帧间预测、转换(transform)、量子化(quantization)及熵编码(entropy encoding)过程。例如，当前图像被分割为多个块，通过帧内/帧间预测而生成当前块的预测块，通过与所述当前块的输入块和所述预测块的减算而生成所述当前块的残差块。之后，通过所述残差块的转换而生成参数(coefficent)块，即，所述当前块的转换参数。所述转换参数进行量子化及熵编码而存储在位流。

图3为概要说明本发明适用的视频解码装置的结构的附图。

参照图3，视频解码装置300包括：熵解码部310、残差处理部320、预测部330、加算部340、过滤部350及存储器360。在此，残差处理部320包括：重新排列部321、逆量化部322、逆转换部323。

在输入包含视频信息的位流的情况下，视频解码装置300在视频编码装置中与处理视频信息的程序对应而恢复视频。

例如，视频解码装置300利用在视频编码装置适用的处理单元而执行视频解码。因此，视频解码的处理单元块例如为编码单元，另一例为编码单元、预测单元或转换单元。编码单元从编码树单元而根据四叉树结构及/或二进制树结构而分割。

预测单元及转换单元根据该情况而进一步适用，对于该情况预测块作为从编码单元导出或分区的块，为样本预测的单元。此时，预测单元也能够分为子块。转换单元为从编码单元而根据四叉树结构分割，并从引导转换参数的单元或转换参数引导残差信号的单元。

熵解码部310解析位流而输出在视频恢复或图像恢复所需的信息。例如，熵解码部310基于指数哥伦布编码、CAVLC或CABAC等编码方法而对位流内的信息进行解码，并输出视频恢复所需的语法元素的值、与残差相关的转换参数的量子化的值。

更具体地，CABAC熵解码方法从位流接收与各个句子要素相应的二进制，利用解码对象句子要素信息和周边及解码对象块的解码信息或在之前步骤中解码的符号/二进制的信息，而确定语境(context)模型，并根据所确定的语境模型而预测二进制(bin)的发生概率，执行二进制的算术解码(arithmetic decoding)而生成与各个句子要素的值相应的符号。此时，CABAC熵解码方法在确定语境模型之后，之后，利用用于符号/二进制的语境模型而解码的符号/二进制的信息而更新语境模型。

在熵解码部310中解码的信息中预测相关的信息被提供至预测部330，在熵解码部310中执行熵解码的残差值，即量子化的转换参数被输入重新排列部321。

重新排列部321将量子化的转换参数按二维块状重新排列。重新排列部321与在编码装置执行的参数扫描对应而执行重新排列。在此，重新排列部321作为另外的结构进行了说明，但重新排列部321为逆量化部322的一部分。

逆量化部322将量子化的转换参数基于(逆)量子化参量而逆量子化而输出转换参数。此时，用于引导量子化参量的信息由编码装置发送信令。

逆转换部323对转换参数进行逆转换而引导残差样本。

预测部330执行当前块的预测，生成包含所述当前块的预测样本的预测的块(predicted block)。在预测部330中执行的预测的单位能够为编码块，能够为转换块，也能够为预测块。

预测部330基于所述预测的信息而确定是适用帧内预测，还是适用帧间预测。此时，确定适用帧内预测和帧间预测中的任一个的单位和生成预测样本的单位不同。而且，对于帧间预测和帧内预测，生成预测样本的单位也不同。例如，按适用帧间预测和帧内预测中的任一个的CU单位确定。并且，例如，对于帧间预测，按PU单位确定预测模式，生成预测样本，对于帧内预测，按PU单位确定预测模式，并也能够按TU单位生成预测样本。

在帧内预测的情况下，预测部330基于当前图像内的周边参照样本而引导当前块的预测样本。预测部330基于当前块的周边参照样本而适用方向性模式或非方向性模式，从而，引导对当前块的预测样本。此时，也能够利用周边块的帧内预测模式而确定适用当前块的预测模式。

在帧间预测的情况下，预测部330在参照图像上通过移动矢量而基于在参照图像上特定的样本而引导当前块的预测样本。预测部330适用跳跃(skip)模式、合并(merge)模式及MVP模式中的任一个，而引导当前块的预测样本。此时，从视频编码装置提供的当前块的帧间预测所需的移动信息，例如，移动矢量、参照图像索引等相关信息基于所述预测相关的信息而获取或引导。

在跳跃模式和合并模式的情况下，周边块的移动信息使用作为当前块的移动信息。此时，周边块包括空间性周边块和时间性周边块。

预测部330由可用的周边块的移动信息构成合并替补列表，将合并索引在合并替补列表上指示的信息作为当前块的移动矢量使用。合并索引由编码装置发送信令。移动信息包括移动矢量和参照图像。在跳跃模式和合并模式中利用时间性周边块的移动信息的情况下，参照图像列表上的最上位图像作为参照图像利用。

对于跳跃模式的情况，与合并模式不同，未传送预测样本和原样本之间的差异(残差)。

对于MVP模式的情况，将周边块的移动矢量作为移动矢量预测量(Motion VectorPredictor)利用而引导当前块的移动矢量。此时，周边块包括空间性周边块和时间性周边块。

例如，对于适用合并模式的情况，利用与恢复的空间性周边块的移动矢量及/或时间性周边块即Col块对应的移动矢量，生成合并替补列表。在合并模式中，从合并替补列表选择的替补块的移动矢量作为当前块的移动矢量使用。所述预测相关的信息包含指示具有在包含于所述合并替补列表的替补块中选择的最佳的移动矢量的替补块的合并索引。此时，预测部330利用所述合并索引，而得出当前块的移动矢量。

另一例，对于适用MVP(运动矢量预测，Motion vector prediction)模式的情况，利用与恢复的空间性周边块的移动矢量及/或时间性周边块即Col块对应的移动矢量，生成移动矢量预测量替补列表。即，与恢复的空间性周边块的移动矢量及/或时间性周边块即Col块对应的移动矢量使用作为移动矢量替补。与所述预测相关的信息包含指示在所述列表含有的移动矢量替补中选择的最佳的移动矢量的预测移动矢量索引。此时，预测部330利用所述移动矢量索引，在移动矢量替补列表中含有的移动矢量替补中，选择当前块的预测移动矢量。编码装置的预测部寻求当前块的移动矢量和移动矢量预测量之间的移动矢量差分(MVD)，对其进行编码而以位流形式输出。即，MVD为从当前块的移动矢量扣除所述移动矢量预测量的值计算。此时，预测部330获取与所述预测相关的信息含有的移动矢量差分，通过所述移动矢量差分和所述移动矢量预测量的加算而导出当前块的所述移动矢量。预测部从与所述预测相关的信息获取或引导指示参照图像的参照图像索引等。

加算部340加上残差样本和预测样本而恢复当前块或当前图像。加算部340也能够按块单位加残差样本和预测样本而恢复当前图像。在适用跳跃模式的情况下，未传送残差，由此，预测样本为恢复样本。在此，将加算部340作为另外的结构进行了说明，但加算部340也能够为预测部330的一部分。另外，加算部340也能够称为恢复部或恢复块生成部。

过滤部350在恢复的图像适用去块过滤取样自适应偏移，及/或ALF等。此时，取样自适应偏移也按样本单位适用，也能够去块过滤之后适用。ALF也能够在去块过滤及/或取样自适应偏移之后适用。

存储器360存储在恢复图像(解码的图像)或解码所需的信息。在此，恢复图像为通过所述过滤部350完成过滤程序的恢复图像。例如，存储器360存储在帧间预测使用的图像。此时，帧间预测使用的图像也能够通过参照图像集或参照图像列表指定。恢复的图像作为其它图像的参照图像利用。并且，存储器360也能够将恢复的图像根据输出顺序输出。

图4显示通过解码装置而执行的影像解码方法的一例。参照图4，所述影像解码方法包括：熵解码(entropy decoding)、逆量子化(inverse quantization)、逆转换(inversetransform)及帧内/帧间预测过程。例如，在解码装置中，执行所述编码方法的逆过程。具体地，通过位流的熵解码而获取量子化的转换参数，通过所述量子化的转换参数的逆量子化过程而获取当前块的参数块，即，转换参数。通过所述转换参数的逆转换而导出所述当前块的残差块，通过与通过帧内/帧间预测而导出的所述当前块的预测块和所述残差块的加算而导出所述当前块的恢复块(reconstructed block)。

另外，下面所述的实施例中的关键字如下面所述定义。

【表1】

参照表1，Floor(x)显示x以下的最大整数值，Log2(u)显示以2为底(base)u的对数值，Ceil(x)显示x以上最小的整数值。例如，对于Floor(5.93)的情况，因5.93以下最大的整数值为5，因而显示5。

并且，参照表1，x>>y显示将x向y轴右移(right shift)的运算符，x<<y显示将x向y轴左移(left shift)的运算符。

<导入>

HEVC标准提出两种类型的画面分割方法。

1)切片(slice):提供将一张图像按光栅扫描顺序(raster scan order)而以CTU(编码树单元，coding tree unit)单位分割，而进行编码/译码的功能，存在切片标题(slice header)信息。

2)磁贴(tile):提供一种将一张图像按CTU单位而划分为多个列(column)和行(row)而编码/译码的功能。划分方法全部能够进行均等分割或个别分割。用于磁贴的标题未另外存在。

切片为位流(bit-stream)打包单位。即，一个切片按一个NAL(networkabstraction layer)位流生成。如图5，用于切片的NAL数据包(NAL packet)按NAL标题(NALheader)、切片标题(slice header)、切片数据(slice data)顺序构成。此时，在NAL header信息中存在NAL单元类型(NUT)。

在一实施例的HEVC标准提出的用于切片的NUT如表2所示。在表2中，用于执行帧间预测的帧间切片(inter slice)的NUT为0次到9次，用于执行帧内预测的帧内切片(intraslice)的NUT为16次至21次。在此，帧间切片是指通过画面之间预测方法进行了编码，帧内切片是指在画面内通过预测方法而进行了编码。一个切片以具有一个NUT的方式定义，一张图像内多个切片以具有全部相同的NUT值设定。例如，一个图像被分割为四个切片，在通过帧内预测方式进行了编码的情况下，在相应图像内对四个切片的NUT值全部相同地以“19:IDR_W_RADL”设定。

【表2】

所述表2中，缩略语按如下所示进行定义。

-TSA(时域子层接入点，Temporal sub-layer Switching Access)

-STSA(逐步级TSA，Step-wise Temporalsub-layer Switching Access)

-RADL(可解码随机接入前置图像，Random Access Decodable Leading)

-RASL(跳过随机接入前置图像，Random Access Skipped Leading)

-BLA(断点连接接入，Broken Link Access)

-IDR(即时解码刷新，Instantaneous Decoding Refresh)

-CRA(纯随机接入，Clean Random Access)

-LP(前置图像，Leading Picture)

-_N(非参考，No reference)

-_R(参考，Reference)

-_W_LP/RADL(带前置图像/可解码随机接入前置图像，With LP/RADL)

-_N_LP(无前值图像，No LP，without LP)

将帧内切片的NUT即BLA、IDR及CRA称为IRAP(随机接入点图像，Intra RandomAccess Point)。IRAP是指按位流中间位置能够随机接入的图像。即，是指在视频播放时能够突然变更播放位置的图像。帧内切片仅以I切片类型存在。

帧间切片根据单向预测(P:predictive)或双向预测(B:bi-predictive)而区分为P切片或B切片。预测及编码过程按GOP(图像组，group of picture)单位执行，HEVC标准使用按等级划分的(hierarchical)GOP结构而执行包含预测的编码/译码过程。图6显示按等级划分的GOP结构的一例，各个图像根据预测方法而区分为I、P或B图像(切片)。

因执行双向预测的B切片及/或按等级划分的GOP结构特性，而序列(sequence)内图像的解码顺序和显示顺序不同(参照图7)。图7中IRAP是指帧内切片，B及P是指帧间切片，并确认了完全变换播放顺序和恢复顺序。

在帧间切片中，按恢复顺序比IRAP延迟，播放顺序将比IRAP靠前的图像称为LP(前置图像，leading picture)(参照图8)。区分为LP、RADL及RASL。在发生了随机接入(Randomaccess)时，将能够解码的LP定义为RADL，在随机接入时无法解码，应将跳过(skip)相应图像的恢复过程的LP称为RASL。将图8所示的色相的图像定义为一个GOP。

RADL和RASL的区分根据画面之间预测时的参照图像的位置而确定(参照图9)。即，RASL是指除了相应GOP之外，在其它GOP内将恢复图像作为参照图像使用，或在其它GOP内将恢复图像作为参照图像使用，而将恢复的图像作为参照图像使用的帧间图像。对于该情况，在其它GOP内将恢复图像(直接/间接)作为参照图像使用，称为open GOP(开放式图像组)。RASL和RADL按相应帧间切片的NUT信息设定。

帧内切片的NUT根据相应帧内切片的播放顺序及/或恢复顺序上先行及/或滞后的帧间切片的NUT而区分为其它帧内切片NUT。在观察IDR NUT的情况下，IDR分割为具有RADL的IDR_W_RADL及未具有LP的IDR_N_LP。即，IDR为未具有LP的类型，或作为仅具有LP中的RADL的类型，IDR不具有RASL。相反CRA为全部具有LP中的RADL及/或RASL的类型。即，CRA是指支持open GOP的类型。

一般地，帧内切片通过仅执行画面内预测，而无需用于相应帧内切片的参照图像信息。在此，参照图像在画面之间预测时使用。但，CRA NUT切片因支持open GOP结构的特征，CRA切片虽为帧内切片，也能够将参照图像信息插入相应CRA的NAL位流。所述参照图像信息并非是指用于在相应CRA切片中使用的，而是(恢复顺序上)相应CRA之后在帧间切片中使用预定的参照图像的信息。其在DPB(解码图像缓冲器，decoded picture buffer)中，未去除所述参照图像。例如，对于相应帧内切片的NUT为IDR的情况，将DPB复位(reset)。即，去除相应时点的DPB内存在的所有的恢复图像。图10为显示切片段标题的语法的附图。如图10显示所示，在相应切片的NUT并非为IDR的情况下，将参照图像信息记述在位流。即，在相应切片的NUT并非为CRA的情况下，记述参照图像信息。.

本发明公开用于与其它序列的合成的子图分割方法及用于位流打包的切片分割方法。

在本发明中，切片是指编码/译码的区域，是指生成一个NAL位流的数据包单位。例如，一张图像被分割为多个切片，各个切片经过编码过程而生成为一个NAL数据包。

在本发明中，子图是指用于与其它内容的合成的区域划分。图11中显示与其它内容的合成的例示。存在白色、灰色及黑色的三个内容，各个内容的一个图像(AU:accessunit)按区域划分为四个切片而生成数据包，如处于图11的右侧的图像所示，左上侧部合成为白色内容，左下侧合成为灰色内容，右侧合成为黑色内容，而生成新的图像。在此，白色区域及灰色区域由一个切片构成一个子图，黑色区域的两个切片由一个子图构成。即，一个子图包括最少一个切片。为了制造新的图像，(为了合成内容)，BEAMer(位流提取合并，Bit-stream Extractor And Merger)按子图单位从相互不同的内容提取区域并对其合成。在图11中合成的图像被分割为四个切片，并由三个子图构成。

一个子图是指具有相同的子图ID(subpicture ID)及/或子图索引(sub pictureindex)值的区域。换言之，将具有相同的子图ID及/或子图索引值的最少一个切片成为一个子图区域。在此，包含切片标题信息中的子图ID及/或子图索引值。子图索引值按光栅扫描(raster-scan)顺序设定。图12显示一张图像由六个(四边形)切片及四个(按色相)子图区域构成的例。在此，“A”、“B”、“C”、“D”显示子图ID的一例，“0”、“1”显示相应子图内的切片地址(slice address)。即，切片地址值是指在相应子图内光栅扫描顺序上的切片索引值。例如，“B-0”是指B子图内第零次切片，“B-1”显示B子图内第一次切片。

本发明中，构成一个图像的两个以上子图的NUT值不同。例如，图12中，一张图像内白色子图(切片)为帧内切片，灰色子图(切片)及黑色子图(切片)为帧间切片。

其在合成相互不同的内容时，无需相同地匹配构成一张图像的多个子图的NUT，具有容易构成/合成图像的优点。相应功能是指在单一图像的混合NAL单元类型图像(mixedNAL Unit Type inapicture)，简要地，也能够命名为混合NUT(mixed NUT)。设置mixed_NALu_type_in_pic_flag，而设定相应功能的可行(enabled)/不可行(disabled)。相应标志在SPS(序列参数集，sequence parameter set)、PPS(图像参数集，picture parameterset)、PH(图像标题，picture header)、SH(切片标题，slice header)中的一个以上位置定义。例如，相应标志对于在PPS定义的情况，相应标志也能够以pps_mixed_NALu_types_in_pic_flag命名。

对于所述标志值为不可行(disabled)的情况，在(例如，mixed_NALu_type_in_pic_flag＝＝0)，相应图像内所有子图及/或切片的NUT具有相同的值。例如，一个图像的所有VCL(视频编码层，video coding layer)NAL单元的NUT以具有相同的值的方式设定。并且，图像或图像单元(PU，picture unit)以具有与其对应编码的切片NAL单元相同的NUT情况参照。在此，VCL是指包含切片数据值的切片的NAL类型。

另外，对于所述标志值为可行(enabled)的情况(例如，mixed_NALu_type_in_pic_flag＝＝1)，相应图像由两个以上子图构成。并且，所述相应图像具有不同的NUT值。并且，对于所述标志值为可行(enabled)的情况，所述相应图像的VCL NAL单元被限制以不具有GDR_NUT类型的NUT。并且，对于相应图像的任一个VCL NAL单元(例如，第一NAL单元)的NUT(例如，第一NUT)为IDR_W_RADL、IDR_N_LP或CRA_NUT中的任一个的情况，所述相应图像的其它VCL NAL单元(例如，第二NAL单元)的NUT(例如，第二NUT)被限制设定为IDR_W_RADL、IDR_N_LP、CRA_NUT或TRAIL_NUT中的任一个。例如，第二NUT被限制以设定为第一NUT或TRAIL_NUT中的一个值。

参照图12和图13，以所述相应图像的VCL NAL单元具有至少两个相互不同的NUT值的例子进行说明。在一实施例中，两个以上子图具有两个以上相互不同NUT值。此时，限制使得包含于一个子图的所有切片的NUT值相同。例如，如图13显示所示，图12的B子图内两个切片的NUT值被相同地设定为CRA，C子图内两个切片的NUT值也同样设定为TRAIL，A、B、C及D子图以具有两个以上相互不同的NUT值设定。由此，如图13显示所示，A、C及D子图内切片的NUT值为TRAIL，而以具有与B子图的NUT即CRA相异的NUT值的方式设定。

本发明中，帧内切片及帧间切片的NUT如表3所示而明晰。如表3的实施例所示，RADL、RASL、IDR、CRA等定义及功能也能够与HEVC标准(表1)相同设定。对于表3的情况，增加混合NUT类型。在表3中，mixed_NALu_type_in_pic_flag的不可行值(例如，0)显示(与HEVC相同)在图像内切片的NUT，mixed_NALu_type_in_pic_flag的可行值(例如，1)显示子图内切片的NUT。例如，对于mixed_NALu_type_in_pic_flag的值为0，VCL NAL单元的NUT为TRAIL_NUT的情况，当前图像的NUT被识别为TRAIL_NUT，引导属于当前图像的其它子图的NUT也为TRAIL_NUT。并且，对于mixed_NALu_type_in_pic_flag的值为1，且VCL NAL单元的NUT为TRAIL_NUT的情况，当前子图的NUT被识别为TRAIL_NUT，预测属于当前图像的其它子图中的至少一个NUT并非为TRAIL_NUT。

【表3】

如上所述，对于mixed_NALu_type_in_pic_flag的值显示为可行的情况(例如，1)，在属于一个图像的任一个VCL NAL单元(例如，第一NAL单元)具有IDR_W_RADL、IDR_N_LP或CRA_NUT中任一个值作为NUT(例如，第一NUT)的情况下，所述相应图像的其它VCL NAL单元中的至少一个VCL NAL单元(例如，第二NAL单元)具有IDR_W_RADL、IDR_N_LP、CRA_NUT或TRAIL_NUT中的非第一NUT的任一个NUT值作为NUT(例如，第二NUT)。

由此，在属于一个图像的第一子图的VCL NAL单元(例如，第一NAL单元)具有IDR_W_RADL、IDR_N_LP或CRA_NUT中的任一个值作为NUT(例如，第一NUT)的情况下，所述相应图像的第二子图的VCL NAL单元(例如，第二NAL单元)具有IDR_W_RADL、IDR_N_LP、CRA_NUT或TRAIL_NUT中非第一NUT的任一个NUT值作为NUT(例如，第二NUT)。

例如，对于mixed_NALu_type_in_pic_flag的值显示激活的情况(例如，1)，两个以上子图的VCL NAL单元的NUT值如下所示构成。下述仅为例示而非用于限定。

组合1)IRAP+non-IRAP(帧间，inter)

组合2)non_IRAP(inter)+non-IRAP(inter)

组合3)IRAP+IRAP＝IDR+CRA(根据实施例限制)

组合1)，为图像内最少一个子图具有IRAP(IDR或CRA)NUT值，其它最少一个子图具有non-IRAP(帧间切片)NUT值的实施例。在此，允许使用除了LP(RASL及RADL)之外的值作为帧间切片NUT值。例如，未运用LP(RASL或RADL)作为帧间切片NUT值。由此，在与IDR或CRA子图相关的位流中未限制编码RASL及RADL子图。

在另一实施例中，仅允许使用TRAIL(拖尾)值作为帧间切片NUT值。在另一实施例中，允许所有帧间切片VCL NUT作为帧间切片NUT值。

组合2)，为图像内最少一个子图具有non-IRAP(帧间切片)NUT值，其它最少一个子图具有另一个non-IRAP(帧间切片)NUT值的实施例。例如，至少一个子图具有RASL NUT值，其它至少一个子图具有RADL NUT值。对于组合2的实施例情况，根据实施例适用如下所示的限制。

-在一实施例种，LP(RASL及RADL)和non-LP(TRAIL)无法一起使用。例如，最少一个子图的NUT为RASL(或RADL)，其它最少一个子图的NUT并非为TRAIL。对于最少一个子图的NUT为RASL(或，RADL)的情况，RASL或RADL作为其它最少一个子图的NUT使用。例如，IRAP子图的前导子图被强制作为RADL或RASL子图。

-在另一个实施例中，一起使用LP(RASL及RADL)和non-LP(TRAIL)。例如，最少一个子图为RASL(或，RADL)，其它最少一个子图为TRAIL。

-在另一个实施例中，例外地，对于条件2)的情况，所有子图具有相同的帧间切片NUT值。例如，图像内所有子图具有TRAIL NUT值。另一例，图像内所有子图具有RASL(或，RADL)NUT值。

组合3)，为显示图像内所有子图或切片由IRAP构成的实施例。例如，对于第一子图内切片的NUT值为IDR_W_RADL、IDR_N_LP或CRA_NUT的情况，第二子图内切片的NUT值由IDR_W_RADL、IDR_N_LP及CRA_NUT中并非为第一子图的NUT的值构成。例如，最少一个子图内切片的NUT值为IDR，另一最少一个子图内切片的NUT值由CRA构成。

另外，根据实施例，限制组合3所示的实施例的适用。在一实施例中，IRAP或GDR存取单元所属的图像被限制具有全部相同的NUT。即，对于当前存取单元为仅由IRAP图像构成的IRAP存取单元，或当前存取单元仅由GDR图像构成的GDR存取单元的情况，所属的图像被限制具有全部相同的NUT。例如，限制最少一个子图内切片的NUT值为IDR，另一最少一个子图内切片的NUT值无法由CRA构成。由此，限制组合3)，对于适用前述组合1)及组合2的情况，相应图像内最少一个子图被限制具有non-IRAP(帧间切片)的NUT值。例如，在编码及译码过程中，被限制以使相应图像内所有的子图具有IDR的NUT值。或者限制相应图像内一部分子图具有IDR的NUT值，另一个子图不具有CRA NUT值。

下面，对于适用图像内混合NUT(mixed NAL unit type)的情况的用于编码信息的发送信令的相关语法(syntax)及语义论(semantics)进行说明。并且，对利用其的译码过程进行说明。如上所示，对于为mixed_NALu_type_in_pic_flag＝1的情况，NUT所属的图像是指子图(参照表3)。

另外，如上所述，对于显示mixed_NALu_type_in_pic_flag的值适用混合NUT的情况，一个图像被分割为至少两个子图。由此，相应图像的子图的信息通过位流而发送信令。在该方面上，mixed_NALu_type_in_pic_flag显示是否分割当前图像。例如，对于mixed_NALu_type_in_pic_flag的值显示适用混合NUT的情况，当前图像显示为被分割。

下面，参照图14的语法进行说明。图14为显示图像参数集(PPS)的语法的一实施例的附图。例如，通过位流而显示未分割当前图像与否的标志(例如，pps_no_pic_partition_flag)通过图像参数集(PPS)而发送信令。显示pps_no_pic_partition_flag的可行的值(例如，1)对于参照当前PPS的图像而显示未适用图像的分割。显示pps_no_pic_partition_flag的不可行的值(例如，0)对于参照当前PPS的图像，显示适用利用切片或磁贴的图像的分割。在该实施例中，对于mixed_NALu_type_in_pic_flag的值显示适用混合NUT的情况，pps_no_pic_partition_flag的值被强制显示不可行的值(例如，0)。

对于pps_no_pic_partition_flag显示分割当前图像的情况，从位流获取子图的数量信息(例如，pps_num_subpics_minus1)。pps_num_subpics_minus1显示在当前图像含有的子图的数量减1的值。对于pps_no_pic_partition_flag显示未分割当前图像的情况，pps_num_subpics_minus1的值未从位流获取并引导为0。根据由此确定的子图的数量信息，按包含在一个图像的子图的数量对各个子图的编码信息发送信令。例如，指定用于识别各个子图的子图标识符(例如，pps_subpic_id)及/或告知各个子图的编码/译码过程的独立与否的标志(subpic_treated_as_pic_flag[i])值而发送信令。

混合NUT在一个图像由两个以上子图构成时适用。此时，按包含于一个图像的子图的数量(i)而指定告知各个子图的编码/译码过程的独立与否的标志(subpic_treated_as_pic_flag[i])值而发送信令。对于一个子图被独立译码的情况，将相应子图作为另外的图像处理而执行了译码。即，对于相应标志值为“on”的情况(例如，subpic_treated_as_pic_flag＝1)，相应子图除了在环路滤波(in-loopfilter)过程之外的其它所有译码过程中，与其它子图独立译码。相反地，对于相应标志值为“off”的过程(例如，subpic_treated_as_pic_flag＝0)，相应子图在帧间预测过程中，参照图像内其它子图。在此，对于环路滤波过程，设置另外的标志而控制独立或参照与否。相应标志(subpic_treated_as_pic_flag)在SPS、PPS及PH中的一个以上位置定义。例如，对于相应标志在SPS定义的情况，相应标志以sps_subpic_treated_as_pic_flag命名。

并且，在本发明中，对于一个图像内存在其它NUT的情况(例如，mixed_NALu_type_in_pic_flag＝1)，因在一个图像内子图之间应使用两种NUT的特性，所述图像内的各个子图进行独立编码/译码。例如，对于mixed_NALu_type_in_pic_flag＝1的图像的情况，在相应图像内包含一个以上帧间(P或B)切片的情况下，相应滤波内所有子图的subpic_treated_as_pic_flag值被强制设定为“1”或按“1”值引导。或对于为mixed_NALu_type_in_pic_flag＝1的情况，subpic_treated_as_pic_flag被强制而使得不具有“0”值。例如，对于mixed_NALu_type_in_pic_flag＝1的图像的情况，在相应图像内包含一个以上的帧间切片的情况下，对于相应图像的所有子图，与发行的值无关，subpic_treated_as_pic_flag值被重新设定为“1”。相反地，对于mixed_NALu_type_in_pic_flag＝1，且subpic_treated_as_pic_flag＝0的图像的情况，在相应图像内不包含帧间切片。即，对于mixed_NALu_type_in_pic_flag＝1且subpic_treated_as_pic_flag＝0的图像的情况，相应图像内切片类型为帧内。

并且，在另一实施例中，对于为mixed_NALu_type_in_pic_flag＝1的情况，在当前图像的NUT为RASL的情况下，当前图像的subpic_treated_as_pic_flag被强制设定为“1”。通过另一例示，对于为mixed_NALu_type_in_pic_flag＝1的情况，在当前图像的NUT为RADL且参照的图像的NUT为RASL的情况下，当前图像的subpic_treated_as_pic_flag被强制为“1”。

混合NUT功能在一个图像内所有子图(或切片)由IRAP构成。此时，一个图像内所有切片由IRAP构成，或相应图像显示为GDR(逐渐解码刷新，Gradual Decoding Refresh)图像的标志(gdr_or_irap_pic_flag)值被强制为“0”。即，在本发明中，对于一个图像内存在其它NUT的情况(mixed_NALu_type_in_pic_flag＝1)，所述标志(gdr_or_irap_pic_flag)值被设定为“0”，或按“0”值引导。或对于为mixed_NALu_type_in_pic_flag＝1的情况，gdr_or_irap_pic_flag被强制使得不具有“1”值。所述标志(gdr_or_irap_pic_flag)能够在SPS、PPS及PH中一个以上的位置定义。

并且，混合NUT功能根据适用而在一个图像内最少一个子图具有IRAP(IDR或CRA)NUT值，另一最少一个子图具有non-IRAP(inter slice)NUT值。即，在一个图像内同时存在帧内切片和帧间切片。对于现有HEVC标准的情况，对于相应帧内切片的NUT为IDR的情况，设置了DPB。由此，去除相应时点的DPB内存在的所有恢复图像。

但对于本发明的情况，对于mixed_NALu_type_in_pic_flag＝1的情况，一个图像内帧内切片和帧间切片能够同时存在，即使一个图像为IDR NUT，也存在无法复位DPB的情况。由此，一实施例对于相应切片为IDR NUT的情况，如CRA而将参照图像信息(RPL:reference picture list)作为相应IDR的切片标题信息插入NAL位流。为此，虽为IDR NUT，告知存在RPL信息的标志(idr_rpl_present_flag)值也被设定为“1”。对于所述标志(idr_rpl_present_flag)值为“1”的情况，存在RPL作为IDR的切片标题信息。相反地，对于所述标志(idr_rpl_present_flag)值为“0”的情况，未存在RPL作为IDR的切片标题信息。

另外，在本发明中，存在一个图像内其它NUT，且(mixed_NALu_type_in_pic_flag＝1)，对于未允许使用IDR图像的RPL信息的情况(idr_rpl_present_flag＝0)，相应图像的NUT不具有IDR_W_RADL或IDR_N_LP值。

所述标志(idr_rpl_present_flag)在SPS、PPS及PH中的一个以上的位置定义。例如，对于所述标志在SPS定义的情况，所述标志按sps_idr_rpl_present_flag命名。例如，即使当前切片的NUT为IDR_W_RADL或IDR_N_RADL，根据sps_idr_rpl_present_flag的值而为了将RPL发送信令，利用图15的切片标题的语法而对切片标题信息发送信令。在此，sps_idr_rpl_present_flag的第一值(例如，0)通过NUT为IDR_N_LP或IDR_W_RADL的切片的切片标题而显示未提供RPL语法要素。sps_idr_rpl_present_flag的第二值(例如，1)通过NUT为IDR_N_LP或IDR_W_RADL的切片的切片标题而显示提供RPL语法要素。

另外，在另一实施例中，对于为mixed_NALu_type_in_pic_flag＝1的情况，RPL按图像标题信息发送信令。例如，对于图14的语法的适用，对于显示mixed_NALu_type_in_pic_flag的值适用混合NUT的情况，pps_no_pic_partition_flag的值被强制为显示不可行的值(例如，0)。并且，由此，从位流获取显示是否从图像标题提供RPL信息的标志(pps_rpl_info_in_ph_flag)的值。在显示pps_rpl_info_in_ph_flag为可行(例如，1)的情况下，RPL信息如图16及图17显示所示，能够从图像标题获取。由此，基于mixed_NALu_type_in_pic_flag的值，与相应图像的类型无关，而获取RPL信息。而在显示pps_rpl_info_in_ph_flag为不可行(例如，0)的情况下，无法从图像标题获取RPL信息。例如，在pps_rpl_info_in_ph_flag值为“0”，切片NUT为IDR_N_LP或IDR_W_RADL，sps_idr_rpl_present_flag的值为“0”的情况下，相应切片的RPL信息无法予以获取。即，因不存在相应切片的RPL信息，RPL信息初始化而引导为空(empty)。

如上所示，一个图像通过双重NAL单元发送信令。由此，在为了对一个图像发送信令，而使用具有相互不同的NUT的NAL单元的方面，要求根据NAL单元的类型而确定图像的类型的方法。由此，在随机接入(RA:Random Access)时，相应图像正常恢复而确定能够输出(output)与否。

在一实施例的解码过程中，对于与一个图像对应的各个VCL NAL单元为CRA_NUT类型的NAL单元的情况，相应图像被确定为CRA图像。并且，对于与一个图像对应的各个VCLNAL单元为IDR_W_RADL，或为IDR_N_LP类型的NAL单元的情况，相应图像被确定为IDR图像。并且，与一个图像对应的各个VCL NAL单元为IDR_W_RADL、IDR_N_LP或CRA_NUT类型的NAL单元的情况，相应图像被确定为IRAP图像。

并且，对于与一个图像对应的各个VCL NAL单元为RADL_NUT类型的NAL单元的情况，相应图像被确定RADL(Random Access decodable leading)图像。并且，对于与一个图像对应的各个VCL NAL单元为TRAIL_NUT类型的NAL单元的情况，相应图像被确定为拖尾(trailing)图像。并且，对于在与一个图像对应的VCL NAL单元中，至少一个VCL NAL单元的类型为RASL_NUT类型，其它所有的VCL NAL单元的类型为RASL_NUT类型或RADL_NUT类型的情况，所述相应图像被确定为RASL(跳过随机接入图像，random access skipped leading)图像。

另外，在另一实施例的解码过程中，对于一个图像内的最少一个子图为RASL且其它最少一个子图为RADL的情况，相应图像被确定为RASL图像。例如，对于一个图像内最少一个子图为RASL，其它最少一个子图为RADL的情况，解码过程中的相应图像被确定为RASL图像。在此，在与子图对应的VCL NAL单元的类型为RASL_NUT的情况下，相应子图被确定为RASL。由此，RA时，RASL子图及RADL子图全部作为RASL图像处理，由此，相应图像未被输出。

另外，在另一实施例的解码过程中，在一个图像内最少一个子图为RASL的情况下，相应图像被设定为RASL图像。例如，对于一个图像内最少一个子图为RASL，其它最少一个子图为TRAIL的情况，解码过程中的相应图像被设定为RASL图像。由此，RA时，相应图像被获取作为RASL图像，相应图像未被输出。

在此，RA发生按与相应帧间切片(RADL、RASL或TRAIL)连接的(关联的)IRAP图像的NoOutputBeforeRecoveryFlag值判断。对于相应标志值为“1”的情况，(NoOutputBeforeRecoveryFlag＝1)，是指发生RA，对于相应标志值为“0”的情况，(NoOutputBeforeRecoveryFlag＝0)，是指一般播放。相应标志值对于IRAP而按如下所示设定。

-当前图像为IRAP时，NoOutputBeforeRecoveryFlag值设定过程

①在图像为位流的第一图像的情况下，将NoOutputBeforeRecoveryFlag设定为“1”

②在图像为IDR的情况下，将NoOutputBeforeRecoveryFlag设定为“1”

③在图像为CRA且从外部告知RA的情况下，将NoOutputBeforeRecoveryFlag设定为“1”

④在图像为CRA且未从外部未告知RA的情况下，将NoOutputBeforeRecoveryFlag设定为“0”

在一实施例中，译码装置从外部终端获得发生随机接入的信令。例如，外部终端将随机接入发生信息的值设定为1而向译码装置发送信令，由此，将随机接入发生向译码装置发送信令。译码装置将显示是否从外部终端接收随机接入发生与否的标志HandleCraAsClvsStartFlag的值根据从外部终端接收的随机接入发生信息而设定为1。译码装置按与HandleCraAsClvsStartFlag的值相同的值设定NoOutputBeforeRecoveryFlag的值。由此，译码装置在当前图像为CRA图像且HandleCraAsClvsStartFlag的值为“1”的情况，对于相应CRA图像而确定发生了随机接入，或以相应CRA处于位流最初始处理而执行译码。

在RA时，设定是否输出当前图像的标志(PictureOutputFlag)的过程如下所示。例如，当前图像的PictureOutputFlag根据下面的顺序而设定。在此，PictureOutputFlag的第一值(例如，0)显示未输出当前图像。PictureOutputFlag的第二值(例如，1)显示输出当前图像。

(1)在当前图像为RASL，且关联的IRAP图像的NoOutputBeforeRecoveryFlag为“1”的情况下，将PictureOutputFlag设定为“0”

(2)对于当前图像的NoOutputBeforeRecoveryFlag的值为？？1？？即GDR图像，或为该恢复图像的情况，PictureOutputFlag被设定为“0”

(3)此外(otherwise)，按与位流内的pic_output_flag值相同的值设定PictureOutputFlag的值。在此，pic_output_flag能够从PH及SH的一个以上位置获取。

图18为显示本发明中公开的相互不同的三个内容的合成的示例。图18-(a)显示相互不同的三个内容的序列，为了方便，显示将一个图像为一个数据包，或一个图像被分割为多个切片而存在多个数据包(packet)。图18-(b)及图18-(c)显示在图18-(a)中虚线显示的图像的合成的图像结果。在图18中相同的色相是指相同的图像/子图/切片。并且，P切片及B切片在帧间NUT中具有一个值。

如上所述，在通过本发明而合成多个内容时，无需同样匹配帧内切片(图像)位置，单纯匹配按等级划分的GOP结构，在不延迟的情况下快速且容易地合成内容。

编码及译码实施例

下面，根据上述方法，说明影像译码装置对影像进行译码的方法进行说明。图19和图20显示说明本发明的一实施例的译码方法和编码方法的顺序图。

一实施例的影像译码装置包括存储器及至少一个处理器，通过处理器的动作而执行下面的译码方法。首先，译码装置从位流获取显示当前NAL(network abstractionlayer)单元的类型的NAL单元类型信息(S1910)。

下面，译码装置对于NAL单元类型信息显示当前NAL单元的NAL单元类型为影像切片的编码数据的情况，基于在当前图像是否适用混合NAL单元类型(mixed NAL unittype)，而对影像切片进行译码(S1920)。

在此，译码装置基于是否适用混合NAL单元类型，确定当前NAL单元的NAL单元类型是否显示当前影像切片的子图的属性而执行影像切片的译码。

对于适用混合NAL单元类型与否，基于从图像参数集获取的第一标志(例如，pps_mixed_NALu_types_in_pic_flag)而识别。对于适用混合NAL单元类型的情况，当前影像切片所属的当前图像被分割为至少两个子图。

而且，基于是否适用混合NAL单元类型，子图的译码信息被包含在位流。在一实施例中，从位流获取显示是否未分割当前图像的第二标志(例如，pps_no_pic_partition_flag)。并且，对于第二标志显示分割当前图像的情况(例如，pps_no_pic_partition_flag＝＝0)，显示从图像标题是否提供参照图像列表信息第三标志(例如，pps_rpl_info_in_ph_flag)能够由位流获取。

在该例中，对于适用所述混合NAL单元类型的情况，当前图像根据被强制分割为至少两个子图，第二标志(pps_no_pic_partition_flag)的值被强制为0，显示从图像标题是否提供参照图像列表信息的第三标志(例如，pps_rpl_info_in_ph_flag)与实际从位流获取的第二标志(pps_no_pic_partition_flag)的值无关而能够从位流获取。由此，在第三标志显示从图像标题提供参照图像列表信息的情况下(例如，pps_rpl_info_in_ph_flag＝＝1)，能够从与图像标题相关的位流获取参照图像列表信息。

并且，对于适用混合NAL单元类型的情况，当前图像基于具有相互不同的NAL单元类型的第一子图和第二子图而译码。在此，对于第一子图的NAL单元类型具有IDR_W_RADL(Instantaneous Decoding Refresh_With_Random Access Decodable Leading)、IDR_N_LP(Instantaneous Decoding Refresh_No reference_Leading Picture)及CRA_NUT(Clean Random Access_NAL Unit Type)中的任一个值的情况，按第二子图NUT选择的可用(available)NAL单元类型包括从IDR_W_RADL、IDR_N_LP及CRA_NUT中未在第一子图选择的NAL单元类型。

或者，对于第一子图的NAL单元类型具有IDR_W_RADL(即时解码刷新可解码随机接入前置图像，Instantaneous Decoding Refresh_With_Random Access DecodableLeading)、IDR_N_LP(无即时解码刷新前置图像，Instantaneous Decoding Refresh_Noreference_LeadingPicture)及CRA_NUT(纯随机接入NAL单元类型，Clean RandomAccess_NAL Unit Type)中的任一个值的情况，第二子图的可用NAL单元类型包括TRAIL_NUT(拖尾NAL单元类型，Trail_NAL Unit Type)。

另外，对于适用混合NAL单元类型的情况，构成当前图像的第一子图和第二子图能够独立译码。例如，包括B或P切片的第一子图和第二子图能够从一个图像获取而译码。例如，第一子图未将第二子图作为参照图像并译码。

更具体地，第一子图显示在译码过程中作为图像处理与否的第四标志(例如，sps_subpic_treated_as_pic_flag)从位流予以获取。第一子图在译码过程中作为图像处理而显示第四标志的情况下(例如，sps_subpic_treated_as_pic_flag＝＝1)，第一子图在译码过程中作为图像处理而译码。在该过程中，在当前图像中适用混合NAL单元类型，并包含第一子图的当前图像包含至少一个P切片或B切片的情况下，第四标志被强制使得具有显示第一子图在译码过程中作为图像处理的值。而当前图像适用混合NAL单元类型，且第四标志显示第一子图在译码过程中未作为图像处理的情况下(例如，sps_subpic_treated_as_pic_flag＝＝0)，当前图像所属的切片类型应为帧内。

在第四标志显示第一子图在译码过程中作为图像处理的情况下，确定第一子图的译码过程从其它子图独立。例如，第四标志在第一子图在译码过程中从其它子图独立而译码的情况下，第一子图未将其它子图作为参照图像使用并译码。

并且，对于第一子图为RASL(Random Access Skipped Leading)子图的情况，第二子图基于是否为RADL(Random Access Decodable Leading)子图，当前图像被确定为RASL图像。在此，对于与第一子图对应的NAL单元的类型为RASL_NUT(跳过随机接入前置图像_NAL单元类型，Random Access Skipped Leading_NAL Unit Type)的情况，第一子图被确定为RASL子图。

而且，第三标志(例如，pps_rpl_info_in_ph_flag)显示未从图像标题获取参照图像列表信息，并从切片标题获取(例如，pps_rpl_info_in_ph_flag＝＝0)，对于第一子图的NAL单元类型具有IDR_W_RADL(即时解码刷新可解码随机接入前置图像，InstantaneousDecoding Refresh_With_Random Access Decodable Leading)及IDR_N_LP(无即时解码刷新前置图像，Instantaneous Decoding Refresh_Noreference_Leading Picture)中的任一个值的情况，基于显示IDR图像的参照图像列表(reference picture list)信息是否存在于切片标题的第五标志(e.g.sps_idr_rpl_present_flag)，而能够从切片标题的位流获取参照图像列表信息。在此，第五标志能够从与序列参数集相关的位流获取。

另外，对于与当前图像相关IRAP(随机接入点图像，Intra Random Access Point)图像而执行随机接入的情况，当前图像为RASL(Random Access Skipped Leading)子图的情况下，当前图像不予输出(显示)。

一实施例的影像编码装置包括存储器及至少一个处理器，通过处理器的动作而执行与上述译码方法对应的编码方法。例如，编码装置对于当前图像基于混合NAL单元类型而编码的情况，确定分割图像的子图的类型(S2010)。并且，编码装置基于子图的类型，对构成子图的至少一个当前影像切片而编码，从而，生成当前NAL单元(S2020)。此时，编码装置对于当前图像基于混合NAL单元类型而编码的情况，对当前NAL单元的NAL单元类型编码以显示当前影像切片的子图的属性，而对影像切片进行编码。

并且，本发明以通过电脑可读取的记录媒体实现电脑(包括具有信息处理功能的装置)读取的代码实现。电脑可读取的记录媒体包括存储通过电脑系统读取的数据的所有种类的记录装置。电脑可读取记录的装置的例子包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等。

本发明参照附图显示的实施例而进行了说明，但其仅用于例示，本技术领域的普通技术人员应当理解，能够由此进行各种变形及同等的其它实施例。因此，本发明的真正的技术保护范围应通过权利要求范围的技术思想限定。