具体实施方式

<支持技术内容和术语的文献等>

本说明书中公开的范围不限于示例的内容，并且图1中示出的在提交时已知的参考文献REF 1至REF 6的内容也通过引用并入本说明书中。

换句话说，在图1中示出的参考文献REF 1至REF 6中描述的内容也是用于验证支持要求的基础。例如，在参考文献REF 4中描述的NAL单元结构和在参考文献REF 5中描述的字节流格式也被解释为在本公开内容的范围内并且满足权利要求的支持要求，即使在本发明的详细描述中没有直接定义上述技术的情况下也是如此。此外，类似地，例如，诸如解析、语法和语义的技术术语也被解释为在本公开内容的范围内并且满足权利要求的支持要求，即使在本发明的详细描述中没有直接定义这些技术术语的情况下也是如此。

<术语>

在本申请中，如下定义以下术语。

<块>

除非另有说明，否则在本说明书中用作图像(图片)的部分区域或处理单元的“块”(不是指示处理单元的块)指示图片中的任何部分区域，并且其尺寸、形状、特性等不受限制。例如，假定“块”包括任何部分区域(处理单元)，例如变换块(TB)、变换单元(TU)、预测块(PB)、预测单元(PU)、最小编码单元(SCU)、编码单元(CU)、最大编码单元(LCU)、编码树块(CTB)、编码树单元(CTU)、转换块、子块、宏块、图块和切片。

<块大小的指定>

此外，在指定这样的块的大小时，不仅可以直接指定块大小，而且还可以间接指定块大小。例如，可以使用标识大小的识别信息来指定块大小。另外，例如，可以通过相对于作为参考的块(例如，LCU或SCU)的大小的比率或差来指定块大小。例如，在指定块大小的信息作为语法元素等被传送的情况下，可以将如上所述间接指定大小的信息用作该信息。通过以这种方式指定大小，可以减少该信息的信息量，并且在某些情况下可以提高编码效率。此外，对块大小的这种指定还包括对块大小的范围的指定(例如，对允许的块大小的范围的指定)。

<信息和处理的单元>

设置各种信息的数据的单元和各种处理所针对的数据的单元两者均是可选的，并且不限于上述示例。例如，可以针对每个变换单元(TU)、变换块(TB)、预测单元(PU)、预测块(PB)、编码单元(CU)、最大编码单元(LCU)、子块、块、图块、切片、图片、序列或分量来设置这些信息，而这些处理可以以那些数据单元中的数据为目标。当然，可以针对每个信息或处理设置这些数据单元，并且这些数据单元在所有信息或处理之间不必是一致的。注意，这些信息的保存位置是可选的，并且可以被保存在上述数据单元的报头、参数集等中。此外，可以将这些信息保存在多个位置中。

<控制信息>

与本技术有关的控制信息可以被从编码侧传输至解码侧。例如，可以传输控制是否允许(或禁止)应用上述本技术的控制信息(例如，enabled_flag)。此外，例如，可以传输指示要应用上述本技术的对象(或者不应用上述本技术的对象)的控制信息。例如，可以传输指定要应用本技术(或者，允许或禁止该应用)的块的大小(上限、下限、或者上限和下限两者)、帧、分量、层等的控制信息。

<标志>

注意，在本说明书中，“标志”是指用于识别多个状态的信息，并且不仅包括在识别真(1)和假(0)这两个状态时使用的信息，而且还包括能够识别三个或更多个状态的信息。因此，该“标志”能够取的值可以是例如1或0的二进制值或者三元或更多元值。也就是说，构成该“标志”的比特数是可选的，并且可以采用一个比特或多个比特。此外，假定识别信息(包括标志)不仅具有在比特流中包括识别信息的形式，而且还具有比特流中包括识别信息相对于特定参考信息的差异信息的形式。因此，在本说明书中，“标志”和“识别信息”不仅暗指其中的整体信息，而且还暗指相对于参考信息的差异信息。

<元数据的关联>

另外，可以以任何形式传输或记录关于编码数据(比特流)的各种信息(元数据等)，只要该信息与编码数据相关联即可。此处，术语“关联”意指例如确保在处理另一条数据时一条数据可用(可链接)。换句话说，可以将彼此相关联的多条数据收集(collect)到一条数据中，或者可以将多条数据中的每条数据视为单个数据。例如，与编码数据(图像)相关联的信息可以在与该相关联的编码数据(图像)的传输路径不同的传输路径上传输。此外，例如，可以将与编码数据(图像)相关联的信息记录在与该相关联的编码数据(图像)的记录介质不同的记录介质(或同一记录介质的记录区域)上。注意，该“关联”可以在数据的一部分而不是整个数据上产生。例如，图像和与该图像相对应的信息可以以诸如多个帧、一个帧或帧的一部分的任何单元彼此关联。

另外，在本说明书中，诸如“合成”、“复用”、“添加”、“集成”、“包括”、“保存”、“合并”、“放入”和“插入”的术语意指将多个项收集到一个项中例如将编码数据和元数据收集到一条数据中，并且意指上述“关联”的一种方法。此外，在本说明书中，编码不仅包括将图像转换成比特流的整个处理，而且还包括该处理的一部分。例如，编码不仅包括包含预测处理、正交变换、量化、算术编码等的处理，而且还包括量化和算术编码被统称为的处理，包含预测处理、量化和算术编码的处理等。类似地，解码不仅包括将比特流转换成图像的整个处理，而且还包括该处理的一部分。例如，解码不仅包括包含逆算术解码、逆量化、逆正交变换、预测处理等的处理，而且还包括包含逆算术解码和逆量化的处理，包含逆算术解码、逆量化和预测处理的处理等。

在下文中，将参照附图详细描述应用本技术的具体实施方式。

<图像编码装置和图像解码装置>

将参照图2和图3描述应用了本技术的图像编码装置和图像解码装置。

如图2所示，图像编码装置10具有包括编码单元11、确定单元12、视频编码层(VCL)缓冲器13、非VCL缓冲器14、文件生成单元15和控制单元16的配置。

编码单元11是根据HEVC方案工作的编码器。编码单元11从与图像编码装置10连接的诸如摄像装置或电视调谐器的运动图像源获取要编码的图像序列。然后，编码单元11通过针对所获取的图像序列中的每个图像执行诸如帧内预测、帧间预测、正交变换、量化和无损编码的各种处理来生成编码比特流。生成与图像的实体相对应的切片数据作为视频编码层(VCL)NAL单元。

同时，可以生成诸如序列参数集(SPS)、图片参数集(PPS)和适配参数集(APS)的参数集作为非VCL NAL单元。编码单元11经由VCL缓冲器13将VCLNAL单元的比特流(即，切片数据)输出至文件生成单元15。此外，编码单元11经由非VCL缓冲器14将参数集输出至文件生成单元15。

确定单元12确定要由编码单元11编码的图像序列中的每个图像的类型。更具体地，在本实施方式中，确定单元12至少确定每个图像是IDR图片、CRA图片还是除这些图片以外的图片。IDR图片和CRA图片两者均是仅由I切片组成的图片。

如前面提及的，IDR图片是序列开头的图片。同一序列中在IDR图片之后的图片不参考按编码顺序(解码顺序)在IDR图片之前的图片，并且仅按呈现顺序位于IDR图片之后。CRA图片是位于序列中间的图片，并且用作在解码器侧随机存取时的解码起始图片。按编码顺序(解码顺序)和呈现顺序两者在CRA图片之后的图片不参考按编码顺序(解码顺序)在CRA图片之前的图片以及按呈现顺序在CRA图片之前的图片。确定单元12将确定结果输出至编码单元11和文件生成单元15。编码单元11将指示由确定单元12确定的每个图像的类型的NAL单元类型分配给每个NAL单元的NAL报头。

顺便提及，在对CRA图片执行随机存取的情况下，仅作为随机存取目的地的CRA图片和按解码顺序在该CRA图片之后的图片被作为解码目标。然而，可以存在按解码顺序在CRA图片之后但按呈现顺序在CRA图片之前的图片。在本说明书中，这样的图片被称为在先图片。从对CRA图片的定义可以看出，允许在先图片参考按解码顺序在CRA图片之前的图片。

在对CRA图片执行随机存取的情况下，参考按解码顺序在CRA图片之前的图片的在先图片没有被正常解码。这是因为在先图片所参考的图片尚未被解码。也就是说，在执行随机存取的情况下，能否正常对解码所针对的在先图片进行解码取决于在先图片的参考关系。因此，确定单元12还可以确定在对每个CRA图片执行随机存取的情况下不能被正常解码的在先图片，并且将确定结果提供给文件生成单元15。

VCL缓冲器13缓冲VCL NAL单元。CRA图片的切片数据由VCL缓冲器13缓冲。

非VCL缓冲器14缓冲非VCL NAL单元。

文件生成单元15根据包括报头区域和数据区域的文件格式，生成保存了一系列编码图像数据的运动图像文件，并且将所生成的运动图像文件输出至存储单元20。在本说明书中，将主要描述将MP4格式用作文件格式的示例。然而，根据本公开内容的技术不限于这样的示例，并且可应用于具有报头区域和数据区域的其他类型的运动图像文件格式。

在MP4格式中，数据保存在被称为盒(box)的对象中，并且以对象为单位进行记录。这些盒在一个文件内形成树形结构，并且父盒包含子盒。每个盒的类型由四个字母的字母标识符标识。

更具体地，文件生成单元15按解码顺序将与VCL NAL单元相对应的切片数据的比特流插入到运动图像文件的数据区域(例如，mdat盒)中。此外，文件生成单元15将与非VCLNAL单元相对应的一个或更多个参数集插入到运动图像文件的报头区域(例如，moov盒)中。此外，在本实施方式中，文件生成单元15将标识由确定单元12确定的一个或更多个CRA图片的CRA信息插入到运动图像文件的报头区域中。另外，文件生成单元15可以将用于标识在对每个CRA图片执行随机存取的情况下没有被正常解码的在先图片的在先图片信息追加到CRA信息中。

控制单元16控制在图像编码装置10中执行的编码处理。例如，当检测到开始编码的指令时，控制单元16使编码单元11对指定的图像序列进行编码。此外，控制单元16使文件生成单元15生成运动图像文件，在该运动图像文件中保存了由编码单元11编码的图像数据。控制单元16可以使用被称为假设参考解码器(HRD)的假设解码器模型来控制编码流的生成，使得不会在解码器缓冲器中引起故障。

如图3所示，图像解码装置30具有包括VCL缓冲器31、非VCL缓冲器32、参数存储器33、解码单元34、输出缓冲器35和控制单元37的配置。

VCL缓冲器31对从存储在存储单元20中的运动图像文件的数据区域(例如，mdat盒)读取的图像数据(通常为切片数据)的比特流进行缓冲。

非VCL缓冲器32对从存储在存储单元20中的运动图像文件的报头区域(例如，moov盒)读取的诸如SPS、PPS和APS的参数集以及诸如CRA信息的报头信息进行缓冲。

参数存储器33将经由非VCL缓冲器32获取的文件的报头区域中的信息作为整体进行存储。在运动图像文件打开的情况下，参数存储器33保存可以以上述各种格式记录在运动图像文件的报头区域中的CRA信息。

解码单元34是根据HEVC方案工作的解码器。解码单元34对经由VCL缓冲器31从运动图像文件的数据区域获取的比特流中的图像序列进行解码。解码单元34在对图像进行解码时使用被存储在参数存储器33中的参数集中的参数。解码单元34按呈现顺序对经解码的图像序列中的图像进行排序，并且将排序后的图像输出至输出缓冲器35。

通常，解码单元34按照从切片数据的开头开始的顺序来访问以解码顺序被保存在运动图像文件中的运动图像轨道中的切片数据。然而，当控制单元37检测到随机存取指令时，解码单元34对由控制单元37指定的解码起始图片(在运动图像轨道的中间)执行随机存取，并且从所存取的解码起始图片开始对图像序列进行解码。解码起始图片是运动图像轨道中的IDR图片和CRA图片之一。

输出缓冲器35是用于缓冲由解码单元34解码的图像的解码图片缓冲器(DPB)。由输出缓冲器35缓冲的图像在该缓冲图像的输出定时处被输出至显示器或处理器(未示出)。

控制单元37控制在图像解码装置30中执行的图像解码处理。例如，控制单元37响应于来自用户的指令打开被存储在存储单元20中的运动图像文件，并且使解码单元34开始对图像序列进行解码。此外，在检测到随机存取指令的情况下，控制单元37使用CRA信息将图像序列中的一个CRA图片指定为解码起始图片。然后，控制单元37使解码单元34从所指定的解码起始图片(即，从运动图像轨道的中间)开始对图像序列进行解码。

通常，控制单元37将最接近随机存取指令中指定的定时(例如，由在运动图像再现窗口的搜索条上操作的指针指向的定时)的CRA图片指定为解码起始图片。

在CRA信息包含上述在先图片信息的情况下，控制单元37可以使得从输出缓冲器35的输出(以及由解码单元34进行的解码)中跳过使用在先图片信息标识的没有被正常解码的在先图像。通过使用在先图片信息，可以防止将损坏的图像呈现在显示器上或输出至外部处理器。此时，控制单元37不必事后确定每个图像是否已经被正常解码。

此外，控制单元37可以向图像编码装置10的控制单元16发送命令。

<比特流的第一模式>

将参照图4至图11描述比特流的第一模式的第一变型。

如图4所示，比特流由多个访问单元(AU)构成，并且在与一个帧相对应的每个访问单元中布置至少一个或更多个NAL单元。此外，存在多种类型的NAL单元，并且例如，所述类型包括访问单元分隔符(AUD)NAL单元、序列参数集(SPS)NAL单元、图片参数集(PPS)NAL单元、图块组NAL单元等。

AUD NAL单元指示访问单元之间的分隔符，并且通常，每个访问单元的开头总是布置仅一个AUD NAL单元。注意，当前AUD已经被赋予了指示访问单元中所有图块组NAL的属性的语法。

在SPS NAL单元中，保存再现比特流所需的序列参数。在PPS NAL单元中，保存再现图片所需的序列参数。在图块组NAL单元中，保存每个图块组的图像。

然后，假设图中示出的三种情况为比特流的配置。

例如，在第一种情况下，针对所有访问单元，第一个布置AUD NAL单元，第二个布置SPS NAL单元，第三个布置PPS NAL单元，并且然后连续地布置图块组NAL单元。也就是说，在第一种情况下，将SPS NAL单元和PPS NAL单元分配给每个访问单元。

此外，在第二种情况下，针对开头的访问单元，第一个布置AUD NAL单元，第二个布置SPS NAL单元，第三个布置PPS NAL单元，并且然后连续地布置图块组NAL单元。然后，针对第二个访问单元及随后的访问单元，第一个布置AUD NAL单元，第二个布置PPS NAL单元，并且然后连续地布置图块组NAL单元。也就是说，在第二种情况下，将SPS NAL单元分配给开头的访问单元，并且将PPS NAL单元分配给每个访问单元。

另外，在第三种情况下，针对开头的访问单元，第一个布置AUD NAL单元，第二个布置SPS NAL单元，第三个布置PPS NAL单元，并且然后布置连续地图块组NAL单元。然后，针对第二个访问单元及随后的访问单元，先布置AUD NAL单元，并且然后，连续地布置图块组NAL单元。也就是说，在第三种情况下，将SPS NAL单元和PPS NAL单元仅分配给开头的访问单元。

然后，在比特流的第一模式的第一变型中，在第一种情况至第三种情况中的任何一种情况下，根据过去的配置修改了配置，其中，指示当前图片要参考的参考图像的参考图像信息被布置在AUD NAL单元中。例如，该参考图像信息允许指定被放置在tile_group_header中的ref_pic_list_idx或设置新的ref_pic_list_struct。以这种方式，通过将参考图像信息布置在被放置在访问单元的报头区域中的AUD NAL单元中，以及将所布置的参考图像信息应用于访问单元中的所有图块组NAL单元，相比于针对每个图块组指定参考图，可以防止冗余。

具体地，如图5所示，描述了比特流的第一模式的第一变型中的AUD NAL的语法。如图5所示，在AUD NAL的语法中，pic_type的语法被扩展为使得可以指定ref_pic_list_idx并且可以设置新的ref_pic_list_struct。

将参照图6中示出的流程图描述由图像编码装置10执行的图像编码处理中的NAL生成处理的示例。

例如，当图像序列被提供给图像编码装置10时，NAL生成处理开始，并且在步骤S11中，编码单元11确定是否存在要从图像序列生成的NAL单元。

在编码单元11在步骤S11中确定存在要从图像序列生成的NAL单元的情况下，处理进行至步骤S12。

在步骤S12中，编码单元11确定要从图像序列生成的NAL单元是否是AUD NAL单元。

在编码单元11在步骤S12中确定要从图像序列生成的NAL单元是AUD NAL单元的情况下，处理进行至步骤S13。然后，在步骤S13中，编码单元11执行AUD编码处理以生成包含参考图像信息的AUD NAL单元，并且经由非VCL缓冲器14将所生成的AUD NAL单元提供给文件生成单元15。随后，处理返回至步骤S11，并且此后重复执行类似的处理。另一方面，在编码单元11在步骤S12中确定要从图像序列生成的NAL单元不是AUD NAL单元的情况下，处理进行至步骤S14。

在步骤S14中，编码单元11确定要从图像序列生成的NAL单元是否是SPS NAL单元。

在编码单元11在步骤S14中确定要从图像序列生成的NAL单元是SPS NAL单元的情况下，处理进行至步骤S15。然后，在步骤S15中，编码单元11执行SPS编码处理以生成SPSNAL单元，并且经由非VCL缓冲器14将所生成的SPS NAL单元提供给文件生成单元15。随后，处理返回至步骤S11，并且此后重复执行类似的处理。另一方面，在编码单元11在步骤S14中确定要从图像序列生成的NAL单元不是SPS NAL单元的情况下，处理进行至步骤S16。

在步骤S16中，编码单元11确定要从图像序列生成的NAL单元是否是PPS NAL单元。

在编码单元11在步骤S16中确定要从图像序列生成的NAL单元是PPS NAL单元的情况下，处理进行至步骤S17。然后，在步骤S17中，编码单元11执行PPS编码处理以生成PPSNAL单元，并且经由非VCL缓冲器14将所生成的PPS NAL单元提供给文件生成单元15。随后，处理返回至步骤S11，并且此后重复执行类似的处理。另一方面，在编码单元11在步骤S16中确定要从图像序列生成的NAL单元不是PPS NAL单元的情况下，处理进行至步骤S18。

在步骤S18中，编码单元11确定要从图像序列生成的NAL单元是否是图块组NAL单元。

在编码单元11在步骤S18中确定要从图像序列生成的NAL单元是图块组NAL单元的情况下，处理进行至步骤S19。然后，在步骤S19中，编码单元11执行图块组编码处理以生成图块组NAL单元，并且经由VCL缓冲器13将所生成的图块组NAL单元提供给文件生成单元15。随后，处理返回至步骤S11，并且此后重复执行类似的处理。另一方面，在编码单元11在步骤S18中确定要从图像序列生成的NAL单元不是图块组NAL单元的情况下，处理进行至步骤S20。

在步骤S20中，编码单元11执行编码除上述NAL单元中的任何NAL单元之外的另一NAL单元的编码处理。随后，处理返回至步骤S11，并且此后重复执行类似的处理。

另一方面，在编码单元11在步骤S11中确定不存在要从图像序列生成的NAL单元的情况下，NAL生成处理结束。

图7是说明在图6的步骤S13中执行的AUD编码处理的流程图。

在步骤S31中，编码单元11执行基于参考图像信息指定和设置参考帧列表的处理，并且例如被允许指定置于tile_group_header中的ref_pic_list_idx或设置新的ref_pic_list_struct。

在步骤S32中，编码单元11通过执行对帧(访问单元)进行定界的帧定界处理来生成AUD NAL单元，并且随后，AUD编码处理结束。

图8是说明在图6的步骤S19中执行的图块组编码处理的流程图。

在步骤S41中，除了指定和设置参考帧列表的处理之外，编码单元11还执行对报头进行编码的处理。

在步骤S42中，编码单元11执行对报头之后的单元进行编码的编码处理，并且随后，图块组编码处理结束。

通过如上所述的NAL生成处理，图像编码装置10可以生成其中布置有参考图像信息的AUD NAL单元，并且生成由如以上参照图4描述的比特流组成的运动图像文件，也就是说，对由其中布置有至少一个或更多个NAL单元的访问单元组成的比特流的图像进行编码。

将参照图9中示出的流程图描述由图像解码装置30执行的图像解码处理中的NAL生成处理的示例。

例如，当图像解码装置30读出被存储在存储单元20中的比特流时，处理开始，并且在步骤S51中，解码单元34确定是否存在要从该比特流解码的NAL单元。

在解码单元34在步骤S51中确定存在要从比特流解码的NAL单元的情况下，处理进行至步骤S52。

在步骤S52中，解码单元34确定要从比特流解码的NAL单元是否是AUD NAL单元。

在解码单元34在步骤S52中确定要从比特流解码的NAL单元是AUD NAL单元的情况下，处理进行至步骤S53。然后，在步骤S53中，解码单元34将通过执行AUD解码处理以对AUDNAL单元进行解码而获取的参考图像信息提供给参数存储器33。随后，处理返回至步骤S51，并且此后重复执行类似的处理。另一方面，在解码单元34在步骤S52中确定要从比特流解码的NAL单元不是AUD NAL单元的情况下，处理进行至步骤S54。

在步骤S54中，解码单元34确定要从比特流解码的NAL单元是否是SPS NAL单元。

在解码单元34在步骤S54中确定要从比特流解码的NAL单元是SPS NAL单元的情况下，处理进行至步骤S55。然后，在步骤S55中，解码单元34将通过执行SPS解码处理以对SPSNAL单元进行解码而获取的参数提供给参数存储器33。随后，处理返回至步骤S51，并且此后重复执行类似的处理。另一方面，在解码单元34在步骤S54中确定要从比特流解码的NAL单元不是SPS NAL单元的情况下，处理进行至步骤S56。

在步骤S56中，解码单元34确定要从比特流解码的NAL单元是否是PPS NAL单元。

在解码单元34在步骤S56中确定要从比特流解码的NAL单元是PPS NAL单元的情况下，处理进行至步骤S57。然后，在步骤S57中，解码单元34将通过执行PPS解码处理以对PPSNAL单元进行解码而获取的参数提供给参数存储器33。随后，处理返回至步骤S51，并且此后重复执行类似的处理。另一方面，在解码单元34在步骤S56中确定要从比特流解码的NAL单元不是PPS NAL单元的情况下，处理进行至步骤S58。

在步骤S58中，解码单元34确定要从比特流解码的NAL单元是否是图块组NAL单元。

在解码单元34在步骤S58中确定要从比特流解码的NAL单元是图块组NAL单元的情况下，处理进行至步骤S59。然后，在步骤S59中，解码单元34将通过执行图块组解码处理以对图块组NAL单元进行解码而获得的图像提供给输出缓冲器35。随后，处理返回至步骤S51，并且此后重复执行类似的处理。另一方面，在解码单元34在步骤S58中确定要从比特流解码的NAL单元不是图块组NAL单元的情况下，处理进行至步骤S60。

在步骤S60中，解码单元34执行解码除上述NAL单元中的任何NAL单元之外的另一NAL单元的解码处理。随后，处理返回至步骤S51，并且此后重复执行类似的处理。

另一方面，在解码单元34在步骤S51中确定不存在要从比特流解码的NAL单元的情况下，NAL生成处理结束。

图10是说明在图9的步骤S53中执行的AUD解码处理的流程图。

在步骤S71中，解码单元34从AUD NAL单元获取图片类型。

在步骤S72中，解码单元34从AUD NAL单元获取参考图像信息，并且根据参考图像信息执行指定和设置参考帧列表的处理。

在步骤S73中，解码单元34通过执行对帧(访问单元)进行定界的帧定界处理来对AUD NAL单元进行解码，并且随后，AUD解码处理结束。

图11是说明在图9的步骤S59中执行的图块组解码处理的流程图。

在步骤S81中，除了指定和设置参考帧列表的处理之外，解码单元34执行对报头进行解码的处理。

在步骤S82中，解码单元34执行对报头之后的单元进行解码的解码处理，并且随后，图块组解码处理结束。

如上所述，图像解码装置30可以根据从AUD NAL单元获取的参考图像信息对图像进行解码，也就是说，对由其中布置有至少一个或更多个NAL单元的访问单元组成的比特流的图像进行解码。

将参照图12至图17描述比特流的第一模式的第二变型。

如图12所示，与以上参照图4描述的情况类似，比特流由多个访问单元构成，并且在每个访问单元中布置有至少一个或更多个NAL单元。此外，与比特流的第一模式的第一变型(参见图4)类似，假定将图12中示出的三种情况作为比特流的配置。

然后，在比特流的第一模式的第二变型中，除了AUD NAL单元、SPS NAL单元、PPSNAL单元和图块组NAL单元之外，NEW NAL单元也被用作NAL单元。

例如，在第一种情况下，针对所有访问单元，第一个布置AUD NAL单元，第二个布置SPS NAL单元，第三个布置PPS NAL，第四个布置NEW NAL单元，并且然后连续地布置图块组NAL单元。也就是说，在第一种情况下，将SPS NAL单元和PPS NAL单元分配给每个访问单元，并且还分配NEW NAL单元。

此外，在第二种情况下，针对开头的访问单元，第一个布置AUD NAL单元，第二个布置SPS NAL单元，第三个布置PPS NAL，第四个布置NEW NAL单元，并且然后连续地布置图块组NAL单元。然后，针对第二个访问单元及随后的访问单元，第一个布置AUD NAL单元，第二个布置PPS NAL单元，第三个布置NEW NAL单元，并且然后连续布置图块组NAL单元。也就是说，在第二种情况下，将SPS NAL单元分配给开头的访问单元，将PPS NAL单元分配给每个访问单元，并且还分配NEW NAL单元。

另外，在第三种情况下，针对开头的访问单元，第一个布置AUD NAL单元，第二个布置SPS NAL单元，第三个布置PPS NAL，第四个布置NEW NAL单元，并且然后连续地布置图块组NAL单元。然后，针对第二个访问单元及随后的访问单元，第一个布置AUD NAL单元，第二个布置NEW NAL单元，并且然后连续地布置图块组NAL单元。也就是说，在第三种情况下，将SPS NAL单元和PPS NAL单元仅分配给开头的访问单元，而将NEW NAL单元分配给每个访问单元。

然后，在比特流的第一模式的第二变型中，在第一种情况至第三种情况中的任何一种情况中，根据过去的配置修改了配置，其中，指示当前图片要参考的参考图像的参考图像信息被布置在NEW NAL单元中。例如，该参考图像信息允许指定被放置在tile_group_header中的ref_pic_list_idx或设置新的ref_pic_list_struct。以这种方式，通过将参考图像信息布置在被放置在访问单元的报头区域中的NEW NAL单元(用于识别的NAL单元)中以及将所布置的参考图像信息应用于访问单元中的所有图块组NAL单元，相比于针对每个图块组指定参考图像，可以防止冗余。

具体地，如图13所示，描述了比特流的第一模式的第二变型中NEW NAL单元的语法。如图13所示，在NEW NAL的语法中，可以指定ref_pic_list_idx，并且可以设置新的ref_pic_list_struct。

将参照图14中示出的流程图描述在由图像编码装置10执行的图像编码处理中进行的NAL生成处理的示例。

在步骤S101至S107中，执行与以上参照图6中的流程图描述的步骤S11至S17中的处理类似的处理。然后，在步骤S108中，编码单元11确定要从图像序列生成的NAL单元是否是NEW NAL单元。

在编码单元11在步骤S108中确定要从图像序列生成的NAL单元是NEW NAL单元的情况下，处理进行至步骤S109。然后，在步骤S109中，编码单元11执行NEW编码处理以生成包含参考图像信息的NEW NAL单元，并且经由非VCL缓冲器14将所生成的NEW NAL单元提供给文件生成单元15。随后，处理返回至步骤S101，并且此后重复执行类似的处理。另一方面，在编码单元11在步骤S108中确定要从图像序列生成的NAL单元不是NEW NAL单元的情况下，处理进行至步骤S110。

然后，在步骤S110至112中，执行与以上参照图6中的流程图描述的步骤S18至S20中的处理类似的处理，并且随后，NAL生成处理结束。

图15是说明在图14的步骤S109中执行的NEW编码处理的流程图。

在步骤S121中，编码单元11执行基于参考图像信息指定和设置参考帧列表的处理，并且例如，指定被放置在tile_group_header中的ref_pic_list_idx或设置新的ref_pic_list_struct。以这种方式，编码单元11生成NEW NAL单元，并且随后，NEW编码处理结束。

注意，与以上参照图8中的流程图描述的图块组编码处理类似地执行在图14的步骤S111中执行的图块组编码处理。

通过如上所述的NAL生成处理，图像编码装置10可以生成其中布置有参考图像信息的NEW NAL单元，并且生成由如以上参照图12描述的比特流组成的运动图像文件，也就是说，对由其中布置有至少一个或更多个NAL单元的访问单元组成的比特流的图像进行编码。

将参照图16中示出的流程图描述由图像解码装置30执行的图像解码处理中的NAL生成处理的示例。

在步骤S131至S137中，执行与以上参照图9中的流程图描述的步骤S51至S57中的处理类似的处理。然后，在步骤S138中，解码单元34确定要从比特流解码的NAL单元是否是NEW NAL单元。

在解码单元34在步骤S138中确定要从比特流解码的NAL单元是NEW NAL单元的情况下，处理进行至步骤S139。然后，在步骤S139中，解码单元34将通过执行NEW解码处理以对NEW NAL单元进行解码而获取的参考图像信息提供给参数存储器33。随后，处理返回至步骤S131，并且此后重复执行类似的处理。另一方面，在解码单元34在步骤S138中确定要从比特流解码的NAL单元不是AUD NAL单元的情况下，处理进行至步骤S140。

然后，在步骤S140至142中，执行与以上参照图9中的流程图描述的步骤S58至S60中的处理类似的处理，并且随后，NAL生成处理结束。

图17是说明在图16的步骤S139中执行的NEW解码处理的流程图。

在步骤S151中，解码单元34从NEW NAL单元获取参考图像信息，并且通过执行根据参考图像信息指定和设置参考帧列表的处理来对NEW NAL单元进行解码。随后，NEW解码处理结束。

注意，与以上参照图11中的流程图描述的图块组解码处理类似地执行在图16的步骤S141中执行的图块组解码处理。

如上所述，图像解码装置30可以根据从NEW NAL单元获取的参考图像信息对图像进行解码，也就是说，对由其中布置有至少一个或更多个NAL单元的访问单元组成的比特流的图像进行解码。

<比特流的第二模式>

将参照图18至图26描述比特流的第二模式。

在比特流的第二模式下，可以动态地修改可以不定期设置的长期参考。

首先，作为动态地修改长期参考的示例，将参照图18描述使用长期参考恢复窄带中的图像质量的技术。

例如，在如图所示的定时处发生分组丢失的情况下，作为接收侧的图像解码装置30向作为发送侧的图像编码装置10通知指示分组丢失已经发生的错误发生信息。然后，图像编码装置10通过避免重新发送I图片，参考长期参考图片(LTR帧P_L)对在接收到错误发生信息之后要编码的帧P′进行编码。

通常，在移动相对大的情况下，不定期地设置(更新)长期参考图片。例如，短期参考图片以固定图片组(GOP)结构被编码，并且因此不需要进行修改，而在图片被编码的情况下可以选择是否修改长期参考图片。

通过以这种方式动态地修改长期参考，即使已经发生分组丢失，图像解码装置30也可以通过参考LTR帧P_L对通过参考LTR帧P_L编码的帧P′进行解码来以较低时延恢复由于分组丢失而引起的图像质量的劣化。

作为使用这样的使用长期参考来恢复图像质量的技术的用例，例如，假定具有有限传输频带的低时延或交互式应用。具体地，该技术可以用于监视摄像装置、视频聊天、流游戏服务等。

将参照图19和图20描述比特流的第二模式的第一变型。

如图19所示，与以上参照图4描述的情况类似，比特流由多个访问单元构成，并且在每个访问单元中布置有至少一个或更多个NAL单元(AUD NAL单元、SPS NAL单元、PPS NAL单元和图块组NAL单元)。此外，与比特流的第一模式的第一变型(参见图4)类似，假定图19中示出的三种情况为比特流的配置。

然后，在比特流的第二模式的第一变型中，在第一种情况至第三种情况中的任何一种情况下，AUD NAL单元被扩展成使得仅可以独立修改针对长期的设置(修改ref_pic_list_struct(i,ref_pic_list_idx[i])中的poc_lsb_lt)。

具体地，在比特流的第二模式的第一变型中，如图20所示，描述了SPS NAL和AUDNAL的语法。

例如，在AUD NAL单元中实现对在SPS NAL单元中已经定义的ref_pic_list_struct中的长期的修改。

将参照图21和图22描述比特流的第二模式的第二变型。

如图21所示，与以上参照图4描述的情况类似，比特流由多个访问单元构成，并且在每个访问单元中布置有至少一个或更多个NAL单元(AUD NAL单元、SPS NAL单元、PPS NAL单元、图块组NAL单元和NEW NAL单元)。此外，与比特流的第一模式的第二变型(参见图12)类似，假定如图21所示的三种情况为比特流的配置。

然后，在比特流的第二模式的第二变型中，在第一种情况至第三种情况中的任何一种情况下，NEW NAL单元被扩展成使得仅可以独立修改针对长期的设置(修改ref_pic_list_struct(i,ref_pic_list_idx[i])中的poc_lsb_lt)。

具体地，如图22所示描述了在比特流的第二模式的第二变型中SPS NAL和NEW NAL的语法。

例如，在NEW NAL单元中实现了对在SPS NAL单元中已经定义的ref_pic_list_struct中的长期的修改。

将参照图23中示出的流程图描述在由图像编码装置10执行的图像编码处理中执行的参考帧列表指定和设置处理的示例。

例如，当图像序列被提供给图像编码装置10时，参考帧列表设置处理开始，并且在步骤S161中，编码单元11确定是否指定在SPS NAL中已经定义的参考帧列表。

在步骤S161中确定指定在SPS NAL单元中已经定义的参考帧列表的情况下，处理进行至步骤S162，并且编码单元11获取参考帧列表的索引。

在步骤S163中，编码单元11根据在步骤S162中获取的参考帧列表的索引，确定是否修改长期参考帧信息。

在编码单元11在步骤S163中确定要修改长期参考帧信息的情况下，处理进行至步骤S164，并且执行长期参考帧信息修改处理(参见稍后描述的图24中的流程图)。

另一方面，在步骤S163中确定不修改长期参考帧信息的情况下，或者在步骤S164中执行了长期参考帧信息修改处理之后，参考帧列表设置处理结束。

同时，在步骤S161中确定不指定在SPS NAL单元中已经定义的参考帧列表的情况下，处理进行至步骤S165。在步骤S165中，编码单元11对参考帧列表执行编码处理，并且随后，参考帧列表指定和设置处理结束。

图24是说明在图23的步骤S164中执行的长期参考帧信息修改处理的流程图。

在步骤S171中，编码单元11获取具有在图23的步骤S162中获取的索引的参考帧列表中的长期数k，并且将参数i设置为零(i＝0)。

在步骤S172中，编码单元11确定参数i是否小于长期数k。

在编码单元11在步骤S172中确定参数i小于长期数k(i＜k)的情况下，处理进行至步骤S173。

在步骤S173中，编码单元11修改第i个长期参考帧的绝对位置。例如，编码单元11可以基于来自图像解码装置30的命令(指定参考图像的信息)来设置第i个长期参考帧的绝对位置。此外，图像解码装置30针对每个帧来更新指定参考图像的信息。

在步骤S174中，编码单元11使参数i递增(i＝i+1)，并且随后，处理返回至步骤S172。

另一方面，在编码单元11在步骤S172中确定参数i不小于长期数k(i≥k)的情况下，长期参考帧信息修改处理结束。

通过如上所述的参考帧列表指定和设置处理，图像编码装置10可以修改长期参考帧信息，并且生成由如以上参照图19或图21描述的比特流组成的运动图像文件。

将参照图25中示出的流程图描述在由图像解码装置30执行的图像解码处理中执行的参考帧列表指定和设置处理的示例。

例如，当图像解码装置30读出被存储在存储单元20中的比特流时，处理开始，并且在步骤S181中，解码单元34确定是否指定在SPS NAL中已经定义的参考帧列表。

在步骤S181中确定指定在SPS NAL单元中已经定义的参考帧列表的情况下，处理进行至步骤S182，并且解码单元34获取参考帧列表的索引。

在步骤S183中，解码单元34根据在步骤S182中获取的参考帧列表的索引，确定是否修改长期参考帧信息。

在解码单元34在步骤S183中确定要修改长期参考帧信息的情况下，处理进行至步骤S184并且执行长期参考帧信息修改处理(参见稍后描述的图26中的流程图)。

另一方面，在步骤S183中确定不修改长期参考帧信息的情况下，或者在步骤S184中执行了长期参考帧信息修改处理之后，参考帧列表设置处理结束。

同时，在步骤S181中确定不指定在SPS NAL单元中已经定义的参考帧列表的情况下，处理进行至步骤S185。在步骤S185中，解码单元34对参考帧列表执行解码处理，并且随后，参考帧列表指定和设置处理结束。

图26是说明在图25的步骤S184中执行的长期参考帧信息修改处理的流程图。

在步骤S191中，解码单元34获取具有在图25的步骤S182中获取的索引的参考帧列表中的长期数k，并且将参数i设置为零(i＝0)。

在步骤S192中，解码单元34确定参数i是否小于长期数k。

在解码单元34在步骤S192中确定参数i小于长期数k(i＜k)的情况下，处理进行至步骤S193。

在步骤S193中，解码单元34根据长期参考帧信息来修改第i个长期参考帧的绝对位置。

在步骤S194中，解码单元34使参数i递增(i＝i+1)，并且随后，处理返回至步骤S192。

另一方面，在解码单元34在步骤S192中确定参数i不小于长期数k(i≥k)的情况下，长期参考帧信息修改处理结束。

通过如上所述的参考帧列表指定和设置处理，图像解码装置30可以根据在由如以上参照图19或图21描述的比特流组成的运动图像文件中修改的长期参考帧信息对图像进行解码。

<计算机的示例性配置>

接下来，上述一系列处理(图像解码方法和图像编码方法)可以由硬件执行也可以由软件执行。在所述一系列处理由软件执行的情况下，构成该软件的程序被安装在通用计算机等中。

图27是示出根据实施方式的计算机的示例性配置的框图，在该计算机上安装了执行上述一系列处理的程序。

程序可以被预先记录在作为内置在计算机中的记录介质的硬盘105或只读存储器(ROM)103上。

可替选地，程序可以被保存(记录)在由驱动器109驱动的可移除记录介质111中。这样的可移除记录介质111可以作为所谓的封装软件来提供。此处，可移除记录介质111的示例包括软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘和半导体存储器。

注意，不仅可以如上所述将程序从可移除记录介质111安装在计算机上，而且可以经由通信网络或广播网络将程序下载到计算机以将其安装在内置硬盘105上。也就是说，例如，可以经由用于进行数字卫星广播的人造卫星将程序从下载站点无线传送至计算机，或者可以经由网络例如局域网(LAN)或因特网有线地将程序传送至计算机。

计算机具有内置的中央处理单元(CPU)102并且输入/输出接口110经由总线101与CPU 102连接。

当响应于例如用户对输入单元107进行操作而经由输入/输出接口110输入命令时，CPU 102根据该命令执行存储在只读存储器(ROM)103中的程序。可替选地，CPU 102将保存在硬盘105中的程序加载到随机存取存储器(RAM)104中并执行所加载的程序。

这使CPU 102执行根据上述流程图的处理或以上述框图中的配置执行的处理。然后，CPU 102例如经由输入/输出接口110根据需要从输出单元106输出处理结果或从通信单元108发送结果，并且另外地，将结果记录在例如硬盘105上。

注意，输入单元107由键盘、鼠标、麦克风等构成。此外，输出单元106由液晶显示器(LCD)、扬声器等构成。

此处，在本说明书中，计算机根据程序执行的处理不必一定以流程图中描述的顺序按时间顺序执行。也就是说，由计算机根据程序执行的处理包括并行地或单独地执行的处理(例如，并行处理或由对象进行的处理)。

另外，程序可以由单个计算机(处理器)处理，或者可替选地，可以由多个计算机以分布式方式处理。此外，程序可以被传送至远程计算机并被执行。

另外，在本说明书中，系统代表多个组成构件(例如，装置和模块(部件))的集合，并且是否将所有组成构件都放置在同一机柜内并不重要。因此，容纳在不同机柜中以经由网络彼此连接的多个装置以及其中多个模块容纳在一个机柜内的一个装置均被视为系统。

此外，例如，可以对被描述为一个装置(或处理单元)的配置进行划分以便将其被配置为多个装置(或处理单元)。相反，可以将上面描述为多个装置(或处理单元)的配置集成以便将其配置为一个装置(或处理单元)。另外，当然，可以将除了上述配置之外的配置添加到相应装置(或处理单元)的配置中。此外，只要系统的配置或动作总体上保持基本不变，则可以将特定装置(或处理单元)的一部分配置包括在另一装置(或处理单元)的配置中。

同时，例如，本技术可以采取云计算配置，在云计算配置中，一个功能被划分并且被分配给多个装置以便经由网络在所述多个装置中协调处理。

另外，例如，上述程序可以由任何装置执行。在那种情况下，仅需要该装置具有必要的功能(功能块等)使得那些必要的信息可以被获得。

此外，例如，上述流程图中描述的各个步骤可以由多个装置共享执行，也可以由单个装置执行。此外，在一个步骤中包括多个处理的情况下，包括在一个步骤中的多个处理可以由多个装置共享执行，也可以由单个装置执行。换句话说，包括在一个步骤中的多个处理也可以作为多个步骤中的处理来执行。相反，被描述为多个步骤的处理也可以被集成到一个步骤并被执行。

注意，可以以如下方式设计由计算机执行的程序，该方式使得描述程序的步骤的处理以本说明书中描述的顺序按时间顺序执行，或者并行地或在必要的定时例如在被调用时单独执行。换句话说，只要不存在不一致，就可以以与上述顺序不同的顺序执行各个步骤的处理。此外，描述程序的步骤的这些处理可以与其他程序的处理并行执行，或者可以与另一程序的处理组合执行。

注意，只要不存在不一致，本说明书中描述的多种本技术中的每种技术都可以独立地单独执行。当然，也可以同时执行任意多种本技术。例如，在任何实施方式中描述的本技术的一部分或全部可以与另一实施方式中描述的本技术的一部分或全部组合执行。另外，以上描述的本技术中的任一本技术的一部分或全部也可以与以上未提及的其他技术同时执行。

<配置的示例性组合>

注意，本技术还可如下配置。

(1)

一种图像解码装置，包括：

解码单元，其对由访问单元组成的比特流的图像进行解码，在所述访问单元中布置有至少一个或更多个NAL(网络抽象层)单元，其中，

指示当前图片要参考的参考图像的参考图像信息已经被保存在所述访问单元的报头区域中。

(2)

根据以上(1)所述的图像解码装置，其中，

所述参考图像信息已经被保存在指示所述访问单元的分隔符的AUD(访问单元分隔符)NAL单元中，并且被应用于所述访问单元中的所有图块组NAL单元。

(3)

根据以上(1)所述的图像解码装置，其中，

所述参考图像信息已经被保存在与指示所述访问单元的分隔符的AUD(访问单元分隔符)NAL单元分开设置的用于识别的NAL单元中，并且被应用于所述访问单元中的所有图块组NAL单元。

(4)

根据以上(1)至(3)中任一项所述的图像解码装置，其中，

所述参考图像信息包括指示所述参考图像是否被指定为长期参考图片的长期信息。

(5)

根据以上(4)所述的图像解码装置，其中，

所述长期信息包括指定基于来自作为所述比特流的接收侧的客户端的信息而决定的所述参考图像的信息。

(6)

根据以上(5)所述的图像解码装置，其中，

按照每帧来更新来自所述客户端的信息。

(7)

根据以上(4)至(6)中任一项所述的图像解码装置，其中，

所述长期信息已经被保存在指示所述访问单元的分隔符的AUD(访问单元分隔符)NAL单元中，并且被应用于所述访问单元中的所有图块组NAL单元。

(8)

根据以上(4)至(6)中任一项所述的图像解码装置，其中，

所述长期信息已经被保存在与指示所述访问单元的分隔符的AUD(访问单元分隔符)NAL单元分开设置的用于识别的NAL单元中，并且被应用于所述访问单元中的所有图块组NAL单元。

(9)

一种图像解码方法，包括：

由执行图像解码处理的图像解码装置对由访问单元组成的比特流的图像进行解码，在所述访问单元中布置有至少一个或更多个NAL(网络抽象层)单元，其中，

指示当前图片要参考的参考图像的参考图像信息已经被保存在所述访问单元的报头区域中。

(10)

一种图像编码装置，包括：

编码单元，其对由访问单元组成的比特流的图像进行编码，在所述访问单元中布置有至少一个或更多个NAL(网络抽象层)单元，其中，

指示当前图片要参考的参考图像的参考图像信息被保存在所述访问单元的报头区域中。

(11)

根据以上(10)所述的图像编码装置，其中，

所述参考图像信息被保存在指示所述访问单元的分隔符的AUD(访问单元分隔符)NAL单元中，并且被应用于所述访问单元中的所有图块组NAL单元。

(12)

根据以上(10)所述的图像编码装置，其中，

所述参考图像信息被保存在与指示所述访问单元的分隔符的AUD(访问单元分隔符)NAL单元分开设置的用于识别的NAL单元中，并且被应用于所述访问单元中的所有图块组NAL单元。

(13)

根据以上(10)至(12)中任一项所述的图像编码装置，其中，

所述参考图像信息包括指示所述参考图像是否被指定为长期参考图片的长期信息。

(14)

根据以上(13)所述的图像编码装置，其中，

所述长期信息包括指定基于来自作为所述比特流的接收侧的客户端的信息而决定的参考图像的信息。

(15)

根据以上(14)所述的图像编码装置，其中，

按照每帧来更新来自所述客户端的信息。

(16)

根据以上(13)至(15)中任一项所述的图像编码装置，其中，

所述长期信息被保存在指示所述访问单元的分隔符的AUD(访问单元分隔符)NAL单元中，并且被应用于所述访问单元中的所有图块组NAL单元。

(17)

根据以上(13)至(15)中任一项所述的图像编码装置，其中，

所述长期信息被保存在与指示所述访问单元的分隔符的AUD(访问单元分隔符)NAL单元分开设置的用于识别的NAL单元中，并且被应用于所述访问单元中的所有图块组NAL单元。

(18)

一种图像编码方法，包括：

由执行图像编码处理的图像编码装置对由访问单元组成的比特流的图像进行编码，在所述访问单元中布置有至少一个或更多个NAL(网络抽象层)单元，其中，

指示当前图片要参考的参考图像的参考图像信息被保存在所述访问单元的报头区域中。

注意，本实施方式不限于上述实施方式，并且在不脱离本公开内容的范围的情况下可以进行各种修改。此外，本说明书中描述的效果仅用作示例，并且不应被解释为是限制性的。可能还存在其他效果。

附图标记列表

10图像编码装置、11编码单元、12确定单元、13VCL缓冲器、14非VCL缓冲器、15文件生成单元、16控制单元、20存储单元、30图像解码装置、31VCL缓冲器、32非VCL缓冲器、33参数存储器、34解码单元、35输出缓冲器、37控制单元。