具体实施方式

(第一实施方式)

以下，参照附图对本发明的实施方式进行说明。

图1是表示本实施方式的图像传输系统1的构成的概略图。

图像传输系统1是传输对编码对象图像进行编码而得到的编码流，对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括：运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及运动图像显示装置(图像显示装置)41。

运动图像编码装置11被输入图像T。

网络21将运动图像编码装置11所生成的编码流Te传输至运动图像解码装置31。网络21是互联网(Intemet)、广域网(WAN：Wide Area Network)、小型网络(LAN：Local AreaNetwork，局域网)或它们的组合。网络21不一定限定于双向的通信网，也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外，网络21也可以用DVD(DigitalVersatile Disc：数字通用光盘，注册商标)、BD(Blue-ray Disc：蓝光光盘，注册商标)等记录有编码流Te的存储介质代替。

运动图像解码装置31对网络21所传输的编码流Te分别进行解码，生成解码后的一个或多个解码图像Td。

运动图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像Td的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机EL(Electro-luminescence：电致发光)显示器等显示设备。作为显示器的形式，可列举出固定式、移动式、HMD等。此外，在运动图像解码装置31具有高处理能力的情况下显示画质高的图像，在仅具有较低处理能力的情况下显示不需要高处理能力、高显示能力的图像。

＜运算符＞

以下记述在本说明书中使用的运算符。

＞＞为向右位移，<<为向左位移，&为逐位AND，|为逐位OR，|＝为OR代入运算符，||表示逻辑和。

x？y：z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。

Clip3(a，b，c)是将c裁剪到a以上b以下的值的函数，是在c＜a的情况下返回a、在c＞b的情况下返回b、在其他情况下返回c的函数(其中a＜＝b)。

abs(a)是返回a的绝对值的函数。

Int(a)是返回a的整数值的函数。

floor(a)是返回a以下的最大整数的函数。

ceil(a)是返回a以上的最大整数的函数。

a/d表示a除以d(舍去小数点以下)。

<编码流Te的结构＞

在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前，对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流Te的数据结构进行说明。

图4是表示编码流Te中的数据的分级结构的图。编码流Te示例性地包括序列和构成序列的多张图片。图4的(a)～(f)分别是表示既定序列SEQ的编码视频序列、规定图片PICT的编码图片、规定切片S的编码切片、规定切片数据的编码切片数据、编码切片数据中所包括的编码树单元以及编码树单元中所包括的编码单元的图。

(编码视频序列)

在编码视频序列中，规定有运动图像解码装置31为了对处理对象的序列SEQ进行解码而参照的数据的集合。序列SEQ如图4的(a)所示，包括视频参数集(Video ParameterSet)、序列参数集SPS(Sequence Parameter Set)、图片参数集PPS(Picture ParameterSet)、图片PICT以及补充增强信息SEI(Supplemental Enhancement Information)。

视频参数集VPS在由多层构成的运动图像中，规定有多个运动图像通用的编码参数的集合，以及运动图像中所包括的多层和与各层关联的编码参数的集合。

在序列参数集SPS中，规定有运动图像解码装置31为了对对象序列进行解码而参照的编码参数的集合。例如，规定有图片的宽度、高度。需要说明的是，SPS可以存在多个。在该情况下，从PPS中选择多个SPS中的任一个。

在图片参数集PPS中，规定有运动图像解码装置31为了对对象序列内的各图片进行解码而参照的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)和指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是，PPS可以存在多个。在该情况下，从对象序列内的各图片中选择多个PPS中的任一个。

(编码图片)

在编码图片中，规定有运动图像解码装置31为了对处理对象的图片PICT进行解码而参照的数据的集合。图片PICT如图4的(b)所示，包括切片0～切片NS-1(NS为图片PICT中所包括的切片的总数)。

需要说明的是，以下，在无需对各切片0～切片NS-1进行区分的情况下，有时会省略附图标记的下标来进行记述。此外，以下所说明的编码流Te中所包括的且带有下标的其它数据也是同样的。

(编码切片)

在编码切片中，规定有运动图像解码装置31为了对处理对象的切片S进行解码而参照的数据的集合。切片如图4的(c)所示包括切片报头和切片数据。

切片报头中包括运动图像解码装置31为了确定对象切片的解码方法而参照的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片报头中所包括的编码参数的一个示例。

作为能由切片类型指定信息指定的切片类型，可列举出：(1)在进行编码时仅使用帧内预测的I切片、(2)在进行编码时使用单向预测或帧内预测的P切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的B切片等。需要说明的是，帧间预测不限于单向预测、双向预测，也可以使用更多的参照图片来生成预测图像。以下，称为P、B切片的情况是指包括能使用帧间预测的块的切片。

需要说明的是，切片报头中也可以包括对图片参数集PPS的参照(pic_parameter_set_id)。

(编码切片数据)

在编码切片数据中，规定有运动图像解码装置31为了对处理对象的切片数据进行解码而参照的数据的集合。切片数据如图4的(d)所示包括CTU。CTU是构成切片的固定大小(例如64×64)的块，也称为最大编码单位(LCU：Largest Coding Unit)。

(编码树单元)

在图4的(e)中，规定有运动图像解码装置31为了对处理对象的CTU进行解码而参照的数据的集合。CTU通过递归的四叉树分割(QT(Quad Tree)分割)、二叉树分割(BT(Binary Tree)分割)或三叉树分割(TT(Temary Tree)分割)分割成作为编码处理的基本单位的编码单元CU。将BT分割和TT分割统称为多叉树分割(MT(Multi Tree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(Coding Node)。四叉树、二叉树以及三叉树的中间节点为编码节点，CTU本身也被规定为最上层的编码节点。

CT包括以下信息作为CT信息：表示是否进行QT分割的QT分割标志(split_cu_flag)、表示有无MT分割的MT分割标志(split_mt_flag)、表示MT分割的分割方向的MT分割方向(split_mt_dir)、表示MT分割的分割类型的MT分割类型(split_mt_type)。split_cu_flag、split_mt_flag、split_mt_dir、split_mt_type按每个编码节点进行传输。

在split_cu_flag为1的情况下，编码节点分割成4个编码节点(图5的(b))。

在split_cu_flag为0时，split_mt_flag为0的情况下，不分割编码节点，而保持1个CU作为节点(图5的(a))。CU为编码节点的末端节点，且不进行进一步分割。CU为编码处理的基本单位。

在split_mt_flag为1的情况下如下所示地对编码节点进行MT分割。在split_mt_type为0时，split_mt_dir为1的情况下，将编码节点水平分割成2个编码节点(图5的(d))，在split_mt_dir为0的情况下将编码节点垂直分割成2个编码节点(图5的(c))。此外，在split_mt_type为1时，split_mt_dir为1的情况下，将编码节点水平分割成3个编码节点(图5的(f))，在split_mt_dir为0的情况下将编码节点垂直分割成3个编码节点(图5的(e))。将它们在图5的(g)中示出。

此外，在CTU的尺寸为64×64像素的情况下，CU的大小能取64×64像素、64×32像素、32×64像素、32×32像素、64×16像素、16×64像素、32×16像素、16×32像素、16×16像素、64×8像素、8×64像素、32×8像素、8×32像素、16×8像素、8×16像素、8×8像素、64×4像素、4×64像素、32×4像素、4×32像素、16×4像素、4×16像素、8×4像素、4×8像素以及4×4像素中的任一种。

CTU由亮度块和色差块构成。此外，表示CTU的分割结构的分割树有在亮度和色差使用独立的两个分割树的DUAL树(Separate tree，分离树)和在亮度和色差使用共同的分割树的SINGLE树。以往，在SINGLE树中，亮度和色差的CU分割是联动的。换言之，在4∶2∶0格式下，色差块被分割成与亮度块形状相同且水平和垂直方向均为1/2大小的块。在4∶2∶2格式下，色差块与亮度块在水平方向上被分割成1/2大小，在垂直方向上被分割成大小相同的块。

(编码单元)

如图4的(f)所示，规定有运动图像解码装置31为了对处理对象的编码单元进行解码而参照的数据的集合。具体而言，CU由CU报头CUH、预测参数、变换参数、量化变换系数等构成。在CU报头中规定有预测模式等。

预测处理存在以CU为单位进行的情况和以将CU进一步分割后得到的子CU为单位进行的情况。在CU与子CU的大小相等的情况下，CU中的子CU为1个。在CU的大小大于子CU的大小的情况下，CU被分割成子CU。例如，在CU为8×8、子CU为4×4的情况下，CU被分割成4个子CU，包括水平分割的两部分和垂直分割的两部分。

预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。

变换/量化部处理以CU为单位来进行，但量化变换系数也可以以4×4等的子块为单位来进行熵编码。

(预测参数)

预测图像由附加于块的预测参数而推导出。预测参数中存在帧内预测和帧间预测的预测参数。

(运动图像解码装置的构成)

对本实施方式的运动图像解码装置31(图6)的构成进行说明。

运动图像解码装置31构成为包括：熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312。需要说明的是，根据后文所述的运动图像编码装置11，也存在运动图像解码装置31中不包括环路滤波器305的构成。

参数解码部302还具备报头解码部3020、CT信息解码部3021以及CU解码部3022(预测模式解码部)，CU解码部3022还具备TU解码部3024。也可以将它们统称为解码模块。报头解码部3020从编码数据解码VPS、SPS、PPS等参数集信息、切片报头(切片信息)。CT信息解码部3021从编码数据解码CT。CU解码部3022从编码数据解码CU。TU解码部3024在TU中包括预测误差的情况下，从编码数据解码QP更新信息(量化校正值)和量化预测误差(residual_coding)。

此外，参数解码部302构成为包括未图示的帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。

此外，在下文中对将CTU、CU用作处理单位的示例进行了记载，但不限于此，也可以以子CU为单位进行处理。或者，也可以设为将CTU、CU替换为块，将子CU替换为子块，以块或子块为单位进行的处理。

熵解码部301对从外部输入的编码流Te进行熵解码，分离各个代码(语法要素)并进行解码。熵编码中存在如下方式：使用根据语法要素的种类、周围的状况而适当选择出的上下文(概率模型)对语法要素进行可变长度编码的方式；以及使用预定的表或计算式对语法要素进行可变长度编码的方式。前者CABAC(Context Adaptive Binary ArithmeticCoding：上下文自适应二进制算术编码)将按每个编码或解码后的图片(切片)进行更新的概率模型储存于存储器。然后，作为P图片或B图片的上下文的初始状态，根据储存于存储器的概率模型，设定使用了相同的切片类型、相同的切片级别的量化参数的图片的概率模型。将该初始状态用于编码、解码处理。分离后的代码中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。

熵解码部301将分离后的代码输出至参数解码部302。分离后的代码例如是预测模式predMode(pred_mode_flag)、合并标志merge_flag、合并索引merge_idx、帧间预测标识符inter_pred_idc、参考图片索引refIdxLX、预测矢量索引mvp_LX_idx以及差分矢量mvdLX等。基于参数解码部302的指示来进行对哪一个代码进行解码的控制。

(基本流程)

图7是对运动图像解码装置31的概略动作进行说明的流程图。

(S1100：参数集信息解码)报头解码部3020从编码数据对VPS、SPS、PPS等参数集信息进行解码。

(S1200：切片信息解码)报头解码部3020从编码数据对切片报头(切片信息)进行解码。

以下，运动图像解码装置31通过对对象图片中包括的各CTU重复进行S1300到S5000的处理来推导出各CTU的解码图像。

(S1300：CTU信息解码)CT信息解码部3021从编码数据对CTU进行解码。

(S1400：CT信息解码)CT信息解码部3021从编码数据对CT进行解码。

(S1500：CU解码)CU解码部3022实施S1510、S1520，并从编码数据对CU进行解码。

(S1510：CU信息解码)CU解码部3022从编码数据对CU信息、分割信息、预测信息、TU分割标志split_transform_flag、CU残差标志cbf_cb、cbf_cr、cbf_luma等进行解码。此外，上述分割信息是规定上述的亮度块和色差块的分割树的构造的信息。

(S1520：TU信息解码)TU解码部3024在TU中包括预测误差的情况下，从编码数据对QP更新信息(量化校正值)和量化预测误差(residual_coding)进行解码。需要说明的是，QP更新信息是与作为量化参数QP的预测值的量化参数预测值qPpred的差分值。

(S2000：预测图像生成)预测图像生成部308针对对象CU中所包括的各块，基于由参数解码部302解码后的分割信息和预测信息来生成预测图像。

(S3000：逆量化/逆变换部)逆量化/逆变换部311针对对象CU中所包括的各TU，执行逆量化/逆变换部处理。

(S4000：解码图像生成)加法器312通过将由预测图像生成部308供给的预测图像与由逆量化/逆变换部311供给的预测误差相加来生成对象CU的解码图像。

(S5000：环路滤波)环路滤波器305对解码图像施加去块滤波、SAO、ALF等环路滤波，生成解码图像。

(CT信息解码的处理)

以下，参照图8、图9、图10对CT信息解码的处理进行说明。图8是对本发明的一实施方式的CT信息解码部3021的动作进行说明的流程图。此外，图9是表示本发明的一实施方式的CTU和QT信息的语法表的构成例的图，图10是表示本发明的一实施方式的MT分割信息的语法表的构成例的图。

CT信息解码部3021从编码数据对CT信息进行解码，递归地对编码树CT(coding_quadtree)进行解码。具体而言，CT信息解码部3021对QT信息进行解码，对对象CT coding_quadtree(x0，y0，log2CbSize，cqtDepth)进行解码。需要说明的是，(x0，y0)是对象CT的左上坐标，log2CbSize是以作为CT的大小的CT大小2为底的对数即对数CT大小，cqtDepth是表示CT的分级的CT深度(QT深度)。

(S1411)CT信息解码部3021判定解码后的CT信息是否具有QT分割标志。在具有QT分割标志的情况下转移至S1421，在除此以外的情况下转移至S1422。

(S1421)CT信息解码部3021在判定为对数CT大小log2CbSize大于MinCbLog2SizeY的情况下，对QT分割标志(split_cu_flag)进行解码。

(S1422)CT信息解码部3021在除此以外的情况下，省略从编码数据对QT分割标志split_cu_flag进行解码，将QT分割标志split_cu_flag设定为0。

(S1450)在QT分割标志split_cu_flag为0以外的情况下转移至S1451，在除此以外的情况下转移至S1471。

(S1451)CT信息解码部3021进行QT分割。具体而言，CT信息解码部3021在CT深度cqtDepth+1的位置(x0，y0)、(x1，y0)、(x0，y1)、(x1，y1)对对数CT大小log2CbSize-1的四个CT进行解码。

coding_quadtree(x0，y0，log2CbSize-1，cqtDepth+1)

coding_quadtree(x1，y0，log2CbSize-1，cqtDepth+1)

coding_quadtree(x0，y1，log2CbSize-1，cqtDepth+1)

coding_quadtree(x1，y1，log2CbSize-1，cqtDepth+1)

在此，(x0，y0)是对象CT的左上坐标，(x1，y1)是如以下算式所述将(x0，y0)加上CT大小(1＜＜log2CbSize)的1/2而推导出的。

x1＝x0+(1＜＜(log2CbSize-1))

y1＝y0+(1＜＜(log2CbSize-1))

1＜＜N是与2的N次幂相同的值(以下同样)。

而且，CT信息解码部3021如下式，更新表示CT的分级的CT深度cqtDepth和对数CT大小log2CbSize。

cqtDepth＝cqtDepth+1

log2CbSize＝log2CbSize-1

CT信息解码部3021在下位的CT中，也使用更新后的左上坐标、对数CT大小、CT深度，继续从S1411开始的QT信息解码。

QT分割结束后，CT信息解码部3021从编码数据对CT信息进行解码，递归地对编码树CT(MT、coding_multitree)进行解码。具体而言，CT信息解码部3021对MT分割信息进行解码，对对象CT coding_multitree(x0，y0，cbWidth，cbHeight，mtDepth)进行解码。需要说明的是，cbWidth是CT的宽度，cbHeight是CT的高度，mtDepth是表示多叉树的分级的CT深度(MT深度)。

(S1471)CT信息解码部3021判定解码后的CT信息是否具有MT分割标志(分割信息)。在具有MT分割标志的情况下转移至S1481。在除此以外的情况下转移至S1482。

(S1481)CT信息解码部3021对MT分割标志split_mt_flag进行解码。

(S1482)CT信息解码部3021不从编码数据对MT分割标志split_mt_flag进行解码，而将其设定为0。

(S1490)CT信息解码部3021在MT分割标志split_mt_flag为0以外的情况下，转移至S1491。在除此以外的情况下，CT信息解码部3021不分割对象CT，结束处理(转移至CU的解码)。

(S1491)CT信息解码部3021进行MT分割。对表示MT分割的方向的标志split_mt_dir和表示MT分割是二叉树还是三叉树的语法要素split_mt_type进行解码。CT信息解码部3021在MT分割类型split_mt_type为0(分割成两部分)，并且MT分割方向split_dir_flag为1(水平分割)的情况下，对以下的两个CT进行解码(BT分割信息解码)。

coding_multitree(x0，y0，cbWidth，cbHeight/2，mtDepth+1)

coding_multitree(x0，y1，cbWidth，cbHeight/2，mtDepth+1)

另一方面，在MT分割方向split_dir_flag为0(垂直分割)的情况下，对以下的两个CT进行解码(BT分割信息解码)。

coding_multitree(x0，y0，cbWidth/2，cbHeight，mtDepth+1)

coding_multitree(x1，y0，cbWidth/2，cbHeight，mtDepth+1)

在此，(x1，y1)通过以下的算式进行推导。

x1＝x0+cbWidth/2

y1＝y0+cbHeight/2

而且，如下式更新cbWidth或cbHeight。

cbWidth＝cbWidth/2

cbHeight＝cbHeight/2

CT信息解码部3021在MT分割类型split_mt_type表示1(分割成三部分)的情况下，对三个CT进行解码(TT分割信息解码)。

在MT分割方向split_dir_flag为1(水平分割)的情况下，对以下的三个CT进行解码。

coding_multitree(x0，y0，cbWidth，cbHeight/4，mtDepth+1)

coding_multitree(x0，y1，cbWidth，cbHeight/2，mtDepth+1)

coding_multitree(x0，y2，cbWidth，cbHeight/4，mtDepth+1)

另一方面，在MT分割方向split_dir_flag为1(垂直分割)的情况，对以下的三个CT进行解码(TT分割信息解码)。

coding_multitree(x0，y0，cbWidth/4，cbHeight，mtDepth+1)

coding_multitree(x1，y0，cbWidth/2，cbHeight，mtDepth+1)

coding_multitree(x2，y0，cbWidth/4，cbHeight，mtDepth+1)

在此，(x1，y1)、(x2，y2)如以下的算式进行推导。

x1＝x0+cbWidth/4

y1＝y0+cbHeight/4

x2＝x0+3＊cbWidth/4

y2＝y0+3＊cbHeight/4

CT信息解码部3021在下位的CT中，也使用更新后的左上坐标、CT的宽度以及高度、MT深度，继续从S1471开始的BT分割信息解码或者TT分割信息解码。

此外，CT信息解码部3021在MT分割标志split_mt_flag为0的情况下，即既不进行QT分割也不进行MT分割的情况下，通过CU解码部3022对CU(coding_unit(x0，y0，cbWidth，cbHeight))进行解码。

此外，参数解码部302构成为包括未图示的帧间预测参数解码部303和帧内预测参数解码部304。预测图像生成部308构成为包括未图示的帧间预测图像生成部309和帧内预测图像生成部3021。

环路滤波器305是设于编码环路内的滤波器，是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的CU的解码图像实施去块滤波、取样自适应偏移(SAO)、自适应环路滤波(ALF)等滤波。

参照图片存储器306将加法部312所生成的CU解码图像按每个对象图片和对象CU存储于预定的位置。

预测参数存储器307将预测参数按每个解码对象的CTU或CU存储于预定的位置。具体而言，预测参数存储器307存储由参数解码部302解码后的参数和由熵解码部301分离后的预测模式predMode等。

预测图像生成部308被输入预测模式predMode、预测参数等。此外，预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在预测模式predMode所指示的预测模式下，使用预测参数和读出的参照图片(参照图片块)来生成块或子块的预测图像。在此，参照图片块是指参照图片上的像素的集合(通常为矩形因此称为块)，是为了生成预测图像而参照的区域。

逆量化/逆变换部311将从熵解码部301输入的量化变换系数逆量化来求出变换系数。该量化变换系数是在编码处理中对预测误差进行DCT(Discrete Cosine Transform、离散余弦变换)、DST(Discrete Sine Transform、离散正弦变换)等频率变换并量化而得到的系数。逆量化/逆变换部311对求出的变换系数进行逆DCT、逆DST、逆KLT等逆频率变换，计算预测误差。逆量化/逆变换部311将预测误差输出至加法部312。

加法部312将从预测图像生成部308输入的块的预测图像与从逆量化/逆变换部311输入的预测误差按每个像素相加，生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306，并向环路滤波器305输出。

(运动图像编码装置的构成)

接着，对本实施方式的运动图像编码装置11的构成进行说明。图11是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括：预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111以及熵编码部104。

预测图像生成部101按将每个图像T的各图片分割而成的区域即CU生成预测图像。预测图像生成部101进行与已说明的预测图像生成部308相同的动作，在此省略其说明。

减法部102从图像T的像素值中减去从预测图像生成部101输入的块的预测图像的像素值，生成预测误差。减法部102将预测误差输出至变换/量化部103。

变换/量化部103对从减法部102输入的预测误差，通过频率变换计算出变换系数，并通过量化推导出量化变换系数。变换/量化部103将量化变换系数输出至熵编码部104和逆量化/逆变换部105。

逆量化/逆变换部105与运动图像解码装置31中的逆量化/逆变换部311(图6)相同，在此省略其说明。计算出的预测误差输入至加法部106。

熵编码部104中，从变换/量化部103输入量化变换系数，从参数编码部111输入编码参数。在编码参数中，例如存在参考图片索引refIdxLX、预测矢量索引mvp_LX_idx、差分矢量mvdLX、预测模式predMode以及合并索引merge_idx等代码。

熵编码部104对分割信息、预测参数、量化变换系数等进行熵编码生成编码流Te并输出。

参数编码部111具备：未图示的报头编码部1110、CT信息编码部1111、CU编码部1112(预测模式编码部)以及帧间预测参数编码部112和帧内预测参数编码部113。CU编码部1112还具备TU编码部1114。

以下，对各模块的概略动作进行说明。参数编码部111进行报头信息、分割信息、预测信息、量化变换系数等参数的编码处理。

CT信息编码部1111根据编码数据对QT、MT(BT、TT)分割信息等进行编码。

CU编码部1112对CU信息、预测信息、TU分割标志split_transform_flag、CU残差标志cbf_cb、cbf_cr、cbf_luma等进行编码。

TU编码部1114在TU中包括预测误差的情况下，对QP更新信息(量化校正值)和量化预测误差(residual_coding)进行编码。

CT信息编码部1111、CU编码部1112将帧间预测参数(预测模式predMode、合并标志merge_flag、合并索引merge_idx、帧间预测识别子inter_pred_idc、参照图片索引refIdxLX、预测矢量索引mvp_LX_idx、差分矢量mvdLX)、帧内预测参数(intra_luma_mpm_flag、intraluma_mpm_idx、intra_luma_mpm_remainder)、量化变换系数等的语法要素供给至熵编码部104。

加法部106将从预测图像生成部101输入的块预测图像的像素值和从逆量化/逆变换部105输入的预测误差按每个像素相加来生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。

环路滤波器107对加法部106所生成的解码图像，实施去块滤波、SAO、ALF。需要说明的是，环路滤波器107不一定包括上述三种滤波器，例如也可以是仅包括去块滤波器的构成。

预测参数存储器108将编码参数确定部110所生成的预测参数按每个对象图片和CU存储于预定的位置。

参照图片存储器109将环路滤波器107所生成的解码图像按每个对象图片和CU每存储于预定的位置。

编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的QT、BT或TT分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。

编码参数确定部110对多个集合的每一个集合计算出表示信息量的大小和编码误差的RD成本值。RD成本值例如是代码量与平方误差乘以系数λ而得到的值之和。代码量是对量化误差和编码参数进行熵编码而得到的编码流Te的信息量。平方误差是在减法部102中计算出的预测误差的平方和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。由此，熵编码部104将所选出的编码参数的集合作为编码流Te输出。编码参数确定部110将所确定的编码参数存储于预测参数存储器108。

需要说明的是，可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分，例如，熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及参数编码部111。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的″计算机系统″是指内置于运动图像编码装置11、运动图像解码装置31中的任-个的计算机系统，采用包括OS、外围设备等硬件的计算机系统。此外，″计算机可读记录介质″是指软盘、磁光盘、ROM、CD-ROM等可移动介质、内置于计算机系统的硬盘等存储装置。而且，″计算机可读记录介质″也可以包括：像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质；以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保存程序固定时间的记录介质。此外，上述程序可以是用于实现上述功能的一部分的程序，也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。

(预测图像生成处理例1)

以下，对本实施方式的图像解码装置31中的预测图像生成处理的第一例进行说明。人的眼睛对亮度的变化比对色差的变化更敏感，广泛采用色差信号的分辨率比亮度信号稀疏的所谓4∶2∶2或4∶2∶0的分辨率。然而，以往，在SINGLE树中，如上所述，在亮度和色差使用共同的分割树。因此，特别是在将亮度块分割成较小的大小的情况下，存在色差块的编码单位被分割得比CU的最小的大小(例如4×4)更细的情况，会降低预测图像生成处理整体的吞吐量。以下，对解决上述的问题的图像解码装置31的一例进行说明。

本例的CU解码部3022(参数解码部302)在图7的步骤S1510中，从编码数据对CU信息、亮度块和色差块的分割信息以及在被分割的各亮度块的预测图像生成处理中所参照的预测信息等进行解码。

此外，CU解码部3022在色差块被分割成比规定的块大小更小的块的情况下，针对该色差块中所包括的各块对共同的预测信息进行解码。

此外，TU解码部3024对亮度块的预测残差(residual)和色差块的预测残差进行解码。在色差块为较小的大小的情况，汇总多个色差块的预测残差并对其进行解码。

对本例的CT信息解码部3021、CU解码部3022、TU解码部3024的处理进行说明。

(1)CT信息解码部3021递归地对CTU进行MTT分割，判定CT的大小(cbWidth，cbHeight)是否比规定的块大小更小，是否为不处于色差合并状态的情况(IsChromaMergeRegion＝＝0)。在判定为小于规定的块大小的情况下，转移至色差合并状态。规定的块大小可以是色差块的最小大小，例如与4×4对应的CT的块大小(8×8)。此外，规定的块大小可以根据CT的分割类型而相互不同(在其他构成要素中也同样)。例如，在四叉树分割、二叉树分割的情况下，规定的块大小可以是8×8。在三叉树分割的情况下，规定的块大小可以是16×8、8×16。此外，例如在BT分割中可以是cbWidth＊chHeight＜64＊2的判定，在TT分割中可以是cbWidth＊chHeight＜64＊4的判定，在QT分割中可以是cbWidth＊chHeight＜64＊4的判定。

在以下(2)～(4)中，对在(1)中转移至色差合并状态的情况下的处理进行说明。

(2)CU解码部3022在上述处理(1)中判定为CT大小(cbWidth，cbHeight)比规定的阈值小且为不处于色差合并状态的情况(IsChromaMergeRegion＝＝0)的情况下，将表示是否处于色差合并状态的标志IsChromaMergeRegion设定为合并状态(IsChromaMergeRegion＝1)，将表示是否对预测模式(帧内预测、帧间预测)的pred_mode-flag进行解码的标志IsPredModeFlagCoded初始化为0，将CT的左上坐标(x0，y0)、CT的大小(cbWidth，cbHeight)储存为表示色差合并区域的左上位置和大小的变量(chromaMergeRegionTopLeftX，chromaMergeRegionTopLeftY)，(chromaMergeRegionWidth，chromaMergeRegionHeight)。

(3)CU解码部3022仅在CT中所包括的多个CU中的按解码顺序的最初的CU(或末尾的CU)对pred_mode_flag进行解码。按解码顺序的最初的CU是CT的左上的CU，能由(x0＝＝chromaMergeRegionTopLeftX&&y0＝＝chromaMergeRegionTopLeftY)判定。按解码顺序的末尾的CU是CT的右下的CU，能由(x0+cbWidth＝chromaMergeRegionTopLeftX+chromaMergeRegionWidth&&y0+cbHeight＝＝chromaMergeRegionTopLeftY+chromaMergeRegionHeight)判定。

当在被分割的各CU对pred_mode_flag进行解码时，如图12的(A)所示，针对一个色差块存在四个pred_mode_flag，在它们不取相同的值的情况下在色差块的预测模式会产生矛盾。此外冗余的代码会降低编码效率。因此，如图12(B)所示，对多个亮度CU中的按解码顺序的最初的CU的pred_mode_flag进行解码，在后续的各CU中共享该pred_mode_flag。需要说明的是，CU解码部3022也可以针对多个CU中的按解码顺序的末尾的CU对pred_mode_flag进行解码，在剩余的各CU共享该pred_mode_flag。

(4)CU解码部3022在CT中所包括的一个以上的CU中对预测信息(intra_luma_mpm_flag、intra_luma_mpm_idx等)进行解码，TU解码部3024对残差信息(residua1)进行解码。CU解码部3022在色差分量中，针对按解码顺序的最初的CU或末尾的CU对色差的预测信息(例如intra_chroma_pred_mode)进行解码，TU解码部3024对在最初的CU或末尾的CU的位置的残差信息一并进行解码。由此，能多个色差CU使用共同的预测信息。

以下，参照图13～图16对用于针对色差块中所包括的各块对共同的预测信息进行解码的上述的各构成进行补充。图13是表示本实施方式的CT的语法表的构成例的图。此外，图14是表示接续图13所示的语法表的语法表的构成例的图。这些处理由CT信息解码部3021实施。

如图13的语法表的第3行所示，CT信息解码部3021对表示是否进行CU分割的CU分割标志(split_cu_flag)进行解码。与图9的示例不同，在此split_cu_flag表示QT分割或MT分割(BT分割/TT分割)中的任一个分割。而且，如第7行所示，对表示CU分割是否为QT分割的标志split_qt_flag进行解码。

如图13的语法表的第8行所示，判定对象CT的分割树是否为QT。在不为QT分割的情况(为MT分割的情况)下，进行第9行之后的处理，对表示MT分割的分割方向的MT分割方向(mtt_split_cu_vertical_flag)和表示MT分割的分割类型的MT分割类型(mtt_split_cu_binary_flag)进行解码。split_cu_flag、split_qt_flag、mtt_split_cu_vertical_fag、mtt_split_cu_binary_flag按每个编码节点被传输。

第13行、第32行的处理与上述(1)对应，是在对象CT中是否转移至色差合并区域的条件，在满足该条件的情况下，转移至色差合并状态。在判定中，判定CT是否为规定的块大小。例如，第13行中所记载的条件″(cbWidth＊cbHeight/2)＜64″表示被分割成两部分的CT的大小是否小于64的判定。

第14～20行、第33～38行的处理与上述(2)的构成对应。当转移至色差合并状态时，如第14～15行、第33～34行所示，将IsChromaMergeRegion设定为1，将表示是否对pred_mode_flag进行了解码的标志IsPredModeFlagCoded初始化为0。此外，第16～19行、第35～38行等将CT的左上坐标和大小(宽度、高度)储存为chromaMergeRegionTopLeftX、chromaMergeRegionTopLeftY、chromaMergeRegionWidth、chromaMergeRegionHeight。

此外，在split_cu_flag为1的情况下，换言之第5行的条件式为真的情况下，如第27～29行、第42行至48行等所示，递归地进行MTT分割，在不是这样的情况下，如第51行所示结束分割，执行CU的处理。

图15是表示本实施方式的CU的语法表的构成例的图。这些处理由CU解码部3022实施。图15的第3行的处理表示作为对象的分割树是否为色差的分离树(DUAL树)的判定。第6行～10行的处理与上述(3)对应。第6行的处理判定是否为作为对象的块中的按解码顺序的最初的块(IsPredModeFlagCoded＝＝1)或处于除了色差合并状态以外的情况(IsChromaMergeRegion＝＝0)，在为按解码顺序的最初的块或处于除了色差合并状态以外的情况下，按第7～9行对pred_mode_flag进行解码。将解码后的模式储存为PredModeFlagInfer。然后，将IsPredModeFlagCoded设定为1，设定为按解码顺序的第二个之后的块不进行该处理。

第12～15行的处理是第6行～10行的处理的其他构成例(替代处理)。就是说，实施任一方的处理。第12行的处理判定处于除了色差合并状态以外的情况或作为对象CU是否为色差合并区域的CT的左上的CU。在第12行中，判定对象CU的左上坐标(x0，y0)是否与在(2)中作为转移至色差合并状态的时间点的CT左上坐标而储存的(chromaMergeRegionTopLeftX，chromaMergeRegionTopLeftY)相等。在处于除了色差合并状态以外的情况或左上坐标与色差合并区域的CT左上坐标一致的情况下，对pred_mode_flag进行解码，将解码后的模式储存为PredModeFlagInfer。

此外，第29行和第30行的处理与上述(4)的构成对应。具体而言，如果对象为单树，且处于除了色差合并状态以外的状态(IsChromaMergeRegion＝＝0)，或为色差合并状态的CT中所包括的多个CU中的按解码顺序的末尾的CU，或为DUAL树的色差树，则对色差的预测信息进行解码。需要说明的是，第29行的处理也可以是按解码顺序的最初的CU的判定(x0＝＝chromaMergeReionTopLeftX&&y0＝＝chromaMergeRegionTopLeftY)来代替按解码顺序的末尾的CU的判定(x0+cbWidth＝＝chromaMergeReionTopLeftX+chromaRegionWidth&&y0+cbHeight＝＝chromaMergeRegionTopLeftY+chromaRegionHeight)。

图16是表示本实施方式的TU的语法表的构成例的图。这些处理由TU解码部3024实施。图16的语法表的第4行至第7行的处理和第19行至第24行的处理与上述(4)中的色差块的残差信息的解码处理对应。在第4行至第7行的处理中，仅在色差合并区域的右下的CU解码色差残差标志(tu_cbf_cb、tu_cbf_cb)。在第4行的判定为假的情况下，将式残差标志设定为0。此外，在第19行至第24行的处理中，解码色差合并区域整体的色差的残差。需要说明的是，第4行、第19行的处理是判定色差合并区域的末尾(右下)的CU的处理，但也可以是判定色差合并区域的最初(左上)的CU的处理。

如上所述，本例的图像解码装置31具备：参数解码部302，对以共同的树结构分割亮度块和色差块的分割信息和在生成分割出的各块的预测图像的生成处理中被参照的预测信息进行解码；以及预测图像生成部308，参照由参数解码部302解码后的分割信息和预测信息，生成与各亮度块和各色差块有关的预测图像，参数解码部302在上述色差块被分割成比规定的块大小更小的块的情况下，针对该色差块中所包括的各块对共同的预测信息进行解码。根据上述的构成，能提高图像解码装置31中的预测图像生成处理的性能。

(预测图像生成处理例2)

以下，对本实施方式的图像解码装置31中的预测图像生成处理的第二例进行说明。需要说明的是，为了方便说明，不对上述的示例中说明过的事项进行重复说明。在本例中，对为了抑制色差块的块大小被分割得比CU的最小大小更细，而在块大小为规定以下的情况下在亮度块和色差块中使用分离树的构成进行说明。因此，在CT为规定的大小以上时使用在亮度和色差应用相同的分割的单树，在CT小于规定的大小时使用在亮度和色差应用不同的分割的分离树(DUAL树)。在CT比规定大小更大的情况下使用单树，由此能在亮度块和色差块应用共同的运动矢量。因此，不需要另外对色差块的运动矢量进行编码，编码效率良好。

本例的CU解码部3022(参数解码部302)在图7的步骤S1510中，对在亮度块和色差块中具有共同的上位树结构且在亮度块和色差块中具有不同的下位树结构的分割信息和被分割的各块的预测图像生成处理所需的预测信息等进行解码。

对本例的CU解码部3022、TU解码部3024的处理进行说明。需要说明的是，(1)至(3)以及(4)的处理与(预测图像生成处理例1)相同，省略说明。需要说明的是，在(3)与(4)之间进行下述(5)的处理。

(5)CU解码部3022在转移至色差合并状态的时间点，将分割树的类型treeType设定为分离树的亮度树(DUAL_TREE_LUMA)。此外，在转移至色差合并状态的时间点，还对色差树(DUAL_TREE_CHROMA)进行解码。在转移至分离编码模式的状态下为单树，且在(3)中解码后的pred_mode_flag的值表示帧内预测的情况下，将分割树的类型treeType设定为分离树的亮度树(DUAL_TREE_LUMA)。因此，如果对象CU处于帧内预测模式，则将亮度和色差分离来进行之后的处理。因此，能减小亮度的块大小，能增大色差的块大小。

以下，参照图17～图20对在亮度块和色差块中，从分割的中途起在小块中使用独立的两个分割树的情况下的各构成进行补充。图17、图18以及图19是表示本实施方式的CT的语法表的构成例的图。它们表示同一语法表，图17表示作为对象的CT的分割树的CU分割标志split_cu_flag、QT分割标志split_qt_flag的解码和分割为BT或TT的情况(！split_qt_flag的情况)下的处理，图18表示作为对象的CT的分割树为QT的情况(split_qt_flag＝＝1)下的处理。在此，图17的语法表的第13行的处理与上述(1)对应，判定CT的大小(cbWidth，cbHeight)是否比规定的块大小更小(例如在BT分割中cbWidth＊chHeight＜64＊2，在TT分割中cbWidth＊chHeight＜64＊4)，是否为不处于色差合并状态的情况(IsChromaMergeRegion＝＝0)。在小于规定的块大小且为不处于色差合并状态的情况(IsChromaMergeRegion＝＝0)下进行第14～18行的处理所示的上述(2)的构成的处理。就是说，将色差合并状态设为1，储存色差合并区域的左上位置和大小。这些是与(预测图像生成处理例1)的图13、14相同的语法。但是，与实施方式1的情况不同，也可以是不一定保持CT的大小的构成。此外，在CT的分割树为QT的情况(图18)下也同样。在此，在CT的大小(cbWidth，cbHeight)比规定的块大小更小(例如早QT分割中cbWidth＊chHeight＜64＊4)，且为不处于色差合并状态的情况(IsChromaMergeRegion＝＝0)下，转移至色差合并状态，进行第12～15行的处理所示的上述(2)的构成的处理。

此外，图19表示在转移至色差合并状态的情况(IsChromaMergeRegion＝＝1)下，在单树的CT分割后对作为色差树的CT的coding_unit(...，DUAL_TREE_CHROMA)进行解码的处理。在此，在上述(2)中转移至色差合并状态的时间点，呼叫色差树。在该构成中，为了判定转移至色差合并状态的时间点，在上述(2)中，优选的是，设定IsChromaMergeRegion＝2来代替IsChromaMergeRegion＝1，在IsChromaMergeRegion＝＝2的情况下，在设定为IsChromaMergeRegion＝1后呼叫coding_unit(...，DUAL_TREE_CHROMA)的构成。就是说，在转移至色差合并状态的时间点(IsChromaMergeRegion＝＝2)，在单树的节点仅呼叫一次色差树。为了只呼叫一次，在呼叫的时间点，将IsChromaMergeRegion从2(色差合并移行状态)变更为1(色差合并状态)。此外，色差树的CT也可以在split_cu_flag为0的情况下，就是说在亮度树的一个节点coding_unit(x0，y0，cbWidth，cbHeight，partIdx，treeType)后，呼叫coding_unit(...，DUAL_TREE_CHROMA)。在该情况下，与图19不同，进行if

(split_cu_flag)

{

…

}

else

{

coding_unt(x0，y0，cbWidth，cbHeight，partIdx，treeType)

coding_unit(x0，y0，chromaRegionWidth，chromaRegionHeight，partIdx

，DUAL_TREE_CHROMA)

}的处理。第11行～14行的处理与上述(4)的构成对应。在满足第12行的条件的情况下，在使用亮度分离树的CU分割后，进行使用色差分离树的CU分割。在该构成的情况下，用于亮度CU的处理的CU大小(cbWidth，cbHeight)可能为对色差合并区域进一步分割得到的小CU，将在上述(2)中保存的色差合并区域的大小(chromaRegionWidth，chromaRegionHeight)设定为cbWidth，chHeight，调用色差分离树。就是说，coding_unit(x0，y0，chromaRegionWidth，chromaRegionHeight，partIdx，DUAL_TREE_CHROMA)

图20是表示本实施方式的CU的语法表的构成例的图。图20的语法表的第6行～10行的处理和第12行～15行的处理与上述(3)的构成对应，与实施方式1同样地使用任一方的处理。第20行～22行的处理与上述(5)的构成对应。在满足第20行的条件的情况下，就是说，在对象CU的预测模式为帧内预测的情况下，将对象CU的树类型设定为分离树的亮度树(DUAL_TREE_LUMA)。需要说明的是，transform_unit的语法与图16相同，省略说明。

如上所述，本例的图像解码装置31具备：参数解码部302，对在亮度块和色差块中具有共同的上位树结构且在亮度块和色差块中具有不同的下位树结构的分割信息和在生成被分割的各块的预测图像的生成处理中所参照的预测信息进行解码；以及预测图像生成部308，参照由参数解码部302解码后的分割信息和预测信息，生成与各亮度块和各色差块有关的预测图像。根据上述的构成，能提高图像解码装置31中的预测图像生成处理的性能。

总之，在图18中，判定色差合并状态是否为0且CT大小是否小于规定的大小，在小于规定的大小的情况下，设定为可转移状态(在此，IsChromaMergeRegion＝＝1或2。如图20的语法表所示，参数解码部302在参照表示分割对象的块是否设定于色差合并区域的参数，判断为分割对象的块处于可转移至色差合并区域的状态(在此IsChromaMergeRegion！＝0)的情况下，在该分割对象的块中所包括的多个块中的按解码顺序的最初的块中，对预测模式标志进行解码，在该预测模式标志表示帧内预测的情况下，也可以转移至在亮度块和色差块中具有不同的下位树结构的双树模式。具体而言，可以将单树的后续作为亮度树DUAL_TREE_LUMA来处理，进而如图19所示，进行色差树(DUAL_TREE_CHROMA)的处理。由此，能根据预测模式标志所示的信息来转移至双树模式。

(预测图像生成处理例3)

以下，对本实施方式的图像解码装置31中的预测图像生成处理的第二例进行说明。需要说明的是，为了方便说明，不对上述的示例中说明过的事项进行重复说明。在本例中，为了抑制色差块的块大小被分割得比CU的最小大小更细，在块大小为规定以下的情况下，不进行预测模式pred_mode_flag的解码而禁止帧内预测。在不对预测模式pred_mode进行解码的情况下，在图块组为帧内图块组的情况下将预测模式PredMode设定为帧内模式，在图块组为帧内图块组的情况下将预测模式PredMode设定为帧间模式。例如可以在以下的算式的情况下，对pred_mode_flag进行解码。

if(cu_skip_flag[x0][y0]＝＝0&&(cbWidth/SubWidthC*cbHeig ht/SubHeightC)>＝16)

pred_mode_flag

在此SubWidthC、SubHeightC表示亮度和色差的采样的比率，在4∶4：4的情况下，SubWidthC＝SubHeightC＝1，表示亮度和色差的采样的比率，在4∶2∶2的情况下，SubWidthC＝2、SubHeightC＝1，表示亮度和色差的采样的比率，在4∶2∶0的情况下，SubWidthC＝SubHeightC＝2。上述的(cbWidth/SubWidthC＊cbHeight/SubHeightC)与色差的面积大小对应。

此外，本实施方式的图像解码装置31可以在预测模式为帧内预测模式的情况下，使用表示仅进一步对CU的亮度进行分割，不分割CU的色差的帧内子块分区(ISP模式)。优选的是，在该情况下，对表示是否使用ISP模式的标志intra_subpartitions_mode_flag进行解码，在intra_subpartitions_mode_flag为1的情况下，对表示ISP模式的亮度分割方法的intra_subpartitions_split_flag进行解码。ISP模式可以是表示将亮度块分割成NumIntraSubPartitions个水平块(ISP_HOR_SPLIT)，还是分割成NumIntraSubPartitions个垂直块(ISP_VER_SPLIT)的标志。NumIntraSubPartitions个数例如为2或4。此外，也可以由ISP_NO_SPLIT表示不分割的情况。此外，ISP模式也可以是将亮度块在水平方向上分割成两个，在垂直方向上分割成两个的模式(ISP_QT_SPLIT)。此外，也可以包括仅在成为ISP模式且块大小为规定的最小块大小的情况(例如8×8)下，将亮度块在水平方向上分割成两个，在垂直方向上分割成两个的模式。如以下，推导分割后的块的大小的trafoWidth、trafoHeight。

在ISP_HOR_SPLIT的情况下，在以下从CU的高度cbHeight推导分割后的块的高度trafoHeight。

trafoWidth＝cbWidth

trafoHeight＝cbHeight / NumIntraSubPartitions

在ISP_VER_SPLIT的情况下，在以下从CU的宽度cbWidth推导分割后的块的宽度trafoWidth。

trafoWidth＝cbWidth / NumIntraSubPartitions

trafoHeight＝cbHeight

在ISP_QT_SPLIT的情况下，在以下从CU的宽度cbWidth高度cbHeight推导分割后的块的宽度trafoWidth高度trafoHeight。

trafoWidth＝cbWidth/2

trafoHeight＝cbHeight/2

在ISP模式的情况下，TU解码部3024对rafoWidth的trafoHeight大小的被分割的块的亮度的量化预测误差(residual_coding)进行解码。针对色差，TU解码部3024对cbWidth/SubWidthC的cbHeight/SubHeightC大小的未被分割的块的色差的量化预测误差(residual_coding)进行解码。

此外，在ISP模式的情况下，优选的是对CU只解码一个帧内预测模式，但也可以仅在成为ISP模式且块大小为规定的最小块大小的情况(例如8×8)下，以分割CU的亮度块为单位，对帧内预测模式进行解码。在帧内预测模式中，也可以推导作为帧内预测模式的列表的MPM列表，对表示是否使用MPM列表的标志intra_luma_mpm_flag、MPM列表所选择的intra_luma_mpm_idx、从作为MPM列表以外的多个帧内预测模式的REM模式选择一个帧内预测模式的intra_luma_mpm_remainder进行解码并推导。此外，在ISP模式的情况下也可以将帧内预测模式仅限定为MPM模式。在该情况下，仅对intra_luma_mpm_idx进行解码。即，在成为ISP模式的情况下，将intra_luma_mpm_flag始终设定为1，不对intra_luma_mpm_remainder进行解码。在此，也可以仅在成为ISP模式且块大小为规定的最小块大小的情况(例如8×8)下，从MPM模式和REM模式的两方推导帧内预测模式。就是说，也可以是在成为ISP模式的情况下且为最小大小以外的大小的情况下，将intra_luma_mpm_flag始终设定为1，不对intra_luma_mpm_remainder进行解码的构成。

根据上述的构成，能抑制图像解码装置31中的色差块变小。此外即使在禁止将色差块变小的情况下，也能通过ISP模式仅分割亮度，因此能将编码效率的降低抑制到最小限度。而且，即使是ISP模式，在为最小块大小的情况下，通过添加QT分割模式，也能进一步提高编码效率。此外，即使是ISP模式，在为最小块大小的情况下，也能通过以分割后的亮度块为单位来推导帧内预测模式，进一步提高编码效率。

此外，也可以将上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分或全部作为LSI(Large Scale Integration：大规模集成电路)等集成电路而实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法并不限于LSI，也可以通过专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替LSI的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。

以上，参照附图对该发明的一实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。

以上，参照附图对该发明的一实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。

〔应用例〕

上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括CG和GUI)。

首先，参照图2对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。

图2的(a)是表示搭载有运动图像编码装置11的发送装置PROD_A的构成的框图。如图2的(a)所示，发送装置PROD_A具备：通过对运动图像进行编码而得到编码数据的编码部PROD_A1、通过利用编码部PROD_A1所得到的编码数据对载波进行调制而得到调制信号的调制部PROD_A2以及发送调制部PROD_A2所得到的调制信号的发送部PROD_A3。上述的运动图像编码装置11被用作该编码部PROD_A1。

作为输入至编码部PROD_A1的运动图像的供给源，发送装置PROD_A也可以进一步具备：拍摄运动图像的摄像机PROD_A4、记录有运动图像的记录介质PROD_A5、用于从外部输入运动图像的输入端子PROD_A6以及生成或加工图像的图像处理部A7。在图2的(a)中举例示出了发送装置PROD_A具备全部这些的构成，但也可以省略一部分。

需要说明的是，记录介质PROD A5可以是记录有未被编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质PROD_A5读出的编码数据进行解码的解码部(未图示)介于记录介质PROD_A5与编码部PROD_A1之间为好。

图2的(b)是表示搭载有运动图像解码装置31的接收装置PROD_B的构成的框图。如图2的(b)所示，接收装置PROD_B具备：接收调制信号的接收部PROD_B1、通过对接收部PROD_B1所接收到的调制信号进行解调而得到编码数据的解调部PROD_B2以及通过对解调部PROD_B2所得到的编码数据进行解码而得到运动图像的解码部PROD_B3。上述的运动图像解码装置31被用作该解码部PROD_B3。

接收装置PROD_B作为解码部PROD_B3所输出的运动图像的供给目的地，也可以进一步具备显示运动图像的显示器PROD_B4、用于记录运动图像的记录介质PROD_B5以及用于将运动图像输出至外部的输出端子PROD_B6。在图2的(b)中举例示出了接收装置PROD_B具备全部这些的构成，但也可以省略一部分。

需要说明的是，记录介质PROD_B5可以是用于记录未被编码的运动图像的介质，也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下，使按照记录用的编码方式对从解码部PROD_B3获取到的运动图像进行编码的编码部(未图示)介于解码部PROD_B3与记录介质PROD_B5之间为好。

需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此，指发送目的地未预先确定的发送方案)，也可以是通信(在此，指发送目的地已预先确定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信的任一个来实现。

例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例。

此外，使用互联网的VOD(Video On Demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置PROD_A/接收装置PROD_B的一个示例(通常，在LAN中使用无线或有线的任一个作为传输介质，在WAN中使用有线作为传输介质)。在此，个人计算机包括台式PC、膝上型PC以及平板型PC。此外，智能手机中也包括多功能便携电话终端。

需要说明的是，运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端发挥发送装置PROD_A和接收装置PROD_B这两方的功能。

接着，参照图3，对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。

图3的(a)是表示搭载有上述的运动图像编码装置11的记录装置PROD_C的构成的框图。如图3的(a)所示，记录装置PROD_C具备：通过对运动图像进行编码而得到编码数据的编码部PROD_C1和将编码部PROD_C1所得到的编码数据写入记录介质PROD_M的写入部PROD_C2。上述的运动图像编码装置11被用作该编码部PROD_C1。

需要说明的是，记录介质PROD_M可以是(1)如HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等那样内置于记录装置PROD_C的类型的记录介质，也可以是(2)如SD存储卡、USB(Universal Serial Bus：通用串行总线)闪存等那样连接于记录装置PROD_C的类型的记录介质，还可以是(3)如DVD(Digital Versatile Djsc：数字通用光盘、注册商标)、BD(Blu-ray Disc：蓝光光盘、注册商标)等那样装填至内置于记录装置PROD_C的驱动装置(未图示)的记录介质。

此外，作为输入至编码部PROD_C1的运动图像的供给源，记录装置PROD_C也可以进一步具备：拍摄运动图像的摄像机PROD_C3、用于从外部输入运动图像的输入端子PROD_C4、用于接收运动图像的接收部PROD_C5以及生成或加工图像的图像处理部PROD_C6。在图3的(a)中举例示出了记录装置PROD_C具备全部这些的构成，但也可以省略一部分。

需要说明的是，接收部PROD_C5可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部PROD_C5与编码部PROD_C1之间为好。

作为这种记录装置PROD_C，例如可举出：DVD记录器、BD记录器、HDD(Hard DiskDrive)记录器等(在该情况下，输入端子PROD_C4或接收部PROD_C5为运动图像的主要的供给源)。此外，便携式摄像机(在该情况下，摄像机PROD_C3为运动图像的主要的供给源)、个人计算机(在该情况下，接收部PROD_C5或图像处理部C6为运动图像的主要的供给源)、智能手机(在该情况下，摄像机PROD_C3或接收部PROD_C5为运动图像的主要的供给源)等也是这种记录装置PROD_C的一个示例。

图3的(b)是表示搭载有上述的运动图像解码装置31的再现装置PROD_D的构成的框图。如图3的(b)所示，再现装置PROD_D具备：读出已写入记录介质PROD_M的编码数据的读出部PROD_D1和通过对读出部PROD_D1所读出的编码数据进行解码而得到运动图像的解码部PROD_D2。上述的运动图像解码装置31被用作该解码部PROD_D2。

需要说明的是，记录介质PROD_M可以是(1)如HDD、SSD等那样内置于再现装置PROD_D的类型的记录介质，也可以是(2)如SD存储卡、USB闪存等那样连接于再现装置PROD_D的类型的记录介质，也可以是(3)如DVD、BD等那样装填至内置于再现装置PROD_D的驱动装置(未图示)的记录介质。

此外，作为解码部PROD_D2所输出的运动图像的供给目的地，再现装置PROD_D也可以进一步具备：显示运动图像的显示器PROD_D3、用于将运动图像输出至外部的输出端子PROD_D4以及发送运动图像的发送部PROD_D5。在图3的(b)中举例示出了再现装置PROD_D具备全部这些的构成，但也可以省略一部分。

需要说明的是，发送部PROD_D5可以发送未被编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部PROD_D2与发送部PROD_D5之间为好。

作为这种再现装置PROD_D，例如可列举出DVD播放器、BD播放器、HDD播放器等(在该情况下，连接有电视接收机等的输出端子PROD_D4为运动图像的主要供给目的地)。此外，电视接收机(在该情况下，显示器PROD_D3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、台式PC(在该情况下，输出端子PROD_D4或发送部PROD_D5为运动图像的主要供给目的地)、膝上型或平板型PC(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)、智能手机(在该情况下，显示器PROD_D3或发送部PROD_D5为运动图像的主要供给目的地)等也是这种再现装置PROD_D的一个示例。

(硬件实现以及软件实现)

此外，上述的运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(IC芯片)上的逻辑电路而以硬件方式实现，也可以利用CPU(Central ProcessingUnit：中央处理器)而以软件方式地实现。

在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的CPU、储存上述程序的ROM(Read Only Memory：只读存储器)、展开上述程序的RAM(Random AccessMemory：随机存取存储器)以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后，本发明的实施方案的目的在于通过以下方式也能达到：将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，该计算机(或CPU、MPU)读出记录于记录介质的程序代码并执行。

作为上述记录介质，例如能使用：磁带、盒式磁带等带类；包括软盘(注册商标)/硬盘等磁盘、CD-ROM(Compact Disc Read-Only Memory：光盘只读存储器)/MO盘(Magneto-Optical disc：磁光盘)/MD(Mini Disc：迷你磁光盘)/DVD(Digital Versatile Disc：数字通用光盘，注册商标)/CD-R(CD Recordable：光盘刻录片)/蓝光光盘(Blu-ray Disc：注册商标)等光盘的盘类；IC卡(包括存储卡)/光卡等卡类；掩模ROM/EPROM(ErasableProgrammable Read-Only Memory：可擦可编程只读存储器)/EEPROM(ElectricallyErasableandProgrammableRead-OnlyMemory：电可擦可编程只读存储器)/闪存ROM等半导体存储器类；或者PLD(Programmable logic device：可编程逻辑器件)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等逻辑电路类等。

此外，也可以将上述各装置构成为能与通信网络连接，并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可，不被特别限定。例如，可利用互联网、内联网(intranet)、外联网(extranet)、LAN(Local Area Network：局域网)、ISDN(IntegratedServices Digital Network：综合业务数字网)、VAN(Value-Added Network：增值网络)、CATV(Community Antenna television/Cable Television：共用天线电视/有线电视)通信网、虚拟专用网(Virtual Private Network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也是为能传输程序代码的介质即可，不限定于特定的构成或种类。例如，无论在IEEE(Institute of Electrical and Electronic Engineers：电气和电子工程师协会)1394、USB、电力线输送、有线TV线路、电话线、ADSL(AsymmetricDigital Subscriber Line：非对称数字用户线路)线路等有线中，还是在如IrDA(InfraredData Association：红外线数据协会)、遥控器那样的红外线、BlueTooth(注册商标)、IEEE802.11无线、HDR(High Data Rate：高数据速率)、NFC(Near Field Communication：近场通讯)、DLNA(Digital Living Network Alliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是，本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。

本发明的实施方式并不限定于上述的实施方式，能在权利要求所示的范围内进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。

工业上的可利用性

本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的运动图像解码装置，以及生成将图像数据编码而得到的编码数据的运动图像编码装置。此外，能优选地应用于由运动图像编码装置生成并被运动图像解码装置参照的编码数据的数据结构。

(关联申请的相互参照)

本申请对于2019年3月8日提出申请的日本专利申请：日本特愿2019-043098主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。

附图标记说明

31图像解码装置

301熵解码部

302参数解码部

3020报头解码部

303帧间预测参数解码部

304帧内预测参数解码部

308预测图像生成部

309帧间预测图像生成部

310帧内预测图像生成部

311逆量化/逆变换部

312加法部

11图像编码装置

101预测图像生成部

102减法部

103变换/量化部

104熵编码部

105逆量化/逆变换部

107环路滤波器

110编码参数确定部

111参数编码部

112帧间预测参数编码部

113帧内预测参数编码部

1110报头编码部

1111CT信息编码部

1112CU编码部(预测模式编码部)

1114TU编码部