具体实施方式

以下，对本发明的实施方式进行详细说明。

<实施方式1>

〔3D数据生成装置〕

首先，参照附图对本发明的实施方式1的3D数据生成装置进行说明。

图1是表示本发明的实施方式1的3D数据生成装置的构成的功能框图。3D数据生成装置1由深度图像获取部17、整合深度图像生成部11、深度图像编码部12、彩色图像获取部18、整合彩色图像生成部14、彩色图像编码部15、附加信息编码部13以及复用部16构成。

深度图像获取部17从多个深度摄像机获取深度数据，将深度图像输出到整合深度图像生成部11。

整合深度图像生成部11通过分割、整合(封装)从深度图像获取部17输出的多个深度图像来生成单个整合深度图像。

深度图像编码部12对从整合深度图像生成部11输入的整合深度图像进行压缩编码，输出深度编码数据。对于压缩编码，例如，能使用由ISO/IEC23008-2规定的HEVC(HighEfficiency Video Coding：高效运动图像编码)。

彩色图像获取部18从多个彩色摄像机获取彩色数据，将彩色图像输出到整合彩色图像生成部14。

整合彩色图像生成部14通过分割、整合(封装)从彩色图像获取部18输出的多个彩色图像来生成单个整合彩色图像。

彩色图像编码部15对从整合彩色图像生成部14输入的整合彩色图像进行压缩编码，输出彩色编码数据。对于压缩编码，例如，能使用HEVC。

附加信息编码部13对根据在整合深度图像生成部11中生成的整合深度图像重构原来的深度图像所需的附加信息以及根据在整合彩色图像生成部14中生成的整合彩色图像重构原来的彩色图像所需的附加信息进行编码，输出附加信息编码数据。附加信息的详细情况将在后文进行叙述。

复用部16对从深度图像编码部12、彩色图像编码部15以及附加信息编码部13输出的各编码数据进行复用，作为3D数据输出。对于复用，例如，能使用由ISO/IEC 14496-12规定的ISOBMFF(ISO Base Media File Format：ISO基媒体文件格式)。已复用的3D数据能记录到硬盘、光盘、非易失性存储器等各种记录介质中或者向网络进行流传送。对于流传送，例如，能使用由ISO/IEC 23009-1规定的MPEG-DASH(Dynamic Adaptive Streaming overHTTP：基于HTTP的动态自适应流传送)。

图2的(a)是表示本发明的实施方式1的整合深度图像生成部11的内部构成的功能框图。整合深度图像生成部11由深度分割部111以及深度整合部113构成。

深度分割部111将从深度图像获取部17输出的深度图像分割为由矩形区域构成的多个部分深度图像。具体而言，按每个深度图像所包括的拍摄对象设定矩形区域，将矩形区域所包括的深度图像作为部分深度图像输出，并且输出以下的分割信息。

〔分割信息的例1〕

·各矩形区域的左上角的坐标(以深度图像的左上角为原点)

·各矩形区域的右下角的坐标(以深度图像的左上角为原点)

·各矩形区域所包括的拍摄对象的标识符

〔分割信息的例2〕

·各矩形区域的左上角的坐标(以深度图像的左上角为原点)

·各矩形区域的宽度以及高度

·各矩形区域所包括的拍摄对象的标识符

深度整合部113通过将从深度分割部111输出的多个部分深度图像整合(封装)为单个图像来生成整合深度图像。具体而言，输出整合了所有部分深度图像的整合深度图像，并且输出以下的封装信息。

〔封装信息的例1〕

·与各部分深度图像的左上角对应的整合深度图像上的坐标(以整合深度图像的左上角为原点)

·与各部分深度图像的右下角对应的整合深度图像上的坐标(以整合深度图像的左上角为原点)

·各部分深度图像所包括的拍摄对象的标识符

〔封装信息的例2〕

·与各部分深度图像的左上角对应的整合深度图像上的坐标(以整合深度图像的左上角为原点)

·整合深度图像中的各部分深度图像的宽度以及高度

·各部分深度图像所包括的拍摄对象的标识符

在整合彩色图像生成部14中，根据由整合深度图像生成部11输出的分割信息以及封装信息，与整合深度图像生成部11同样地，通过分割、整合(封装)从彩色图像获取部18输出的彩色图像来生成单个整合彩色图像。

图3是示出本发明的实施方式1的深度图像以及彩色图像的获取例的图。示出针对拍摄对象a以及拍摄对象b，配置3台摄像机C1、C2以及C3，各摄像机拍摄深度图像以及彩色图像的情形。

图4是示出本发明的实施方式1的深度图像获取部17所输出的深度图像以及彩色图像获取部18所输出的彩色图像的一个示例的图。图4的(a)的G1、G2、G3分别是由摄像机C1、C2、C3获取到的深度图像。图4的(b)的T1、T2、T3分别是由摄像机C1、C2、C3获取到的彩色图像。

在此，摄像机C1、C2、C3能获取0mm～25000mm范围的深度值，在深度图像G1、G2、G3的各像素值中，储存有将获取到的深度值以16比特进行了量化的值(例如，深度值储存在YUV4：2：0 16比特格式的Y分量中)。另一方面，在彩色图像T1、T2、T3中储存有以8比特进行了量化的亮度(Y)以及色差(U，V)(例如，储存为YUV4：2：0 8比特格式)。

图5是示出本发明的实施方式1的深度图像的分割例的图。深度分割部111将深度图像G1分割为包括拍摄对象a的矩形区域的部分深度图像G1a和包括拍摄对象b的矩形区域的部分深度图像G1b。同样地，将深度图像G2分割为部分深度图像G2a和G2b，将深度图像G3分割为部分深度图像G3a和G3b。深度分割部111输出以下的分割信息。

〔G1a的分割信息〕

·矩形区域的左上角的坐标：(X1a，Y1a)

·矩形区域的右下角的坐标：(X1a+W1a，Y1a+H1a)

·矩形区域所包括的拍摄对象的标识符：a

〔G2a的分割信息〕

·矩形区域的左上角的坐标：(X2a，Y2a)

·矩形区域的右下角的坐标：(X2a+W2a，Y2a+H2a)

·矩形区域所包括的拍摄对象的标识符：a

〔G3a的分割信息〕

·矩形区域的左上角的坐标：(X3a，Y3a)

·矩形区域的右下角的坐标：(X3a+W3a，Y3a+H3a)

·矩形区域所包括的拍摄对象的标识符：a

〔G1b的分割信息〕

·矩形区域的左上角的坐标：(X1b，Y1b)

·矩形区域的右下角的坐标：(X1b+W1b，Y1b+H1b)

·矩形区域所包括的拍摄对象的标识符：b

〔G2b的分割信息〕

·矩形区域的左上角的坐标：(X2b，Y2b)

·矩形区域的右下角的坐标：(X2b+W2b，Y2b+H2b)

·矩形区域所包括的拍摄对象的标识符：b

〔G3b的分割信息〕

·矩形区域的左上角的坐标：(X3b，Y3b)

·矩形区域的右下角的坐标：(X3b+W3b，Y3b+H3b)

·矩形区域所包括的拍摄对象的标识符：b

图6的(a)是示出本发明的实施方式1的部分深度图像的封装的示例的图。深度整合部113将部分深度图像G1a、G2a、G3a、G1b、G2b、G3b整合(封装)为单个图像来生成整合深度图像。深度耦合部113输出以下的封装信息。

〔G1a的封装信息〕

·与部分深度图像的左上角对应的整合深度图像上的坐标：(x1，y1)

·与部分深度图像的右下角对应的整合深度图像上的坐标：(x1'，y1')

·部分深度图像所包括的拍摄对象的标识符：a

〔G2a的封装信息〕

·与部分深度图像的左上角对应的整合深度图像上的坐标：(x2，y2)

·与部分深度图像的右下角对应的整合深度图像上的坐标：(x2'，y2')

·部分深度图像所包括的拍摄对象的标识符：a

〔G3a的封装信息〕

·与部分深度图像的左上角对应的整合深度图像上的坐标：(x3，y3)

·与部分深度图像的右下角对应的整合深度图像上的坐标：(x3'，y3')

·部分深度图像所包括的拍摄对象的标识符：a

〔G1b的封装信息〕

·与部分深度图像的左上角对应的整合深度图像上的坐标：(x4，y4)

·与部分深度图像的右下角对应的整合深度图像上的坐标：(x4'，y4')

·部分深度图像所包括的拍摄对象的标识符：b

〔G2b的封装信息〕

·与部分深度图像的左上角对应的整合深度图像上的坐标：(x5，y5)

·与部分深度图像的右下角对应的整合深度图像上的坐标：(x5'，y5')

·部分深度图像所包括的拍摄对象的标识符：b

〔G3b的封装信息〕

·与部分深度图像的左上角对应的整合深度图像上的坐标：(x6，y6)

·与部分深度图像的右下角对应的整合深度图像上的坐标：(x6'，y6')

·部分深度图像所包括的拍摄对象的标识符：b

对于整合深度图像中的各部分深度图像的背景区域，基于形状信息进行编码控制。形状信息是示出整合深度图像的各像素是否属于对象(拍摄对象)的信息，例如，在属于对象的像素的情况下分配“1”，在不属于对象的像素的情况下分配“0”。在编码处理中，例如，在CTU(编码树单元)内的所有像素不属于对象的情况下、在CTU内的一部分像素不属于对象的情况下，进行将不属于对象的区域用对象的边缘的像素值、规定的像素值在水平方向或垂长方向上填充之后进行编码等的处理。深度耦合部113将上述形状信息作为封装信息输出。

图2的(b)是表示本发明的实施方式1的整合彩色图像生成部14的内部构成的功能框图。整合彩色图像生成部14由彩色分割部141以及彩色整合部143构成。

图7是示出本发明的实施方式1的彩色图像的分割例的图。彩色分割部141根据从整合深度图像生成部11输入的分割信息将彩色图像T1分割为部分彩色图像T1a和T1b。同样地，将彩色图像T2分割为部分彩色图像T2a和T2b，将彩色图像T3分割为部分彩色图像T3a和T3b。

图6的(b)是示出本发明的实施方式1的部分彩色图像的封装的示例的图。彩色整合部143根据从整合深度图像生成部11输入的封装信息将部分彩色图像T1a、T2a、T3a、T1b、T2b、T3b整合(封装)为单个图像来生成整合彩色图像。

对于整合彩色图像中的各部分彩色图像的背景区域，基于从整合深度图像生成部11输入的封装信息(形状信息)来进行编码控制。例如，在CTU内的所有像素不属于对象的情况下、在CTU内的一部分像素不属于对象的情况下，进行将不属于对象的区域用对象的边缘的像素值、规定的像素值在水平方向或垂长方向上填充之后进行编码等的处理。

深度图像编码部12使用HEVC Main12配置文件对上述整合深度图像进行压缩编码，将深度编码数据输出到复用部16。

彩色图像编码部15使用HEVC Main配置文件对上述整合彩色图像进行压缩编码，将彩色编码数据输出到复用部16。

附加信息编码部13将与从整合深度图像生成部11输出的分割信息、封装信息以及各摄像机姿势(三维空间上的位置、方向等)相关的信息进行可逆编码，输出到复用部16。

通过设为上述的构成，能减小构成部分深度图像的各CTU中的深度值的动态范围，能提高量化时的分辨率。其结果是，即使在因拍摄对象的大小、动作而深度的动态范围大的情况下也能消除分辨率不足。

而且，与将深度图像(图5的(a)的G1、G2、G3)直接耦合并编码的情况相比，能通过背景区域的削减、图像尺寸的缩小来削减生成代码量。

此外，与摄像机的数量无关地始终传输整合深度图像(图6的(a))的编码数据、整合彩色图像(图6的(b))的编码数据以及附加信息的编码数据这三个流即可，因此起到能使传输的流的数量不取决于摄像机的数量的效果。

此外，通过评价并优化编码数据(深度+彩色+附加信息)的比特率、深度图像的编码失真、彩色图像的编码失真等来决定矩形区域的大小、分割数，由此能生成更高品质的3D数据。

〔3D数据再现装置〕

接着，参照附图对本发明的实施方式1的3D数据再现装置进行说明。

图8是表示本发明的实施方式1的3D数据再现装置的构成的功能框图。3D数据再现装置2由分离部26、深度图像解码部22、深度图像重构部21、附加信息解码部23、彩色图像解码部25、彩色图像重构部24、3D模型生成部27、再现图像合成部28、再现视点输入部291以及再现对象选择部292构成。

分离部26分离输入的3D数据所包括的深度图像编码数据、彩色图像编码数据、附加信息编码数据，分别输出到深度图像解码部22、彩色图像解码部25、附加信息解码部23。

深度图像解码部22解码从分离部26输入的进行了HEVC编码的深度图像编码数据。例如，由图6的(a)示出的整合深度图像被解码。

深度图像重构部21基于从附加信息解码部23输入的附加信息(分割信息、封装信息)，从由深度图像解码部22解码的整合深度图像所包括的多个部分深度图像提取(解封装)、耦合所希望的部分深度图像，由此重构深度图像。

彩色图像解码部25解码从分离部26输入的进行了HEVC编码的彩色图像编码数据。例如，由图6的(b)示出的整合彩色图像被解码。

彩色图像重构部24基于从附加信息解码部23输入的附加信息(分割信息、封装信息)，从由彩色图像解码部25解码的整合彩色图像所包括的多个彩色图像提取所希望的部分彩色图像，由此重构彩色图像。

附加信息解码部23根据从分离部26输入的附加信息编码数据解码重构深度图像以及彩色图像所需的附加信息(分割信息、封装信息)。

3D模型生成部27基于从深度图像重构部21输入的多个深度图像来生成3D模型。3D模型是表示拍摄对象的三维形状的模型，作为一种形态可以列举出网格表现的模型。

再现图像合成部28基于由3D模型生成部27生成的3D模型、由彩色图像重构部重构的彩色图像以及由用户输入的再现视点信息(三维空间上的位置、方向等)来合成再现视点上的再现图像。

再现视点输入部291是由用户输入三维空间上的再现视点(位置以及方向)的输入部。

再现对象选择部292是由用户从多个再现对象选择所希望的再现对象的选择部。

图9的(a)是表示本发明的实施方式1的深度图像重构部21的内部构成的功能框图。深度图像重构部21由深度提取部211以及深度耦合部213构成。

深度提取部211基于从附加信息解码部23输入的封装信息从整合深度图像所包括的多个部分深度图像提取(解封装)所希望的部分深度图像。例如，在由再现对象选择部292选择了拍摄对象a以及拍摄对象b作为再现对象的情况下，提取图5所示的部分深度图像G1a、G2a、G3a、G1b、G2b、G3b，输出到深度耦合部213。或者，在仅选择了拍摄对象b的情况下，提取部分深度图像G1b、G2b、G3b，输出到深度耦合部。

深度耦合部213基于从附加信息解码部23输入的分割信息，从多个部分深度图像耦合同一视点的部分深度图像，由此重构深度图像，输出到3D模型生成部27。例如，图4的(a)所示的深度图像G1、G2、G3被输出到3D模型生成部27。

图9的(b)是表示本发明的实施方式1的彩色图像重构部24的内部构成的功能框图。彩色图像重构部24由彩色提取部241以及彩色耦合部243构成。

彩色提取部241基于从附加信息解码部23输入的封装信息从整合彩色图像所包括的多个部分彩色图像提取(出封装)所希望的部分彩色图像。例如，在由再现对象选择部292选择了拍摄对象a以及拍摄对象b作为再现对象的情况下，提取图7所示的部分彩色图像T1a、T2a、T3a、T1b、T2b、T3b，输出到彩色耦合部413。或者，在仅选择了拍摄对象b的情况下，提取部分彩色图像T1b、T2b、T3b，输出到彩色耦合部。

彩色耦合部243基于从附加信息解码部23输入的分割信息，从多个部分彩色图像耦合同一视点的部分彩色图像，由此重构彩色图像，输出到再现图像合成部28。例如，图4的(b)所示的彩色图像T1、T2、T3被输出到再现图像合成部28。

<实施方式2>

〔3D数据生成装置〕

首先，参照附图对本发明的实施方式2的3D数据生成装置进行说明。需要说明的是，为了便于说明，对具有与在上述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并不再重复其说明。

图10是表示本发明的实施方式2的3D数据生成装置的构成的功能框图。3D数据生成装置3由深度图像获取部17、整合深度图像生成部31、深度图像编码部12、彩色图像获取部18、整合彩色图像生成部14、附加信息编码部33以及复用部16构成。

整合深度图像生成部31通过分割、量化、整合(封装)从深度图像获取部17输出的多个深度图像来生成单个整合深度图像。

附加信息编码部33对根据在整合深度图像生成部31中生成的整合深度图像重构原来的深度图像所需的附加信息以及根据在整合彩色图像生成部14中生成的整合彩色图像重构原来的彩色图像所需的附加信息进行编码，输出附加信息编码数据。附加信息的详细情况将在后文进行叙述。

图11是表示本发明的实施方式2的整合深度图像生成部31的内部构成的功能框图。整合深度图像生成部31由深度分割部111、深度量化部312以及深度整合部113构成。

深度量化部312在分割后的部分深度图像的动态范围比规定的阈值(例如600mm)大的情况等，在量化时的分辨率不足的情况下，根据动态范围，将一部分部分深度图像以规定的比特深度(例如，12比特)再次量化并输出。图5所示的部分深度图像G1a、G2a、G3a的深度的取值范围是1000mm～2000mm，再次以12比特对该范围进行线性量化。此外，部分深度图像G1b、G2b、G3b的深度的取值范围是2000mm～2500mm，直接输出所输入的部分深度图像。深度量化部312将量化的部分深度图像的深度的取值范围的最小值以及最大值作为动态范围信息输出。例如，作为部分深度图像G1a、G2a、G3a的动态范围信息输出以下。

〔G1a的动态范围信息〕

·深度的最小值：1000mm

·深度的最大值：2000mm

〔G2a的动态范围信息〕

·深度的最小值：1000mm

·深度的最大值：2000mm

〔G3a的动态范围信息〕

·深度的最小值：1000mm

·深度的最大值：2000mm

通过设为上述的构成，针对仅分割中分辨率不足的部分深度图像，能提高量化时的分辨率。其结果是，即使在因拍摄对象的大小、动作而深度的动态范围大的情况下也能消除分辨率不足。例如，相对于在0mm～25000mm的范围以12比特进行量化的情况下分辨率约为6.1mm(＝25000/2^12)，在1000mm～2000mm的范围以12比特进行量化的情况下分辨率约为0.24mm(＝(2000-1000)/2^12)。其结果是，在再现侧能生成更高清的3D模型。

〔3D数据再现装置〕

接着，参照附图对本发明的实施方式2的3D数据再现装置进行说明。需要说明的是，为了便于说明，对具有与在上述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并不再重复其说明。

图12是表示本发明的实施方式2的3D数据再现装置的构成的功能框图。3D数据再现装置2由分离部26、深度图像解码部22、深度图像重构部41、附加信息解码部43、彩色图像解码部25、彩色图像重构部24、3D模型生成部27、再现图像合成部28、再现视点输入部291以及再现对象选择部292构成。

深度图像重构部41通过从由深度图像解码部22解码的整合深度图像所包括的多个部分深度图像提取(解封装)、逆量化、耦合所希望的部分深度图像来重构深度图像。

附加信息解码部43根据从分离部26输入的附加信息编码数据来解码重构深度图像以及彩色图像所需的附加信息(分割信息、封装信息、动态范围信息)。

图13是表示本发明的实施方式2的深度图像重构部41的内部构成的功能框图。深度图像重构部41由深度提取部211、深度逆量化部412以及深度耦合部213构成。

深度逆量化部412在与提取到的部分深度图像对应的动态范围信息存在的情况下，基于该动态范围信息逆量化并输出部分深度图像。在不存在的情况下，直接输出所输入的部分深度图像。

通过设为上述的构成，针对仅分割中分辨率不足的部分深度图像，能提高量化时的分辨率。其结果是，能降低深度图像的编码中的量化误差，并能生成更高清的3D模型。

<实施方式3>

〔3D数据生成装置〕

首先，参照附图对本发明的实施方式3的3D数据生成装置进行说明。需要说明的是，为了便于说明，对具有与在上述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并不再重复其说明。

图14是表示本发明的实施方式3的3D数据生成装置的构成的功能框图。3D数据生成装置5由深度图像获取部17、整合深度图像生成部51、深度图像编码部12、彩色图像获取部18、整合彩色图像生成部54、彩色图像编码部15、附加信息编码部13、复用部16、深度图像滤波部52、彩色图像滤波部53以及再现对象受理部55构成。

整合深度图像生成部51分割从深度图像获取部17输出的多个深度图像，将特定的拍摄对象的部分深度图像或特定的拍摄方向的部分深度图像整合(封装)为落入规定的编码单位(例如，HEVC的图块)，由此生成单个整合深度图像。

在整合彩色图像生成部54中，根据由整合深度图像生成部51输出的分割信息以及封装信息，与整合深度图像生成部51同样地，分割从彩色图像获取部18输出的多个彩色图像，将特定的拍摄对象的部分彩色图像或特定的拍摄方向的部分彩色图像整合(封装)为落入规定的编码单位(例如，HEVC的图块)，由此生成单个整合彩色图像。

深度图像滤波部52输出从深度图像编码部12输出的编码数据中的包括由再现对象受理部55指定的再现对象(拍摄对象、拍摄方向等)的图块。在未指定再现对象的情况下，输出所有图块。

彩色图像滤波部53输出从彩色图像编码部15输出的编码数据中的包括由再现对象受理部55指定的再现对象(拍摄对象、拍摄方向等)的图块。在未指定再现对象的情况下，输出所有图块。

再现对象受理部55接受用户对再现对象的要求(例如，拍摄对象＝a、拍摄对象＝b、拍摄方向＝前方、拍摄方向＝后方等)。

图15的(a)是表示本发明的实施方式3的整合深度图像生成部51的内部构成的功能框图。整合深度图像生成部51由深度分割部111以及深度整合部513构成。

深度整合部513将特定的拍摄对象的部分深度图像或特定的拍摄方向的部分深度图像整合(封装)为落入同一图块，由此生成单个整合深度图像。此外，深度整合部513除了实施方式1中的封装信息以外，还将各图块所包括的部分深度图像的拍摄对象或拍摄方向的标识符作为封装信息输出。

图15的(b)是表示本发明的实施方式3的整合彩色图像生成部54的内部构成的功能框图。整合彩色图像生成部54由彩色分割部141以及彩色整合部543构成。

彩色整合部543根据从整合深度图像生成部51输入的封装信息，将特定的拍摄对象的部分彩色图像或特定的拍摄方向的部分彩色图像整合(封装)为落入同一图块，由此生成单个整合彩色图像。

图16是示出本发明的实施方式3的深度图像以及彩色图像的获取例的图。示出针对拍摄对象a以及拍摄对象b，配置5台摄像机C1、C2、C3、C4以及C5，各摄像机拍摄深度图像以及彩色图像的情形。

图17的(a)是示出本发明的实施方式3的深度图像的封装的示例的图。在本例中，整合深度图像根据拍摄对象分为两个图块来编码。在图块1中封装由摄像机C1、C2、C3、C4以及C5拍摄到的拍摄对象a的部分深度图像G1a、G2a、G3a、G4a以及G5a，在图块2中封装由摄像机C1、C2、C3、C4以及C5拍摄到的拍摄对象b的部分深度图像G1b、G2b、G3b、G4b以及G5b，输出单个整合深度图像。此外，深度整合部513输出以下的封装信息。

〔封装信息〕

·图块1所包括的部分深度图像：拍摄对象＝a

·图块2所包括的部分深度图像：拍摄对象＝b

对于整合深度图像中的各部分深度图像的背景区域，基于形状信息进行编码控制。形状信息是示出整合深度图像的各像素是否属于对象(拍摄对象)的信息，例如，在属于对象的像素的情况下分配“1”，在不属于对象的像素的情况下分配“0”。在编码处理中，例如，在CTU(编码树单元)内的所有像素不属于对象的情况下、在CTU内的一部分像素不属于对象的情况下，进行将不属于对象的区域用对象的边缘的像素值、规定的像素值在水平方向或垂长方向上填充之后进行编码等的处理。深度耦合部513将上述形状信息作为封装信息输出。

图17的(b)是示出本发明的实施方式3的彩色图像的封装的示例的图。与整合深度图像同样地，在图块1中封装拍摄对象a的部分彩色图像T1a、T2a、T3a、T4a以及T5a，在图块2中封装拍摄对象b的部分彩色图像T1b、T2b、T3b、T4b以及T5b，输出单个整合彩色图像。

对于整合彩色图像中的各部分彩色图像的背景区域，基于从整合深度图像生成部11输入的封装信息(形状信息)来进行编码控制。例如，在CTU内的所有像素不属于对象的情况下、在CTU内的一部分像素不属于对象的情况下，进行将不属于对象的区域用对象的边缘的像素值、规定的像素值在水平方向或垂长方向上填充之后进行编码等的处理。

图18的(a)是示出本发明的实施方式3的深度图像的其他的封装的示例的图。在本例中，整合深度图像根据拍摄方向分为两个图块来编码。在图块1中封装由摄像机C1、C2以及C3从前方拍摄到的部分深度图像G1a、G2a、G3a、G1b、G2b以及G3b，在图块2中封装由摄像机C4以及C5从后方拍摄到的部分深度图像G4a、G5a、G4b以及G5b，输出单个整合深度图像。此外，深度整合部513输出以下的封装信息。

〔封装信息〕

·图块1所包括的部分深度图像：拍摄方向＝前方

·图块2所包括的部分深度图像：拍摄方向＝后方

图18的(b)是示出本发明的实施方式3的彩色图像的其他的封装的示例的图。与整合深度图像同样地，在图块1中封装从前方拍摄到的部分彩色图像T1a、T2a、T3a、T1b、T2b以及T3b，在图块2中封装从后方拍摄到的部分彩色图像T4a、T5a、T4b以及T5b，输出单个整合彩色图像。

通过设为上述的构成，能减小构成部分深度图像的各CTU中的深度值的动态范围，能提高量化时的分辨率。其结果是，即使在因拍摄对象的大小、动作而深度的动态范围大的情况下也能消除分辨率不足。而且，在用户只想再现特定的拍摄对象或拍摄方向的情况下，通过仅传输包括对应的拍摄对象或拍摄方向的部分深度图像的图块，即使在移动环境等有限的网络带宽下，也能高效地传输再现所需的3D数据。在再现侧，仅解码一部分图块即可，因此能减轻解码所需的处理量。而且，用于3D模型的生成的深度图像被限定，因此能减轻3D模型的生成所需的处理量。

需要说明的是，在上述中将编码单位设为HEVC图块，但即使是HEVC条带等其他的编码单位也起到同样的效果。

〔3D数据再现装置〕

接着，参照附图对本发明的实施方式3的3D数据再现装置进行说明。需要说明的是，为了便于说明，对具有与在上述实施方式中说明过的构件相同的功能的构件标注相同的附图标记，并不再重复其说明。

图19是表示本发明的实施方式3的3D数据再现装置的构成的功能框图。3D数据再现装置6由分离部26、深度图像解码部22、深度图像重构部21、附加信息解码部23、彩色图像解码部25、彩色图像重构部24、3D模型生成部27、再现图像合成部28、再现视点输入部291、再现对象选择部292、深度图像滤波部62以及彩色图像滤波部63构成。

深度图像滤波部62输出从分离部26输出的编码数据中的包括与由再现对象选择部292指定的再现对象(拍摄对象或拍摄方向)对应的部分深度图像的图块。例如，在作为拍摄对象指定了a的情况下，输出图17的(a)的图块1。或者，在作为拍摄方向指定了后方的情况下，输出图18的(a)的图块2。在未指定再现对象的情况下，输出所有图块。

在此，对在整合深度图像中的图块1和图块2储存在同一条带的情况下的一部分图块的解码方法进行说明。

步骤1：再现对象选择部参照封装信息获取指定的再现对象的图块编号K(K＝1或K＝2)。

步骤2：深度图像滤波部解码条带报头的entry_point_offset_minus1语法元素，获取图块1的编码数据的字节长度N。

步骤3：在K＝1的情况下，深度图像滤波部输出条带报头和条带数据的N字节为止的数据。在K＝2的情况下，深度图像滤波部输出条带报头和条带数据的N+1字节之后的数据。

步骤4：深度图像解码部解码图块K的条带数据。

彩色图像滤波部63输出从分离部26输出的编码数据中的包括与由再现对象选择部292指定的再现对象(拍摄对象或拍摄方向)对应的部分彩色图像的图块。例如，在作为拍摄对象指定了a的情况下，输出图17的(b)的图块1。或者，在作为拍摄方向指定了后方的情况下，输出图18的(b)的图块2。在未指定再现对象的情况下，输出所有图块。

同样地，对在整合彩色图像中的图块1和图块2储存在同一条带的情况下的一部分图块的解码方法进行说明。

步骤1：再现对象选择部参照封装信息获取指定的再现对象的图块编号K(K＝1或K＝2)。

步骤2：彩色图像滤波部解码条带报头的entry_point_offset_minus1语法元素，获取图块1的编码数据的字节长度N。

步骤3：在K＝1的情况下，彩色图像滤波部输出条带报头和条带数据的N字节为止的数据。在K＝2的情况下，彩色图像滤波部输出条带报头和条带数据的N+1字节之后的数据。

步骤4：彩色图像解码部解码图块K的条带数据。

通过设为上述的构成，能容易地进行在处理能力高的再现终端中通过解码所有图块并生成整体的3D模型，使再现所有拍摄对象或拍摄方向变得可能、在处理能力低的再现终端中通过仅解码一部分图块并生成一部分3D模型使仅再现特定的拍摄对象或拍摄方向变得可能等的根据终端的处理能力的再现对象的控制。

〔基于软件的实现例〕

3D数据生成装置1的控制块(例如，整合深度图像生成部11、整合彩色图像生成部14)以及3D数据再现装置2的控制块(例如，深度图像重构部21、彩色图像重构部24)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以通过软件来实现。

在后者的情况下，3D数据生成装置1以及3D数据再现装置2具备执行作为实现各功能的软件的程序的命令的计算机。例如，该计算机例如具备至少一个处理器(控制装置)，并且具备至少一个存储有上述程序的计算机可读取的记录介质。并且，在上述计算机中，上述处理器从上述记录介质读取并执行程序，由此实现本发明的目的。作为上述处理器，能够使用例如CPU(Central Processing Unit；中央处理器)。作为上述记录介质，除了使用“非暂时性的有形介质”，例如ROM(Read Only Memory；只读存储器)等之外，还可以使用磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外，还可以具备将上述程序展开的RAM(RandomAccess Memory；随机存取存储器)等。此外，上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。需要说明的是，本发明的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。

〔总结〕

本发明的方案1的3D数据生成装置是输入表示一个或多个拍摄对象的三维形状的深度图像来生成3D数据的3D数据生成装置，具备：深度分割部，将上述深度图像分割为由矩形区域构成的多个部分深度图像；深度整合部，对上述多个部分深度图像进行封装，生成整合深度图像；深度图像编码部，对上述整合深度图像进行编码；以及附加信息编码部，对附加信息进行编码，该附加信息包括确定上述矩形区域的分割信息和表示上述封装的信息。

在本发明的方案2的3D数据生成装置中，上述附加信息还包括表示上述部分深度图像中的深度值的动态范围的信息，还具备深度量化部，将上述多个部分深度图像基于上述动态范围进行量化。

在本发明的方案3的3D数据生成装置中，上述深度整合部将拍摄对象相同的部分深度图像封装为同一编码单位。

在本发明的方案4的3D数据生成装置中，上述深度整合部将拍摄方向相同的部分深度图像封装为同一编码单位。

本发明的方案5的3D数据再现装置是输入3D数据来再现一个或多个拍摄对象的三维形状的3D数据再现装置，具备：深度图像解码部，对上述3D数据所包括的整合深度图像进行解码；附加信息解码部，对附加信息进行解码，该附加信息包括表示由上述整合深度图像所包括的矩形区域构成的多个部分深度图像的封装的信息以及确定上述矩形区域的分割信息；深度提取部，基于表示上述封装的信息从上述已解码的整合深度图像中提取部分深度图像；以及深度耦合部，基于上述分割信息对上述多个部分深度图像进行耦合，重构深度图像。

在本发明的方案6的3D数据再现装置中，上述附加信息还包括表示上述部分深度图像中的深度值的动态范围的信息，还具备深度逆量化部，将上述多个部分深度图像基于上述动态范围进行逆量化。

在本发明的方案7的3D数据再现装置中，拍摄对象相同的上述部分深度图像编码为上述3D数据中的同一编码单位。

在本发明的方案8的3D数据再现装置中，拍摄方向相同的上述部分深度图像编码为上述3D数据中的同一编码单位。

本发明的各方案的3D数据生成装置可以通过计算机来实现，在该情况下，通过使计算机作为上述3D数据生成装置所具备的各部分(软件要素)进行动作而使上述3D数据生成装置由计算机实现的3D数据生成装置的控制程序、以及记录有该控制程序的计算机可读记录介质也落入本发明的范畴。

本发明并不限定于上述的各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而得到的实施方式也包括在本发明的技术范围内。而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。

(关联申请的相互参照)

本申请对2018年9月28日提出申请的日本专利申请：日本特愿2018-183903主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。

附图标记说明

1 3D数据生成装置

11 整合深度图像生成部

111 深度分割部

113 深度整合部

12 深度图像编码部

13 附加信息编码部

14 整合彩色图像生成部

15 彩色图像编码部

16 复用部

17 深度图像获取部

18 彩色图像获取部

2 3D数据再现装置

21 深度图像重构部

211 深度提取部

213 深度耦合部

22 深度图像解码部

23 附加信息解码部

24 彩色图像重构部

25 彩色图像解码部

26 分离部

27 3D模型生成部

28 再现图像合成部

291 再现视点输入部

292 再现对象选择部

3 3D数据生成装置

31 整合深度图像生成部

33 附加信息编码部

312 深度量化部

4 3D数据再现装置

41 深度图像重构部

43 附加信息解码部

413 深度逆量化部

5 3D数据生成装置

51 整合深度图像生成部

513 深度整合部

54 整合彩色图像生成部

543 彩色整合部

52 深度图像滤波部

53 彩色图像滤波部

6 3D数据再现装置

62 深度图像滤波部

63 彩色图像滤波部