阅读说明：本技术 发送方法 (Transmission method ) 是由 井口贺敬 远间正真 西孝启 加藤久也 于 2014-06-16 设计创作，主要内容包括：本申请的一方式所涉及的发送方法包括：生成编码流,所述编码流包括第1内容和至少一个第2内容；生成控制信息,所述控制信息对应于MPEG-DASH标准中定义的媒体演示描述,并且包括：第1识别符,用于识别各个第1内容；至少一个第2识别符,用于识别所述至少一个第2内容；等级识别符,用于识别第1参照内容,所述第1参照内容用于解码所述至少一个第2内容并且被包括在所述第1内容中；时刻信息,用于再现所述第1内容和所述至少一个第2内容；以及重构数据,用于重构所述编码流；从通信服务器向客户端装置发送所述编码流和所述控制信息。(A transmission method according to an aspect of the present application includes: generating an encoded stream, the encoded stream including a 1 st content and at least one 2 nd content; generating control information corresponding to a media presentation description defined in the MPEG-DASH standard and comprising: 1 st identifiers for identifying respective 1 st contents; at least one 2 nd identifier for identifying the at least one 2 nd content; a level identifier for identifying a 1 st reference content, the 1 st reference content being used for decoding the at least one 2 nd content and being included in the 1 st content; time information for reproducing the 1 st content and the at least one 2 nd content; and reconstruction data for reconstructing the encoded stream; the encoded stream and the control information are transmitted from a communication server to a client device.)

发送方法

本申请是2014年6月16日提交的，中国专利申请号为201480022602.5(国际申请号PCT/JP2014/003192)，发明名称为“发送方法”的专利申请的分案申请。

技术领域

本申请涉及阶层编码的编码数据的发送方法。

背景技术

以往，已知以规定的复用方式传送编码数据的技术。编码数据通过基于HEVC(高效率视频编码，High Efficiency Video Coding)等运动图像编码标准对包含影像数据及声音数据的内容进行编码来生成。

在规定的复用方式中，例如有MPEG-2TS(运动图像专家组-2传送流，MovingPicture Experts Group-2 Transport Stream)或MMT(运动图像专家组媒体传送，MPEGMedia Transport)等(参照非专利文献1)。

在HEVC中，能够进行阶层编码。在接收侧，通过将阶层编码而得的编码数据根据阶层等级进行分选，能够进行影像的帧率的选择等。

现有技术文献

非专利文献

非专利文献1：Information technology-High efficiency coding and mediadelivery in heterogeneous environment-Part1：MPEG media transport(MMT)、ISO/IECDIS 23008-1

发明内容

本申请的一方式所涉及的发送方法包括：生成编码流，所述编码流包括第1内容和至少一个第2内容；生成控制信息，所述控制信息对应于MPEG-DASH标准中定义的媒体演示描述，并且包括：第1识别符，用于识别各个第1内容；至少一个第2识别符，用于识别所述至少一个第2内容；等级识别符，用于识别第1参照内容，所述第1参照内容用于解码所述至少一个第2内容并且被包括在所述第1内容中；时刻信息，用于再现所述第1内容和所述至少一个第2内容；以及重构数据，用于重构所述编码流；从通信服务器向客户端装置发送所述编码流和所述控制信息。

本申请的一方式所涉及的发送方法是影像被阶层编码而得的编码数据的发送方法，包括：生成步骤，生成编码流和表示对应关系的信息，所述编码流包含将所述编码数据打包而成的包，至少根据所述编码数据的阶层等级所述包被赋予了不同的包ID，所述对应关系是所述包ID与所述阶层等级的对应关系；以及发送步骤，发送表示生成的所述编码流以及生成的所述对应关系的信息。

另外，这些整体或具体的方式也可以通过系统、装置、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现。此外，这些整体或具体的方式也可以通过系统、装置、集成电路、计算机程序以及记录介质的任意组合来实现。

附图说明

图1为用于说明被时间可适编码的编码数据的图。

图2为用于说明MMT中的编码流的数据结构的第1图。

图3为用于说明MMT中的编码流的数据结构的第2图。

图4为表示实施方式1所涉及的编码流中的包ID与数据(资源，asset)的对应关系的图。

图5为表示实施方式1所涉及的发送装置的构成的模块图。

图6是实施方式1所涉及的发送方法的流程图。

图7为表示实施方式1所涉及的接收装置的构成的模块图。

图8是实施方式1所涉及的接收方法的流程图。

图9为概念性地表示实施方式1所涉及的接收方法的图。

图10为表示实施方式2所涉及的接收装置的构成的模块图。

图11为用于说明实施方式2所涉及的收发方法的概要的第1图。

图12为用于说明实施方式2所涉及的收发方法的概要的第2图。

图13为用于说明按照分割而成的MFU单位对编码数据进行打包的例子的第1图。

图14为用于说明按照分割而成的MFU单位对编码数据进行打包的例子的第2图。

图15为用于说明按照分割而成的MFU单位对编码数据进行打包的例子的第3图。

图16为表示将编码数据按照原顺序配置到MP4数据中的例子的图。

图17为表示将编码数据按每个阶层等级配置到MP4数据中的第1例的图。

图18为用于说明将编码数据按每个阶层等级配置到MP4数据中的第2例的图。

具体实施方式

(成为本申请的基础的知识)

影像编码方式HEVC(High Efficiency Video Coding)与时间可适相对应，例如，能够将120fps的影像作为60fps的影像来再现。图1为用于说明时间可适(可缩放)编码而得的编码数据的图。

在被时间可适编码的编码数据中，按每个阶层赋予Temporal ID(时间ID)。在图1中，例如，若显示Temporal ID为0的图片(I0、P4)与Temporal ID为1的图片(B2)，则以60fps显示影像，若再追加显示Temporal ID为2的图片(B1、B3)，则以120fps显示影像。

在图1的例子中，将Temporal ID为0或1的编码数据设为基本层(基本阶层等级)，将Temporal ID为2的数据设为扩展层(扩展阶层等级)。

基本层的图片能够独立地进行编码，或者，能够利用基本层的其他图片进行解码。与此相对，扩展层的图片不能单独解码，如果不是在图1中位于箭头起始点的参照图片被解码之后就不能解码。因此，作为扩展层的图片的参照图片的基本层图片相对于扩展层的图片必须先解码。

另外，解码顺序不同于图像显示顺序。在图1的例子中，图像显示顺序排列为(I0、B1、B2、B3、P4)，与之相对地，解码顺序排列为(I0、P4、B2、B1、B3)。图像显示顺序基于按每张图片赋予的PTS(显示时间戳，Presentation Time Stamp)来确定，解码顺序基于按每张图片赋予的DTS(解码时间戳，Decode Time Stamp)来确定。

不仅是在时间可适编码时，而且在空间可适编码及SNR可适编码时，在将图片分为基本层与扩展层的情况下，属于扩展层的图片也都不能单独解码。属于扩展层的图片必须与属于基本层的图片配合地被解码。

优选的是，可适编码而得的(阶层编码而得的)编码数据在接收侧(解码侧)能够容易地分选。

因此，本申请的一方式所涉及的发送方法为一种影像被阶层编码而得的编码数据的发送方法，包括：生成步骤，生成编码流和表示对应关系的信息，所述编码流包含将所述编码数据打包而成的包，至少根据所述编码数据的阶层等级所述包被赋予了不同的包ID，所述对应关系是所述包ID与所述阶层等级的对应关系；以及发送步骤，发送表示生成的所述编码流以及生成的所述对应关系的信息。

据此，能够通过包ID的过滤按每个阶层等级分选编码数据。即、在接收侧能够容易地分选编码数据。

此外也可以是，在所述阶层等级中，包含有基本阶层等级与扩展阶层等级，所述基本阶层等级的所述编码数据能够独立解码、或者能够通过参照所述基本阶层等级的其他所述编码数据的解码后的数据来解码，所述扩展阶层等级的所述编码数据能够通过参照所述基本阶层等级的所述编码数据的解码后的数据来解码。

此外也可以是，在所述生成步骤中，生成第1编码流与第2编码流，所述第1编码流是包含所述基本阶层等级的所述编码数据被打包而成的所述包、且不包含所述扩展阶层等级的所述编码数据被打包而成的所述包的所述编码流，所述第2编码流是包含所述扩展阶层等级的所述编码数据被打包而成的所述包、且不包含所述基本阶层等级的所述编码数据被打包而成的所述包的所述编码流，在所述发送步骤中，使用第1传送路径发送所述第1编码流，使用不同于所述第1传送路径的第2传送路径发送所述第2编码流。

此外也可以是，在所述生成步骤中，按照相互不同的复用方式生成所述第1编码流与所述第2编码流。

此外也可以是，在所述生成步骤中，按照MPEG2-TS(运动图像专家组-2传送流，Moving Picture Experts Group-2 Transport Stream)生成所述第1编码流以及所述第2编码流中的一方，按照MMT(运动图像专家组媒体传送，MPEG Media Transport)生成所述第1编码流与所述第2编码流中的另一方。

此外也可以是，所述第1传送路径以及所述第2传送路径中的一方为广播用的传送路径，所述第1传送路径以及所述第2传送路径中的另一方为通信用的传送路径。

此外也可以是，在所述生成步骤中，生成包含表示所述对应关系的信息的所述编码流，在所述发送步骤中，发送包含表示所述对应关系的信息的所述编码流。

此外也可以是，表示所述对应关系的信息包含表示该编码流能够单独解码的信息、以及表示该编码流解码所需的其他编码流的信息中的某一方。

另外，这些整体或具体的方式也可以通过系统、装置、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现。此外，这些整体或具体的方式也可以通过系统、装置、集成电路、计算机程序以及记录介质的任意组合来实现。

以下，参照附图具体说明实施方式。

另外，以下说明的实施方式均是表示总体或具体的例子的方式。在以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等仅为一例，并非意在限定本申请。另外，在以下实施方式的构成要素中，对于表示最上位概念的独立权利要求没有记载的构成要素，作为任意的构成要素进行说明。

(实施方式1)

[发送方法]

以下，参照附图说明本实施方式1所涉及的发送方法(发送装置)。在实施方式1中，作为一例说明按照MMT发送编码数据的发送方法。

首先，说明MMT的编码流的数据结构。图2以及图3为用于说明MMT的编码流的数据结构的图。

如图2所示，编码数据由多个AU(访问单元，Access Unit)组成。编码数据例如为基于HEVC等运动图像编码标准编码而成的AV数据。编码数据具体而言，包括影像数据、声音数据、以及附随于这些数据的元数据、静止图像及文件等。在编码数据为影像数据时，1个AU为与1个图片(1帧)相当的单位。

在MMT中，编码数据以GOP(图像组，Group Of Picture)单位按照MP4的文件格式进行MP4数据化(被赋予MP4头)。在MP4数据所包含的MP4头中，记述有AU的提示时刻(上述的PTS)或解码时刻(上述的DTS)的相对值。此外，在MP4头中，记述有MP4数据的序列号。另外，MP4数据(MP4文件)是作为在MMT标准中定义的数据单位的MPU(媒体处理单元，MediaProcessing Unit)的一例。

另外，在以下，以发送MP4数据(文件)的情况为例来说明，但发送的数据不是MP4数据亦可。例如，也可以是不同于MP4文件的文件格式的数据，只要发送编码数据与编码数据的解码所需的信息(例如，MP4头所包含的信息)，就能够在接收侧对编码数据进行解码。

并且，如图3所示，MMT的编码流10包括节目信息11、时刻偏移信息12、以及多个MMT包13。换言之，编码流10为MMT包13的包序列。

编码流10(MMT流)为构成一个MMT封装(package)的1个以上的流中的一个流。MMT封装例如与一个广播节目内容相当。

节目信息11包括表示编码流10是可适编码而得的流(包括基本层与扩展层双方的流)的信息、可适编码的种类及阶层等级数量(阶层数量)的信息。在此，可适编码的种类是指时间可适性(可缩放性)、空间可适性及SNR可适性等，阶层等级数量是指基本层及扩展层等层的数量。另外，节目信息11无需包括所有上述信息，包括至少任一个信息即可。

此外，节目信息11例如包括表示多个资源与包ID的对应关系的信息等。另外，资源(asset)是指包含相同传送特性的数据的数据实体，例如为影像数据及声音数据等中的任一个。此外，节目信息11也可以包括表示各个包ID(或者资源)的阶层关系的记述符。

节目信息11具体而言，为MMT中的CI(构成信息，Composition Information)及MPT(MMT封装表，MMT Package Table)。另外，节目信息11在MPEG2-TS中为PMT(节目映射表，Program Map Table)，在MPEG-DASH中为MPD(媒体演示描述，Media PresentationDescription)等。

时刻偏移信息12为用于决定AU的PTS或DTS的时刻信息。时刻偏移信息12具体而言，例如为属于基本层的开头的AU的绝对的PTS或DTS。

MMT包13为对MP4进行打包而得的数据。在实施方式1中，一个MMT包13中包含有一个MP4数据(MPU)。如图3所示，MMT包13包括头13a(MTT包头。MPEG2-TS时为TS包头)、以及有效载荷13b。

在有效载荷13b中，保存有MP4数据。另外，有时在有效载荷13b中保存有分割MP4而得的数据。

头13a为与有效载荷13b有关的附随信息。例如，在头13a中，包含有包ID。

包ID为表示MMT包13(有效载荷13b)所包含的数据的资源的识别号。包ID是按构成MMT封装的每个资源固有的识别号。

特征在于，在编码流10中，将基本层的影像数据与扩展层的影像数据作为不同的资源来处理。即、针对编码流10的MMT包13，根据保存的编码数据的阶层等级赋予不同的包ID。图4为表示编码流10中的包ID与数据(资源，asset)的对应关系的图。另外，图4为对应关系的一例。

如图4所示，在实施方式1中，针对基本层的影像数据(基本阶层等级的编码数据)被打包而成的MMT包13，赋予包ID“1”。即、在头13a中记述包ID“1”。并且，针对扩展层的影像数据(扩展阶层等级的编码数据)被打包而成的MMT包13，赋予包ID“2”。即、在头13a中记述包ID“2”。

同样地，针对声音数据被打包而成的MMT包13，赋予包ID“3”，针对时刻偏移信息12被打包而成的MMT包13，赋予包ID“4”。针对节目信息11被打包而成的MMT包13，赋予包ID“5”。

此外，如图4所示那样的对应关系记述于编码流10的节目信息11内。另外，在上述对应关系中，赋予了包ID“1”的MMT包13与赋予了包ID“2”的MMT包13成对，包含表示用于可适性的信息。

说明如以上说明那样的本实施方式1所涉及的编码流10的发送方法(发送装置)。图5为表示实施方式1所涉及的发送装置的构成的模块图。图6是实施方式1所涉及的发送方法的流程图。

如图5所示，发送装置15具备编码部16、复用部17以及发送部18。另外，关于发送装置15的构成要素，具体而言，通过微型计算机、处理器或者专用电路等来实现。

在实施方式1所涉及的编码流10的发送方法中，首先，生成编码流10，该编码流10包含被赋予了包ID的MMT包13、以及表示包ID与阶层等级的对应关系的信息(S11)。

具体而言，复用部17在从编码部16输出的编码数据被打包之际，根据该编码数据的阶层等级决定(选择)包ID。接着，复用部17生成包含决定的包ID的MMT包13。另一方面，复用部17生成表示上述对应关系的信息。并且，复用部17生成编码流10，该编码流10包含生成的MMT包13和表示生成的对应关系的信息。

生成的编码流10由发送部18利用传送路径传送(S12)。

这样，若发送包含根据编码数据的阶层等级被赋予了不同包ID的MMT包13的编码流10，则能够在接收侧利用以往的包过滤器的机制来容易地分选编码数据。

另外，表示包ID与阶层等级的对应关系的信息也可以不包含于编码流10，而是与编码流10分别传送。此外，在接收侧已掌握了包ID与阶层等级的对应关系的情况下，也可以不传送表示包ID与阶层等级的对应关系的信息。

例如，表示上述对应关系的信息既可以包含于在广播信号那样的连续的信号中反复***的节目信息中，也可以在解码开始前从通信服务器取得。

[接收方法]

以下，参照附图说明实施方式1所涉及的接收方法(接收装置)。图7为表示实施方式1所涉及的接收装置的构成的模块图。图8是实施方式1所涉及的接收方法的流程图。

另外，在以下的说明中，有时将基本层记为阶层等级A，将扩展层记为阶层等级B。

如图7所示，接收装置20具备包过滤器21、节目信息解析部22、控制部23、包缓冲器24、解码部25以及提示部26。另外，在接收装置20的构成要素中，包缓冲器24及提示部26之外的构成要素具体而言，通过微型计算机、处理器或者专用电路等来实现。包缓冲器24例如为半导体存储器等存储装置。提示部26例如为液晶面板等显示装置。

如图8所示，首先，包过滤器21分离编码流10所包含的MMT包13(S21)，将节目信息11输出至节目信息解析部22。在此，包过滤器21预先识别了包含节目信息11的MMT包13的包ID(或者能够从其他控制信息取得包含节目信息11的MMT包13的包ID)，因此能够从编码流10分离包含节目信息11的MMT包13。

接着，节目信息解析部22解析节目信息11(S22)。在节目信息11中，如上述包含有包ID与资源的对应关系等。

另一方面，控制部23决定提取哪一阶层的编码数据(MMT包13)(S23)。该决定既可以基于输入接受部(在图7中未图示)所接受的用户的输入来进行，也可以根据提示部26的规格(例如，提示部26所对应的帧率等)来进行。

并且，包过滤器21基于控制部23的控制，提取(过滤)所决定的阶层等级的编码数据(MMT包13)(S24)。控制部23通过节目信息解析部22的解析，识别了每个阶层等级的包ID，因此能够使包过滤器21提取所决定的阶层等级的编码数据。

接着，包缓冲器24缓冲由包过滤器21提取的编码数据，按照DTS的时刻输出至解码部25(S25)。DTS的时刻基于节目信息11、时刻偏移信息12、以及例如在MP4头内传送的时刻信息来算出。另外，在空间可适性等中对基本层的编码数据与扩展层的编码数据赋予了相同DTS那样的情况下，也可以重排解码顺序，以使基本层的编码数据比扩展层的编码数据先解码。

由包缓冲器24缓冲的编码数据被解码部25解码，在PTS的时刻由提示部26提示(显示)(S26)。PTS的时刻基于节目信息11、时刻偏移信息12、以及例如在MP4头内的时刻信息来算出。

利用图9进一步说明这样的接收方法。图9为概念性地表示实施方式1所涉及的接收方法的图。

如图9所示，例如，在决定为阶层等级是阶层等级A(提取对象仅为基本层的编码数据)的情况下，包过滤器21提取被赋予了包ID“1”的全部MMT包13，而不提取被赋予了包ID“2”的MMT包13。其结果是，帧率低(例如，60fps)的影像由提示部26显示。

此外，例如在决定为阶层等级是阶层等级A+B(提取对象为基本层的编码数据与扩展层的编码数据双方)的情况下，包过滤器21提取被赋予了包ID“1”或“2”的全部MMT包13。其结果是，帧率高(例如，120fps)的影像由提示部26显示。

这样，在接收装置20中，能够利用包过滤器21容易地分选基本阶层等级的编码数据与扩展阶层等级的编码数据。

(实施方式2)

[收发方法]

以下，参照附图说明实施方式2所涉及的发送方法及接收方法(接收装置)。图10为表示实施方式2所涉及的接收装置的构成的模块图。图11及图12为用于说明实施方式2所涉及的收发方法的概要的图。另外，关于发送装置的模块图、以及接收方法及发送方法的流程图，除了利用阶层等级ID这一点外与在实施方式1说明了的内容大致相同，因此省略其说明。

如图10所示，实施方式2所涉及的接收装置20a不同于接收装置20之处在于，其具备阶层过滤器27。

如图11的(1)所示，在通过实施方式2所涉及的发送方法发送的编码流中，对基本层的MMT包13及扩展层的MMT包13分别赋予相同的包ID(在图10中包ID：1)。

并且，针对被赋予了相同包ID的MMT包13，与包ID独立地赋予阶层等级ID，该阶层等级ID是与阶层等级有关的识别符。在图10的例子中，阶层等级ID例如针对基本层赋予A，针对扩展层赋予B。包ID及阶层等级ID例如记述在与MTT包对应的头13a(MMT包头)中。

阶层等级ID既可以作为新的识别符来规定，也可以利用个人用户数据(privateuser data)或其他识别符来实现。

另外，在使用TS包头的情况下，阶层ID既可以作为新的识别符来规定，也可以使用已有的识别符来实现。例如，能够使用传送优先识别符及基本流优先识别符中的任一方或双方实现与阶层等级ID等同的功能。

如图11的(2)及图12的(2)所示，被传送的编码流由接收装置20a的包过滤器21进行包过滤。即、被传送的编码流基于在包头中赋予的包ID进行包过滤。

如图11的(3)及图12的(3)所示，被包过滤后的MMT包13再通过阶层过滤器27基于阶层等级ID被阶层过滤。过滤后的编码数据暂时在包缓冲器24中缓冲后，在DTS的时刻由解码部25解码。并且，如图11的(4)及图12的(4)所示，解码后的数据由提示部26在PTS的时刻提示。

在此，为了得到仅基本层被解码的影像(例如60fps的影像)，仅解码低阶层的阶层等级ID“A”的MMT包13(编码数据)即可。因此，在阶层过滤中，仅提取阶层等级“A”的MMT包13。

另一方面，为了得到基本层及扩展层被解码的影像(例如120fps的影像)，需要解码低阶层的阶层等级ID“A”的MMT包13以及高阶层的阶层等级ID“B”的MMT包13双方。因此，在阶层等级过滤中，提取阶层等级ID“A”的MMT包13以及阶层等级ID“B”的MMT包13双方。

这样，实施方式2所涉及的接收方法(接收装置20a)具有如下两个体系，其一是仅对阶层等级ID为“A”的MMT包13进行过滤，并仅解码以及提示基本层的影像，其二是对阶层等级ID为“A”或“B”的MMT包13进行过滤，并解码以及提示基本层+扩展层的影像。

另外，在包过滤及阶层过滤中，对怎样的包ID或阶层等级ID进行过滤，通过考虑在节目信息11中记述的可适编码的种类或阶层数的信息、以及接收装置20a对怎样的阶层的编码数据进行解码及显示等来决定。

例如由接收装置20a根据接收装置20a所具备的处理能力来进行如上的决定。另外，发送装置也可以还将与解码及显示内容所需的接收装置20a的能力相关的信息作为信令信息发送，这样的情况下，通过接收装置20a对照信令信息与接收装置20a的能力来进行上述决定。

另外，也可以设有将包过滤器21与阶层过滤器27合为一个而得的过滤器部，过滤器部基于包ID与阶层等级ID一并进行过滤。

如以上说明，根据实施方式2所涉及的收发方法，能够通过阶层等级ID的过滤按每个阶层等级分选编码数据。即、在接收侧能够容易地分选编码数据。此外，由于分别赋予包ID与阶层等级ID，因此能够在包过滤中将基本层的编码数据及扩展层的编码数据作为同一流来处理。

此外，通过对包赋予阶层等级ID，仅通过过滤的动作便能够提取希望的阶层编码数据，而无需重组(reassemble)。

再有，通过阶层过滤器能够提取希望的阶层编码数据，据此，对应于仅基层的解码的接收装置能够削减用于缓冲扩展层的数据包的存储器。

[具体例1]

在MMT中，能够将由MP4数据构成的MPU分割(fragment)成MFU(媒体片段单元，Media Fragment Unit)，并按照MFU单位附加头13a来生成MMT包13。在此，MFU最小能够分割到NAL单元单位。

以下，作为实施方式2的具体例1，说明按照分割而成的MFU单位对编码数据进行打包的例子。图13、图14以及图15为用于说明按照分割而成的MFU单位对编码数据进行打包的例子的图。另外，在图13、图14以及图15中，白色的AU表示基本层的AU，附加阴影的AU表示扩展层的AU(在以下的图16～图18中也同样)。

在对分割而成的MFU进行打包的情况下，针对MMT包头的包ID赋予相同的包ID，进一步针对MMT包头赋予阶层等级ID。此外，在‘ftyp’、‘moov’以及‘moof’等中，针对与阶层等级无关的共通的数据(共通信息)的MMT包头，赋予表示共通的ID。在图13中，设为阶层等级A：基本层、阶层等级B：扩展层、阶层等级Z：共通信息。其中，基本层与共通信息的阶层等级也可以相同。

在这种结构的情况下，阶层等级B的编码数据被作为一个资源处理。在接收装置20a中，进行基于包ID的过滤后，成为能够进行阶层等级的过滤的状态。

在希望解码基本层的编码数据与扩展层的编码数据双方的情况下，在接收装置20a中，进行基于包ID的过滤之后，通过基于阶层等级ID的过滤提取全部阶层等级ID。即、在阶层等级过滤中，提取阶层等级A：基本层、阶层等级B：扩展层以及阶层等级Z：共通信息的全部。提取的数据为如图14所示的数据。

在仅希望解码基本层的编码数据的情况下，在接收装置20a中，进行基于包ID的过滤之后，对阶层等级A：基本层、以及阶层等级Z：共通信息进行过滤并提取。提取的数据为如图15的(a)所示的数据。

此时，由于除去了扩展层的AU，因此在解码部25中，以如图15的(b)所示基本层的AU紧挨的状态来取得。可是，在‘moof’中记述的样本(AU)的时间偏移信息或数据大小是在包含扩展层的状态下生成的信息。因此，在头中记述的信息与实际的数据产生不匹配。

因此，需要存储重构MP4数据所需的信息，例如事先另行存储已排除的AU的大小或偏移信息等。

因此，解码部25也可以在取得基本层的AU、或者DTS及PTS时，认为在‘moof’等头信息中扩展层的AU(通过过滤除去)在‘mdat’内不存在，从而进行解码处理。

例如，‘moof’中的访问单元(样本)的偏移信息被设定为扩展层的AU存在的信息。因此，解码部25在仅取得基本层的情况下，从偏移信息减去被除去的AU的大小。通过减法运算而得到的数据示意性地如图15的(c)所示。

同样地，关于DTS或PTS，也基于与被除去的扩展层的AU对应的sample_duration(连续的访问单元间的DTS的差分)、sample_composition_time_offset(访问单元的DTS与PTS的差分)来算出。

另外，也可以代替如上所述的减法运算，而将用于解码仅提取基本层而得的数据的头信息(针对仅基本层的AU的头信息)预先记述在MP4头中。再有，也可以在MP4头中，记述了用于识别仅解码基本层时的头信息与解码基本层及扩展层双方时的头信息的信息。

[具体例2]

以下，作为实施方式2的具体例2，说明不分割MPU而以MPU单位进行打包的例子。

首先，说明将编码数据按照原顺序配置到MP4数据中的例子。图16为表示将编码数据按照原顺序配置到MP4数据中的例子(将不同阶层等级的AU同时复用的情况)的图。

在将编码数据原样配置到MP4数据中的情况下，在‘mdat’框(box)中的一个轨道(track)上，基本层的AU与扩展层的AU混杂存在。该情况下，阶层等级ID按每个AU赋予。每个AU(样本)的阶层等级ID在‘moov’、‘moof’中记述。另外，优选的是，存在对应关系的基本层的AU与扩展层的AU配置在相同的‘mdat’框中。另外，对MP4数据附加传送头来进行打包时，赋予相同的包ID。

在如上的构成中，无法对包头赋予阶层等级ID，因此无法以包单位进行过滤。通过解析MP4数据能够进行过滤。

另外，作为其他方法，也有将编码数据的基本层与扩展层按轨道分开，并将对应关系记述于头的方法。

这样打包而得的数据在接收装置20a中被包过滤之后，在MP4数据解析时被进行AU的阶层等级的判定，提取以及解码希望的层的AU。

接着，说明将编码数据按每个阶层等级配置到MP4数据中的第1例。图17为表示将编码数据按每个阶层等级配置到MP4数据中的第1例的图。

在将编码数据按每个阶层等级配置到MP4数据中的情况下，编码数据会被按每个阶层等级分离，按每个阶层等级配置到片段的‘mdat’框中。该情况下，阶层等级ID在‘moof’中记述。针对共通的头，赋予表示是与阶层无关而共通的信息的阶层等级ID。

此外，针对包头，赋予相同的包ID。该情况下，也不能以包单位进行过滤。

如此打包而得的数据在接收装置20a中被包过滤之后，在MP4数据的解析时被进行片段的阶层等级的判定，提取以及解码希望的层的片段。

最后，说明将编码数据按每个阶层等级配置到MP4数据中的第2例。图18为用于说明将编码数据按每个阶层等级配置到MP4数据中的第2例的图。

在该例中，编码数据被按每个阶层等级分离，并按每个阶层等级配置到‘mdat’框中。

生成保存有基本层的AU的MP4数据以及保存有扩展层的AU的MP4数据。

阶层等级ID被记述在MP4数据的头以及传送包头的任一方或双方中。在此，阶层等级ID表示MP4数据间或者传送包间的阶层关系。另外，针对包头，赋予相同的包ID。

这样打包而得的数据在接收装置20a中被包过滤之后，被基于包头的阶层等级ID提取及解码希望的层的包。

[变形例]

在上述实施方式2中，说明了分别赋予包ID与阶层等级ID，但也可以使用包ID的一部分比特来赋予阶层等级ID，还可以新分配比特作为扩展包ID。另外，使用包ID的一部分比特来赋予阶层等级ID，与基于除了表示阶层等级ID的比特以外赋予相同ID这一规则按每个阶层等级赋予不同的包ID是等价的。

此外，在上述实施方式2中，说明了在解码基本层的编码数据与扩展层的编码数据双方的情况下，通过包过滤或阶层等级过滤，将基本层+扩展层的数据通过过滤来提取。但是，编码数据也可以在阶层等级过滤中暂时分为基本层与扩展层之后被重构。

(其他的实施方式)

本申请并不限于上述实施方式。

在上述实施方式1及2中，说明了按照MMT被复用而成的编码流。可是，编码流也可以是按照MPEG2-TS或RTP(Real Transport Protocol)等其他复用方式被复用而成的流。此外，也可以构成为MMT包按照MPEG-TS2被发送。在任一情况下，在接收侧均能容易地分选编码数据。

在上述实施方式1及2中，在一个编码流中基本层的编码数据与扩展层的编码数据混杂存在。可是，也可以分别生成由基本层的编码数据构成的第1编码流和由扩展层的编码数据构成的第2编码流。在此，第1编码流更详细而言是包含基本层的编码数据被打包而成的包、且不包含扩展层的编码数据被打包而成的包的编码流。第2编码流是包含扩展层的编码数据被打包而成的包、且不包含基本层的编码数据被打包而成的包的编码流。

这样的情况下，第1编码流与第2编码流也可以按照相互不同的复用方式生成。例如也可以是，第1编码流及第2编码流中的一方按照MPEG2-TS生成，第1编码流及第2编码流中的另一方按照MMT生成。

在两个编码流按照相互不同的复用方式生成的情况下，包ID或者阶层等级ID按照各自的复用方式被赋予。此外，该情况下，各编码流中的包ID的与阶层等级的对应关系或者阶层等级ID的与阶层等级的对应关系被记述在共通的节目信息中。具体而言，仅在两个编码流中的一方包含上述共通的节目信息，或者，在两个编码流双方中分别包含上述共通的节目信息。

在接收装置中，基于在节目信息中记述的对应关系，进行包过滤、阶层等级过滤，提取以及解码希望的阶层等级的编码数据。即、通过两个编码流显示一个影像。

此外，第1编码流与第2编码流也可以使用(物理上)不同的传送路径来传送。具体而言，例如也可以是，第1编码流及第2编码流中的一方使用广播用的传送路径来传送，第1编码流及第2编码流中的另一方使用通信用的传送路径来传送。这样的传送例如在阶层传送、或跨信道地传送的批量传送等情况下被想到。该情况下，各自的包ID、阶层等级ID的对应关系被记述在共通的节目信息中。另外，节目信息也可以不是共通的。接收装置能够识别包ID的与阶层等级的对应关系、或者阶层等级ID的与阶层等级的对应关系即可。

另外，在上述实施方式1及2中，说明了由一个基本层与一个扩展层这两个层构成的编码流，但也可以多层地构成扩展层，编码流由3个以上的阶层等级构成。该情况下，对3个阶层等级分别赋予不同的包ID(或者不同的阶层等级ID)。

另外，在上述实施方式1及2中，发送装置15具备编码部16，但发送装置也可以不具有编码功能。该情况下，与发送装置15独立地设置具有编码功能的编码装置。

同样地，在上述实施方式1及2中，接收装置20及20a具备解码部25，但接收装置20及20a也可以不具有解码功能。该情况下，与接收装置20及20a独立地设置具有解码功能的解码装置。

另外，在上述实施方式1及2中，各构成要素也可以由专用的硬件构成，或通过执行适合各构成要素的软件程序来实现。各构成要素也可以通过CPU或者处理器等程序执行部读出并执行记录于硬盘或者半导体存储器等记录介质中的软件程序来实现。

此外，在上述实施方式1中，也可以使由特定的处理部执行的处理由其他处理部执行。此外，也可以变更多个处理的顺序，还可以并行地执行多个处理。

另外，本申请的整体或具体的方式也可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现。此外，本申请的整体或具体的方式也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。

另外，本申请并不限于这些实施方式或其变形例。只要不脱离本申请的主旨，将本领域技术人员所想到的各种变形实施于本实施方式或者其变形例而得到的方式，或者组合不同实施方式或变形例中的构成要素而构建的方式都包含在本申请的范围内。

作为本申请的一方面的第1发送装置发送被时间可适编码的数据。在此，被时间可适编码的数据包括能够使用被包含在层中的数据来解码的基本层的数据、以及不能单独解码而必须与基本层的数据配合来解码的扩展层的数据。在此，基本层的数据例如为用于解码60p的影像的数据，扩展层的数据例如为用于通过与基本层的数据并用来解码120p的影像的数据。

基本层的数据作为被赋予了第1包ID的第1资源被传送，扩展层的数据作为被赋予了第2包ID的第2资源被传送。包ID在保存有数据的包的头中记述。发送装置对基本层的数据、扩展层的数据、以及节目信息进行复用并发送。在此，节目信息11例如也可以包括表示各自的包ID(或者与各包ID对应的资源)的阶层关系的识别符。在此，表示阶层关系的信息例如包括：表示第1包ID(第1资源)的数据能够单独解码的信息、以及表示第2包ID(第2资源)的数据不能单独解码而需要使用第1包ID(第1资源)的数据来解码的信息。

此外，节目信息也可以包括：表示构成节目的流是被可适编码的流(包括基本层与扩展层双方的流)的信息、表示可适编码的种类的信息、表示阶层数的信息、以及与阶层等级有关的信息中的至少任一个信息。

此外，本申请的一方面的第1接收装置接收被时间可适编码的数据。在此，被时间可适编码的数据包括能够使用被包含在层中的数据来解码的基本层的数据、以及不能单独解码而必须与基本层的数据配合来解码的扩展层的数据。在此，基本层的数据例如为用于解码60p的影像的数据，扩展层的数据例如为用于通过与基本层的数据并用来解码120p的影像的数据。

基本层的数据作为被赋予了第1包ID的第1资源被传送，扩展层的数据作为被赋予了第2包ID的第2资源被传送。包ID在保存有数据的包的头中记述。发送装置对基本层的数据、扩展层的数据、以及节目信息进行复用并发送。在此，节目信息11例如也可以包括表示各自的包ID(或者与各包ID对应的资源)的阶层关系的识别符。在此，表示阶层关系的信息例如包括：表示第1包ID(第1资源)的数据能够单独解码的信息、以及表示第2包ID(第2资源)的数据不能单独解码而需要使用第1包ID(第1资源)的数据来解码的信息。

此外，节目信息也可以包括：表示构成节目的流是被可适编码的流(包括基本层与扩展层双方的流)的信息、表示可适编码的种类的信息、表示阶层数的信息、以及与阶层等级有关的信息中的至少任一个。

根据上述的第1发送装置以及第2接收装置，能够从节目信息取得用于在接收侧解码所选择的包ID(资源)的数据所需的包ID(资源)，并进行基于包ID(资源)的过滤。例如，在再现被赋予了第1包ID的第1资源的情况下，由于第1包ID(第1资源)的数据能够单独解码，因此通过过滤取得第1包ID(第1资源)的数据。另一方面，在再现被赋予了第2包ID的第2资源的情况下，由于第2包ID(第2资源)的数据不能单独解码，而需要使用第1包ID(第1资源)的数据来解码，因此通过过滤取得第1包ID(第1资源)的数据与第2包ID(第2资源)的数据。

另外，在上述的构成中，在节目信息中，记述有表示用于解码各包ID(资源)的数据所需的、该包ID(资源)以外的包ID(资源)的数据的信息。根据该构成，在例如被可适编码的数据包括层A、与层A配合解码的层B、以及与层A配合解码的层C这3个阶层的情况下，接收装置在要再现的层被选择时，也能够不进行复杂的判定而确定传送解码所需的数据的包ID(资源)。

特别是，若考虑到阶层的深度为3以上的情况、或按照多种可适编码被编码的数据被复用并发送的情况等可能在将来出现，则能够不进行复杂的判定而确定传送解码所需的数据的包ID(资源)这样的上述构成是有用的。

工业实用性

本申请作为能够在接收侧容易地分选被阶层编码的编码数据的编码数据的发送方法，能够适用于电视广播或运动图像分发等。

标号说明

10 编码流

11 节目信息

12 时刻偏移信息

13 MMT包

13a 头

13b 有效载荷

15 发送装置

16 编码部

17 复用部

18 发送部

20，20a 接收装置

21 包过滤器

22 节目信息解析部

23 控制部

24 包缓冲器

25 解码部

26 提示部