一种沉浸媒体的数据处理方法

文档序号:1941839 发布日期:2021-12-07 浏览:14次 >En<

阅读说明:本技术 一种沉浸媒体的数据处理方法 (Data processing method for immersion media ) 是由 胡颖 许晓中 刘杉 于 2020-06-04 设计创作,主要内容包括:本申请实施例提供一种沉浸媒体的数据处理方法及相关设备,其中的方法包括:获取沉浸媒体的媒体文件格式数据盒,该媒体文件格式数据盒包括沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。可见,在目标缩放模式下,内容播放设备无需请求所有缩放分辨率版本的视频,从而节省了传输带宽。(The embodiment of the application provides a data processing method and related equipment for immersive media, wherein the method comprises the following steps: acquiring a media file format data box of the immersion media, wherein the media file format data box comprises a scaling strategy of an ith scaling region of the immersion media in a target scaling mode, and i is a positive integer; a scaling process is performed on the ith scaling region of the immersion medium in accordance with the media file format data box. Therefore, in the target zoom mode, the content playing device does not need to request all zoom resolution versions of the video, thereby saving transmission bandwidth.)

一种沉浸媒体的数据处理方法

技术领域

本申请涉及计算机技术领域,具体涉及虚拟现实(Virtual Reality,VR)技术领域,尤其涉及一种沉浸媒体的数据处理方法。

背景技术

现有的沉浸媒体传输方案中,已支持由用户自主对沉浸媒体进行缩放。对于支持缩放的特定播放时间、特定画面区域的视频内容,服务器会准备该区域的多个缩放分辨率版本的视频,当用户进行缩放操作时,内容播放设备会向服务器请求所有缩放分辨率版本的视频,最后由用户具体的缩放行为来决定呈现何种缩放比例,何种分辨率的视频。实践中发现,上述现有方案中缩放行为完全取决于用户实际的缩放操作;由于无法提前获知用户的缩放行为,在用户进行缩放前,内容播放设备必须先请求所有缩放分辨率的视频,将不可避免地造成带宽浪费。

发明内容

本申请实施例提供一种沉浸媒体的数据处理方法及相关设备,可节省传输带宽。

一方面,本申请实施例提供一种沉浸媒体的数据处理方法,包括:

获取沉浸媒体的媒体文件格式数据盒,该媒体文件格式数据盒包括沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。

本申请实施例获取沉浸媒体的媒体文件格式数据盒,该媒体文件格式数据盒包括沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。可见,在目标缩放模式下,客户端无需请求所有缩放分辨率版本的视频,从而节省了传输带宽。

一方面,本申请实施例提供一种沉浸媒体的数据处理方法,包括:

获取沉浸媒体的缩放信息;

根据沉浸媒体的缩放信息配置沉浸媒体的媒体文件格式数据盒;该媒体文件格式数据盒包括沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

将沉浸媒体的媒体文件格式数据盒添加至沉浸媒体的封装文件中。

本申请实施例根据沉浸媒体及沉浸媒体的缩放信息配置媒体文件格式数据盒,并将沉浸媒体的媒体文件格式数据盒添加至沉浸媒体的封装文件中。使得内容播放设备能够根据该媒体文件格式数据盒向服务器请求当前分辨率下目标缩放模式对应的视频文件并消费,无需请求所有缩放分辨率版本的视频,从而节省了传输带宽。

一方面,本申请实施例提供一种沉浸媒体的数据处理方法,包括:

获取沉浸媒体的封装文件,该封装文件中包括沉浸媒体的媒体文件格式数据盒;该媒体文件格式数据盒包括该沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

对该封装文件进行解析处理,并显示解析后的沉浸媒体;

在显示沉浸媒体的第i个缩放区域时,按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。

本申请实施例中,对沉浸媒体的封装文件进行解析处理得到该沉浸媒体的媒体文件格式数据盒,并按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。可见,在目标缩放模式下内容播放设备(客户端)无需请求所有缩放分辨率版本的视频,从而节省了传输带宽。此外,客户端在消费当前分辨率下目标缩放模式对应的视频文件期间,客户端根据目标缩放模式,自动呈现沉浸媒体内容制作者指定的缩放效果,以使得用户获得最佳观看体验。

一方面,本申请实施例提供一种沉浸媒体的数据处理装置,包括:

获取单元,用于获取沉浸媒体的媒体文件格式数据盒,该媒体文件格式数据盒包括沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

处理单元,用于按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。

一方面,本申请实施例提供另一种沉浸媒体的数据处理装置,包括:

获取单元,用于获取沉浸媒体的缩放信息;

处理单元,用于根据沉浸媒体的缩放信息配置沉浸媒体的媒体文件格式数据盒;该媒体文件格式数据盒包括沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;将沉浸媒体的媒体文件格式数据盒添加至沉浸媒体的封装文件中。

一方面,本申请实施例提供另一种沉浸媒体的数据处理装置,包括:

获取单元,用于获取沉浸媒体的封装文件,该封装文件中包括沉浸媒体的媒体文件格式数据盒;该媒体文件格式数据盒包括该沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

处理单元,用于对该封装文件进行解析处理,并显示解析后的沉浸媒体;在显示沉浸媒体的第i个缩放区域时,按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。

一方面,本申请实施例提供一种沉浸媒体的数据处理设备,包括:

处理器,适于执行计算机程序;

计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时,实现上述的沉浸媒体的数据处理方法。

本申请实施例对现有沉浸媒体的媒体文件格式数据盒及媒体呈现描述文件进行扩展,通过支持目标(导演)缩放模式下,使内容制作设备能够根据沉浸媒体内容制作者的意图,为用户制定不同分辨率下的不同缩放策略,客户端根据当前分辨率对应的缩放策略,向服务器请求对应的视频文件并消费。可见,在目标缩放模式下客户端无需请求所有缩放分辨率版本的视频,从而节省了传输带宽。此外,客户端在消费当前分辨率下目标缩放模式对应的视频文件期间,客户端根据目标缩放模式,自动呈现沉浸媒体内容制作者指定的缩放效果,以使得用户获得最佳观看体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1a示出了本申请一个示例性实施例提供的一种沉浸媒体系统的架构图;

图1b示出了本申请一个示例性实施例提供的一种视频编码基本框图;

图1c示出了本申请一个示例性实施例提供的6DoF的示意图;

图1d示出了本申请一个示例性实施例提供的3DoF的示意图;

图1e示出了本申请一个示例性实施例提供的3DoF+的示意图;

图1f示出了本申请实施例提供的一种输入图像划分示意图;

图2示出了本申请一个示例性实施例提供的第i个缩放区域的示意图;

图3示出了本申请一个示例性实施例提供的一种沉浸媒体的数据处理方法的流程图;

图4示出了本申请一个示例性实施例提供的另一种沉浸媒体的数据处理方法的流程图;

图5示出了本申请一个示例性实施例提供的另一种沉浸媒体的数据处理方法的流程图;

图6示出了本申请一个示例性实施例提供的一种沉浸媒体的数据处理装置的结构示意图;

图7示出了本申请一个示例性实施例提供的另一种沉浸媒体的数据处理装置的结构示意图;

图8示出了本申请一个示例性实施例提供的一种内容制作设备的结构示意图;

图9示出了本申请一个示例性实施例提供的一种内容播放设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请实施例涉及沉浸媒体的数据处理技术。所谓沉浸媒体是指能够提供沉浸式的媒体内容,使沉浸于该媒体内容中的用户能够获得现实世界中视觉、听觉等感官体验的媒体文件。具体的,沉浸媒体可以是3DoF(Degree of Freedom)沉浸媒体,3DoF+沉浸媒体或者6DoF沉浸媒体。沉浸媒体内容包括以各种形式在三维(3-Dimension,3D)空间中表示的视频内容,例如以球面形式表示的三维视频内容。具体地,沉浸媒体内容可以是VR(VirtualReality,虚拟现实)视频内容、全景视频内容、球面视频内容或360度视频内容;所以,沉浸媒体又可称为VR视频、全景视频、球面视频或360度视频。另外,沉浸媒体内容还包括与三维空间中表示的视频内容相同步的音频内容。

图1a示出了本申请一个示例性实施例提供的一种沉浸媒体系统的架构图;如图1a所示,沉浸媒体系统包括内容制作设备和内容播放设备,内容制作设备可以是指沉浸媒体的提供者(例如沉浸媒体的内容制作者)所使用的计算机设备,该计算机设备可以是终端(如PC(Personal Computer,个人计算机)、智能移动设备(如智能手机)等)或服务器。内容播放设备可以是指沉浸媒体的使用者(例如用户)所使用的计算机设备,该计算机设备可以是终端(如PC(Personal Computer,个人计算机)、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等))。沉浸媒体的数据处理过程包括在内容制作设备侧的数据处理过程及在内容播放设备侧的数据处理过程。

在内容制作设备端的数据处理过程主要包括:(1)沉浸媒体的媒体内容的获取与制作过程;(2)沉浸媒体的编码及文件封装的过程。在内容播放设备端的数据处理过程主要包括:(3)沉浸媒体的文件解封装及解码的过程;(4)沉浸媒体的渲染过程。另外,内容制作设备与内容播放设备之间涉及沉浸媒体的传输过程,该传输过程可以基于各种传输协议来进行,此处的传输协议可包括但不限于:DASH(Dynamic Adaptive Streaming over HTTP,动态自适应流媒体传输)协议、HLS(HTTP Live Streaming,动态码率自适应传输)协议、SMTP(Smart Media TransportProtocol,智能媒体传输协议)、TCP(Transmission ControlProtocol,传输控制协议)等。

下面分别对沉浸媒体的数据处理过程中涉及的各个过程进行详细介绍。

图1b示出了本申请一个示例性实施例提供的一种视频编码基本框图。结合图1a和图1b对沉浸媒体的数据处理过程中涉及的各个过程进行详细介绍:

一、在内容制作设备端的数据处理过程:

(1)获取沉浸媒体的媒体内容。

从沉浸媒体的媒体内容的获取方式看,可以分为通过捕获设备采集现实世界的声音-视觉场景获得的以及通过计算机生成的两种方式。在一种实现中,捕获设备可以是指设于内容制作设备中的硬件组件,例如捕获设备是指终端的麦克风、摄像头、传感器等。另一种实现中,该捕获设备也可以是与内容制作设备相连接的硬件装置,例如与服务器相连接摄像头;用于为内容制作设备提供沉浸媒体的媒体内容的获取服务。该捕获设备可以包括但不限于:音频设备、摄像设备及传感设备。其中,音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。捕获设备的数量可以为多个,这些捕获设备被部署在现实空间中的一些特定位置以同时捕获该空间内不同角度的音频内容和视频内容,捕获的音频内容和视频内容在时间和空间上均保持同步。由于获取的方式不同,不同沉浸媒体的媒体内容对应的压缩编码方式也可能有所区别。

(2)沉浸媒体的媒体内容的制作过程。

捕获到的音频内容本身就是适合被执行沉浸媒体的音频编码的内容。捕获到的视频内容进行一系列制作流程后才可成为适合被执行沉浸媒体的视频编码的内容,该制作流程包括:

①拼接。由于捕获到的视频内容是捕获设备在不同角度下拍摄得到的,拼接就是指对这些各个角度拍摄的视频内容拼接成一个完整的、能够反映现实空间360度视觉全景的视频,即拼接后的视频是一个在三维空间表示的全景视频(或球面视频)。

②投影。投影就是指将拼接形成的一个三维视频映射到一个二维(2-Dimension,2D)图像上的过程,投影形成的2D图像称为投影图像;投影的方式可包括但不限于:经纬图投影、正六面体投影。

需要说明的是,由于采用捕获设备只能捕获到全景视频,这样的视频经内容制作设备处理并传输至内容播放设备进行相应的数据处理后,内容播放设备侧的用户只能通过执行一些特定动作(如头部旋转)来观看360度的视频信息,而执行非特定动作(如移动头部)并不能获得相应的视频变化,VR体验不佳,因此需要额外提供与全景视频相匹配的深度信息,来使用户获得更优的沉浸度和更佳的VR体验,这就涉及多种制作技术,常见的制作技术包括6DoF(Six Degrees of Freedom,六自由度)制作技术。图1c示出了本申请一个示例性实施例提供的6DoF的示意图;6DoF分为窗口6DoF、全方向6DoF和6DoF,其中,窗口6DoF是指用户在X轴、Y轴的旋转移动受限,以及在Z轴的平移受限;例如,用户不能够看到窗户框架外的景象,以及用户无法穿过窗户。全方向6DoF是指用户在X轴、Y轴和Z轴的旋转移动受限,例如,用户在受限的移动区域中不能自由的穿过三维的360度VR内容。6DoF是指用户可以沿着X轴、Y轴、Z轴自由平移,例如,用户可以在三维的360度VR内容中自由的走动。与6DoF相类似的,还有3DoF和3DoF+制作技术。图1d示出了本申请一个示例性实施例提供的3DoF的示意图;如图1d所示,3DoF是指用户在一个三维空间的中心点固定,用户头部沿着X轴、Y轴和Z轴旋转来观看媒体内容提供的画面。图1e示出了本申请一个示例性实施例提供的3DoF+的示意图,如图1e所示,3DoF+是指当沉浸媒体提供的虚拟场景具有一定的深度信息,用户头部可以基于3DoF在一个有限的空间内移动来观看媒体内容提供的画面。

(3)沉浸媒体的媒体内容的编码过程。

投影图像可以被直接进行编码,也可以对投影图像进行区域封装之后再进行编码。现代主流视频编码技术,以国际视频编码标准HEVC(High Efficiency Video Coding),国际视频编码标准VVC(Versatile Video Coding),以及中国国家视频编码标准AVS(AudioVideo Coding Standard)为例,采用了混合编码框架,对输入的原始视频信号,进行了如下一系列的操作和处理:

1)块划分结构(block partition structure):根据处理单元的大小将输入图像划分成若干个不重叠的处理单元,对每个处理单元进行类似的压缩操作。这个处理单元被称作编码树单元(Coding Tree Unit,CTU),或者最大编码单元(Largest Coding Unit,LCU)。CTU可以继续进行更加精细的划分,得到一个或多个基本编码的单元,称之为编码单元(Coding Unit,CU)。每个CU是一个编码环节中最基本的元素。图1f示出了本申请实施例提供的一种输入图像划分示意图。以下描述的是对每一个CU可能采用的各种编码方式。

2)预测编码(Predictive Coding):包括了帧内预测和帧间预测等方式,原始视频信号经过选定的已重建视频信号的预测后,得到残差视频信号。内容制作设备需要为当前CU决定在众多可能的预测编码模式中,选择最适合的一种,并告知内容播放设备。

a.帧内预测:预测的信号来自于同一图像内已经编码重建过的区域

b.帧间预测:预测的信号来自已经编码过的,不同于当前图像的其他图像(称之为参考图像)

3)变换编码及量化(Transform&Quantization):残差视频信号经过离散傅里叶变换(Discrete Fourier Transform,DFT),离散余弦变换(Discrete Cosine Transform,DCT)等变换操作,将信号转换到变换域中,称之为变换系数。在变换域中的信号,进一步的进行有损的量化操作,丢失掉一定的信息,使得量化后的信号有利于压缩表达。在一些视频编码标准中,可能有多于一种变换方式可以选择,因此,内容制作设备也需要为当前编码CU选择其中的一种变换,并告知内容播放设备。量化的精细程度通常由量化参数(Quantization Parameter,QP)来决定,QP取值较大,表示更大取值范围的系数将被量化为同一个输出,因此通常会带来更大的失真,及较低的码率;相反,QP取值较小,表示较小取值范围的系数将被量化为同一个输出,因此通常会带来较小的失真,同时对应较高的码率。

4)熵编码(Entropy Coding)或统计编码:量化后的变换域信号,将根据各个值出现的频率,进行统计压缩编码,最后输出二值化(0或者1)的压缩码流。同时,编码产生其他信息,例如选择的模式,运动矢量等,也需要进行熵编码以降低码率。统计编码是一种无损编码方式,可以有效的降低表达同样的信号所需要的码率。常见的统计编码方式有变长编码(VLC,Variable Length Coding)或者基于上下文的二值化算术编码(CABAC,ContentAdaptive Binary Arithmetic Coding)。

5)环路滤波(Loop Filtering):已经编码过的图像,经过反量化,反变换及预测补偿的操作(上述2~4的反向操作),可获得重建的解码图像。重建图像与原始图像相比,由于存在量化的影响,部分信息与原始图像有所不同,产生失真(Distortion)。对重建图像进行滤波操作,例如去块效应滤波(deblocking),取样自适应偏移(Sample Adaptive Offset,SAO)滤波器或者自适应环路滤波器(Adaptive Loop Filter,ALF)等,可以有效的降低量化所产生的失真程度。由于这些经过滤波后的重建图像,将作为后续编码图像的参考,用于对将来的信号进行预测,所以上述的滤波操作也被称为环路滤波,及在编码环路内的滤波操作。

此处需要说明的是,如果采用6DoF(Six Degrees of Freedom,六自由度)制作技术(用户可以在模拟的场景中较自由的移动时,称为6DoF),在视频编码过程中需要采用特定的编码方式(如点云编码)进行编码。

(4)沉浸媒体的封装过程。

将音频码流和视频码流按照沉浸媒体的文件格式(如ISOBMFF(ISO Base MediaFile Format,国际标准化组织基媒体文件格式))封装在文件容器中形成沉浸媒体的媒体文件资源,该媒体文件资源可以是媒体文件或媒体片段形成沉浸媒体的媒体文件;并按照沉浸媒体的文件格式要求采用媒体呈现描述信息(Media presentation description,MPD)记录该沉浸媒体的媒体文件资源的元数据,此处的元数据是对与沉浸媒体的呈现有关的信息的总称,该元数据可包括对媒体内容的描述信息、对视窗的描述信息以及对媒体内容呈现相关的信令信息等等。如图1a所示,内容制作设备会存储经过数据处理过程之后形成的媒体呈现描述信息和媒体文件资源。

二、在内容播放设备端的数据处理过程:

(1)沉浸媒体的文件解封装及解码的过程;

内容播放设备可以通过内容制作设备的推荐或按照内容播放设备端的用户需求自适应动态从内容制作设备获得沉浸媒体的媒体文件资源和相应的媒体呈现描述信息,例如内容播放设备可根据用户的头部/眼睛/身体的跟踪信息确定用户的朝向和位置,再基于确定的朝向和位置动态向内容制作设备请求获得相应的媒体文件资源。媒体文件资源和媒体呈现描述信息通过传输机制(如DASH、SMT)由内容制作设备传输给内容播放设备。内容播放设备端的文件解封装的过程与内容制作设备端的文件封装过程是相逆的,内容播放设备按照沉浸媒体的文件格式要求对媒体文件资源进行解封装,得到音频码流和视频码流。内容播放设备端的解码过程与内容制作设备端的编码过程是相逆的,内容播放设备对音频码流进行音频解码,还原出音频内容。另外,内容播放设备对视频码流的解码过程包括如下:①对视频码流进行解码,得到平面的投影图像。②根据媒体呈现描述信息将投影图像进行重建处理以转换为3D图像,此处的重建处理是指将二维的投影图像重新投影至3D空间中的处理。

根据上述编码过程可以看出,在内容播放设备端,对于每一个CU,内容播放设备获得压缩码流后,先进行熵解码,获得各种模式信息及量化后的变换系数。各个系数经过反量化及反变换,得到残差信号。另一方面,根据已知的编码模式信息,可获得该CU对应的预测信号,两者相加之后,即可得到重建信号。最后,解码图像的重建值,需要经过环路滤波的操作,产生最终的输出信号。

(2)沉浸媒体的渲染过程。

内容播放设备根据媒体呈现描述信息中与渲染、视窗相关的元数据对音频解码得到的音频内容及视频解码得到的3D图像进行渲染,渲染完成即实现了对该3D图像的播放输出。特别地,如果采用3DoF和3DoF+的制作技术,内容播放设备主要基于当前视点、视差、深度信息等对3D图像进行渲染,如果采用6DoF的制作技术,内容播放设备主要基于当前视点对视窗内的3D图像进行渲染。其中,视点指用户的观看位置点,视差是指用户的双目产生的视线差或由于运动产生的视线差,视窗是指观看区域。

沉浸媒体系统支持数据盒(Box),数据盒是指包括元数据的数据块或对象,即数据盒中包含了相应媒体内容的元数据。沉浸媒体可以包括多个数据盒,例如包括旋转数据盒、覆盖信息数据盒、媒体文件格式数据盒等等。在沉浸媒体系统场景下,为了使用户获得更好的观看体验,内容制作者通常会为沉浸媒体的媒体内容增加更多样的呈现形式,缩放则是其中重要的一种呈现形式。缩放策略可被配置在沉浸媒体的媒体格式数据盒中,例如配置在ISOBMFF数据盒中。与缩放策略对应的描述信息可被配置在缩放描述信令文件中,例如配置在球面区域缩放描述子或平面区域缩放描述子中。依据沉浸媒体的现有编码标准(如AVS),沉浸媒体的媒体文件格式数据盒的语法可参见下述表1:

表1

上述表1所示语法的语义如下:num_regions指示对应于同一个全方向视频的球面区域或投影图像上的2D区域的缩放区域的数量。zoom_reg_width[i]指示第i个缩放区域的宽度;zoom_reg_height[i]指示第i个缩放区域的高度;zoom_reg_top[i]指示第i个缩放区域的垂直偏移;zoom_reg_left[i]指示第i个缩放区域的水平偏移。图2示出了本申请一个示例性实施例提供的第i个缩放区域的示意图。如图2所示,201表示第i个缩放区域所属投影图像的宽度,202表示第i个缩放区域所属投影图像的高度,203表示第i个缩放区域的水平偏移zoom_reg_left[i],204表示第i个缩放区域的垂直偏移zoom_reg_top[i],205表示第i个缩放区域的高度zoom_reg_height[i],206表示第i个缩放区域的宽度zoom_reg_width[i]。zoom_ratio指示第i个缩放区域的缩放比例,以2-3为单位,其中,i为正整数。zoom_ratio取值为0时,说明第i个缩放区域经过缩放处理后的尺寸与未经过缩放处理的尺寸相同;zoom_ratio取值为非0时,zoom_ratio的值指示第i个缩放区域经过缩放处理后的尺寸相较于未经过缩放处理的尺寸(原始尺寸)的实际比例或近似比例。zoom_algorithm_type指示第i个缩放区域在渲染呈现时所使用的缩放算法类型,zoom_algorithm_type的取值与缩放算法类型的映射关系如表2所示:

表2

取值 描述
0 凸起变焦
1 球形变焦(保证中心失真最小)
2 盘状均匀变焦
3..255 未定义

zoom_symbolization_type指示第i个缩放区域的边界符号类型;zoom_area_type指示第i个缩放区域的类型,zoom_algorithm_type的取值与缩放缩放区域的类型的映射关系如表3所示:

表3

zoom_description携带了第i个缩放区域的文本描述。

与沉浸媒体的媒体文件格式数据盒的缩放策略对应的描述信息被存放于沉浸媒体的缩放描述信令文件中,缩放描述信令文件可包括球面区域缩放(SphereRegionZooming,SRWZ)描述子和平面(two dimensional,2D)区域缩放(2DRegionZooming,2DWZ)描述子中的至少一个。

球面区域缩放(SphereRegionZooming,SRWZ)描述子为方案标识属性(@schemeIdUri)等于"urn:avs:ims:2018:srwz"的辅助属性(SupplementalProperty)元素。SRWZ描述子指示与其对应表示(Representation)层级所携带的全方向视频轨道中的全方向视频的球面区域,以及球面区域在全方向视频的投影图像上的一个或者多个缩放区域。

当存在适用于Representation层级的SRWZ描述子,并且球面区域缩放数据盒(SphereRegionZoomingBox)也存在于该Representation层级相对应的轨道中时,SRWZ描述子应携带与SphereRegionZoomingBox等效的信息。内容播放设备可根据SRWZ描述子,请求获取与全方向视频的球面区域缩放操作对应的视频文件。SRWZ描述子应包含下表4中定义的元素和属性。

表4

与沉浸媒体的媒体文件格式数据盒对应的平面(two dimensional,2D)区域缩放(2DRegionZooming,2DWZ)描述子为方案标识属性(@schemeIdUri)等于"urn:mpeg:mpegI:omaf:2018:2dwz"的辅助属性(SupplementalProperty)元素。2DWZ描述子指示与其对应表示(Representation)层级所携带的全方向视频轨道中的全方向视频的投影图像上的2D区域,以及2D区域在全方向视频的投影图像上的一个或者多个缩放区域。

当存在适用于Representation层级的2DWZ描述子,并且2D区域缩放数据盒(2DRegionZoomingBox)也存在于该Representation层级相对应的轨道中时,2DWZ描述子应携带与2DRegionZoomingBox等效的信息。内容播放设备可根据2DWZ描述子,请求获取与全方向视频的投影图像上的2D区域缩放操作对应的视频文件。2DWZ描述子应包含下表5中定义的元素和属性。

表5

按照表1所示的媒体文件格式数据盒,结合表4所示的球面区域缩放描述子以及表5所示的2D区域缩放描述子中的描述信息,仅能支持内容播放设备端的用户对沉浸媒体的自主缩放操作。如前述可知,用户自主缩放行为会造成带宽浪费;并且无法获得较佳观看体验。为了节省带宽,同时提高用户观看体验,本申请实施例针对现有沉浸媒体的媒体文件格式数据盒及媒体呈现描述文件进行扩展,扩展后的媒体文件格式数据盒的语法的语义可参见下述表6:

表6

上述表6相对于表1新增扩展的语法的语义如下①-④:

①缩放标志字段auto_zoom_flag指示是否开启目标缩放模式(如导演缩放模式),当auto_zoom_flag取值为有效值时,说明开启目标缩放模式,即第i个缩放区域需要在目标缩放模式下被执行缩放处理;当auto_zoom_flag取值为无效值时,说明关闭目标缩放模式,即第i个缩放区域不需要在目标缩放模式下被执行缩放处理,其中,i为正整数。有效值和无效值按照编码标准的要求来设置,以AVS标准为例,有效值为1,无效值为0。

②缩放步骤字段zoom_steps指示第i个缩放区域在目标缩放模式下,被执行缩放处理时所包含的缩放步骤的数目m,其中,m为正整数;具体指示第i个缩放区域在目标缩放模式下需要被执行m次缩放处理。

③一个缩放步骤对应一个缩放比例字段zoom_ratio,则m个缩放步骤对应m个zoom_ratio。第j个zoom_ratio指示沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时所采用的缩放比例,zoom_ratio以2-3为单位,其中,j为正整数,且j≤m;当第j个zoom_ratio取值为0时,第j个zoom_ratio指示沉浸媒体的第i个缩放区域在目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸相同;第j个zoom_ratio取值为非0时,第j个zoom_ratio指示值沉浸媒体的第i个缩放区域在目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸之间的比例为第j个zoom_ratio的值。

④一个缩放步骤对应一个缩放持续时间zoom_duration和一个持续时间的度量单位zoom_duration_unit,则m个缩放步骤对应m个zoom_duration和m个zoom_duration_unit。第j个zoom_duration指示沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的值;zoom_duration的值为非零值;第j个zoom_duration_unit指示沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的度量单位,zoom_duration_unit以秒为单位,zoom_duration_unit的值为非零值。

缩放描述信令文件包括以下至少一种:球面区域缩放描述子和平面区域缩放描述子,扩展后的球面区域缩放描述子的语法的语义可参见下述表7:

表7

对比上述表7和表4可知,本申请实施例中的扩展后的球面区域缩放描述子相较于现有标准中的球面区域缩放描述子增加了关于目标缩放模式(即导演缩放模式)下的缩放策略的描述信息,包括上述表7中的元素和属性:[email protected]_zoom_flag、[email protected]_ratio、[email protected]_duration以及[email protected]_duration_unit,及这些元素和属性的相关描述。

扩展后的平面区域缩放描述子的语法的语义可参见下述表8:

表8

对比上述表8和表5可知,本申请实施例中的扩展后的平面区域缩放描述子相较于现有标准中的平面区域缩放描述子增加了关于目标缩放模式(即导演缩放模式)下的缩放策略的描述信息,包括上述表8中的元素和属性:[email protected]_zoom_flag、[email protected]_ratio、[email protected]_duration以及[email protected]_duration_unit,及这些元素和属性的相关描述。

按照本申请实施例的上述表6所示的媒体文件格式数据盒,结合表7所示的球面区域缩放描述子以及表8所示的2D区域缩放描述子中对缩放策略的描述,在目标缩放模式(如导演缩放模式)下,内容播放设备端的用户能够基于MPD文件获取与内容播放设备端当前分辨率对应的视频文件并消费,无需请求所有缩放分辨率版本的视频,从而节省了传输带宽。此外,内容播放设备在消费当前分辨率下目标缩放模式对应的视频文件期间,内容播放设备根据目标缩放模式,自动呈现沉浸媒体内容制作者指定的缩放效果,以使得用户获得最佳观看体验。

图3示出了本申请一个示例性实施例提供的一种沉浸媒体的数据处理方法的流程图;该方法可由沉浸媒体系统中的内容制作设备或者内容播放设备来执行,该方法包括以下步骤S301-S302:

S301,获取沉浸媒体的媒体文件格式数据盒,该媒体文件格式数据盒包括沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数。

S302,按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。

步骤S301-S302中,沉浸媒体的媒体文件格式数据盒的语法可以参见上述表6。其中,目标缩放模式是指当沉浸媒体中第i个缩放区域满足缩放条件(例如沉浸媒体的播放进度达到预设位置,或者用户的视角转向预设区域)时,按照缩放策略对第i个缩放区域进行缩放处理。缩放策略是根据沉浸媒体内容制作者指定的缩放信息生成的;例如,假设沉浸媒体内容制作者指定的缩放信息为:当用户的视角转向第i个缩放区域时,将第i个缩放区域放大至第i个缩放区域原始尺寸的两倍,则该缩放信息对应的缩放策略中携带第i个缩放区域的位置信息(如坐标),缩放条件,尺寸信息(宽度、高度)及缩放比例。

在一种实施方式中,媒体文件格式数据盒可以是指ISOBMFF(ISO Base MediaFile Format,国际标准化组织基媒体文件格式)数据盒,目标缩放模式可以是指导演缩放模式。

在按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理之前,可先获取沉浸媒体的缩放描述信令文件,该缩放描述信令文件中包括缩放策略的描述信息,缩放描述信令文件包括以下至少一种:球面区域缩放描述子和平面区域缩放描述子。球面区域缩放描述子被封装于沉浸媒体的媒体呈现描述文件中的表示层级(Representation)中,且表示层级中的球面区域缩放描述子的数量小于或等于1。球面区域缩放描述子的语法可参见表7。平面区域缩放描述子被封装于沉浸媒体的媒体呈现描述文件中的表示层级中,且表示层级中的平面区域缩放描述子的数量小于或等于1。平面区域缩放描述子的语法可参见表8。在用户打开目标缩放模式后,内容播放设备根据沉浸媒体的缩放描述信令文件及媒体文件格式数据盒对沉浸媒体文件进行呈现。

本申请实施例中,获取沉浸媒体的媒体文件格式数据盒,该媒体文件格式数据盒包括沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。可见,在目标缩放模式下,内容播放设备无需请求所有缩放分辨率版本的视频,从而节省了传输带宽。

图4示出了本申请一个示例性实施例提供的另一种沉浸媒体的数据处理方法的流程图;该方法由沉浸媒体系统中的内容制作设备来执行,该方法包括以下步骤S401-S403:

S401,获取沉浸媒体的缩放信息。

缩放信息是根据内容制作者的意图生成的,例如:内容制作者在制作过程中可对沉浸媒体执行缩放处理,在一种实施方式中,内容制作者可先针对沉浸媒体的第i个缩放区域执行缩放处理,例如对第i个缩放区域先缩小几分钟,再放大几分钟;或者先缩小几倍、再放大几倍等等,再根据第i个缩放区域执行缩放处理的缩放效果来指定缩放信息。或者,内容制作者在了解沉浸媒体的分辨率的情况下,也可以不用先对沉浸媒体的第i个缩放区域执行缩放处理,而直接按照分辨率来指定缩放信息。缩放信息用于指示第i个缩放区域被执行缩放处理时的相应缩放参数,包括但不限于:第i个缩放区域的位置尺寸(例如宽、高、坐标),第i个缩放区域被执行的缩放步骤(如先缩小再放大)、缩放比例(如缩小几倍、放大几倍)、缩放步骤的持续时间(如先缩小几分钟、再放大几分钟)等等。

S402,根据沉浸媒体的缩放信息配置沉浸媒体的媒体文件格式数据盒;媒体文件格式数据盒包括沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数。

结合上述表6,步骤S402的具体配置过程可包括以下(1)-(4):

(1)缩放策略包括缩放标志字段auto_zoom_flag;当沉浸媒体的缩放信息指示第i个缩放区域需要在目标缩放模式下被执行缩放处理时,则配置缩放标志字段为有效值,例如配置auto_zoom_flag的值为1。

(2)缩放策略包括缩放步骤字段zoom_steps;那么,当缩放信息指示沉浸媒体的第i个缩放区域在目标缩放模式下被执行缩放处理时需要被执行m个缩放步骤时,配置缩放步骤字段的值为m,m为正整数。

(3)一个缩放步骤对应一个缩放比例字段zoom_ratio,则m个缩放步骤对应m个zoom_ratio。m个缩放步骤中的第j个缩放步骤与m个缩放比例字段中的第j个缩放比例字段zoom_ratio相对应,j为正整数且j≤m。那么,若缩放信息指示沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸相同,则配置第j个缩放比例字段为无效值;若缩放信息指示第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸不同,则配置缩放比例字段为有效值,有效值为缩放信息指示的第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸之间的比例,例如,沉浸媒体的缩放信息中针对第i个缩放区域执行缩放处理的第j个缩放步骤的缩放信息指示将其放大2倍,则可配置m个缩放比例字段中的第j个缩放比例字段的值为16。

(4)一个缩放步骤对应一个缩放持续时间zoom_duration和一个持续时间的度量单位zoom_duration_unit,则m个缩放步骤对应m个zoom_duration和m个zoom_duration_unit。第j个缩放步骤与第j个缩放持续时间字段和第j个缩放持续时间单位字段相对应,j为正整数且j≤m。那么,将缩放信息指示的第i个缩放区域被执行第j个缩放步骤时的持续时间的值,配置为第j个缩放持续时间字段的值;以及,将缩放信息指示的第i个缩放区域被执行第j个缩放步骤时的持续时间的度量单位,配置为第j个缩放持续时间单位字段的值。例如,沉浸媒体的缩放信息指示对第i个缩放区域执行缩放处理的第j个缩放步骤时将第i个缩放区域放大3分钟,则配置m个缩放时间字段中第j个缩放步骤的持续时间的值为3,以及,配置m个缩放时间单位字段中第j个缩放步骤的持续时间单位字段的值为60。

另外,根据缩放信息还可配置沉浸媒体的缩放描述信令文件,缩放描述信令文件包括缩放策略的描述信息,缩放描述信令文件的语法可参见表7和表8,缩放描述信令文件中扩展字段的配置方式可参考上述媒体文件格式数据盒中对应字段的配置方式,在此不再赘述。

下面通过一个完整的例子对本申请实施例的方案进行详细说明:沉浸媒体内容制作者对视频A所指定的缩放信息如下:在视频A的第10分钟至第20分钟(00:10:00-00:20:00)对区域B进行缩放。其中,第10分钟至第13分钟(00:10:00-00:13:00)将区域B放大至原始尺寸的2倍,第13分钟至第17分钟(00:13:00-00:17:00)将区域B还原为原始尺寸,第17分钟至第20分钟(00:17:00-00:20:00)将区域B放大至原始尺寸的4倍。则内容制作设备根据内容制作者对视频A指定的缩放信息将缩放标志字段的值配置为1,将缩放步骤字段的值配置为3。将缩放步骤1的缩放比例字段的值配置为16(16×2-3=2),持续时间字段配置为3,持续时间单位字段配置为60。可以理解的是,持续时间的计算方式为3×60s=180s,即3分钟。同理,将缩放步骤2的缩放比例字段的值配置为0,持续时间字段配置为4,持续时间单位字段配置为60;将缩放步骤3的缩放比例字段的值配置为32,持续时间字段配置为3,持续时间单位字段配置为60。

需要说明的是,根据内容制作者指定的缩放信息,内容制作设备会为沉浸媒体配置各种分辨率下的媒体文件格式数据盒及相应的缩放描述信令文件;例如,根据内容制作者指定的缩放信息,内容制作设备为视频A在4K分辨率(4096×2160像素)下的媒体文件格式数据盒1及缩放描述信令文件1,用于指示该视频A在4K分辨率下被执行缩放处理时呈现“放大2倍→原始比例→放大4倍”的缩放效果;另外,内容制作设备为视频A在2K分辨率下的媒体文件格式数据盒2及缩放描述信令文件2,用于指示该视频A在2K分辨率下被执行缩放处理时呈现“放大1.5倍→原始比例→放大3倍”的缩放效果。

S403,将沉浸媒体的媒体文件格式数据盒添加至沉浸媒体的封装文件中。

在一种实施方式中,内容制作设备将内容相同,但分辨率不同的沉浸媒体和与其对应的媒体文件格式数据盒分别添加至沉浸媒体的封装文件中。

进一步地,内容制作设备可以将沉浸媒体不同分辨率下的所有媒体文件格式数据盒进行打包,并将打包文件发送给内容播放设备,以使内容播放设备根据当前分辨率及打包文件请求对应的封装文件。

本申请实施例中,内容制作设备根据沉浸媒体及沉浸媒体的缩放信息配置媒体文件格式数据盒,并将沉浸媒体的媒体文件格式数据盒添加至沉浸媒体的封装文件中。使得内容播放设备能够根据该媒体文件格式数据盒向服务器请求当前分辨率下目标缩放模式对应的视频文件并消费,无需请求所有缩放分辨率版本的视频,从而节省了传输带宽。

图5示出了本申请一个示例性实施例提供的另一种沉浸媒体的数据处理方法的流程图;该方法由沉浸媒体系统中的内容播放设备来执行,该方法包括以下步骤S501-S503:

S501,获取沉浸媒体的封装文件,该封装文件中包括沉浸媒体的媒体文件格式数据盒;该媒体文件格式数据盒包括该沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数。

S502,对封装文件进行解析处理,并显示解析后的沉浸媒体。

在一种实施方式中,内容播放设备首先对封装文件进行解封装,得到沉浸媒体的编码文件及沉浸媒体的媒体文件格式数据盒,然后对沉浸媒体的编码文件进行解码并显示。

S503,在显示沉浸媒体的第i个缩放区域时,按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。

结合上述表6,步骤S503的具体的缩放处理过程可包括以下(1)-(4):

(1)缩放策略包括缩放标志字段auto_zoom_flag;当缩放标志字段为有效值时,指示开启目标缩放模式,内容播放设备对沉浸媒体的第i个缩放区域执行缩放处理。缩放处理具体可以是向服务器请求第i个缩放区域被执行缩放处理后的尺寸所对应的视频并播放。

(2)缩放策略包括缩放步骤字段zoom_steps;当缩放步骤字段的值为m时,在目标缩放模式下对沉浸媒体的第i个缩放区域执行m次缩放处理。其中,m为正整数。例如,缩放步骤字段的值为3,则在目标缩放模式下,内容播放设备需要对沉浸媒体的第i个缩放区域执行3次缩放处理。

(3)一个缩放步骤对应一个缩放比例字段zoom_ratio,则m个缩放步骤对应m个zoom_ratio。m个缩放步骤中的第j个缩放步骤与m个缩放比例字段中的第j个缩放比例字段zoom_ratio相对应,j为正整数且j≤m。当第j个缩放比例字段为无效值时,在目标缩放模式下将第i个缩放区域的尺寸缩放为第i个缩放区域被执行缩放处理之前的尺寸;当第j个缩放比例字段为有效值时,在目标缩放模式下按照该有效值对沉浸媒体的第i个缩放区域执行缩放处理的第j个缩放步骤,使沉浸媒体的第i个缩放区域被执行第j个缩放步骤之后的尺寸与沉浸媒体的第i个缩放区域被执行缩放处理之前的尺寸之间的比例达到该有效值。

(4)一个缩放步骤对应一个缩放持续时间zoom_duration和一个持续时间的度量单位zoom_duration_unit,则m个缩放步骤对应m个缩放持续时间和m个持续时间的度量单位。第j个缩放步骤与第j个缩放持续时间字段和第j个缩放持续时间单位字段相对应,j为正整数且j≤m。在目标缩放模式下对沉浸媒体的第i个缩放区域执行缩放处理的第j个缩放步骤。其中,第j个缩放步骤的持续时间由第j个缩放持续时间字段和第j个缩放持续时间单位字段共同指示。可以理解的是,在缩放持续时间内,内容播放设备持续对沉浸媒体第i个缩放区域中的图像进行缩放处理,直至缩放持续时间结束。例如,沉浸媒体在缩放持续时间内共显示20帧图像,则内容播放设备对这20帧图像的第i个缩放区域进行缩放处理并显示。

另外,内容播放设备在获取沉浸媒体的封装文件之前,可先获取沉浸媒体的MPD文件,MPD文件中包括各种分辨率下的缩放描述信令文件,内容播放设备基于MPD文件获取与内容播放设备端当前分辨率对应的封装文件,并按照上述步骤(1)-步骤(4)的实施方式呈现封装文件中的沉浸媒体的缩放效果。

下面通过一个完整的例子对本申请实施例的方案进行详细说明:假设用户1和用户2都选择了导演缩放模式,且用户1消费的基础分辨率为4K,用户1向服务器请求4K分辨率对应的开启导演缩放模式的表示层级下的视频文件;用户2消费的基础分辨率为2K,用户2向服务器请求2K分辨率对应的开启导演缩放模式的表示层级下的视频文件。服务器接收用户1和用户2的请求,分别封装2K分辨率和4K分辨率对应的视频文件,并推送给用户1和用户2。其中,用户1收到的沉浸媒体的封装文件1中包括:

auto_zoom_flag=1;zoom_steps=3;

step1:zoom_ratio=16;zoom_duration=3;zoom_duration_unit=60;

step2:zoom_ratio=0;zoom_duration=4;zoom_duration_unit=60;

step3:zoom_ratio=32;zoom_duration=3;zoom_duration_unit=60;

用户2收到的沉浸媒体的封装文件2中包括:

auto_zoom_flag=1;zoom_steps=3;

step1:zoom_ratio=12;zoom_duration=3;zoom_duration_unit=60;

step2:zoom_ratio=0;zoom_duration=4;zoom_duration_unit=60;

step3:zoom_ratio=24;zoom_duration=3;zoom_duration_unit=60;

此外,用户1和用户2收到的沉浸媒体的封装文件1和沉浸媒体的封装文件2中还可以包括缩放区域i的位置信息,尺寸信息,以及执行缩放处理的条件。假设缩放处理的条件为播放进度达到第10分钟时对缩放区域i进行缩放处理,则用户1使用的内容播放设备1在第10分钟至第13分钟(00:10:00-00:13:00)将缩放区域i放大至原始尺寸的2倍,第13分钟至第17分钟(00:13:00-00:17:00)将缩放区域i还原为原始尺寸,第17分钟至第20分钟(00:17:00-00:20:00)将缩放区域i放大至原始尺寸的4倍,并在第20分钟(00:20:00)结束缩放。同理,用户2使用的内容播放设备2在第10分钟至第13分钟(00:10:00-00:13:00)将缩放区域i放大至原始尺寸的1.5倍,第13分钟至第17分钟(00:13:00-00:17:00)将缩放区域i还原为原始尺寸,第17分钟至第20分钟(00:17:00-00:20:00)将缩放区域i放大至原始尺寸的3倍,并在第20分钟(00:20:00)结束缩放。

本申请实施例中,内容播放设备对沉浸媒体的封装文件进行解析处理得到该沉浸媒体的媒体文件格式数据盒,并按照媒体文件格式数据盒对沉浸媒体的第i个缩放区域执行缩放处理。可见,在目标缩放模式下内容播放设备无需请求所有缩放分辨率版本的视频,从而节省了传输带宽。此外,内容播放设备在消费当前分辨率下目标缩放模式对应的视频文件期间,内容播放设备根据目标缩放模式,自动呈现沉浸媒体内容制作者指定的缩放效果,以使得用户获得最佳观看体验。

上述详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。

请参见图6,图6示出了本申请一个示例性实施例提供的一种沉浸媒体的数据处理装置的结构示意图;该沉浸媒体的数据处理装置可以是运行于内容制作设备中的一个计算机程序(包括程序代码),例如该沉浸媒体的数据处理装置可以是内容制作设备中的一个应用软件。由图6所示,该沉浸媒体的数据处理装置包括获取单元601和处理单元602。

在一个示例性实施例中,该沉浸媒体的数据处理装置可以用于执行图3所示的方法中的相应步骤;则:

获取单元601,用于获取沉浸媒体的媒体文件格式数据盒,所述媒体文件格式数据盒包括所述沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

处理单元602,用于按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理。

在一种实施方式中,所述媒体文件格式数据盒包括国际标准化组织基媒体文件格式数据盒;所述目标缩放模式包括导演缩放模式。

在一种实施方式中,所述缩放策略包括缩放标志字段;

当所述缩放标志字段为有效值时,所述缩放标志字段用于指示所述沉浸媒体的第i个缩放区域需要在所述目标缩放模式下被执行缩放处理。

在一种实施方式中,所述缩放策略包括缩放步骤字段,所述缩放步骤字段的值为m,m为正整数;所述缩放步骤字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理时所包含的缩放步骤的数目为m。

在一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放比例字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放比例字段中的第j个缩放比例字段相对应,j为正整数且j≤m;

所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时所采用的缩放比例;所述缩放比例以2-3为单位;

当所述第j个缩放比例字段为无效值时,所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸相同;

当所述第j个缩放比例字段为有效值时,所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸之间的比例为所述第j个缩放比例字段的值。

在一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放持续时间字段及m个缩放持续时间单位字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放持续时间字段中的第j个缩放持续时间字段和所述m个缩放持续时间单位字段中的第j个缩放持续时间单位字段相对应,j为正整数且j≤m;

所述第j个缩放持续时间字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的值;所述缩放持续时间字段为非零值;

所述第j个缩放持续时间单位字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的度量单位,所述度量单位以秒为单位,所述缩放持续时间单位字段为非零值。

在一种实施方式中,获取单元601还用于:

获取所述沉浸媒体的缩放描述信令文件,所述缩放描述信令文件包括所述缩放策略的描述信息

在一种实施方式中,所述缩放描述信令文件包括以下至少一种:球面区域缩放描述子和平面区域缩放描述子;

所述球面区域缩放描述子被封装于所述沉浸媒体的媒体呈现描述文件中的表示层级中,且所述表示层级中的所述球面区域缩放描述子的数量小于或等于1;

所述平面区域缩放描述子被封装于所述沉浸媒体的媒体呈现描述文件中的表示层级中,且所述表示层级中的所述平面区域缩放描述子的数量小于或等于1。

在另一个示例性实施例中,该沉浸媒体的数据处理装置可以用于执行图4所示的方法中的相应步骤;则:

获取单元601,用于获取沉浸媒体的缩放信息;

处理单元602,用于根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒;所述媒体文件格式数据盒包括所述沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;将所述沉浸媒体的媒体文件格式数据盒添加至所述沉浸媒体的封装文件中。

在一种实施方式中,所述缩放策略包括缩放标志字段;处理单元602还用于,根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒,具体用于:

当所述缩放信息指示所述沉浸媒体的第i个缩放区域需要在所述目标缩放模式下被执行缩放处理时,配置所述缩放标志字段为有效值。

在一种实施方式中,所述缩放策略包括缩放步骤字段;处理单元602还用于,根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒,具体用于:

当所述缩放信息指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理时需要被执行m个缩放步骤时,配置所述缩放步骤字段的值为m,m为正整数。

在一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放比例字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放比例字段中的第j个缩放比例字段相对应,j为正整数且j≤m;处理单元602还用于,根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒,具体用于:

若所述缩放信息指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸相同,则配置所述第j个缩放比例字段为无效值;

若所述缩放信息指示第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸不同,则配置所述缩放比例字段为有效值,所述有效值为所述缩放信息指示的第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸之间的比例。

在一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放持续时间字段及m个缩放持续时间单位字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放持续时间字段中的第j个缩放持续时间字段和所述m个缩放持续时间单位字段中的第j个缩放持续时间单位字段相对应,j为正整数且j≤m;处理单元602还用于,根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒,具体用于:

将所述缩放信息指示的第i个缩放区域被执行第j个缩放步骤时的持续时间的值,配置为所述第j个缩放持续时间字段的值;以及,将所述缩放信息指示的第i个缩放区域被执行第j个缩放步骤时的持续时间的度量单位,配置为所述第j个缩放持续时间单位字段的值。

在一种实施方式中,处理单元602还用于:

根据所述缩放信息配置所述沉浸媒体的缩放描述信令文件,所述缩放描述信令文件包括所述缩放策略的描述信息;

将所述缩放描述信令文件封装至所述沉浸媒体的媒体呈现描述文件中的表示层级中。

根据本发明的一个实施例,图6所示的沉浸媒体的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该沉浸媒体的数据处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图4所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图3或图4所示的沉浸媒体的数据处理装置,以及来实现本申请实施例的沉浸媒体的数据处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。

基于同一发明构思,本申请实施例中提供沉浸媒体的数据处理装置解决问题的原理与有益效果与本申请方法实施例中沉浸媒体的数据处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。

请参见图7,图7示出了本申请一个示例性实施例提供的另一种沉浸媒体的数据处理装置的结构示意图;该沉浸媒体的数据处理装置可以是运行于内容播放设备中的一个计算机程序(包括程序代码),例如该沉浸媒体的数据处理装置可以是内容播放设备中的一个应用软件。由图7所示,该沉浸媒体的数据处理装置包括获取单元701和处理单元702。

在一个示例性实施例中,该沉浸媒体的数据处理装置可以用于执行图3所示的方法中的相应步骤;则:

获取单元701,用于获取沉浸媒体的媒体文件格式数据盒,所述媒体文件格式数据盒包括所述沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

处理单元702,用于按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理。

在一种实施方式中,所述媒体文件格式数据盒包括国际标准化组织基媒体文件格式数据盒;所述目标缩放模式包括导演缩放模式。

在一种实施方式中,所述缩放策略包括缩放标志字段;

当所述缩放标志字段为有效值时,所述缩放标志字段用于指示所述沉浸媒体的第i个缩放区域需要在所述目标缩放模式下被执行缩放处理。

在一种实施方式中,所述缩放策略包括缩放步骤字段,所述缩放步骤字段的值为m,m为正整数;所述缩放步骤字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理时所包含的缩放步骤的数目为m。

在一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放比例字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放比例字段中的第j个缩放比例字段相对应,j为正整数且j≤m;

所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时所采用的缩放比例;所述缩放比例以2-3为单位;

当所述第j个缩放比例字段为无效值时,所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸相同;

当所述第j个缩放比例字段为有效值时,所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸之间的比例为所述第j个缩放比例字段的值。

在一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放持续时间字段及m个缩放持续时间单位字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放持续时间字段中的第j个缩放持续时间字段和所述m个缩放持续时间单位字段中的第j个缩放持续时间单位字段相对应,j为正整数且j≤m;

所述第j个缩放持续时间字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的值;所述缩放持续时间字段为非零值;

所述第j个缩放持续时间单位字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的度量单位,所述度量单位以秒为单位,所述缩放持续时间单位字段为非零值。

在一种实施方式中,获取单元701还用于:

获取所述沉浸媒体的缩放描述信令文件,所述缩放描述信令文件包括所述缩放策略的描述信息

在一种实施方式中,所述缩放描述信令文件包括以下至少一种:球面区域缩放描述子和平面区域缩放描述子;

所述球面区域缩放描述子被封装于所述沉浸媒体的媒体呈现描述文件中的表示层级中,且所述表示层级中的所述球面区域缩放描述子的数量小于或等于1;

所述平面区域缩放描述子被封装于所述沉浸媒体的媒体呈现描述文件中的表示层级中,且所述表示层级中的所述平面区域缩放描述子的数量小于或等于1。

在另一个示例性实施例中,该沉浸媒体的数据处理装置可以用于执行图5所示的方法中的相应步骤;则:

获取单元701,用于获取沉浸媒体的封装文件,所述封装文件中包括所述沉浸媒体的媒体文件格式数据盒;所述媒体文件格式数据盒包括所述沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

处理单元702,用于对所述封装文件进行解析处理,并显示解析后的所述沉浸媒体;在显示所述沉浸媒体的第i个缩放区域时,按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理。

在一种实施方式中,所述缩放策略包括缩放标志字段;处理单元702还用于,按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理,具体用于:

当所述缩放标志字段的值为有效值时,在所述目标缩放模式下对所述沉浸媒体的第i个缩放区域执行缩放处理。

在一种实施方式中,所述缩放策略包括缩放步骤字段,所述缩放步骤字段的值为m,m为正整数;处理单元702还用于,按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理,具体用于:

在所述目标缩放模式下对所述沉浸媒体的第i个缩放区域执行m次缩放处理。

在一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放比例字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放比例字段中的第j个缩放比例字段相对应,j为正整数且j≤m;处理单元702还用于,按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理,具体用于:

当所述第j个缩放比例字段为无效值时,在所述目标缩放模式下对所述沉浸媒体的第i个缩放区域执行缩放处理的第j个缩放步骤,使所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与所述沉浸媒体的第i个缩放区域被执行缩放处理之前的尺寸相同;

当所述第j个缩放比例字段为有效值时,在所述目标缩放模式下按照所述有效值对所述沉浸媒体的第i个缩放区域执行缩放处理的第j个缩放步骤,使所述沉浸媒体的第i个缩放区域被执行第j个缩放步骤之后的尺寸与所述沉浸媒体的第i个缩放区域被执行缩放处理之前的尺寸之间的比例达到所述有效值。

在一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放持续时间字段及m个缩放持续时间单位字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放持续时间字段中的第j个缩放持续时间字段和所述m个缩放持续时间单位字段中的第j个缩放持续时间单位字段相对应,j为正整数且j≤m;处理单元702还用于,按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理,具体用于:

按照所述第j个缩放持续时间字段和所述第j个缩放持续时间单位字段的共同指示,在所述目标缩放模式下对所述沉浸媒体的第i个缩放区域执行缩放处理的第j个缩放步骤。

在一种实施方式中,处理单元702还用于:

获取所述沉浸媒体的缩放描述信令文件,所述缩放描述信令文件包括所述缩放策略的描述信息;

获取单元701还用于,获取沉浸媒体的封装文件,具体用于:

根据所述缩放描述信令文件获取所述沉浸媒体的封装文件。

根据本发明的一个实施例,图7所示的沉浸媒体的数据处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该沉浸媒体的数据处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图5所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图3或图5所示的沉浸媒体的数据处理装置,以及来实现本申请实施例的沉浸媒体的数据处理方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。

基于同一发明构思,本申请实施例中提供沉浸媒体的数据处理装置解决问题的原理与有益效果与本申请方法实施例中沉浸媒体的数据处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。

图8示出了本申请一个示例性实施例提供的一种内容制作设备的结构示意图;该内容制作设备可以是指沉浸媒体的提供者所使用的计算机设备,该计算机设备可以是终端(如PC、智能移动设备(如智能手机)等)或服务器。如图8所示,该内容制作设备包括捕获设备801、处理器802、存储器803和发射器804。其中:

捕获设备801用于采集现实世界的声音-视觉场景获得沉浸媒体的原始数据(包括在时间和空间上保持同步的音频内容和视频内容)。该捕获设备801可以包括但不限于:音频设备、摄像设备及传感设备。其中,音频设备可以包括音频传感器、麦克风等。摄像设备可以包括普通摄像头、立体摄像头、光场摄像头等。传感设备可以包括激光设备、雷达设备等。

处理器802(或称CPU(Central Processing Unit,中央处理器))是内容制作设备的处理核心,该处理器802适于实现一条或多条程序指令,具体适于加载并执行一条或多条程序指令从而实现图3或图4所示的沉浸媒体的数据处理方法的流程。

存储器803是内容制作设备中的记忆设备,用于存放程序和媒体资源。可以理解的是,此处的存储器803既可以包括内容制作设备中的内置存储介质,当然也可以包括内容制作设备所支持的扩展存储介质。需要说明的是,存储器可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的存储器。存储器提供存储空间,该存储空间用于存储内容制作设备的操作系统。并且,在该存储空间中还用于存储计算机程序,该计算机程序包括程序指令,且该程序指令适于被处理器调用并执行,以用来执行沉浸媒体的数据处理方法的各步骤。另外,存储器803还可用于存储经处理器处理后形成的沉浸媒体文件,该沉浸媒体文件包括媒体文件资源和媒体呈现描述信息。

发射器804用于实现内容制作设备与其他设备的传输交互,具体用于实现内容制作设备与内容播放设备之间关于进行沉浸媒体的传输。即内容制作设备通过发射器804来向内容播放设备传输沉浸媒体的相关媒体资源。

再请参见图8,处理器802可包括转换器821、编码器822和封装器823;其中:

转换器821用于对捕获到的视频内容进行一系列转换处理,使视频内容成为适合被执行沉浸媒体的视频编码的内容。转换处理可包括:拼接和投影,可选地,转换处理还包括区域封装。转换器821可以将捕获到的3D视频内容转换为2D图像,并提供给编码器进行视频编码。

编码器822用于对捕获到的音频内容进行音频编码形成沉浸媒体的音频码流。还用于对转换器821转换得到的2D图像进行视频编码,得到视频码流。

封装器823用于将音频码流和视频码流按照沉浸媒体的文件格式(如ISOBMFF)封装在文件容器中形成沉浸媒体的媒体文件资源,该媒体文件资源可以是媒体文件或媒体片段形成沉浸媒体的媒体文件;并按照沉浸媒体的文件格式要求采用媒体呈现描述信息记录该沉浸媒体的媒体文件资源的元数据。封装器处理得到的沉浸媒体的封装文件会保存在存储器中,并按需提供给内容播放设备进行沉浸媒体的呈现。

在一个示例性实施例中,处理器802(具体是处理器包含的各器件)通过调用存储器中的一条或多条指令来执行图3所示的沉浸媒体的数据处理方法的各步骤。具体地,存储器803存储有一条或多条第一指令,该一条或多条第一指令适于由处理器802加载并执行如下步骤:

获取沉浸媒体的媒体文件格式数据盒,所述媒体文件格式数据盒包括所述沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理。

一种实施方式中,所述媒体文件格式数据盒包括国际标准化组织基媒体文件格式数据盒;所述目标缩放模式包括导演缩放模式。

一种实施方式中,所述缩放策略包括缩放标志字段,当所述缩放标志字段为有效值时,所述缩放标志字段用于指示所述沉浸媒体的第i个缩放区域需要在所述目标缩放模式下被执行缩放处理。

一种实施方式中,所述缩放策略包括缩放步骤字段,所述缩放步骤字段的值为m,m为正整数;所述缩放步骤字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理时所包含的缩放步骤的数目为m。

一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放比例字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放比例字段中的第j个缩放比例字段相对应,j为正整数且j≤m;

所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时所采用的缩放比例;所述缩放比例以2-3为单位;

当所述第j个缩放比例字段为无效值时,所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸相同;

当所述第j个缩放比例字段为有效值时,所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸之间的比例为所述第j个缩放比例字段的值。

一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放持续时间字段及m个缩放持续时间单位字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放持续时间字段中的第j个缩放持续时间字段和所述m个缩放持续时间单位字段中的第j个缩放持续时间单位字段相对应,j为正整数且j≤m;

所述第j个缩放持续时间字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的值;所述缩放持续时间字段为非零值;

所述第j个缩放持续时间单位字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的度量单位,所述度量单位以秒为单位,所述缩放持续时间单位字段为非零值。

一种实施方式中,存储器803中的计算机程序由处理器802加载并且还执行如下步骤:

获取所述沉浸媒体的缩放描述信令文件,所述缩放描述信令文件包括所述缩放策略的描述信息。

一种实施方式中,所述缩放描述信令文件包括以下至少一种:球面区域缩放描述子和平面区域缩放描述子;

所述球面区域缩放描述子被封装于所述沉浸媒体的媒体呈现描述文件中的表示层级中,且所述表示层级中的所述球面区域缩放描述子的数量小于或等于1;

所述平面区域缩放描述子被封装于所述沉浸媒体的媒体呈现描述文件中的表示层级中,且所述表示层级中的所述平面区域缩放描述子的数量小于或等于1。

在另一个示例性实施例中,处理器(具体是处理器包含的各器件)通过调用存储器803中的一条或多条指令来执行图4所示的沉浸媒体的数据处理方法的各步骤。具体地,存储器存储有一条或多条第二指令,该一条或多条第二指令适于由处理器802加载并执行如下步骤:

获取沉浸媒体的缩放信息;

根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒;所述媒体文件格式数据盒包括所述沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

将所述沉浸媒体的媒体文件格式数据盒添加至所述沉浸媒体的封装文件中。

一种实施方式中,所述缩放策略包括缩放标志字段;该一条或多条第二指令适于由处理器802加载并执行根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒时,具体执行如下步骤:

当所述缩放信息指示所述沉浸媒体的第i个缩放区域需要在所述目标缩放模式下被执行缩放处理时,配置所述缩放标志字段为有效值。

一种实施方式中,所述缩放策略包括缩放步骤字段;该一条或多条第二指令适于由处理器802加载并执行根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒时,具体执行如下步骤:

当所述缩放信息指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理时需要被执行m个缩放步骤时,配置所述缩放步骤字段的值为m,m为正整数。

一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放比例字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放比例字段中的第j个缩放比例字段相对应,j为正整数且j≤m;该一条或多条第二指令适于由处理器802加载并执行根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒时,具体执行如下步骤:

若所述缩放信息指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸相同,则配置所述第j个缩放比例字段为无效值;

若所述缩放信息指示第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸不同,则配置所述缩放比例字段为有效值,所述有效值为所述缩放信息指示的第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸之间的比例。

一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放持续时间字段及m个缩放持续时间单位字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放持续时间字段中的第j个缩放持续时间字段和所述m个缩放持续时间单位字段中的第j个缩放持续时间单位字段相对应,j为正整数且j≤m;该一条或多条第二指令适于由处理器802加载并执行根据所述沉浸媒体的缩放信息配置所述沉浸媒体的媒体文件格式数据盒时,具体执行如下步骤:

将所述缩放信息指示的第i个缩放区域被执行第j个缩放步骤时的持续时间的值,配置为所述第j个缩放持续时间字段的值;以及,将所述缩放信息指示的第i个缩放区域被执行第j个缩放步骤时的持续时间的度量单位,配置为所述第j个缩放持续时间单位字段的值。

一种实施方式中,存储器803中的计算机程序由处理器802加载并且还执行如下步骤:

根据所述缩放信息配置所述沉浸媒体的缩放描述信令文件,所述缩放描述信令文件包括所述缩放策略的描述信息;

将所述缩放描述信令文件封装至所述沉浸媒体的媒体呈现描述文件中的表示层级中。

基于同一发明构思,本申请实施例中提供的沉浸媒体的处理设备解决问题的原理与有益效果与本申请方法实施例中沉浸媒体的处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。

图9示出了本申请一个示例性实施例提供的一种内容播放设备的结构示意图;该内容播放设备可以是指沉浸媒体的使用者所使用的计算机设备,该计算机设备可以是终端(如PC、智能移动设备(如智能手机)、VR设备(如VR头盔、VR眼镜等))。如图9所示,该内容播放设备包括接收器901、处理器902、存储器903、显示/播放装置904。其中:

接收器901用于实现解码与其他设备的传输交互,具体用于实现内容制作设备与内容播放设备之间关于进行沉浸媒体的传输。即内容播放设备通过接收器901来接收内容制作设备传输沉浸媒体的相关媒体资源。

处理器902(或称CPU(Central Processing Unit,中央处理器))是内容制作设备的处理核心,该处理器902适于实现一条或多条程序指令,具体适于加载并执行一条或多条程序指令从而实现图3或图5所示的沉浸媒体的数据处理方法的流程。

存储器903是内容播放设备中的记忆设备,用于存放程序和媒体资源。可以理解的是,此处的存储器903既可以包括内容播放设备中的内置存储介质,当然也可以包括内容播放设备所支持的扩展存储介质。需要说明的是,存储器903可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的存储器。存储器903提供存储空间,该存储空间用于存储内容播放设备的操作系统。并且,在该存储空间中还用于存储计算机程序,该计算机程序包括程序指令,且该程序指令适于被处理器调用并执行,以用来执行沉浸媒体的数据处理方法的各步骤。另外,存储器903还可用于存储经处理器处理后形成的沉浸媒体的三维图像、三维图像对应的音频内容及该三维图像和音频内容渲染所需的信息等。

显示/播放装置904用于输出渲染得到的声音和三维图像。

再请参见图9,处理器902可包括解析器921、解码器922、转换器923和渲染器924;其中:

解析器921用于对来自内容制作设备的渲染媒体的封装文件进行文件解封装,具体是按照沉浸媒体的文件格式要求对媒体文件资源进行解封装,得到音频码流和视频码流;并将该音频码流和视频码流提供给解码器922。

解码器922对音频码流进行音频解码,得到音频内容并提供给渲染器进行音频渲染。另外,解码器922对视频码流进行解码得到2D图像。根据媒体呈现描述信息提供的元数据,如果该元数据指示沉浸媒体执行过区域封装过程,该2D图像是指封装图像;如果该元数据指示沉浸媒体未执行过区域封装过程,则该平面图像是指投影图像。

转换器923用于将2D图像转换为3D图像。如果沉浸媒体执行过区域封装过程,转换器923还会先将封装图像进行区域解封装得到投影图像。再对投影图像进行重建处理得到3D图像。如果渲染媒体未执行过区域封装过程,转换器923会直接将投影图像重建得到3D图像。

渲染器924用于对沉浸媒体的音频内容和3D图像进行渲染。具体根据媒体呈现描述信息中与渲染、视窗相关的元数据对音频内容及3D图像进行渲染,渲染完成交由显示/播放装置进行输出。

在一个示例性实施例中,处理器902(具体是处理器包含的各器件)通过调用存储器中的一条或多条指令来执行图3所示的沉浸媒体的数据处理方法的各步骤。具体地,存储器存储有一条或多条第一指令,该一条或多条第一指令适于由处理器902加载并执行如下步骤:

获取沉浸媒体的媒体文件格式数据盒,所述媒体文件格式数据盒包括所述沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理。

一种实施方式中,所述媒体文件格式数据盒包括国际标准化组织基媒体文件格式数据盒;所述目标缩放模式包括导演缩放模式。

一种实施方式中,所述缩放策略包括缩放标志字段,当所述缩放标志字段为有效值时,所述缩放标志字段用于指示所述沉浸媒体的第i个缩放区域需要在所述目标缩放模式下被执行缩放处理。

一种实施方式中,所述缩放策略包括缩放步骤字段,所述缩放步骤字段的值为m,m为正整数;所述缩放步骤字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理时所包含的缩放步骤的数目为m。

一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放比例字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放比例字段中的第j个缩放比例字段相对应,j为正整数且j≤m;

所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时所采用的缩放比例;所述缩放比例以2-3为单位;

当所述第j个缩放比例字段为无效值时,所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸相同;

当所述第j个缩放比例字段为有效值时,所述第j个缩放比例字段用于指示所述沉浸媒体的第i个缩放区域在所述目标缩放模式下被执行缩放处理的第j个缩放步骤之后的尺寸与被执行缩放处理之前的尺寸之间的比例为所述第j个缩放比例字段的值。

一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放持续时间字段及m个缩放持续时间单位字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放持续时间字段中的第j个缩放持续时间字段和所述m个缩放持续时间单位字段中的第j个缩放持续时间单位字段相对应,j为正整数且j≤m;

所述第j个缩放持续时间字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的值;所述缩放持续时间字段为非零值;

所述第j个缩放持续时间单位字段用于指示所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤时的持续时间的度量单位,所述度量单位以秒为单位,所述缩放持续时间单位字段为非零值。

一种实施方式中,存储器903中的计算机程序由处理器902加载并且还执行如下步骤:

获取所述沉浸媒体的缩放描述信令文件,所述缩放描述信令文件包括所述缩放策略的描述信息。

一种实施方式中,所述缩放描述信令文件包括以下至少一种:球面区域缩放描述子和平面区域缩放描述子;

所述球面区域缩放描述子被封装于所述沉浸媒体的媒体呈现描述文件中的表示层级中,且所述表示层级中的所述球面区域缩放描述子的数量小于或等于1;

所述平面区域缩放描述子被封装于所述沉浸媒体的媒体呈现描述文件中的表示层级中,且所述表示层级中的所述平面区域缩放描述子的数量小于或等于1。

在另一个示例性实施例中,处理器902(具体是处理器包含的各器件)通过调用存储器中的一条或多条指令来执行图5所示的沉浸媒体的数据处理方法的各步骤。具体地,存储器903存储有一条或多条第二指令,该一条或多条第二指令适于由处理器902加载并执行如下步骤:

获取沉浸媒体的封装文件,所述封装文件中包括所述沉浸媒体的媒体文件格式数据盒;所述媒体文件格式数据盒包括所述沉浸媒体的第i个缩放区域在目标缩放模式下的缩放策略,其中i为正整数;

对所述封装文件进行解析处理,并显示解析后的所述沉浸媒体;

在显示所述沉浸媒体的第i个缩放区域时,按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理。

一种实施方式中,所述缩放策略包括缩放标志字段;当所述缩放标志字段的值为有效值时,该一条或多条第二指令适于由处理器902加载并执行按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理时,具体执行如下步骤:

在所述目标缩放模式下对所述沉浸媒体的第i个缩放区域执行缩放处理。

一种实施方式中,所述缩放策略包括缩放步骤字段,所述缩放步骤字段的值为m,m为正整数;该一条或多条第二指令适于由处理器902加载并执行按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理时,具体执行如下步骤:

在所述目标缩放模式下对所述沉浸媒体的第i个缩放区域执行m次缩放处理。

一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放比例字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放比例字段中的第j个缩放比例字段相对应,j为正整数且j≤m;该一条或多条第二指令适于由处理器902加载并执行按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理时,具体执行如下步骤:

当所述第j个缩放比例字段为无效值时,在所述目标缩放模式下对所述沉浸媒体的第i个缩放区域执行缩放处理的第j个缩放步骤,使所述沉浸媒体的第i个缩放区域被执行缩放处理的第j个缩放步骤之后的尺寸与所述沉浸媒体的第i个缩放区域被执行缩放处理之前的尺寸相同;

当所述第j个缩放比例字段为有效值时,在所述目标缩放模式下按照所述有效值对所述沉浸媒体的第i个缩放区域执行缩放处理的第j个缩放步骤,使所述沉浸媒体的第i个缩放区域被执行第j个缩放步骤之后的尺寸与所述沉浸媒体的第i个缩放区域被执行缩放处理之前的尺寸之间的比例达到所述有效值。

一种实施方式中,所述缩放处理包括m个缩放步骤,m为正整数;所述缩放策略包括m个缩放持续时间字段及m个缩放持续时间单位字段;所述m个缩放步骤中的第j个缩放步骤与所述m个缩放持续时间字段中的第j个缩放持续时间字段和所述m个缩放持续时间单位字段中的第j个缩放持续时间单位字段相对应,j为正整数且j≤m;该一条或多条第二指令适于由处理器902加载并执行按照所述媒体文件格式数据盒对所述沉浸媒体的第i个缩放区域执行缩放处理时,具体执行如下步骤:

按照所述第j个缩放持续时间字段和所述第j个缩放持续时间单位字段的共同指示,在所述目标缩放模式下对所述沉浸媒体的第i个缩放区域执行缩放处理的第j个缩放步骤。

一种实施方式中,存储器903中的计算机程序由处理器902加载并且还执行如下步骤:

获取所述沉浸媒体的缩放描述信令文件,所述缩放描述信令文件包括所述缩放策略的描述信息;

处理器902通过接收器901获取沉浸媒体的封装文件时,具体执行如下步骤:

根据所述缩放描述信令文件获取所述沉浸媒体的封装文件。

基于同一发明构思,本申请实施例中提供的沉浸媒体的处理设备解决问题的原理与有益效果与本申请方法实施例中沉浸媒体的处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。

以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

50页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种处理视频数据的方法和装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类