视频数据的处理，传输方法及装置，视频数据的处理系统
阅读说明：本技术 视频数据的处理，传输方法及装置，视频数据的处理系统 (Video data processing method, video data transmission method, video data processing system, video data transmission device and video data transmission device ) 是由 黄成� 于 2018-08-29 设计创作，主要内容包括：本发明提供了一种视频数据的处理,传输方法及装置,视频数据的处理系统。具体而言,视频数据的处理方法,包括：播放从第一视点切换至第二视点的全方向视频轨道；根据所述第二视点的视点信息和/或自所述第一视点切换前用户的观看方向,确定播放所述全方向视频轨道时用户的初始观看方向。通过本发明,解决了用户会由于视点切换前后视窗内容的突然变化而感到不适的问题,达到了提高用户观看体验效果。(The invention provides a video data processing method, a video data transmission method, a video data processing device, a video data transmission device and a video data processing system. Specifically, the video data processing method comprises the following steps: playing an omnidirectional video track switched from a first viewpoint to a second viewpoint; and determining the initial viewing direction of the user when the omnidirectional video track is played according to the viewpoint information of the second viewpoint and/or the viewing direction of the user before switching from the first viewpoint. By the method and the device, the problem that a user feels uncomfortable due to sudden change of the window content before and after viewpoint switching is solved, and the effect of improving the watching experience of the user is achieved.)
技术领域
本发明涉及通信领域，具体而言，涉及一种视频数据的处理，传输方 法及装置，视频数据的处理系统。
背景技术
VR(Virtual Reality，虚拟现实)是指利用计算机技术模拟产生三维 虚拟世界，让使用者在视觉、听觉、触觉等方面体验高度逼真的虚拟空间 环境。随着VR技术的快速发展，VR视频(也称为全方向视频)的点播、 直播等应用越来越广泛，为用户带来了沉浸式的视频业务体验。
针对同一场景，通常可以在不同物理位置(视点)拍摄多个全方向视 频，称为多视点全方向视频。多视点全方向视频允许用户基于不同视点的 位置信息在多个全方向视频之间进行切换。然而，由于连续视点拍摄的全 方向视频之间存在重叠内容，如果视点切换之前用户视窗内容与视点切换 之后初始视窗内容之间不存在相关性，用户会由于视点切换前后视窗内容 的突然变化而感到不适。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种视频数据的处理，传输方法及装置，视频数 据的处理系统，以至少解决相关技术中用户会由于视点切换前后视窗内容 的突然变化而感到不适的问题。
根据本发明的一个实施例，提供了一种视频数据的处理方法，包括： 播放从第一视点切换至第二视点的全方向视频轨道；根据所述第二视点的 视点信息和/或自所述第一视点切换前用户的观看方向，确定播放所述全方 向视频轨道时用户的初始观看方向。
可选地，根据所述全方向视频轨道中的视点群组数据盒确定所述第二 视点的视点信息。
可选地，根据指定的轨道群组类型识别所述全方向视频轨道中所述视 点群组数据盒；其中，对应相同视点的全方向视频轨道的所述视点群组数 据盒中具有相同的轨道群组标识。
可选地，根据动态视点定时元数据轨道确定所述第二视点的视点信息。
可选地，根据第一样本入口类型识别所述动态视点定时元数据轨道， 所述动态视点定时元数据轨道用于指示所述全方向视频轨道的动态变化 的视点信息。
可选地，所述第二视点的视点信息包括以下至少之一：视点的3D空 间位置，视点的GPS位置，视点的全局坐标系旋转方向，视点的群组， 视点的标识，视点的标签以及视点的类型。
可选地，当存在初始观看方向时，按照所述初始观看方向播放所述全 方向视频轨道；否则，按照自所述第一视点切换前用户的观看方向播放所 述全方向视频轨道。
可选地，根据所述第二视点的全局坐标系的坐标轴相对于公共参考坐 标系坐标轴的旋转角度，确定所述第二视点的全局坐标系旋转方向。
可选地，根据第二样本入口类型识别初始观看方向定时元数据轨道， 所述初始观看方向定时元数据轨道用于指示播放所述全方向视频轨道时 的初始观看方向。
可选地，根据所述第二视点的视点信息和/或自所述第一视点切换前用 户的观看方向，确定播放所述全方向视频轨道时用户的初始观看方向，包 括：根据所述第二视点的全局坐标系旋转方向，确定在所述第二视点的全 局坐标系中播放所述全方向视频轨道时用户的初始观看方向；其中，在公 共参考坐标系中，播放所述全方向视频轨道时用户的初始观看方向与自所 述第一视点切换前用户的观看方向保持一致。
可选地，播放从所述第一视点切换至所述第二视点的全方向视频轨道， 还包括：根据初始视点定时元数据轨道中的初始视点标识确定所述第二视 点；或者，选择视点切换后的所有视点中具有最小视点标识值的视点作为 所述第二视点。
可选地，根据第三样本入口类型识别所述初始视点定时元数据轨道， 所述初始视点定时元数据轨道用于指示初始视点标识。
根据本发明的另一个实施例，提供了一种视频数据的传输方法，包括： 接收媒体呈现描述文件，其中，所述媒体呈现描述文件中包括用于指示全 方向视频的视点信息的视点描述子；选择播放所述全方向视频的视点，根 据所述视点描述子请求获取与所述视点对应的全方向视频文件；其中，所 述视点包括：所述全方向视频文件中的全方向视频轨道的视点，所述视点 的视点信息和/或自所述视点切换前用户的观看方向用于确定播放所述全方向视频轨道时用户的初始观看方向。
可选地，根据所述视点描述子请求获取与所述视点对应的全方向视频 文件，包括：在选择的视点为动态视点时，请求获取与所述视点对应的全 方向视频文件相关联的动态视点定时元数据文件。
可选地，根据所述视点描述子请求获取与所述视点对应的全方向视频 文件，还包括：确定播放所述全方向视频的视点群组；在所述视点群组中 存在初始视点时，请求获取与所述初始视点对应的全方向视频文件；在所 述视点群组中不存在初始视点时，请求获取所述视点群组中具有最小视点 标识值的全方向视频文件。
可选地，根据所述视点描述子携带的初始视点标志位以及视点群组标 识，判断所述视点群组中是否存在初始视点，或请求获取与所有视点相关 联的初始视点定时元数据文件；根据所述初始视点定时元数据文件中指示 的初始视点标识，以及所述初始视点标志位和所述视点群组标识，判断所 述视点群组中是否存在初始视点。
可选地，根据所述媒体呈现描述文件中的URI属性识别所述视点描述 子，所述视点描述子指示的所述全方向视频的视点信息至少包括以下其中 之一：视点的3D空间位置，视点的GPS位置，视点的全局坐标系旋转方 向，视点的群组，视点的标识，视点的标签以及视点的类型。
根据本发明的另一个实施例，提供了一种视频数据的处理装置，包括： 播放模块，用于播放从第一视点切换至第二视点的全方向视频轨道；确定 模块，用于根据所述第二视点的视点信息和/或自所述第一视点切换前用户 的观看方向，确定播放所述全方向视频轨道时用户的初始观看方向。
可选地，确定模块还用于，当存在初始观看方向时，按照所述初始观 看方向播放所述全方向视频轨道；否则，按照自所述第一视点切换前用户 的观看方向播放所述全方向视频轨道。
可选地，所述确定模块还用于，根据所述第二视点的全局坐标系的坐 标轴相对于公共参考坐标系坐标轴的旋转角度，确定所述第二视点的全局 坐标系旋转方向。
可选地，所述确定模块还用于：根据所述第二视点的全局坐标系旋转 方向，确定在所述第二视点的全局坐标系中播放所述全方向视频轨道时用 户的初始观看方向；其中，在公共参考坐标系中，播放所述全方向视频轨 道时用户的初始观看方向与自所述第一视点切换前用户的观看方向保持 一致。
根据本发明的另一个实施例，提供了一种视频数据的传输装置，包括： 接收模块，用于接收媒体呈现描述文件，其中，所述媒体呈现描述文件中 包括用于指示全方向视频的视点信息的视点描述子；请求模块，用于选择 播放所述全方向视频的视点，根据所述视点描述子请求获取与所述视点对 应的全方向视频文件；其中，所述视点包括：所述全方向视频文件中的全 方向视频轨道的视点，所述视点的视点信息和/或自所述视点切换前用户的观看方向用于确定播放所述全方向视频轨道时用户的初始观看方向。
可选地，所述请求模块还用于，在选择的视点为动态视点时，请求获 取与所述视点对应的全方向视频文件相关联的动态视点定时元数据文件。
可选地，所述请求模块还用于，确定播放所述全方向视频的视点群组； 在所述视点群组中存在初始视点时，请求获取与所述初始视点对应的全方 向视频文件；在所述视点群组中不存在初始视点时，请求获取所述视点群 组中具有最小视点标识值的全方向视频文件。
根据本发明的另一个实施例，提供了一种视频数据的处理系统，包括： 应用于上述的方法的方向视频数据处理服务端以及全方向视频数据处理 终端；所述全方向视频数据处理服务端，用于制作多个视点采集的所述全 方向视频，生成所述全方向视频的视点信息，以及将所述全方向视频轨道 的视点信息封装在一个或者多个媒体文件或者一个或者多个索引信息中； 所述全方向视频数据处理终端，用于传输所述全方向视频，对所述全方向 视频进行解封装，提取所述多个视点的视点信息以及播放所述处理后的全 方向视频。
可选地，所述媒体文件至少包括以下其中之一：所述全方向视频轨道， 定时元数据轨道；所述索引信息至少包括：媒体呈现描述文件。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质 中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任 一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和 处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述 计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于根据切换后的视点信息和/或，切换后的切换视点方 向以确定用户的初始观看方向，因此，可以解决相关技术中用户会由于视 点切换前后视窗内容的突然变化而感到不适的问题，达到了提高用户观看 体验效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一 部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发 明的不当限定。在附图中：
图1是本发明实施例的一种视频数据的处理方法的移动终端的硬件结 构框图；
图2是根据本发明实施例的一种视频数据的处理方法的流程图；
图3是根据本发明实施例的一种投影的全方向视频轨道中视点群组数 据盒的示意图；
图4是根据本发明实施例的一种动态视点定时元数据轨道引用全方向 视频的视点轨道群组的示意图；
图5是根据本发明实施例的另一种视频数据的处理方法的示意图
图6是根据本发明实施例的一种公共参考坐标系的示意图；
图7是根据本发明实施例的再一种视频数据的处理方法的示意图
图8是根据本发明实施例的一种视频数据传输方法流程图；
图9是根据本发明实施例的一种全方向视频数据传输方法流程图；
图10是根据本发明实施例的一种视频数据的处理方法的流程图；
图11是根据本发明实施例的一种视频数据的处理装置的结构框图；
图12是根据本发明实施例的一种视频数据的传输装置的结构框图；
图13是根据本发明实施例的一种视频数据的处理系统的结构框图；
图14是根据本发明实施例的另一种视频数据的处理系统的结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是， 在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语 “第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序 或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或 者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施 例的一种视频数据的处理方法的移动终端的硬件结构框图。如图1所示， 移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理 器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处 理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包 括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术 人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构 造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组 件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及 模块，如本发明实施例中的视频数据的处理方法对应的计算机程序，处理 器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应 用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器， 还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其 他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于 处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动 终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移 动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体 实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中， 传输装置106包括一个网络适配器(NetworkInterface Controller，简称为 NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一 个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模 块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端的一种视频数据的处 理方法，图2是根据本发明实施例的一种视频数据的处理方法的流程图， 如图2所示，该流程包括如下步骤：
步骤S202，播放从第一视点切换至第二视点的全方向视频轨道；
步骤S204，根据所述第二视点的视点信息和/或自所述第一视点切换 前用户的观看方向，确定播放所述全方向视频轨道时用户的初始观看方向。
需要说明的是，在本实施例中，一种实现方式是基于ISO(InternationalOrganization for Standardization，国际标准化组织)基本媒体文件格式将 全方向视频数据存储在文件中。其中，受限方案信息盒子、轨道引用盒子、 轨道群组盒子等ISO基本媒体文件格式可参照ISO/IEC JTC1/SC29/WG11 运动图像专家组(Moving Picture ExpertsGroup，简称MPEG)制定的 MPEG-4Part 12ISO Base Media File Format来操作。全方向视频的投影、 封装步骤及其基本格式可参照ISO/IEC JTC1/SC29/WG11运动图像专家组(MPEG)制定的MPEG-I Part 2OMAF(全方向媒体格式)来操作。
另外，ISO基本文件格式中所有数据都装在盒子(Box)中，即以 MP4文件为代表的ISO基本文件格式由若干个盒子组成，每个盒子都有 类型和长度，可以视为一个数据对象。一个盒子中可以包含另一个盒子， 称为容器盒子。一个MP4文件首先会有且只有一个“ftyp”类型的盒子，作 为文件格式的标志并包含关于文件的一些信息。之后会有且只有一个 “MOOV”类型的盒子(Movie Box)，它是一种容器盒子，它的子盒子包 含了媒体的元数据信息。MP4文件的媒体数据包含在“mdat”类型的盒子 (Media Data Box)中，也是容器盒子，可以有多个，也可以没有(当媒 体数据全部引用其他文件时)，媒体数据的结构由元数据进行描述。
再而，定时元数据轨道是ISO基本媒体文件格式(ISOBMFF)中的 一种建立与特定样本关联的定时元数据的机制。定时元数据与媒体数据的 耦合较少，通常是“描述性”的。
可选地，根据所述全方向视频轨道中的视点群组数据盒确定所述第二 视点的视点信息。
可选地，根据指定的轨道群组类型识别所述全方向视频轨道中所述视 点群组数据盒；其中，对应相同视点的全方向视频轨道的所述视点群组数 据盒中具有相同的轨道群组标识。
具体地，对应相同视点的所有全方向视频轨道可以通过包含特定类型 轨道群组数据盒(Track Group Box)组成对应该视点的轨道群组。下面结 合可选实施对视点群组数据盒(ViewpointGroupBox)进行说明。
ViewpointGroupBox(视点群组数据盒)
Box Type:'vwpt'
Container:TrackBox
Mandatory:No
Quantity:Zero or one
轨道群组类型(track_group_type)等于'vwpt'的轨道群组类型数据盒(TrackGroupTypeBox)为视点群组数据盒，视点群组数据盒中具有相同 轨道群组标识(track_group_id)值的所有全方向视频轨道属于相同视点。 视点群组数据盒的轨道群组标识也可以作为视点标识(viewpoint_id)，对 应不同视点的轨道群组标识取值应不同。
默认情况下，如果文件中没有任何轨道携带此视点轨道群组，则认为 该文件内容对应同一个视点。
语法
语义
ViewpointInfoStruct()参见示例2中的视点信息结构语法定义，指示 视点群组所对应视点的视点信息；
viewpoint_lable表示视点的标签，以空字符结尾的UTF-8字符串， 提供轨道群组所对应视点的文本描述；
viewpoint_id表示轨道群组所对应视点的标识；
viewpoint_type表示轨道群组所对应视点的类型,如表1所示：
表1
取值
描述
0
利用物理摄像机实际拍摄形成的真实视点
1
通过其他真实视点视频数据以及深度等辅助信息合成的虚拟视点
2-239
保留
240-255
未定义
track_group_type指示轨道群组类型，应设置为以下值之一：
'vwpt':表示该轨道属于视点群组。在track_group_type等于'vwpt'的轨道 群组类型数据盒(TrackGroupTypeBox)中，具有相同track_group_id值的所 有轨道属于相同视点。
在一个视频文件中，如果存在受限方案信息数据盒并且其中的方案类 型数据盒的方案类型(scheme_type)参数等于'podv'，指示该视频文件 使用投影的全向视频方案，包含投影的全方向视频轨道。投影的全方向视 频轨道可以包含轨道群组类型(track_group_type)等于'vwpt'的轨道群 组数据盒，即视点群组数据盒(ViewpointGroupBox)，下面结合可选实 施方式对投影的全方向视频轨道中包含的视点群组数据盒进行说明。
图3是根据本发明实施例的一种投影的全方向视频轨道中视点群组数 据盒的示意图。如图3所示，投影的全方向视频轨道A和轨道B中包含 轨道群组类型(track_group_type)等于'vwpt'的轨道群组类型数据盒，即 视点群组数据盒，它们各自的视点群组数据盒中具有相同轨道群组标识 (track_group_id)值，表示视频轨道A和视频轨道B组成对应相同视点 (Viewpoint#1)的视点群组。
可选地，根据动态视点定时元数据轨道确定所述第二视点的视点信息。
可选地，根据第一样本入口类型识别所述动态视点定时元数据轨道， 所述动态视点定时元数据轨道用于指示所述全方向视频轨道的动态变化 的视点信息。
具体而言，该第一样本入口类型为'dyvp'。
动态视点定时元数据指示随时间动态变化的视点信息。动态视点定时 元数据轨道(dynamic viewpoint timed metadata track)的用途由轨道样本 入口类型指示。动态视点定时元数据轨道的样本入口类型为'dyvp'，定义 如下：
ViewpointPosStruct()参见示例2中的视点信息结构语法定义，指示 动态视点的初始视点位置；
viewpoint_id表示与引用该样本入口的所有样本相关联的视点标识；
viewpoint_lable表示视点的标签，以空字符结尾的UTF-8字符串， 提供视点的文本描述；
viewpoint_type用于表示动态视点的类型,如表2所示：
表2
取值
描述
0
利用物理摄像机实际拍摄形成的真实视点
1
通过其他真实视点视频数据以及深度等辅助信息合成的虚拟视点
2-239
保留
240-255
未定义
dynamic_gcs_rotation_flag等于0指示视点的全局坐标系的X,Y,Z轴 相对于公共参考坐标系坐标轴的偏转，俯仰和翻滚旋转角度在引用该样本 入口的所有样本中保持不变；等于1指示视点的全局坐标系的X,Y,Z轴相 对于公共参考坐标系坐标轴的偏转，俯仰和翻滚旋转角度在引用该样本入 口的样本中定义；
ViewpointGlobalCoordinateSysRotationStruct()参见示例2中视点信 息结构语法定义，表示与引用该样本入口的每个样本相关联的视点的全局 坐标系相对于公共参考坐标系X，Y和Z轴的偏转，俯仰和滚动旋转角度。
下面结合可选实施对动态视点定时元数据轨道样本格式进行说明。
aligned(8)DynamicViewpointSample(){
ViewpointInfoStruct(dynamic_gcs_rotation_flag)；
}
ViewpointInfoStruct()参见上述视点信息结构语法定义，指示动态视 点定时元数据轨道所对应视点的视点信息，并遵循以下约束:
动态视点定时元数据轨道的第一个样本的视点信息结构中 group_alignment_flag应取值1。对于后续样本，如果样本的视点群组信息 未改变，样本中可以不包含ViewpointGroupStruct()，此时按解码顺序 推断它与前一个样本的ViewpointGroupStruct()相同。
动态视点定时元数据轨道可以通过引用类型为'cdsc'的轨道引用数据 盒(TrackReference Box)引用一个或者多个全方向视频轨道的轨道标识。
动态视点定时元数据轨道可以通过引用类型为'cdsc'的轨道引用数据 盒(TrackReference Box)引用轨道群组类型(track_group_type)等于'vwpt' 的视点群组的轨道群组标识(track_group_id)。
图4是根据本发明实施例的一种动态视点定时元数据轨道引用全方向 视频的视点轨道群组的示意图。
如图4所示，样本入口类型等于'dyvp'的动态视点定时元数据视频轨 道中包含轨道引用数据盒(Track Reference Box)，轨道引用数据盒中的 轨道标识参数(track_IDs[])提供所引用的轨道标识符，或者所引用的轨 道群组标识符。其中，轨道引用数据盒中的引用类型(reference_type)参 数取值'cdsc'，表示定时元数据轨道中包含轨道标识参数(track_IDs[])所 引用轨道的内容描述信息。本实施例中，动态视点定时元数据视频轨道引 用位于不同文件中轨道群组类型(track_group_type)等于'vmpt'的视点群 组的轨道群组标识符，提供该视点群组中所包含的全方向视频轨道A和轨 道B的动态视点信息。
可选地，所述第二视点的视点信息包括以下至少之一：视点的3D空 间位置，视点的GPS位置，视点的全局坐标系旋转方向，视点的群组， 视点的标识，视点的标签以及视点的类型。
针对受限视频样本入口类型'resv'，投影的全方向视频方案用于指示解 码图像为包含单目或者双目立体内容的封装图像。如果受限方案信息数据 盒(RestrictedSchemeInfoBox)中方案类型数据盒的方案类型(scheme_type) 参数等于'podv'，则指示使用投影的全向视频方案。
投影的全方向视频图像的格式使用方案信息数据盒 (SchemeInformationBox)中包含的投影的全方向视频数据盒 (ProjectedOmniVideoBox)表示。当方案类型参数为'podv'时，方案信息 数据盒中有且仅有一个投影的全方向视频数据盒。
投影的全方向视频轨道的视点信息包括以下至少之一：
视点的3D空间位置，包括:视点的X轴坐标，Y轴坐标和Z轴坐标；
视点的GPS位置，包括:视点的经度坐标，纬度坐标和高度坐标；
视点的全局坐标系旋转方向，包括:视点的全局坐标系的X，Y，Z 轴相对于公共参考坐标系的偏转角，俯仰角和滚动角；
视点的群组信息，包括:视点群组标识，视点群组描述；
视点信息结构(ViewpointInfoStruct)提供上述投影的全方向视频轨道 的视点信息，包括视点的位置，视点的全局坐标系的X，Y和Z坐标轴相 对于公共参考坐标系的旋转角度(每个全局坐标)，定义如下：
具体语义如下：
pos_x，pos_y和pos_z指定在以(0,0,0)为中心的公共参考坐标系 中视点的3D空间位置的笛卡尔坐标值。对于动态视点，则指定动态视点 的初始视点位置；
gpspos_present_flag指示是否存在视点GPS位置的标志位。等于1 表示存在视点GPS位置，等于0表示不存在视点GPS位置；
gpspos_longitude，gpspos_latitude和gpspos_altitude分别指示视点 GPS位置的经度坐标，纬度坐标和高度坐标；
gcs_rotation_flag等于1表示存在视点的全局坐标系的X，Y和Z坐 标轴相对于公共参考坐标系坐标轴的旋转角度，即存在gcs_yaw， gcs_pitch和gcs_roll。等于0表示不存在gcs_yaw，gcs_pitch和gcs_roll；
gcs_yaw，gcs_pitch和gcs_roll分别指定视点的全局坐标系的X，Y， Z轴相对于公共参考坐标系坐标轴的旋转方向的偏转角，俯仰角和翻滚角；
group_alignment_flag等于1指示存在ViewpointGroupStruct并且视 点属于独立的坐标系(及坐标原点)，等于0指示视点属于公共参考坐标系；
group_id无符号整数值用于表示视点群组的标识符，该视点群组中 所有视点共用一个公共参考坐标系；
group_description以空值结尾的UTF-8字符串，提供视点群组的描述。
图5是根据本发明实施例的另一种视频数据的处理方法的示意图。如 图5所示，该流程包括如下步骤：
步骤S502，判断是否存在初始观看方向；
步骤S504，当存在初始观看方向时，按照所述初始观看方向播放所 述全方向视频轨道。
步骤S506，否则，按照自所述第一视点切换前用户的观看方向播放 所述全方向视频轨道。
可选地，根据第二样本入口类型识别初始观看方向定时元数据轨道， 所述初始观看方向定时元数据轨道用于指示播放所述全方向视频轨道时 的初始观看方向。
具体而言，第二样本入口类型为'invo'。
具体地，初始观看方向定时元数据轨道指示在播放相关联的媒体轨道 时应使用的初始观看方向。初始观看方向定时元数据轨道的样本入口类型 为'invo'，继承自球面区域样本入口(SphereRegionSampleEntry)，其中球 面区域配置数据盒(SphereRegionConfigBox)中的形状类型(shape_type)， 动态范围标识(dynamic_range_flag)，静态方位角范围(static_azimuth_range) 以及静态高程范围(static_elevation_range)都应等于0。
初始观看方向定时元数据轨道的样本格式扩展自球面区域样本(SphereRegionSample)格式，定义如下：
centre_azimuth，centre_elevation和centre_tilt指定相对于全局坐标 轴的观看方向。其中，centre_azimuth和centre_elevation表示观看视窗的 中心，centre_tilt表示观看视窗的倾斜角度。centre_azimuth，centre_elevation 和centre_tilt都等于0为缺省情况下的初始观看方向；
refresh_flag等于0指示开始播放关联媒体轨道中的样本时应当使用 所指示的观看方向。等于1指示开始播放或者连续播放相关联媒体轨道中 的样本时应始终使用所指示的观看方向。
图6根据本发明实施例的一种公共参考坐标系的示意图。如图6所示， 对于包括了视点A，视点B，视点C视点群组中每一个视点而言，均具有 的全局坐标系。该全局坐标系中包括单位球面以及X、Y、Z坐标轴。而 公共参考坐标系为该视点群组中选择的一个视点的全局坐标系，以该全局 坐标系的单位球面以及坐标轴为准。例如，图6中的视点A作为了该视点 群组的公共参考坐标系。需要指出的是，该公共参考坐标系可以是人为预 先指定的，也可以是根据多个视点之间的关联所确定的。当然，其他确定 方法也在本实施的保护范围之内。
图7是根据本发明实施例的再一种视频数据的处理方法的示意图。如 图7所示，该流程包括如下步骤：
步骤S702，根据所述第二视点的全局坐标系的坐标轴相对于公共参 考坐标系坐标轴的旋转角度，确定所述第二视点的全局坐标系旋转方向。
步骤S704，根据所述第二视点的全局坐标系旋转方向，确定在所述 第二视点的全局坐标系中播放所述全方向视频轨道时用户的初始观看方 向；其中，在公共参考坐标系中，播放所述全方向视频轨道时用户的初始 观看方向与自所述第一视点切换前用户的观看方向保持一致。
具体地，旋转角度至少包括以下其中之一：偏转角，俯仰角和翻滚角。
可选地，根据初始视点定时元数据轨道中的初始视点标识确定所述第 二视点；或者，选择视点切换后所有视点中具有最小视点标识值的视点作 为所述第二视点。
可选地，根据第三样本入口类型识别所述初始视点定时元数据轨道， 所述初始视点定时元数据轨道用于指示初始视点标识。
具体地，第三样本入口类型为'invp'。
需要说明的是，初始视点定时元数据轨道(Initial viewpoint timed metadatatrack)的用途由轨道样本入口类型指示。初始视点定时元数据轨 道的样本入口类型为'invp'，定义如下：
initial_viewpoint_id表示引用该样本入口的第一个样本的初始视点的 视点标识值。
下面结合可选实施对初始视点定时元数据轨道样本格式进行说明。
aligned(8)InitialViewpointSample(){
unsigned int(16)initial_viewpoint_id；
}
initial_viewpoint_id指示该定时元数据轨道样本的初始视点的视点标 识值。
通过上述步骤，解决了相关技术中用户会由于视点切换前后视窗内容 的突然变化而感到不适的问题，达到了提高用户观看体验效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根 据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当 然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理 解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软 件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可 以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所 述的方法。
实施例2
在本实施例中提供了一种运行于上述移动终端的一种视频数据的传 输方法，已经进行过说明的不再赘述。图8是根据本发明实施例的一种视 频数据的传输方法的流程图，如图8所示，该流程包括如下步骤：
步骤S802，接收媒体呈现描述文件，其中，所述媒体呈现描述文件 中包括用于指示全方向视频的视点信息的视点描述子；
步骤S804，选择播放所述全方向视频的视点，根据所述视点描述子 请求获取与所述视点对应的全方向视频文件；
其中，所述视点包括：所述视点的视点信息和/或自所述视点切换前用 户的观看方向用于确定播放所述全方向视频轨道时用户的初始观看方向。
HTTP动态自适应流媒体(DASH，Dynamic Adaptive Streaming over HTTP)的媒体呈现描述(MPD，Media Presentation Description)中，方 案标识属性(@schemeIdUri)等于“urn：mpeg：mpegI：omaf：2018：vwpt” 的Viewpoint元素被称为视点信息(VWPT)描述子。
VWPT描述子指示其所在自适应集(Adaptation Set)对应的视点。 VWPT描述子不应出现在自适应集之外的其他级别，且自适应集中至多存 在一个VWPT描述子。如果未出现VWPT描述子，媒体呈现仅包含一个 视点。
如表3所示，提供了用于描述视点描述子元素属性语义的表格。
表3
可选地，根据所述视点描述子请求获取与所述视点对应的全方向视频 文件，包括：在选择的视点为动态视点时，请求获取与所述视点对应的全 方向视频文件相关联的动态视点定时元数据文件。
可选地，根据所述视点描述子请求获取与所述视点对应的全方向视频 文件，还包括：确定播放所述全方向视频的视点群组；在所述视点群组中 存在初始视点时，请求获取与所述初始视点对应的全方向视频文件；在所 述视点群组中不存在初始视点时，请求获取所述视点群组中具有最小视点 标识值的全方向视频文件。
可选地，所述方法还包括：根据所述视点描述子携带的初始视点标志 位以及视点群组标识，判断所述视点群组中是否存在初始视点，或请求获 取与所有视点相关联的初始视点定时元数据文件；根据所述初始视点定时 元数据文件中指示的初始视点标识，以及所述初始视点标志位和所述视点 群组标识，判断所述视点群组中是否存在初始视点。
可选地，根据所述媒体呈现描述文件中的URI属性识别所述视点描述 子，所述视点描述子指示的所述全方向视频的视点信息至少包括以下其中 之一：视点的3D空间位置，视点的GPS位置，视点的全局坐标系旋转方 向，视点的群组，视点的标识，视点的标签以及视点的类型。
为了更好地理解本实施例中记载的技术方案，在本实施例中，还提供 了一种全方向视频数据传输方法流程图。图9是根据本发明实施例的一种 全方向视频数据传输方法流程图。如图9所示，该流程包括如下步骤：
步骤1，客户端发送媒体呈现描述(MPD)文件获取请求(HTTP GET 消息)至服务器，所述请求中携带MPD文件的URL地址；
步骤2，服务器向客户端返回MPD文件(HTTP 200响应消息)，所 述MPD文件中包含指示视频文件视点信息的视点描述子(VWPT Descriptor)；
步骤3，客户端根据所接收MPD文件选择请求播放的视频的视点， 以及视频码率、解码参数等信息。客户端根据MPD文件中的视点描述子 发送视频分片(Segment)获取请求(HTTP GET消息)至服务器，该请 求中携带视频分片文件的URL地址；
步骤4，可选地，客户端发送定时元数据(Metadata Segment)获取请 求(HTTP GET消息)至服务器，该请求中携带定时元数据文件的URL 地址。
步骤5，服务器向客户端返回视频分片文件(HTTP 200响应消息)， 所述视频分片文件与步骤3中客户端选择的视频播放视点相对应；
步骤6，可选地，服务器向客户端返回定时元数据文件(HTTP 200 响应消息)，所述定时元数据文件与步骤4中客户端请求的定时元数据相 对应；
步骤7，客户端本地播放接收到的与所选择视点对应的视频文件。
具体地，在MPD文件中，所选择视点的视频文件与携带样本入口类 型为'dyvp'的动态视点定时元数据轨道的定时元数据表示(Representation) 相关联，即视点的位置是动态的。则前述定时元数据获取请求(HTTP GET 消息)为动态视点定时元数据获取请求，客户端请求获取包含视频文件视 点动态位置的动态视点定时元数据。当动态视点的全局坐标系旋转时，客 户端播放器根据动态视点变化时用户的观看方向以及动态视点的全局坐标系旋转方向播放视频文件。当动态视点变换视点群组时，客户端播放器 根据推荐的初始观看方向播放视频文件。
具体地，在MPD文件中，所选择视点与携带样本入口类型为'invp'的 初始视点定时元数据轨道的定时元数据表示(Representation)关联，即存 在初始视点。则前述定时元数据获取请求(HTTP GET消息)为初始视点 定时元数据获取请求，客户端请求获取包含初始视点标识的初始视点定时 元数据。当在不同视点群组之间视点切换时，步骤3中客户端请求获取与 初始视点对应的视频文件，客户端播放器根据推荐的初始观看方向播放视 频文件。
实施例3
在本实施例中提供了一种运行于上述移动终端的一种视频数据的处 理方法，已经进行过说明的不再赘述。图10是根据本发明实施例的一种 视频数据的处理方法的流程图，如图10所示，该流程包括如下步骤：
步骤S1002，基于样本入口类型识别推荐视窗定时元数据轨道，所述 推荐视窗定时元数据轨道指示多视点推荐视窗；
步骤S1004，播放所述推荐视窗定时元数据轨道中样本对应视点的全 方向视频轨道的推荐视窗。
可选地，基于样本群组数据盒确定所述推荐视窗定时元数据轨道中样 本对应的视点。
可选地，基于群组类型识别所述推荐视窗定时元数据轨道中的样本群 组数据盒，及其对应的样本群组描述数据盒，所述样本群组描述数据盒的 样本群组入口包含所述推荐视窗定时元数据轨道中样本对应的视点标识。
可选地，所述推荐视窗定时元数据轨道的样本入口中包含推荐视窗信 息数据盒，以及所述推荐视窗定时元数据轨道中样本的第一视点标识。
可选地，如果所述推荐视窗定时元数据轨道中样本对应的视点不同于 所述第一视点，所述推荐视窗定时元数据轨道的样本中包含第二视点标识。
可选地，基于轨道群组类型识别视点群组数据盒，所述视点群组数据 盒具有所述全方向视频轨道的视点信息；基于所述视点群组数据盒确定所 述全方向视频轨道对应的视点。
具体地，支持多视点的推荐视窗定时元数据轨道的样本入口中包含初 始视点标识以及推荐视窗信息数据盒，具有推荐视窗语法元素。推荐视窗 定时元数据轨道的样本入口类型为'rcvp'，定义如下：
version指示样本格式版本的整型值；
initial_viewpoint_id表示引用该定时元数据轨道样本入口的第一个样 本的初始视点标识；
viewport_type用于表示推荐视窗的类型,如表4所示：
表4
取值
描述
0
导演剪辑的推荐视窗，即根据内容作者或内容提供者创作意图的推荐视窗
1
基于观看统计测量的推荐视窗
2-239
保留
240-255
未定义
viewport_description以空字符结尾的UTF-8字符串，提供推荐视窗的 文本描述。
推荐视窗定时元数据轨道样本格式继承球面区域样本语法。轨道中每 个样本指示推荐视窗的球面区域位置，以及定时元数据轨道样本(及其引 用的媒体轨道样本)对应的视点标识(如果发生视点切换)，定义如下：
viewpoint_switch_flag等于0指示定时元数据轨道样本(及其引用的 媒体轨道样本)对应的视点就是初始视点，等于1指示定时元数据轨道样 本(及其引用的媒体轨道样本)对应的视点不同于初始视点；
viewpoint_id如果viewpoint_switch_flag等于1，指示定时元数据轨 道样本(及其引用的媒体轨道样本)对应的不同于初始视点的视点标识。
可选地，其特征在于：基于样本群组数据盒确定所述推荐视窗定时元 数据轨道中样本对应的视点。
可选地，基于群组类型识别所述推荐视窗定时元数据轨道中的样本群 组数据盒，及其对应的样本群组描述数据盒，所述样本群组描述数据盒的 样本群组入口包含所述推荐视窗定时元数据轨道中样本对应的视点标识。 可选地，样本入口类型为'rcvp'的推荐视窗定时元数据轨道可以包含零个或 者1个群组类型(grouping_type)为'vwpt'的样本群组数据盒 (SampleToGroupBox)，用于指示定时元数据轨道的样本(及其引用的 媒体轨道样本)所对应的视点。
下面结合可选实施方式对支持多视点的推荐视窗定时元数据轨道中 包含的群组类型为'vwpt'的样本群组数据盒及其对应的样本群组描述数据 盒(SampleGroupDescriptionBox)进行说明。
样本群组数据盒将定时元数据轨道(及其引用的媒体轨道)的样本划 分为不同样本群组，而样本群组描述数据盒中的视点样本群组入口 (SampleGroupEntry)包含不同样本群组所对应的视点标识。
样本群组描述数据盒中群组类型为'vwpt'的样本群组入口，即视点样 本群组入口(ViewpointSampleGroupEntry)，定义如下：
viewpoint_id指示定时元数据轨道(及其引用的媒体轨道)样本群组 所对应的视点标识。该取值应等于轨道群组类型为'vwpt'的全方向视频视 点群组盒子的轨道群组标识(track_group_id)
实施例4
在本实施例中还提供了一种视频数据的处理装置，该装置用于实现上 述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的， 术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例 所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的 实现也是可能并被构想的。
图11是根据本发明实施例的一种视频数据的处理装置的结构框图， 如图11所示，该装置包括：播放模块1102以及确定模块1104。
播放模块1102，用于播放从第一视点切换至第二视点的全方向视频轨 道；
确定模块1104，用于根据所述第二视点的视点信息和/或切换至所述 第二视点时用户的观看方向，确定播放所述全方向视频轨道时用户的初始 观看方向。
可选地，所述确定模块还用于，当存在初始观看方向时，根据所述初 始观看方向播放所述全方向视频轨道；当缺少所述初始观看方向时，根据 默认的用户的观看方向，或切换至所述第二视点时用户的观看方向播放所 述全方向视频轨道。
可选地，所述确定模块还用于，根据所述第二视点的全局坐标系的坐 标轴相对于公共参考坐标系坐标轴的旋转角度，确定所述第二视点的全局 坐标系旋转方向。
可选地，所述确定模块还用于：根据所述第二视点的全局坐标系旋转 方向，确定在所述第二视点的全局坐标系中播放所述全方向视频轨道时用 户的初始观看方向；其中，在公共参考坐标系中，播放所述全方向视频轨 道时用户的初始观看方向与自所述第一视点切换前用户的观看方向保持 一致。
实施例5
在本实施例中还提供了一种视频数据的处理装置，该装置用于实现上 述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的， 术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例 所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的 实现也是可能并被构想的。
图12是根据本发明实施例的一种视频数据的传输装置的结构框图， 如图12所示，该装置包括：播放模块1202以及确定模块1204。
接收模块1202，用于接收媒体呈现描述文件，其中，所述媒体呈现描 述文件中包括用于指示全方向视频的视点信息的视点描述子；
请求模块1204，用于选择播放所述全方向视频的视点，根据所述视点 描述子请求获取与所述视点对应的全方向视频文件；
其中，所述视点包括：所述全方向视频文件中的全方向视频轨道的视 点，所述视点的视点信息和/或自所述视点切换前用户的观看方向用于确定 播放所述全方向视频轨道时用户的初始观看方向。
可选地，所述请求模块还用于，在选择的视点为动态视点时，请求获 取与所述视点对应的全方向视频文件相关联的动态视点定时元数据文件。
可选地，所述请求模块还用于，确定播放所述全方向视频的视点群组； 在所述视点群组中存在初始视点时，请求获取与所述初始视点对应的全方 向视频文件；在所述视点群组中不存在初始视点时，请求获取所述视点群 组中具有最小视点标识值的全方向视频文件。
实施例6
在本实施例中还提供了一种视频数据的处理系统，该装置用于实现上 述实施例及优选实施方式，已经进行过说明的不再赘述。
图13是根据本发明实施例的一种视频数据的处理系统的结构框图， 如图13所示，包括：全方向视频数据处理服务端1302，全方向视频数据 处理终端1304；
全方向视频数据处理服务端1302，用于制作多个视点采集的所述全方 向视频，生成所述全方向视频的视点信息，以及将所述全方向视频轨道的 视点信息封装在一个或者多个媒体文件或者一个或者多个索引信息中；
全方向视频数据处理终端1304，用于传输所述全方向视频，对所述全 方向视频进行解封装，提取所述多个视点的视点信息以及播放所述处理后 的全方向视频。
可选地，所述媒体文件至少包括以下其中之一：所述全方向视频轨道， 定时元数据轨道；所述索引信息至少包括：媒体呈现描述文件。
可选地，所述视点信息中至少包括：视点元数据；所述媒体呈现描 述文件中至少包括：用于指示全方向视频的视点信息的视点描述子。
图14是根据本发明实施例的基于一种视频数据的处理系统的输出处 理的流程图，如图14所示，应用在上述提及的全方向视频数据处理服务 器和全方向视频数据处理终端当中。
全方向视频数据处理服务端1302包括内容获取模块，编码模块、封 装模块和存储及传输模块。
内容获取模块，负责利用一组摄像机或者一个带有多个摄像头和传感 器的摄像设备，以及音频传感器，完成现实物理世界声音-视觉场景的录 制。其中，同一时刻由不同摄像机拍摄的视频图像将被拼接成为全方向视 频，并投影在单位球体上。在此过程中，制作形成来自于不同视点采集的 全方向视频，并生成相应的全方向视频视点元数据，至少包括：视点标识， 视点类型，视点位置(静态位置、动态位置)，视点描述等。
编码模块，负责对内容获取模块输出的数字化视频信号和音频信号进 行编码压缩，通常生成多个码率的音视频基本流，以覆盖不同网络带宽需 求。
封装模块，负责将原始的音视频基本流封装成为具有固定时间间隔的 多个媒体分片文件，并提供媒体分片文件的索引信息。所述索引信息包括： 动态自适应流媒体(DASH,Dynamic Adaptive Streaming over HTTP)的媒 体呈现描述文件(MPD,MediaPresentation Description)，或者基于HTTP 直播流媒体传输协议(HLS，HTTP LiveStreaming)的媒体描述文件(M3U8)。
封装模块还负责将上述内容获取模块生成的全方向视频视点元数据 添加至一个或者多个媒体文件中，包括：不同版本的全方向视频轨道，或 者定时元数据轨道。封装模块还负责将上述内容获取模块生成的全方向视 频视点元数据添加至一个或者多个索引信息，譬如：媒体呈现描述文件。 存储及传输模块，负责存储封装模块所输出的媒体分片文件，以及所述媒 体分片文件的索引信息。存储及传输模块可以是任何合适类型的网络服务器，例如内容分发网络(CDN，Content Delivery Network)的中心节点、 边缘节点服务器，或者代理服务器、Web(World Wide Web，全球广域网) 服务器，或者上述各项的组合。
全方向视频数据处理终端1304，包括流媒体客户端，播放器。
流媒体客户端，负责全方向视频传输。譬如：DASH客户端，HLS客 户端，解析媒体分片文件索引信息，根据用户视角姿态变化请求获取相应 的媒体分片文件。
流媒体客户端，还负责解封装全方向视频文件，提取全方向视频视点 元数据，包括：解析全方向视频轨道中视点轨道群组盒子获取全方向视频 对应的视点标识、视点位置；解析动态视点定时元数据轨道获取全方向视 频对应的动态视点标识、位置；解析推荐视窗定时元数据轨道获取全方向 视频对应的多个不同视点标识。
播放器，负责全方向视频解码、缓存和播放。例如：头戴式显示设备 (HDM)，能够跟踪用户视角姿态变化，并通过位于用户眼睛前方的目视 光学系统放大微型显示屏图像，提供全方向视频沉浸式呈现效果。
实施例7
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机 程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中 的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以 下步骤的计算机程序：
S1，播放从第一视点切换至第二视点的全方向视频轨道；
S2，根据所述第二视点的视点信息和/或自所述第一视点切换前用户 的观看方向，确定播放所述全方向视频轨道时用户的初始观看方向。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：
S3，接收媒体呈现描述文件，其中，所述媒体呈现描述文件中包括用 于指示全方向视频的视点信息的视点描述子；
S4，选择播放所述全方向视频的视点，根据所述视点描述子请求获取 与所述视点对应的全方向视频文件。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只 读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存 储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存 储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述 任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中， 该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
S1，播放从第一视点切换至第二视点的全方向视频轨道；
S2，根据所述第二视点的视点信息和/或自所述第一视点切换前用户 的观看方向，确定播放所述全方向视频轨道时用户的初始观看方向。
可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：
S3，接收媒体呈现描述文件，其中，所述媒体呈现描述文件中包括用 于指示全方向视频的视点信息的视点描述子；
S4，选择播放所述全方向视频的视点，根据所述视点描述子请求获取 与所述视点对应的全方向视频文件。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式 中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤 可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者 分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执 行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来 执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的 步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模 块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特 定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于 本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原 则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护 范围之内。