阅读说明：本技术 一种基于用户视角的vr视频广告无缝插播方法 (VR video advertisement seamless insertion method based on user view angle ) 是由 文志平 周敏 何志明 于 2019-09-29 设计创作，主要内容包括：本发明公开了一种基于用户视角的VR视频广告无缝插播方法。它具体包括如下步骤：(1)由音视频播控模块获取VR视频数据分别进行音频和视频的解码,然后根据音频和视频的时间戳进行AV同步控制；(2)音频传送给音频播放模块进行播放,VR视频帧图像传送给VR渲染模块进行渲染；(3)当进行广告播放时,暂停当前正片VR视频的播放后进行广告的播放；(4)广告结束时间到达后,音视频播控模块停止广告数据的渲染,同时恢复向VR渲染模块传送正片VR视频帧图像数据,VR渲染模块在收到第一帧正片VR视频帧图像后再停止广告数据渲染并恢复正片VR视频的渲染,实现从广告到正片的无缝切换。本发明的有益效果是：提升用户体验,大大降低广告系统升级的成本。(The invention discloses a VR video advertisement seamless insertion method based on a user visual angle. The method specifically comprises the following steps: (1) the audio and video playing and controlling module acquires VR video data to respectively decode audio and video, and then performs AV synchronous control according to the time stamps of the audio and video; (2) the audio is transmitted to an audio playing module for playing, and the VR video frame image is transmitted to a VR rendering module for rendering; (3) when the advertisement is played, playing of the advertisement is carried out after the playing of the current feature film VR video is paused; (4) and after the advertisement ending time is up, the audio and video playing control module stops the rendering of the advertisement data, meanwhile, the transmission of the positive VR video frame image data to the VR rendering module is recovered, and the VR rendering module stops the rendering of the advertisement data and recovers the rendering of the positive VR video after receiving the first frame positive VR video frame image, so that the seamless switching from the advertisement to the positive is realized. The invention has the beneficial effects that: user experience is improved, and the cost of upgrading the advertising system is greatly reduced.)

一种基于用户视角的VR视频广告无缝插播方法

技术领域

本发明涉及VR视频处理相关技术领域，尤其是指一种基于用户视角的VR视频广告无缝插播方法。

背景技术

VR是虚拟现实技术(Virtual Reality)的英文简称，是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。进入21世纪，随着视频逐渐成为越来越重要的信息载体，VR技术在视频领域的应用已经成为VR技术的一个重要的发展方向，大量的科技单位正积极的投入到VR视频技术领域研究中，像Youtube、Facebook、优酷、爱奇艺等大型视频网站已经开始提供在线VR视频的播放。可以预见，在不久的将来，随着VR视频制作技术、播放技术及显示技术进步和VR显示设备的不断升级，VR视频会变的越来越普遍，VR视频会跟现在的普通互联网视频一样随处可见。

我们知道，互联网视频盈利的主要方式是会员和广告，未来随着VR视频的普及，在VR视频播放过程中插播广告的需求必然存在。如何在VR视频播放中进行广告的插播，是一个很值得研究的课题。现今已有的研究主要聚焦在VR视频播放技术本身，对于VR视频广告播放这种衍生需求研究还比较少。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种大大降低广告系统升级成本的基于用户视角的VR视频广告无缝插播方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于用户视角的VR视频广告无缝插播方法，具体包括如下步骤：

(1)装置启动后，先由音视频播控模块根据指定的VR视频地址请求获取VR视频数据，并对获取到的视频数据分别进行音频和视频的解码，然后根据音频和视频的时间戳进行AV同步控制；

(2)对于要播放的音频直接传送给音频播放模块进行播放，对于要渲染的VR视频帧图像则传送给VR渲染模块进行渲染；

(3)当需要进行广告播放时，音视频播控模块首先暂停当前正片VR视频的播放，然后进行广告的播放；

(4)广告策略规定的广告结束时间到达后，音视频播控模块通知VR渲染模块停止广告数据的渲染，同时恢复向VR渲染模块传送正片VR视频帧图像数据，这里VR渲染模块在收到第一帧正片VR视频帧图像后再停止广告数据渲染并恢复正片VR视频的渲染，从而实现从广告到正片的无缝切换。

本发明提供了一种基于用户视角的VR视频广告无缝插播方法能够实现VR视频播放过程中进行广告的插播，可支持VR广告视频、VR静态图像广告、普通广告视频和普通静态图像广告的插播，且广告插播和正片恢复播放能够做到无缝流畅切换，提升了用户体验。这样设计既能够对VR视频进行播放，也能够根据广告片源类型，将广告在VR视频播放装置中进行流畅的插播，同时能够兼容非VR视频的广告策略，使得普通广告系统可以无缝对接到VR视频播放的广告策略中，无需升级就能适用于VR视频，大大降低广告系统升级的成本。

作为优选，所述的音视频播控模块负责音视频媒体数据的获取、解析、解码及AV同步控制；所述的音频播放模块负责音频数据的播放；所述的VR渲染模块负责视频帧数据图像的渲染；广告的类型包括如下几种：普通广告视频、VR广告视频、普通静态图像广告和VR静态图像广告，普通广告视频是指视频内容为使用常规制作方法录制的广告视频，VR广告视频是指使用专业的VR技术及设备制作的广告视频，普通静态图像广告是指常见的静态图像贴片广告，VR静态图像广告是指使用专业的VR技术及设备制作的静态图像广告。

作为优选，在步骤(3)中，对于广告播放的处理过程如下：当广告策略配置在正片VR视频播放过程中的时间点A进行广告的插播，那么在播放过程中，音视频播控模块提前在广告插播时间点A到达之前X秒进行广告数据的获取及预处理，通过预处理来保证提前准备好要渲染的数据，当到达广告插播时间点A时能够快速将广告数据进行渲染从而实现广告无缝插播。

作为优选，在步骤(3)中，针对普通视频广告和普通静态图像广告的处理方法如下：

(311)普通视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到广告视频帧图像；

(312)普通静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态广告图像；

(313)音视频播控模块和静态图像处理模块将解码后的广告图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用用户视角窗口渲染程序进行渲染，用户视角窗口内显示的广告内容为广告图像全部内容，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而保证显示设备在旋转运动时用户视角窗口中始终显示的是广告图像；

(314)普通视频广告的音频数据则直接传送给音频播放模块播放。

作为优选，在步骤(3)中，针对VR视频广告和VR静态图像广告的处理方法如下：

(321)VR视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到VR广告视频帧图像；

(322)VR静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态图像；

(323)音视频播控模块和静态图像处理模块将解码后的图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用360度全景渲染程序进行渲染，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而实现显示设备旋转运动时，用户视角窗口中能够看到不同视角方向对应的广告内容，用户视角窗口内的广告内容为广告图像内容的一部分；

(324)VR视频广告的音频数据则直接传送给音频播放模块播放。

作为优选，所述的运动矢量检测模块负责检测显示设备的旋转运动情况；所述的静态图像处理模块负责静态图像的获取和解码。

作为优选，在步骤(2)和步骤(4)中，VR渲染模块对VR视频进行渲染的操作如下：

(a)VR渲染模块首先会将第一帧图像进行渲染，然后与运动矢量检测模块进行交互获取初始运动矢量参数信息，根据运动矢量参数信息计算用户视角窗口，再然后将用户可视区域设置为用户视角窗口，通过用户视角窗口即可看到窗口对应范围内的图像；

(b)当运动矢量检测模块的运动矢量信息变化达到设定阈值，则VR渲染模块立马进行用户视角窗口的更新计算，然后更新窗口渲染；

(c)当视频帧图像更新时，直接将图像按照最新的运动矢量信息计算的用户视角窗口进行渲染。

作为优选，在步骤(a)中，VR渲染模块与运动矢量检测模块持续保持信息交互，不断从运动矢量检测模块实时获取显示设备的运动矢量参数信息，使用运动矢量参数信息不断的更新用户视角窗口，从而实现可视区域内容随视角实时变化。

作为优选，在步骤(2)和步骤(4)中，VR渲染模块保证按照每秒60帧及以上的频率进行图像的绘制，保证运动过程中画面的流畅性；视频帧未更新时重复渲染同一帧图像，视频帧更新则渲染新的视频帧图像。

本发明的有益效果是：广告插播和正片恢复播放能够做到无缝流畅切换，提升了用户体验，使得普通广告系统可以无缝对接到VR视频播放的广告策略中，无需升级就能适用于VR视频，大大降低广告系统升级的成本。

附图说明

图1是本发明中正片VR视频、普通视频广告和VR视频广告的处理流程图；

图2是本发明中普通静态图像广告和VR静态图像广告的处理流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1所述的实施例中，一种基于用户视角的VR视频广告无缝插播方法，具体包括如下步骤：

(1)装置启动后，先由音视频播控模块根据指定的VR视频地址请求获取VR视频数据，并对获取到的视频数据分别进行音频和视频的解码，然后根据音频和视频的时间戳进行AV同步控制。

(2)对于要播放的音频直接传送给音频播放模块进行播放，对于要渲染的VR视频帧图像则传送给VR渲染模块进行渲染。

VR渲染模块对VR视频进行渲染的操作如下：

(a)VR渲染模块首先会将第一帧图像进行渲染，然后与运动矢量检测模块进行交互获取初始运动矢量参数信息，根据运动矢量参数信息计算用户视角窗口，再然后将用户可视区域设置为用户视角窗口，通过用户视角窗口即可看到窗口对应范围内的图像；VR渲染模块与运动矢量检测模块持续保持信息交互，不断从运动矢量检测模块实时获取显示设备的运动矢量参数信息，使用运动矢量参数信息不断的更新用户视角窗口，从而实现可视区域内容随视角实时变化；

(b)当运动矢量检测模块的运动矢量信息变化达到设定阈值，则VR渲染模块立马进行用户视角窗口的更新计算，然后更新窗口渲染；运动矢量信息包括且不限于旋转角度、加速度等；

(c)当视频帧图像更新时，直接将图像按照最新的运动矢量信息计算的用户视角窗口进行渲染。

其中：VR渲染模块保证按照每秒60帧及以上的频率进行图像的绘制，保证运动过程中画面的流畅性；视频帧未更新时重复渲染同一帧图像，视频帧更新则渲染新的视频帧图像。

(3)当需要进行广告播放时，音视频播控模块首先暂停当前正片VR视频的播放，然后进行广告的播放。

对于广告播放的处理过程如下：当广告策略配置在正片VR视频播放过程中的时间点A进行广告的插播，那么在播放过程中，音视频播控模块提前在广告插播时间点A到达之前X秒进行广告数据的获取及预处理，通过预处理来保证提前准备好要渲染的数据，当到达广告插播时间点A时能够快速将广告数据进行渲染从而实现广告无缝插播；其中：X秒不是一个固定的值，它的取值要根据实际设备性能进行调试确定。

如图1、图2所示，针对普通视频广告和普通静态图像广告的处理方法如下：

(311)普通视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到广告视频帧图像；

(312)普通静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态广告图像；

(313)音视频播控模块和静态图像处理模块将解码后的广告图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用用户视角窗口渲染程序进行渲染，用户视角窗口内显示的广告内容为广告图像全部内容，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而保证显示设备在旋转运动时用户视角窗口中始终显示的是广告图像；

(314)普通视频广告的音频数据则直接传送给音频播放模块播放。

如图1、图2所示，针对VR视频广告和VR静态图像广告的处理方法如下：

(321)VR视频广告通过音视频播控模块进行视频广告数据的获取及解码，最终得到VR广告视频帧图像；VR视频分辨率相对较高，对于VR视频广告的解码优先使用设备硬件解码，设备硬件解码不可用则采用软件解；

(322)VR静态图像广告通过静态图像处理模块进行静态图像的获取及解码，最终得到解码后的静态图像；VR静态图像分辨率相对较高，对于VR静态图像的解码优先使用设备硬件解码，设备硬件解码不可用则采用软件解；

(323)音视频播控模块和静态图像处理模块将解码后的图像传送给VR渲染模块，VR渲染模块根据当前图像的类型调用360度全景渲染程序进行渲染，同时根据运动矢量检测模块反馈的运动矢量信息不断的更新用户视角窗口，从而实现显示设备旋转运动时，用户视角窗口中能够看到不同视角方向对应的广告内容，用户视角窗口内的广告内容为广告图像内容的一部分；

(324)VR视频广告的音频数据则直接传送给音频播放模块播放。

(4)广告策略规定的广告结束时间到达后，音视频播控模块通知VR渲染模块停止广告数据的渲染，同时恢复向VR渲染模块传送正片VR视频帧图像数据，这里VR渲染模块在收到第一帧正片VR视频帧图像后再停止广告数据渲染并恢复正片VR视频的渲染，从而实现从广告到正片的无缝切换。其中：关于VR渲染模块对VR视频进行渲染的操作方法如步骤(2)中的步骤(a)、步骤(b)和步骤(c)。

其中：音视频播控模块负责音视频媒体数据的获取、解析、解码及AV同步控制；音频播放模块负责音频数据的播放；VR渲染模块负责视频帧数据图像的渲染；运动矢量检测模块负责检测显示设备的旋转运动情况；静态图像处理模块负责静态图像的获取和解码；广告的类型包括如下几种：普通广告视频、VR广告视频、普通静态图像广告和VR静态图像广告，普通广告视频是指视频内容为使用常规制作方法录制的广告视频，VR广告视频是指使用专业的VR技术及设备制作的广告视频，普通静态图像广告是指常见的静态图像贴片广告，VR静态图像广告是指使用专业的VR技术及设备制作的静态图像广告。

本发明提供了一种基于用户视角的VR视频广告无缝插播方法能够实现VR视频播放过程中进行广告的插播，可支持VR广告视频、VR静态图像广告、普通广告视频和普通静态图像广告的插播，且广告插播和正片恢复播放能够做到无缝流畅切换，提升了用户体验。这样设计既能够对VR视频进行播放，也能够根据广告片源类型，将广告在VR视频播放装置中进行流畅的插播，同时能够兼容非VR视频的广告策略，使得普通广告系统可以无缝对接到VR视频播放的广告策略中，无需升级就能适用于VR视频，大大降低广告系统升级的成本。