阅读说明：本技术 一种虚拟场景漫游方法、系统、装置、设备及计算机介质 (virtual scene roaming method, system, device, equipment and computer medium ) 是由 荆君 杨燕伟 刘一烜 于 2019-09-29 设计创作，主要内容包括：本申请公开了一种虚拟场景漫游方法、系统、装置、设备及计算机介质,获取摄像装置对目标场景进行720度拍摄后得到的场景图像；将场景图像转换为立方体贴图形式的立方体图；对立方体图进行渲染,得到目标场景的虚拟场景漫游图。本申请提供的虚拟场景漫游方法,获取摄像装置对目标场景进行720度拍摄后得到的场景图像,也即获取的场景图像可以首尾相连组成一个立体图,并且只需摄像装置进行720度拍摄即可,拍摄要求低,消耗的资源少；之后将场景图像转换为立方体贴图形式的立方体图,由于立方体贴图与人眼呈像相辅相成,所以将场景图转换为立方体图后,便于人眼观察,沉浸感好；最后对立方体图进行渲染,得到目标场景的虚拟场景漫游图。(The application discloses virtual scene roaming method, system, device, equipment and computer media, wherein a scene image obtained after 720-degree shooting of a target scene by a camera device is obtained, the scene image is converted into a cube map in the form of a cube map, and the cube map is rendered to obtain a virtual scene roaming map of the target scene.)

一种虚拟场景漫游方法、系统、装置、设备及计算机介质

技术领域

本申请涉及图像处理技术领域，更具体地说，涉及一种虚拟场景漫游方法、系统、装置、设备及计算机介质。

背景技术

当前，随着VR(virtual Reality，虚拟现实技术)技术的发展，VR技术被应用在越来越多的业务场景中，在VR技术的应用中，需要实现虚拟场景漫游。而现有技术中，一般通过两种方式实现虚拟场景漫游。

第一种是通过至少包括两个摄像头的全景摄像装置拍摄空间，其中所有摄像头镜头的视角之和大于或者等于360度的球面视角，将拍摄图像传至终端后利用图像处理软件对不同摄像头拍摄的画面结合处进行修饰，然后使不同摄像头拍摄的画面实现平滑结合，生成360度全景画面，但其本质上还是2D图片，由于没有空间的三维数据，缺乏场景全局的展示，空间感并不强，需要点击跳转，空间沉浸感较差，操作感比较死板，常见的切换手段是多张全景图的切换，没有场景漫游的感觉。

第二种是基于UE4或Unity 3D渲染引擎对场景进行实时渲染，可以实现完全自由地对场景进行漫游，但是这种手段由于是实时渲染，消耗很大，对应用设备的硬件配置性能要求很高，资源占用比较高。

综上所述，如何提高虚拟场景漫游的沉浸感并且降低消耗的资源是目前本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种虚拟场景漫游方法，其能在一定程度上解决如何提高虚拟场景漫游的沉浸感并且降低消耗的资源的技术问题。本申请还提供了一种虚拟场景漫游系统、装置及计算机可读存储介质。

为了实现上述目的，本申请提供如下技术方案：

一种虚拟场景漫游方法，包括：

获取摄像装置对目标场景进行720度拍摄后得到的场景图像；

将所述场景图像转换为立方体贴图形式的立方体图；

对所述立方体图进行渲染，得到所述目标场景的虚拟场景漫游图。

优选的，所述将所述场景图像转换为立方体贴图形式的立方体图，包括：

提取出所述场景图像中每个场景对象的对象图像及所述场景图像中的背景图像；

将描述同一场景对象的所述场景图像映射至空白的所述立方体贴图的六个面上，得到相应的对象立体图；

将描述同一背景的所述背景图像映射至空白的所述立方体贴图的六个面上，得到相应的背景立体图；

按照所述场景对象及所述背景在所述场景图像中的相对关系，对所述对象立体图及所述背景立体图进行排列组合，得到所述立方体图。

优选的，所述对所述立方体图进行渲染，包括：

通过浏览器对所述立方体图进行渲染。

优选的，所述通过浏览器对所述立方体图进行渲染，包括：

获取所述浏览器的分辨率；

将所述立方体图转换为与所述分辨率对应的转换立体图；

通过所述浏览器对所述转换立体图进行渲染。

优选的，所述对所述立方体图进行渲染，得到所述目标场景的虚拟场景漫游图之后，还包括：

接收移动光标的移动信息；

按照所述移动信息对所述虚拟场景漫游图进行移动展示。

优选的，所述将所述场景图像转换为立方体贴图形式的立方体图，包括：

通过webgl技术将所述场景图像转换为所述立方体图。

一种虚拟场景漫游系统，包括：

第一获取模块，用于获取摄像装置对目标场景进行720度拍摄后得到的场景图像；

第一转换模块，用于将所述场景图像转换为立方体贴图形式的立方体图；

第一渲染模块，用于对所述立方体图进行渲染，得到所述目标场景的虚拟场景漫游图。

一种虚拟场景漫游装置，包括：

摄像装置，用于对目标场景进行720度拍摄，得到相应的场景图像；

与所述摄像装置连接的处理器，用于获取所述场景图像，将所述场景图像转换为立方体贴图形式的立方体图，对所述立方体图进行渲染，得到所述目标场景的虚拟场景漫游图。

一种虚拟场景漫游设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一所述虚拟场景漫游方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述虚拟场景漫游方法的步骤。

本申请提供的一种虚拟场景漫游方法，获取摄像装置对目标场景进行720度拍摄后得到的场景图像；将场景图像转换为立方体贴图形式的立方体图；对立方体图进行渲染，得到目标场景的虚拟场景漫游图。本申请提供的一种虚拟场景漫游方法中，获取的是摄像装置对目标场景进行720度拍摄后得到的场景图像，也即获取的场景图像可以首尾相连组成一个立体图，并且只需摄像装置进行720度拍摄即可，拍摄要求低，消耗的资源少；之后将场景图像转换为立方体贴图形式的立方体图，由于立方体贴图与人眼呈像相辅相成，所以将场景图转换为立方体图后，便于人眼观察，沉浸感好；最后再对立方体图进行渲染，得到目标场景的虚拟场景漫游图。本申请提供的一种虚拟场景漫游系统、装置、设备及计算机可读存储介质也解决了相应技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种虚拟场景漫游方法的流程图；

图2为本申请实施例提供的一种虚拟场景漫游系统的结构示意图；

图3为本申请实施例提供的一种虚拟场景漫游装置的结构示意图；

图4为本申请实施例提供的一种虚拟场景漫游设备的结构示意图；

图5为本申请实施例提供的一种虚拟场景漫游设备的另一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

当前，随着VR(virtual Reality，虚拟现实技术)技术的发展，VR技术被应用在越来越多的业务场景中，在VR技术的应用中，需要实现虚拟场景漫游。而现有技术中，一般通过两种方式实现虚拟场景漫游。

第一种是通过至少包括两个摄像头的全景摄像装置拍摄空间，其中所有摄像头镜头的视角之和大于或者等于360度的球面视角，将拍摄图像传至终端后利用图像处理软件对不同摄像头拍摄的画面结合处进行修饰，然后使不同摄像头拍摄的画面实现平滑结合，生成360度全景画面，但其本质上还是2D图片，由于没有空间的三维数据，缺乏场景全局的展示，空间感并不强，需要点击跳转，空间沉浸感较差，操作感比较死板，常见的切换手段是多张全景图的切换，没有场景漫游的感觉。第二种是基于UE4或Unity 3D渲染引擎对场景进行实时渲染，可以实现完全自由地对场景进行漫游，但是这种手段由于是实时渲染，消耗很大，对应用设备的硬件配置性能要求很高，资源占用比较高。本申请提供的一种虚拟场景漫游方法可以提高虚拟场景漫游的沉浸感并且降低消耗的资源。

请参阅图1，图1为本申请实施例提供的一种虚拟场景漫游方法的流程图。

本申请实施例提供的一种虚拟场景漫游方法，可以包括以下步骤：

步骤S101：获取摄像装置对目标场景进行720度拍摄后得到的场景图像。

实际应用中，可以先获取摄像装置对目标场景进行720度拍摄后得到的场景图像，由于场景图像是对目标场景进行720度拍摄后得到的图像，所以场景图像拼接后可以完全还原目标场景，因此之后借助场景图像进行虚拟场景漫游时，可以提高用户的沉浸感。

步骤S102：将场景图像转换为立方体贴图形式的立方体图。

实际应用中，在获取场景图像后，便可以将场景图像转换为立方体贴图形式的立方体图。在此过程中，由于立方体贴图具有立体感，立方体图也同样具有立体感，因此将场景图像转换为立方体贴图形式的立方体图后，可以增强用户的沉浸感，此外，人在不同方向看到的最远距离一样，所以理论上全景相对于人眼来说，是一个球形，而人眼在近距离观看物体时，容易将物体看成方形，因此，从人眼呈像的角度看，立方体图也同样可以增强用户的沉浸感。

步骤S103：对立方体图进行渲染，得到目标场景的虚拟场景漫游图。

实际应用中，在将场景图像转换为立方体贴图形式的立方体图后，便可以对立方体图进行渲染，得到目标场景的虚拟场景漫游图，从而使得用户借助虚拟场景漫游图对目标场景进行虚拟漫游。

具体应用场景中，在显示虚拟场景漫游图时，由于场景图像是由摄像装置720度拍摄得到，那么摄像装置便相当于人眼，因此可以将摄像装置的拍摄位置等效于虚拟场景漫游图中用户的观察视角，以该观察视角为用户显示虚拟场景漫游图。

本申请提供的一种虚拟场景漫游方法，获取摄像装置对目标场景进行720度拍摄后得到的场景图像；将场景图像转换为立方体贴图形式的立方体图；对立方体图进行渲染，得到目标场景的虚拟场景漫游图。本申请提供的一种虚拟场景漫游方法中，获取的是摄像装置对目标场景进行720度拍摄后得到的场景图像，也即获取的场景图像可以首尾相连组成一个立体图，并且只需摄像装置进行720度拍摄即可，拍摄要求低，消耗的资源少；之后将场景图像转换为立方体贴图形式的立方体图，由于立方体贴图与人眼呈像相辅相成，所以将场景图转换为立方体图后，便于人眼观察，沉浸感好；最后再对立方体图进行渲染，得到目标场景的虚拟场景漫游图。

本申请实施例提供的一种虚拟场景漫游方法中，为了使得立方体图为用户带来更好的沉浸感，在将场景图像转换为立方体贴图形式的立方体图时，可以提取出场景图像中每个场景对象的对象图像及场景图像中的背景图像；将描述同一场景对象的场景图像映射至空白的立方体贴图的六个面上，得到相应的对象立体图；将描述同一背景的背景图像映射至空白的立方体贴图的六个面上，得到相应的背景立体图；按照场景对象及背景在场景图像中的相对关系，对对象立体图及背景立体图进行排列组合，得到立方体图。

应当指出，本申请中，在对对象立体图及背景立体图进行排列组合时，需按照场景对象及背景在场景图像中的相对关系来进行排列组合，那么，场景图像中体积大的对象的对象立体图便会比体积小的对象的对象立体图大，并且，对象立体图会被背景立体图所包围。

本申请实施例提供的一种虚拟场景漫游方法中，为了提高对立方体图的渲染效果及渲染效率，在对立方体图进行渲染时，可以通过浏览器对立方体图进行渲染。

具体的，摄像装置拍摄得到的场景图像可能与浏览器的分辨率不相符，进而使得立方体图与浏览器的分辨率不相符，最终使得浏览器渲染得到的虚拟场景渲染图与浏览器的分辨率不相符，影响用户观看体验，为了避免此种情况，在通过浏览器对立方体图进行渲染时，可以获取浏览器的分辨率；将立方体图转换为与分辨率对应的转换立体图；通过浏览器对转换立体图进行渲染。当然，也可以在获取场景图像后，先将场景图像转换与浏览器的分辨率相符的图像，在执行后续将场景图像转换为立方体图的步骤，以得到与浏览器的分辨率相符的虚拟场景漫游图。

本申请实施例提供的一种虚拟场景漫游方法中，为了满足用户对虚拟场景漫游图的自由浏览需求，在对立方体图进行渲染，得到目标场景的虚拟场景漫游图之后，还可以接收移动光标的移动信息；按照移动信息对虚拟场景漫游图进行移动展示。

具体的，在按照移动信息对虚拟场景漫游图进行移动展示时，可以按照摄像原理根据移动信息对虚拟场景漫游图进行移动展示，在此过程中，由于摄像装置的焦距是确定的，在任意方向上均可以找到摄像装置的焦距点，所以在按照移动信息对虚拟场景漫游图进行移动展示时，可以根据移动信息确定移动光标所对应的焦距点，再根据该焦距点对虚拟场景漫游图进行移动、缩放等操作，以按照用户需求展示虚拟场景漫游图。

本申请实施例提供的一种虚拟场景漫游方法中，为了提高将场景图像转换为立方体图的效率，在将场景图像转换为立方体贴图形式的立方体图时，可以通过webgl技术将场景图像转换为立方体图。

应当指出，在通过webgl技术将场景图像转换为立方体图的过程中，需要执行场景及设备模型贴图制作、模型构建、相机设置、灯光、模型碰撞检测、控件添加等步骤，具体过程可以根据实际需要确定。

请参阅图2，图2为本申请实施例提供的一种虚拟场景漫游系统的结构示意图。

本申请实施例提供的一种虚拟场景漫游系统，可以包括：

第一获取模块101，用于获取摄像装置对目标场景进行720度拍摄后得到的场景图像；

第一转换模块102，用于将场景图像转换为立方体贴图形式的立方体图；

第一渲染模块103，用于对立方体图进行渲染，得到目标场景的虚拟场景漫游图。

本申请实施例提供的一种虚拟场景漫游系统中，第一转换模块可以包括：

第一提取单元，用于提取出场景图像中每个场景对象的对象图像及场景图像中的背景图像；

第一映射单元，用于将描述同一场景对象的场景图像映射至空白的立方体贴图的六个面上，得到相应的对象立体图；

第二映射单元，用于将描述同一背景的背景图像映射至空白的立方体贴图的六个面上，得到相应的背景立体图；

第一组合单元，用于按照场景对象及背景在场景图像中的相对关系，对对象立体图及背景立体图进行排列组合，得到立方体图。

本申请实施例提供的一种虚拟场景漫游系统中，第一渲染模块可以包括：

第一渲染子模块，用于通过浏览器对立方体图进行渲染。

本申请实施例提供的一种虚拟场景漫游系统中，第一渲染子模块可以包括：

第一获取单元，用于获取浏览器的分辨率；

第一转换单元，用于将立方体图转换为与分辨率对应的转换立体图；

第一渲染单元，用于通过浏览器对转换立体图进行渲染。

本申请实施例提供的一种虚拟场景漫游系统中，还可以包括：

第一接收模块，用于第一渲染模块对立方体图进行渲染，得到目标场景的虚拟场景漫游图之后，接收移动光标的移动信息；

第一展示模块，用于按照移动信息对虚拟场景漫游图进行移动展示。

本申请实施例提供的一种虚拟场景漫游系统中，第一转换模块可以包括：

第二转换单元，用于通过webgl技术将场景图像转换为立方体图。

请参阅图3，图3为本申请实施例提供的一种虚拟场景漫游装置的结构示意图。

本申请实施例提供的一种虚拟场景漫游装置，可以包括：

摄像装置11，用于对目标场景进行720度拍摄，得到相应的场景图像；

与摄像装置11连接的处理器12，用于获取场景图像，将场景图像转换为立方体贴图形式的立方体图，对立方体图进行渲染，得到目标场景的虚拟场景漫游图。

本申请还提供了一种虚拟场景漫游设备及计算机可读存储介质，其均具有本申请实施例提供的一种虚拟场景漫游方法具有的对应效果。请参阅图4，图4为本申请实施例提供的一种虚拟场景漫游设备的结构示意图。

本申请实施例提供的一种虚拟场景漫游设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：

获取摄像装置对目标场景进行720度拍摄后得到的场景图像；

将场景图像转换为立方体贴图形式的立方体图；

对立方体图进行渲染，得到目标场景的虚拟场景漫游图。

本申请实施例提供的一种虚拟场景漫游设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：提取出场景图像中每个场景对象的对象图像及场景图像中的背景图像；将描述同一场景对象的场景图像映射至空白的立方体贴图的六个面上，得到相应的对象立体图；将描述同一背景的背景图像映射至空白的立方体贴图的六个面上，得到相应的背景立体图；按照场景对象及背景在场景图像中的相对关系，对对象立体图及背景立体图进行排列组合，得到立方体图。

本申请实施例提供的一种虚拟场景漫游设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：通过浏览器对立方体图进行渲染。

本申请实施例提供的一种虚拟场景漫游设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：获取浏览器的分辨率；将立方体图转换为与分辨率对应的转换立体图；通过浏览器对转换立体图进行渲染。

本申请实施例提供的一种虚拟场景漫游设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：对立方体图进行渲染，得到目标场景的虚拟场景漫游图之后，接收移动光标的移动信息；按照移动信息对虚拟场景漫游图进行移动展示。

本申请实施例提供的一种虚拟场景漫游设备，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行计算机程序时实现如下步骤：通过webgl技术将场景图像转换为立方体图。

请参阅图5，本申请实施例提供的另一种虚拟场景漫游设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现虚拟场景漫游设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：

获取摄像装置对目标场景进行720度拍摄后得到的场景图像；

将场景图像转换为立方体贴图形式的立方体图；

对立方体图进行渲染，得到目标场景的虚拟场景漫游图。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：提取出场景图像中每个场景对象的对象图像及场景图像中的背景图像；将描述同一场景对象的场景图像映射至空白的立方体贴图的六个面上，得到相应的对象立体图；将描述同一背景的背景图像映射至空白的立方体贴图的六个面上，得到相应的背景立体图；按照场景对象及背景在场景图像中的相对关系，对对象立体图及背景立体图进行排列组合，得到立方体图。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：通过浏览器对立方体图进行渲染。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取浏览器的分辨率；将立方体图转换为与分辨率对应的转换立体图；通过浏览器对转换立体图进行渲染。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：对立方体图进行渲染，得到目标场景的虚拟场景漫游图之后，接收移动光标的移动信息；按照移动信息对虚拟场景漫游图进行移动展示。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：通过webgl技术将场景图像转换为立方体图。

本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本申请实施例提供的一种虚拟场景漫游系统、装置、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种虚拟场景漫游方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。