阅读说明：本技术 图像采集方法、显示方法、装置、电子设备及存储介质 (Image acquisition method, display method, device, electronic equipment and storage medium ) 是由 查雄兴 于 2020-05-22 设计创作，主要内容包括：本发明公开了一种图像采集方法、显示方法、装置、电子设备及存储介质。本发明的VR图像采集方法,包括：接收VR设备的朝向和位置信息；根据VR设备的朝向和位置信息,采集全景视频图像中的部分像素,生成第一视频图像；将第一视频图像进行编码,并将编码后的视频图像发送给VR设备。通过接收VR设备的朝向和位置信息,并根据朝向和位置信息采集全景视频图像中的部分像素进行编码和传输,能够消息降低VR视频图像的文件大小,降低传输带宽。(The invention discloses an image acquisition method, a display device, electronic equipment and a storage medium. The VR image acquisition method comprises the following steps: receiving orientation and location information of a VR device; acquiring partial pixels in the panoramic video image according to the orientation and position information of the VR equipment to generate a first video image; and coding the first video image, and sending the coded video image to the VR equipment. By receiving the orientation and position information of the VR equipment and collecting partial pixels in the panoramic video image according to the orientation and position information for coding and transmitting, the file size of the VR video image can be reduced, and the transmission bandwidth is reduced.)

图像采集方法、显示方法、装置、电子设备及存储介质

技术领域

本发明涉及虚拟现实领域，尤其是涉及一种图像采集方法、显示方法、装置、电子设备及存储介质。

背景技术

随着VR云游戏的发展，编码端采集的全景视频分辨率较高，例如，全景视频分辨率可达8K。为了达到高质量显示画面的要求，需要巨大的带宽和强大的解码器，这就对网络传输带宽要求和VR云游戏玩家的装置的软硬件要求都很高，从而造成游戏实现成本高。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种图像采集方法、显示方法、装置、电子设备及存储介质，能够在有效的带宽和硬件条件下，有效降低VR图像传输带宽。

第一方面，本发明的一个实施例提供了VR图像采集方法，包括：接收VR设备的朝向和位置信息；根据VR设备的朝向和位置信息，采集全景视频图像中的部分像素，生成第一视频图像；将第一视频图像进行编码，并将编码后的视频图像发送给VR设备。

本发明实施例的VR图像采集方法至少具有如下有益效果：通过接收VR设备的朝向和位置信息，并根据朝向和位置信息采集全景视频图像中的部分像素进行编码和传输，能够消息降低VR视频图像的文件大小，降低传输带宽。

根据本发明的另一些实施例的VR图像采集方法，根据设备的朝向和位置信息，采集全景视频图像中的部分像素，生成第一视频图像，包括：根据VR设备的朝向、位置信息和人眼的视觉范围，采集全景视频图像中的部分像素，生成第一视频图像。

根据本发明的另一些实施例的VR图像采集方法，将第一视频图像进行编码，并将编码后的视频图像发送给VR设备，包括：将第一视频图像进行编码，并将编码后的视频图像以及该视频图像的朝向和位置信息发送给VR设备。

第二方面，本发明的一个实施例提供了VR图像显示方法，包括：发送VR设备的朝向和位置信息给主机端；接收第一视频图像，第一视频图像为主机端根据VR设备的朝向和位置信息采集生成的；对第一视频图像进行解码。

本发明实施例的VR图像显示方法至少具有如下有益效果：通过发送设备的朝向和位置信息给主机端，接收到只有部分像素的第一视频图像，并进行解码，可以有效降低播放VR视频对设备端硬件的要求，已经节省带宽。

根据本发明的另一些实施例的VR图像显示方法，接收第一视频图像的同时接收该视频图像的朝向和位置信息，根据VR设备的朝向、位置信息对第一视频图像进行解码。

根据本发明的另一些实施例的VR图像显示方法，VR设备接收第一视频图像以及该视频图像的朝向和位置信息，并进行解码和渲染，包括：进行渲染时将VR设备中的巨幕和摄像头跟随视频图像的朝向移动。

第三方面，本发明的一个实施例提供了一种VR图像采集装置，包括：接收模块，用于接收来自VR设备的朝向和位置信息；图像生成模块，用于根据VR设备的朝向和位置信息，采集全景视频图像中的部分像素，生成第一视频图像；编码发送模块，用于将第一视频图像进行编码，并将编码后的视频图像发送给VR设备。

第四方面，本发明的一个实施例提供了一种VR图像显示装置，包括：发送模块，用于发送VR设备的朝向和位置信息给主机端；图像接收模块，用于接收第一视频图像，第一视频图像为主机端根据VR设备的朝向和位置信息采集生成的；解码模块，用于对第一视频图像进行解码。

第五方面，本发明的一个实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：如第一方面所述的VR图像采集方法；或者，如第二方面所述的VR图像显示方法。

第六方面，本发明的一个实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于：执行如第一方面所述的VR图像采集方法；或者，执行如第二方面所述的VR图像显示方法。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

图1是本发明实施例中VR图像采集方法的流程示意图；

图2是本发明实施例中VR设备的视场角示意图；

图3是本发明实施例中VR图像显示方法的流程示意图。

具体实施方式

以下将结合实施例对本发明的构思及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。

在本发明实施例的描述中，如果涉及到“若干”，其含义是一个以上，如果涉及到“多个”，其含义是两个以上，如果涉及到“大于”、“小于”、“超过”，均应理解为不包括本数，如果涉及到“以上”、“以下”、“以内”，均应理解为包括本数。如果涉及到“第一”、“第二”，应当理解为用于区分技术特征，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

第一方面，本发明实施例提供一种VR图像采集方法。

参照图1，示出了本发明实施例中VR图像采集方法的流程示意图。其具体包括：

S101、接收VR设备的朝向和位置信息；

S102、根据VR设备的朝向和位置信息，采集全景视频图像中的部分像素，生成第一视频图像；

S103、将第一视频图像进行编码，并将编码后的视频图像发送给VR设备。

在一些具体的实施例中，VR设备的朝向用三维空间的右手笛卡尔坐标来表示，以VR设备所在场景设置三维坐标系XYZ，pitch是围绕X轴旋转，也叫做俯仰角；yaw是围绕Y轴旋转，也叫偏航角；roll是围绕Z轴旋转，也叫翻滚角。而VR设备的位置信息为三维坐标系XYZ中距离原点的坐标信息。而根据VR设备的朝向和位置信息也就是根据VR设备相对于XYZ轴的旋转角度和相对于原点的坐标信息在全景视频图像中采集对应的像素图像。

在一些实施例中，根据设备的朝向和位置信息，采集全景视频图像中的部分像素，生成第一视频图像，包括：根据VR设备的朝向、位置信息和人眼的视觉范围，采集全景视频图像中的部分像素，生成第一视频图像。

在一些具体的实施例中，全景视频图像是一个球型3D模型，采集的像素区是将原点放置于3D球体原点位置并且符合人眼的视觉范围的全景视频图像中的部分像素。如图2所示，在一些实施例中，VR设备中设置有虚拟的摄像头201，而人眼的视觉范围就可以用摄像头201的视场角FOV来表示，采集的全景视频图像中的部分像素区域为202。例如，采集的水平视角120度，垂直视角是120度，该数值可以根据设备来调整。

在一些实施例中，将第一视频图像进行编码，并将编码后的视频图像发送给VR设备，包括：将第一视频图像进行编码，并将编码后的视频图像以及该视频图像的朝向和位置信息发送给VR设备。

第二方面，本发明实施例提供一种VR图像显示方法。

参照图3，示出了本发明实施例中VR图像显示方法的流程示意图。其具体包括：

S301、发送VR设备的朝向和位置信息给主机端；

S302、接收第一视频图像，第一视频图像为主机端根据VR设备的朝向和位置信息采集生成的；

S303、对第一视频图像进行解码。

在一些具体实施例中，主机端为VR游戏运行的PC端或者服务器端。接收的第一视频图像为主机端根据VR设备的朝向和位置信息采集生成的，在一些具体的实施例中，VR设备的朝向用三维空间的右手笛卡尔坐标来表示，以VR设备所在场景设置三维坐标系XYZ，pitch是围绕X轴旋转，也叫做俯仰角；yaw是围绕Y轴旋转，也叫偏航角；roll是围绕Z轴旋转，也叫翻滚角。而VR设备的位置信息为三维坐标系XYZ中距离原点的坐标信息。而根据VR设备的朝向和位置信息也就是根据VR设备相对于XYZ轴的旋转角度和相对于原点的坐标信息在全景视频图像中采集对应的像素图像。

在一些实施例中，VR图像显示方法，包括：发送VR设备的朝向和位置信息给主机端；接收第一视频图像，第一视频图像为主机端根据VR设备的朝向和位置信息采集生成的；接收第一视频图像的同时接收该视频图像的朝向和位置信息，根据VR设备的朝向和位置信息对第一视频图像进行解码。VR设备的朝向和位置信息为上一帧图像对应的朝向和位置信息，通过发送到主机端，模拟VR设备处于主机端的VR场景中，并在场景中移动位置和朝向，再根据视场角FOV截取部分像素图像。

在一些实施例中，VR设备接收第一视频图像以及该视频图像的朝向和位置信息，并进行解码和渲染，包括：进行渲染时将VR设备中的巨幕和摄像头跟随视频图像的朝向移动。在一些具体实施例中，跟随视频图像的朝向移动，可以是按照帧数来移动，也可以是按照时间来移动。

在一些具体实施例中，比如：VR设备为头显一体机，客户端为云游戏服务器。初始时刻，一体机的位置为原点位置A(0,0,0)，方向信息为向上45度，将位置信息A(0,0,0)和方向信息(向上45度)发送给云游戏服务器，云游戏服务器接收到位置信息A(0,0,0)和方向信息(向上45度)后，将一体机发送来的位置信息A(0,0,0)坐标作为原点，也就是放在360°球体场景的中心点，然后按照方向信息(向上45度)截取一体机的视觉范围，并将这部分像素的图像编码后，连同一体机这一帧图像对应的位置信息A(0,0,0)和方向信息(向上45度)一起发送给一体机端，一体机端对接收到的视屏图像进行解码，在渲染的时候一体机中的巨幕和摄像机按照接收到的方向信息(向上45度)上移45度，并显示解码后的图像，接下来，一体机又向左移动60度角并且一体机整体向下位移，位置信息变为B(0，-20,0)，实时的将这个方向和位置信息发送给服务端，服务端通过方向和位置信息截取视场角范围的视频图像，并回传给一体机端。

在一些具体的实施例中，进行VR图像解码渲染时将VR设备中的巨幕和摄像头跟随视频图像的朝向移动，也就是根据该帧数据原本的朝向和位置信息，例如在时间T1时刻VR一体机发送OR1(包括VR一体机的朝向和位置)到服务端，服务端根据OR1采集序列号为N1的一帧图像数据，将该帧图像数据N1连同OR1发送到VR一体机端，VR一体机端当前处于T2时刻，朝向和位置为OR2，但解码渲染的时候为T1时刻的一帧图像数据，此时将巨幕和摄像机依次变换到OR1的方向和位置再进行渲染和显示，这样可以避免显示的图像超出巨幕和摄像机的范围，导致用户观看VR图像出现缺失或不对应，影响用户体验的问题。

第三方面，本发明的一个实施例提供了一种VR图像采集装置，包括：

接收模块，用于接收来自VR设备的朝向和位置信息；

图像生成模块，用于根据VR设备的朝向和位置信息，采集全景视频图像中的部分像素，生成第一视频图像；

编码发送模块，用于将第一视频图像进行编码，并将编码后的视频图像发送给VR设备。

在一些实施例中，图像生成模块还包括，根据VR设备的朝向、位置信息和人眼的视觉范围，采集全景视频图像中的部分像素，生成第一视频图像。

在一些实施例中，编码发送模块还包括，将第一视频图像进行编码，并将编码后的视频图像以及该视频图像的朝向和位置信息发送给VR设备。

第四方面，本发明的一个实施例提供了一种VR图像显示装置，包括：

发送模块，用于发送VR设备的朝向和位置信息给主机端；

图像接收模块，用于接收第一视频图像，第一视频图像为主机端根据VR设备的朝向和位置信息采集生成的；

解码模块，用于对第一视频图像进行解码。

在一些实施例中，图像接收模块还包括：用于接收第一视频图像的同时接收该视频图像的朝向和位置信息，根据VR设备的朝向、位置信息对第一视频图像进行解码。

在一些实施例中，VR图像显示装置还包括：

解码渲染模块，用于接收第一视频图像以及该视频图像的朝向和位置信息，并进行解码和渲染，进行渲染时将VR设备中的巨幕和摄像头跟随视频图像的朝向移动。

第五方面，本发明的一个实施例提供了一种电子设备，在一些实施例中，电子设备为VR游戏运行的主机端，在一些具体实施例中，主机端可以是VR游戏运行的PC装置或者服务器，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：如第一方面所述的VR图像采集方法。

第六方面，本发明的一个实施例提供了一种电子设备，在一些实施例中，电子设备为VR设备，在一些具体实施例中，VR设备为头显或一体机，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：如第二方面所述的VR图像显示方法。

第七方面，本发明的一个实施例提供了一种VR图像采集显示方法,包括：如第一方面所述的VR图像采集方法和第二方面所述的VR图像显示方法。

第八方面，本发明的一个实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于：执行第一方面所述的VR图像采集方法；或者，执行第二方面所述的VR图像显示方法。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。