阅读说明：本技术 一种采用增强现实分享场景的方法、装置及系统 (Method, device and system for sharing scene by adopting augmented reality ) 是由 潘睿 于 2019-09-27 设计创作，主要内容包括：本发明公开了一种采用增强现实分享场景的方法、装置及系统,包括：第一用户终端将所采集的AR音视频及当前采集信息发送给服务器,由服务器根据当前采集信息对所采集的AR音视频进行全景转换,再根据第二用户终端的当前展示信息对全景的AR音视频进行视角转换,发送给第二用户终端,第二用户终端将视角转换后的AR音视频进行展示。因此,本发明实施例就可以采用AR分享场景。(The invention discloses a method, a device and a system for sharing scenes by adopting augmented reality, which comprise the following steps: the first user terminal sends the collected AR audio and video and the current collection information to the server, the server carries out panoramic conversion on the collected AR audio and video according to the current collection information, then carries out visual angle conversion on the panoramic AR audio and video according to the current display information of the second user terminal, and sends the panoramic AR audio and video to the second user terminal, and the second user terminal displays the AR audio and video after the visual angle conversion. Therefore, the embodiment of the invention can adopt an AR sharing scene.)

一种采用增强现实分享场景的方法、装置及系统

技术领域

本发明涉及计算机技术领域，特别涉及一种采用增强现实分享场景的方法、装置及系统。

背景技术

随着计算机技术的发展，出现了增强现实(AR,Augmented Reality)。AR是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频及三维模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。基于AR技术可以设置诸如AR眼镜等用户终端，用户终端中的摄像单元采集用户周围场景影像，经过三维建模的处理后，展示在设备的展示单元中。

目前，AR影像可以在第一用户终端和第二用户终端之间进行交互，其中，第一用户终端为采集终端，第二用户终端为接收终端。该过程具体包括：第一用户终端在对采集的自身周围场景影像处理后，发送给第二用户终端，使得第二用户终端可以展示该处理后的影像。这种应用场景多为第一用户使用第一用户终端拍摄视频，将处理好的视频数据发送给第二用户，第二用户则使用第二用户终端接收该视频数据并观看。第二用户的视界仅仅局限于第一用户处理视频的方式，也就是第二用户观看视频的角度是基于第一用户设定的视角处理方式，在虚拟屏幕上展示的第一用户所拍摄的画面。

可以看出，目前在第一用户终端与第二用户终端交互AR影像时，都是由第一用户终端将按照诸如站在自身视角处理等方式的自身设定的视角处理方式，对采集的AR影像处理后，再发送给第二用户终端进行展示，而无法根据第二用户终端的需求对所采集的AR影像进行处理，使得第二用户终端在分享第一用户终端采集的AR影像时，其只能站在第一用户终端设定的视角接受AR影像，造成第一用户终端的体验度不好。

发明内容

有鉴于此，本发明实施例提供一种采用AR分享场景的方法，该方法能够采用AR分享场景。

本发明实施例还提供一种采用AR分享场景的装置，该装置能够采用AR分享场景。

本发明实施例还提供一种采用AR分享场景的系统，该系统能够采用AR分享场景。

本发明实施例是这样实现的：

一种采用增强现实分享场景的方法，该方法包括：服务器接收第一用户终端发送的所述所在场景的音视频及当前采集信息；

服务器接收第二用户终端发送的第二用户终端的当前展示信息；

服务器根据第一用户终端的当前采集信息将所述所在场景的视频进行拼接，得到所述所在场景的视频全景图；根据第二用户终端的当前展示信息，将所述所在场景的视频全景图调整为对应第二用户终端的当前展示信息的视频；

服务器调整所述的音频，将所述音频的来源方向调整到对应第二用户终端的当前展示信息的视频相应的位置上；

服务器将对应第二用户终端的当前展示信息的视频及调整后的音频发送给第二用户终端进行展示。

在该方法之前，还包括：

服务器与第一用户终端及第二用户终端，分别采用第五代5G通信网络建立连接；

所述建立连接之后，还包括：

服务器接收第一用户终端发送的基准方向信息；

服务器接收第二用户终端发送的基准方向信息。

所述第二用户终端的当前展示信息包括：

第二用户终端的位姿信息。

所述服务器集成在所述第二用户终端中。

一种采用增强现实分享场景的方法，该方法包括：

第一用户终端与服务器之间建立连接；

第一用户终端采用增强现实AR方式采集所在场景的音视频，第一用户终端获取当前采集信息；

第一用户终端将所述所在场景的音视频及当前采集信息发送给服务器。

所述建立连接为采用第五代5G通信建立的连接；

所述建立连接之后，还包括：

第一用户终端发送基准方向信息给服务器。

所述采集所在场景的音视频包括：

采用移动终端或AR眼镜进行拍摄，获取每一帧所在场景的影像，并采集每一帧对应的音频；

所述第一用户终端获取当前采集信息包括：

获取第一用户终端的位姿信息。

一种采用增强现实分享场景的装置，包括：采集单元及第一收发单元，其中，

第一收发单元，用于与服务器之间建立连接，将所在场景的音视频及当前采集信息发送给服务器；

采集单元，用于采用AR方式采集所在场景的音视频及获取当前采集信息。

一种采用增强现实分享场景的装置，包括：第二收发单元及调整单元，其中，

第二收发单元，用于接收第一用户终端发送的所述所在场景的音视频及当前采集信息；接收第二用户终端发送的第二用户终端的当前展示信息；将对应第二用户终端的当前展示信息的视频及调整后的音频发送给第二用户终端；

调整单元，用于根据第一用户终端的当前采集信息将所述所在场景的视频进行拼接，得到所述所在场景的视频全景图；根据第二用户终端的当前展示信息，将所述所在场景的视频全景图调整为对应第二用户终端的当前展示信息的视频。

一种采用增强现实分享场景的系统，包括：第一用户终端、服务器及第二用户终端，其中，

第一用户终端，用于与服务器之间建立连接，采用AR方式采集所在场景的音视频及获取当前采集信息，将所在场景的音视频及当前采集信息发送给服务器；

服务器，用于接收第一用户终端发送的所述所在场景的音视频及当前采集信息；接收第二用户终端发送的第二用户终端的当前展示信息；根据第一用户终端的当前采集信息将所述所在场景的视频进行拼接，得到所述所在场景的视频全景图；根据第二用户终端的当前展示信息，将所述所在场景的视频全景图调整为对应第二用户终端的当前展示信息的视频；将对应第二用户终端的当前展示信息的视频及调整后的音频发送给第二用户终端；

第二用户终端，用于接收对应第二用户终端的当前展示信息的视频及调整后的音频，进行展示。

如上可见，本发明实施例中的第一用户终端将所采集的AR音视频及当前采集信息发送给服务器，由服务器根据当前采集信息对所采集的AR音视频进行全景转换，再根据第二用户终端的当前展示信息对全景的AR音视频进行视角转换，发送给第二用户终端，第二用户终端将视角转换后的AR音视频进行展示。这样，本发明实施例的第一用户终端对所采集的AR影像不做处理，在第二用户终端展示的AR音视频是基于第二终端的当前展示信息进行的视角转换后的AR音视频，而并不是站在第一用户终端的视角角度展示，提高了所交互的AR音视频的可控度，增强了第二用户终端的体验度。因此，本发明实施例就可以采用AR分享场景。

附图说明

图1为本发明实施例提供的采用AR分享场景的方法一流程图；

图2为本发明实施例提供的第一用户终端采用AR分享场景的方法例子流程图；

图3为本发明实施例提供的采用AR分享场景的方法二流程图；

图4为本发明实施例提供的服务器采用AR分享场景的方法二例子流程图；

图5为本发明实施例提供的采用AR分享场景的方法三流程图；

图6为本发明实施例提供的第二用户终端采用AR分享场景的方法三例子流程图；

图7为本发明实施例提供的第一用户终端所采集的每一帧场景示意图；

图8为本发明实施例提供的服务器通过图7所示的每一帧场景图拼接得到的全景示意图；

图9为本发明实施例提供的第二用户终端展示的场景示意图；

图10为本发明实施例提供的超出全景示意图时展示的场景示意图；

图11为本发明实施例提供的第一用户终端的结构示意图；

图12为本发明实施例提供的服务器的结构示意图；

图13为本发明实施例提供的采用AR分享场景的系统结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

从背景技术可以看出，由于第二用户终端在展示第一用户终端采集的AR影像时，其展示的视角角度并不是由第二用户终端决定的，所以只能根据第一用户终端所采集AR影像的视角角度展示，因此只涉及AR影像的部分场景，并不能获取完整的全貌，使得第二用户终端在采用AR分享场景时，交互感受不好，体验度不高。

因此，本发明实施例中的第一用户终端将所采集的AR音视频及当前采集信息发送给服务器，由服务器根据当前采集信息对所采集的AR音视频进行全景转换，再根据第二用户终端的当前展示信息对全景的AR音视频进行视角转换，发送给第二用户终端，第二用户终端将视角转换后的AR音视频进行展示。

这样，本发明实施例的第一用户终端对所采集的AR影像不做处理，在第二用户终端展示的AR音视频是基于第二终端的当前展示信息进行的视角转换后的AR音视频，而并不是站在第一用户终端的视角角度展示，提高了所交互的AR音视频的可控度，增强了第二用户终端的体验度。

因此，本发明实施例就可以采用AR分享场景。

在这里，第一用户终端为采集终端，也就是分享端，第二用户终端为接收终端，也就是被分享端，所采集的AR音视频可以是第一用户终端所在的场景。

在这里，采集信息为第一用户终端的位姿信息，也就是第一用户终端所采集的摄像单元，诸如相机的位姿信息等。展示信息为第二用户终端的位姿信息，也就是第二用户终端中的摄像单元，诸如相机的位姿单元等。

在第一用户终端将所采集的AR音视频及当前采集信息发识给服务器，及服务器将视角转换后的AR音视频发送给第二用户终端时，采用的是第五代通信(5G)网络传输的。

在本发明实施例中，可以将服务器集成在第二用户终端中实现。

本发明实施例提供的基于AR的用户终端间实时分享场景的交互模式，该模块由第一用户终端，具体可以为移动终端或AR眼镜进行拍摄，对第一用户所在的场景的影像及音频通过5G网络，经过服务器处理后，传给第二用户终端，比如第二用户佩戴的AR眼镜上，在第二用户展示的三维虚拟空间中对第一用户终端所拍摄的影像进行三维帧拼接，展示出和第一用户所看到的相同的场景，在第二用户展示的三维虚拟空间中进行音频的三维重建，从而实现第一用户实时将其当前所在场景分享给第二用户终端，获得更好的交互体验。

图1为本发明实施例提供的采用AR分享场景的方法一流程图，执行该方法的为第一用户终端，其具体步骤为：

步骤101、第一用户终端与服务器之间建立连接；

步骤102、第一用户终端采集并记录所在场景的音视频；

步骤103、第一用户终端获取当前采集信息；

步骤104；第一用户终端将所述所在场景的音视频及当前采集信息发送给服务器。

在该方法中，所述建立连接为采用5G通信方式建立的连接。

在该方法中，所述建立连接后，还包括：

第一用户终端发送基准方向信息给服务器。在这里，可以将第一用户终端的当前水平方向作为第一用户终端的基准方向信息。

在该方法的步骤102中，第一用户终端采用移动终端或AR眼镜对所在场景进行拍摄，获取每一帧所在场景的影像，并使用多麦克风采集每一帧对应的音频。

在该方法的步骤103中，获取当前采集信息包括：获取第一用户终端的位姿信息，具体是第一用户终端的相机的位姿信息。

图2为本发明实施例提供的第一用户终端采用AR分享场景的方法例子流程图，其具体步骤为：

步骤201、第一用户终端与服务器之间建立连接；

步骤202、第一用户终端发送基准方向信息给服务器；

步骤203、第一用户终端判断是否结束，如果是，则直接结束本流程；如果否，则执行步204；

步骤204、第一用户终端获取当前帧音视频信息；

步骤205、第一用户终端获取当前帧采集信息；

步骤206、第一用户终端将获取的当前帧音视频信息及当前帧采集信息，发送给服务器。

图3为本发明实施例提供的采用AR分享场景的方法二流程图，执行该方法的为服务器，其具体步骤为：

步骤301、服务器接收第一用户终端发送的所述所在场景的音视频及当前采集信息；

步骤302、服务器接收第二用户终端发送的第二用户终端的当前展示信息；

步骤303、服务器根据第一用户终端的当前采集信息将所述所在场景的视频进行拼接，得到所述所在场景的视频全景图；根据第二用户终端的当前展示信息，将所述所在场景的视频全景图调整为对应第二用户终端的当前展示信息的视频；

步骤304、服务器调整所述的音频，将所述音频的来源方向调整到对应第二用户终端的当前展示信息的全景图相应的位置上；

步骤305、服务器将对应第二用户终端的当前展示信息的视频及调整后的音频发送给第二用户终端。

在该方法中，当第一用户终端采集到一定距离的多个所在场景的音视频时(连续多帧影像及音频)，服务器可以根据第一用户终端移动的距离所采集的音视频，创建得到全景图。

在该方法之前，还包括：服务器与第一用户终端及第二用户终端，分别采用5G建立连接；所述建立连接之后，还包括：

服务器接收第一用户终端发送的基准方向信息，以便服务器识别第一用户终端当前采集信息，确定第一用户终端的拍摄视角；

服务器接收第二用户终端发送的基准方向信息，以便服务器识别第二用户终端当前展示信息，确定第二用户终端的展示视角。

在该方法中，所述第二用户终端的当前展示信息包括：第二用户终端的位姿信息。

图4为本发明实施例提供的服务器采用AR分享场景的方法二例子流程图，其是由服务器实施的，具体步骤包括：

步骤401、服务器与第一用户终端建立连接；

步骤402、服务器获取第一用户终端的基准方向信息；

步骤403、服务器与第二用户终端建立连接；

步骤404、服务器获取第二用户终端的基准方向信息；

步骤405、服务器判断过程是否结束，如果否，执行步骤406；否则，结束；

步骤406、服务器接收第一用户终端发送的所述所在场景的音视频及当前采集信息；

步骤407、服务器比较当前所在场景的全景图的基准位置与第一终端的基准位置；

步骤408、服务器判断两者是否超过了当前所述全景图覆盖的距离，如果是，执行步骤409；如果否，执行步骤410；

步骤409、服务器切换当前全景图到下一幅全景图；

步骤410、服务器将第一用户终端的当前帧所在场景更新在全景图中；

步骤411、服务器根据音频信息分析得到音频方向；

步骤412、服务器获取第二用户终端的当前展示信息；

步骤413、服务器从所述全景图中找到对应第二用户终端的当前展示信息的视频，及调整音频方向；

步骤414、服务器向第二用户终端返回对应的视频及音频信息，返回步骤405继续执行。

图5为本发明实施例提供的采用AR分享场景的方法三流程图，执行该方法的为第二用户终端，其具体步骤为：

步骤501、第二用户终端将当前展示信息发送给服务器；

步骤502、第二用户终端接收服务器发送的对应第二用户终端的当前展示信息的视频及调整后的音频。

在该方法之前，第二用户终端与服务器之间采用5G通信方式建立通信连接。

在该方法中，当第二用户终端旋转视角时，对于全景图的未知部分，在第二用户终端的视野空间中，仍然呈现真实世界的环境。

在该方法中，如果第一用户终端在某一固定视角持续采集视频，则第二用户终端在该视角观赏的也是动态视频。

图6为本发明实施例提供的第二用户终端采用AR分享场景的方法三例子流程图，其具体步骤为：

步骤601、第二用户终端与服务器之间连接；

步骤602、第二用户终端向服务器发送基准方向信息；

步骤603、第二用户终端判断是否结束，如果否，执行步骤604；如果是，结束；

步骤604、第二用户终端发送当前展示信息给服务器；

步骤605、第二用户终端获取转换视角的视频；

步骤606、第二用户终端获取转换视角的音频信息；

步骤607、第二用户终端展示所获取的视频；

步骤608、第二用户终端在展示的同时，播放转换视角的音频信息，结束。

举一个具体例子说明本发明实施例

第一用户终端在风景区某街区，想要与第二用户终端分享当前的风景，于是通过服务器与第二用户终端建立连接，建立第一用户终端与服务器之间的连接，及服务器建立与第二用户终端之间的连接。第一用户终端在风景区边走边拍，在精彩的地方驻足停留，得到图7所示的场景。图7为本发明实施例提供的第一用户终端所采集的每一帧场景示意图。当第一用户终端采集得到如图7所示的每一帧场景图时，则发送给服务器。图8为本发明实施例提供的服务器通过图7所示的每一帧场景图拼接得到的全景示意图。当服务器接收到图7所示的每一帧场景图，进行拼接，得到图8所示的示意图后，结合第二用户终端发送的当前展示信息，进行调整，得到如图9所示的第二用户终端展示的场景示意图后，发送给第二用户终端进行展示。当第二用户终端的视角超出图9所示的全景示意图时，则展示展示的场景，如图10所示，图10为本发明实施例提供的超出全景示意图时展示的场景示意图。

图11为本发明实施例提供的第一用户终端的结构示意图，包括：采集单元及第一收发单元，其中，

第一收发单元，用于与服务器之间建立连接，将所在场景的音视频及当前采集信息发送给服务器；

采集单元，用于采集所在场景的音视频及获取当前采集信息。

图12为本发明实施例提供的服务器的结构示意图，包括：第二收发单元及调整单元，其中，

第二收发单元，用于接收第一用户终端发送的所述所在场景的音视频及当前采集信息；接收第二用户终端发送的第二用户终端的当前展示信息；将对应第二用户终端的当前展示信息的视频及调整后的音频发送给第二用户终端；

调整单元，用于根据第一用户终端的当前采集信息将所述所在场景的视频进行拼接，得到所述所在场景的视频全景图；根据第二用户终端的当前展示信息，将所述所在场景的视频全景图调整为对应第二用户终端的当前展示信息的视频。

在该装置中，所述服务器集成在第二用户终端中，所述第二用户终端用于接收对应第二用户终端的当前展示信息的视频及调整后的音频，进行展示。

图13为本发明实施例提供的采用AR分享场景的系统结构示意图，包括：第一用户终端、服务器及第二用户终端，其中，

第一用户终端，用于与服务器之间建立连接，采集所在场景的音视频及获取当前采集信息，将所在场景的音视频及当前采集信息发送给服务器；

服务器，用于接收第一用户终端发送的所述所在场景的音视频及当前采集信息；接收第二用户终端发送的第二用户终端的当前展示信息；根据第一用户终端的当前采集信息将所述所在场景的视频进行拼接，得到所述所在场景的视频全景图；根据第二用户终端的当前展示信息，将所述所在场景的视频全景图调整为对应第二用户终端的当前展示信息的视频；将对应第二用户终端的当前展示信息的视频及调整后的音频发送给第二用户终端；

第二用户终端，用于接收对应第二用户终端的当前展示信息的视频及调整后的音频，进行展示。

可以看出，本发明实施例所提出的基于AR的用户终端间实时分享场景的交互模式，该模式由第一用户终端使用移动终端或AR眼镜进行拍摄，对第一用户终端所在空间的音视频通过5G网络发送给服务器，由服务器在第二用户终端所在的三维空间对第一用户终端所拍摄的连续帧图像进行拼接后，呈现出与第一用户终端所看到的相同的场景的全景图，在第二用户终端所在的空间进行音视频重建，从而实现第一用户终端实时将当前场景呈现给第二用户终端，获得更好的交互体验。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。