具体实施方式

下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。

本发明提供一种基于VR/AR的设备智能维护系统，包括前端VR装置、后端VR装置、VR/AR系统、前端AR装置与5G模块，其中：

前端VR装置，用于录制并显示当前的VR图像，并通过5G模块传送至VR/AR系统；

后端VR装置，用于接收VR/AR系统发送的VR图像并显示；

其中，前端VR装置录制VR图像并传送至后端用户，后端用户查看VR图像，进而进行巡检或发送维护信息指导前端对设备进行维护；

VR/AR系统中存储设备的结构模型立体图；

前端AR装置，根据当前图像确定对应的结构模型立体图，获得AR图像并显示。

在一个示例中，后端VR装置位于VR/AR系统的后台，与VR/AR系统通过有线或无线网络连接。

在一个示例中，后端VR装置为远程VR装置，与VR/AR系统通过5G模块连接。

在一个示例中，前端用户佩戴前端VR装置，登录VR/AR系统发送协助维修申请，将前端VR装置的VR图像发送给VR/AR系统；

VR/AR系统链接后端用户，后端用户通过后端VR装置进行虚拟现实的前端现实场景的动态沉浸式展示；

后端用户发送维护信息指导前端用户对设备进行维修。

在一个示例中，前端VR装置为固定式前端VR装置。

在一个示例中，VR/AR系统向后端用户传送固定式前端VR装置的视频信息；

后端用户通过后端VR装置查看VR图像，进行前端实时设备安全状态和环境安全状态的安全例行巡检。

在一个示例中，VR/AR系统还包括图像处理模块，图像处理模块实时定位后台头显位置和动作并针对VR图像进行处理，进行110度类人眼的前场实时、动态、沉浸式巡检。

在一个示例中，VR/AR系统还包括环境感知预交互模块，用于针对前端AR装置视野范围内能够进行AR交互的设备、环境进行预感知提示。

在一个示例中，VR/AR系统还包括视点动作感知模块，用于根据前端AR装置视野范围内的注视点、动作信息，匹配对应的结构模型立体图进而获得AR图像。

在一个示例中，VR/AR系统还包括信息指导模块，用于实时回传后端用户的指导信息。

具体地，根据5G本身的发展规律，AR/VR是在5G“高带宽”环境下，最有潜力的应用场景。5G所采用的高频波段有着频道宽、传输快、低时延等优点，但是高频波段也有局限，绕物能力低，穿物衰减大，长距离容易受干扰等缺点。以税控微厅为智能终端的应用场景，在5G信号的底层才用CPE中继后WIFI传输的方案，减少设备的改造升级难度。

本发明结合“硬件+内容+技术+平台+网络”的应用框架，利用5G+ARVR在设备维护应用创新，解决行业问题。基于5G通讯的AR/VR技术在对终端设备进行维修和例检，通过头显设备、智能移动设备、CPE设备，链接5G网络和设备维护系统。在移动智能终端APP嵌入ZUC国产密码算法模块，智能终端与后台系统以一次一密的会话密钥的方式，完成音视频流加解密功能。基于移动智能设备的底层安全部件和接口，完成用户和头显的身份认证、密钥传输和密钥管理，实现头显和后台系统的视频安全传输。

根据本发明的基于VR/AR的设备智能维护系统，包括前端VR装置、后端VR装置、VR/AR系统、前端AR装置与5G模块，其中：

前端VR装置，用于录制并显示当前的VR图像，并通过5G模块传送至VR/AR系统；

后端VR装置，用于接收VR/AR系统发送的VR图像并显示；后端VR装置可以位于VR/AR系统的后台，与VR/AR系统通过有线或无线网络连接，也可以为远程VR装置，与VR/AR系统通过5G模块连接；

其中，前端VR装置录制VR图像并传送至后端用户，后端用户查看VR图像，进而进行巡检或发送维护信息指导前端对设备进行维护；具体为：前端用户佩戴前端VR装置，登录VR/AR系统发送协助维修申请，将前端VR装置的VR图像发送给VR/AR系统；VR/AR系统链接后端用户，后端用户通过后端VR装置进行虚拟现实的前端现实场景的动态沉浸式展示；后端用户发送维护信息指导前端用户对设备进行维修。

前端VR装置也可以为固定式前端VR装置，VR/AR系统向后端用户传送固定式前端VR装置的视频信息；后端用户通过后端VR装置查看VR图像，进行前端实时设备安全状态和环境安全状态的安全例行巡检。

VR/AR系统中存储设备的结构模型立体图；VR/AR系统包括图像处理模块，图像处理模块实时定位后台头显位置和动作并针对VR图像进行处理，进行110度类人眼的前场实时、动态、沉浸式巡检；环境感知预交互模块，用于针对前端AR装置视野范围内能够进行AR交互的设备、环境进行预感知提示；视点动作感知模块，用于根据前端AR装置视野范围内的注视点、动作信息，匹配对应的结构模型立体图进而获得AR图像；信息指导模块，用于实时回传后端用户的指导信息；

前端AR装置，根据当前图像确定对应的结构模型立体图，获得AR图像并显示。

本发明的有四类系统应用用户：(1)VR现场头显用户；(2)VR后台或后台远程头显用户；(3)AR现场头显用户(4)通过客户端对设备维修进行管理的用户。

第一类和第二类用户通过5G网络，由系统提供的VR功能，进行隔绝式的音视频内容交互，用户能够获得较高的显示画质感受和沉浸感体验；第三类用户通过系统的AR功能，进行设备维护的虚拟信息与现实环境的“无缝”融合，通过5G网络获得实时的信息辅助。第四类用户通过手机端或电脑端登录系统，对其所控设备的设备标识和流数据进行注册撤销、增删改查等管理。

在第一类用户遇到设备故障，前场无协助解决故障的人员时，前端用户通过下载手机APP，并佩戴前端VR装置，登录维护系统的VR协助维修应用，录制VR图像，将头显和摄像头的多媒体信息发送给后台，并通过5G模块传送至后端VR装置，后端用户通过后端VR装置进行虚拟现实的前端现实场景的动态沉浸式展示。后端用户可以在后台，包括通过5G和后台通信的远程方式，实现5G+VR人人交互维修应用场景。

AR系统对第三类用户所在终端周边及内部的真实物体的识别及人与后台的信息交互。

VR/AR系统设置有环境感知预交互模块，具体包括模型建立和管理、视野内设备和环境感知、预交互模块，用于针对前端AR装置视野范围内能够进行AR交互的设备、环境进行预感知提示；视点动作感知模块，前端AR装置用于示AR图像信息时，针对设备外部的图像信息进行半透明处理，根据前端AR装置视野范围内的注视点、动作信息，匹配对应的结构模型立体图进而获得AR图像。

本系统通过前场手机屏幕端回传第二类用户的实时语音的指导信息，以及在虚拟化的前场环境下叠加后台第二类用户的虚拟操作的指导信息。

后端用户通过后端VR装置查看固定式前端VR装置录制的VR图像，进行前端实时设备安全状态和环境安全状态的安全例行巡检。系统通过固定式前端VR装置的360度视频信息，VR/AR系统设置有图像处理模块，图像拼接处理、异步时间扭曲模块、110度场景渲染处理模块，并通过红外定位仪、陀螺仪、加速度感应器来实时定位后台头显位置和动作，进行110度类人眼的前场实时、动态、沉浸式检查。

还包括视频数据管理方案，通过SM2、SM3国产算法实现平台的身份认证和签名功能。在故障设备的受控方，即第四类用户，通过客户端登录系统的管理模块，在对其所控设备的音视频记录进行明文查看需求时，系统通过移动设备客户端向视频数据生产方第一、二、三类用户发起请求，收到同意响应后，第四类用户可以进行查看和下载操作。

本发明解决行业痛点，税控微厅智能终端的维护服务系统目前尚停留在维护系统发送短信通知技术人员的方式，进行现场维护申请请求。本发明基于5G网络应用目前以“高带宽”场景为主的客观进度，通过“5G+ARVR”技术解决税控微厅智能终端维护服务系统中存在的“维护工程师数量短缺、距离远、应答不畅”等问题。通过辅助信息增强现实、远程专家、沉浸式诊查等功能的应用，提高用户与业务平台的交互效率，提升用户体验度。

为便于理解本发明实施例的方案及其效果，以下给出一个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。

实施例1

图1示出了根据本发明的一个实施例的一种基于VR/AR的设备智能维护系统的示意图。

根据本发明的基于VR/AR的设备智能维护系统，包括前端VR装置1、后端VR装置2、VR/AR系统4、前端AR装置5与5G模块3，其中：

前端VR装置1，用于录制并显示当前的VR图像，并通过5G模块3传送至VR/AR系统4；

后端VR装置2，用于接收VR/AR系统4发送的VR图像并显示；后端VR装置2可以位于VR/AR系统4的后台，与VR/AR系统4通过有线或无线网络连接，也可以为远程VR装置，与VR/AR系统4通过5G模块3连接；

其中，前端VR装置1录制VR图像并传送至后端用户，后端用户查看VR图像，进而进行巡检或发送维护信息指导前端对设备进行维护；具体为：前端用户佩戴前端VR装置1，登录VR/AR系统4发送协助维修申请，将前端VR装置1的VR图像发送给VR/AR系统4；VR/AR系统4链接后端用户，后端用户通过后端VR装置2进行虚拟现实的前端现实场景的动态沉浸式展示；后端用户发送维护信息指导前端用户对设备进行维修。

前端VR装置1也可以为固定式前端VR装置，VR/AR系统4向后端用户传送固定式前端VR装置的视频信息；后端用户通过后端VR装置2查看VR图像，进行前端实时设备安全状态和环境安全状态的安全例行巡检。

VR/AR系统4中存储设备的结构模型立体图；VR/AR系统4包括图像处理模块41，图像处理模块41实时定位后台头显位置和动作并针对VR图像进行处理，进行110度类人眼的前场实时、动态、沉浸式巡检；环境感知预交互模块42，用于针对前端AR装置5视野范围内能够进行AR交互的设备、环境进行预感知提示；视点动作感知模块43，用于根据前端AR装置5视野范围内的注视点、动作信息，匹配对应的结构模型立体图进而获得AR图像；信息指导模块44，用于实时回传后端用户的指导信息；

前端AR装置5，根据当前图像确定对应的结构模型立体图，获得AR图像并显示。

本发明的有四类系统应用用户：(1)VR现场头显用户；(2)VR后台或后台远程头显用户；(3)AR现场头显用户(4)通过客户端对设备维修进行管理的用户。

第一类和第二类用户通过5G网络，由系统提供的VR功能，进行隔绝式的音视频内容交互，用户能够获得较高的显示画质感受和沉浸感体验；第三类用户通过系统的AR功能，进行设备维护的虚拟信息与现实环境的“无缝”融合，通过5G网络获得实时的信息辅助。第四类用户通过手机端或电脑端登录系统，对其所控设备的设备标识和流数据进行注册撤销、增删改查等管理。

在第一类用户遇到设备故障，前场无协助解决故障的人员时，前端用户通过下载手机APP，并佩戴前端VR装置1，登录维护系统的VR协助维修应用，录制VR图像，将头显和摄像头的多媒体信息发送给后台，并通过5G模块3传送至后端VR装置2，后端用户通过后端VR装置2进行虚拟现实的前端现实场景的动态沉浸式展示。后端用户可以在后台，包括通过5G和后台通信的远程方式，实现5G+VR人人交互维修应用场景。

AR系统对第三类用户所在终端周边及内部的真实物体的识别及人与后台的信息交互。

VR/AR系统4设置有环境感知预交互模块42，具体包括模型建立和管理、视野内设备和环境感知、预交互模块，用于针对前端AR装置1视野范围内能够进行AR交互的设备、环境进行预感知提示；视点动作感知模块43，前端AR装置5用于示AR图像信息时，针对设备外部的图像信息进行半透明处理，根据前端AR装置5视野范围内的注视点、动作信息，匹配对应的结构模型立体图进而获得AR图像。

本系统通过前场手机屏幕端回传第二类用户的实时语音的指导信息，以及在虚拟化的前场环境下叠加后台第二类用户的虚拟操作的指导信息。

后端用户通过后端VR装置2查看固定式前端VR装置录制的VR图像，进行前端实时设备安全状态和环境安全状态的安全例行巡检。系统通过固定式前端VR装置的360度视频信息，VR/AR系统4设置有图像处理模块41，图像拼接处理、异步时间扭曲模块、110度场景渲染处理模块，并通过红外定位仪、陀螺仪、加速度感应器来实时定位后台头显位置和动作，进行110度类人眼的前场实时、动态、沉浸式检查。

还包括视频数据管理方案，通过SM2、SM3国产算法实现平台的身份认证和签名功能。在故障设备的受控方，即第四类用户，通过客户端登录系统的管理模块，在对其所控设备的音视频记录进行明文查看需求时，系统通过移动设备客户端向视频数据生产方第一、二、三类用户发起请求，收到同意响应后，第四类用户可以进行查看和下载操作。

本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。