阅读说明：本技术 全景显示系统在ar眼镜上的实时传输与监控的方法 (Real-time transmission and monitoring method of panoramic display system on AR glasses ) 是由 吉涛 向艳 朱标 张骏 孙瑞 张鹏 沈玉真 于 2020-06-15 设计创作，主要内容包括：本发明公开了一种全景显示系统在AR眼镜上的实时传输与监控的方法,包括：步骤1、安装摄像头；步骤2、进行全景画面实时拼接和unity多形状动态贴图；步骤3、对场景对象进行渲染；步骤4、udp/rtsp全景画面传输；步骤5、实现头部姿态、眼动、语音和手势控制视角画面；步骤6、最终设备间同步显示全景实时画面并协同控制。该方法可以实时将设备采集的全景画面传输给移动端AR眼镜并同步显示,即便使用人员脱离全景设备也能够有效地获取安装在车载或者其他位置传出的实时全景画面,并在头部姿态控制的基础上完成全景不同方位的观察,能最大程度获取当前环境形式下的相关数据信息,结合多种智能交互模式(眼动、语音、手势)协同指挥控制。(The invention discloses a real-time transmission and monitoring method of a panoramic display system on AR glasses, which comprises the following steps: step 1, installing a camera; step 2, carrying out real-time splicing of panoramic pictures and unity multi-shape dynamic mapping; step 3, rendering the scene object; step 4, transmitting a udp/rtsp panoramic picture; step 5, controlling visual angle pictures by head gestures, eye movements, voice and gestures; and 6, synchronously displaying the panoramic real-time picture between the final devices and cooperatively controlling. The method can transmit the panoramic picture collected by the equipment to the mobile terminal AR glasses in real time and synchronously display the panoramic picture, can effectively acquire the real-time panoramic picture transmitted from a vehicle or other positions even if a user is separated from the panoramic equipment, can finish the observation of different directions of the panorama on the basis of head posture control, can acquire related data information under the current environment form to the maximum extent, and is cooperatively commanded and controlled by combining various intelligent interaction modes (eye movement, voice and gestures).)

全景显示系统在AR眼镜上的实时传输与监控的方法

技术领域

本发明涉及全景显示技术领域，具体地，涉及一种全景显示系统在AR眼镜上的实时传输与监控。

背景技术

随着工业技术、计算机技术和网络技术等的不断发展，产品逐步向智能化方式转变，使得各领域发生了巨大的变化。全景作为一门新型显示技术，已经在多个应用领域得到使用。全景显示设备安装在汽车上可以观察到汽车的盲点区域，有效地减少交通事故的发生；全景设备在监控上也有着重大的作用，全景设备因具备采集画面视野广的特点，有效地对多个区域实时监控。即便全景显示设备有如此多的优势，但其也有自身的不足之处，一般设备里装载的全景显示系统只能在固定的显示器上显示，不具备可移动性，机动性能较差，并且无法很好的和AR眼镜相结合，即使有相关的尝试，也不能保证系统能够稳定有效地实时传输全景视频画面到AR眼镜上并通过头部姿态对其控制。

因此，急需要提供一种可以稳定、有效的将全景实时画面传输到AR眼镜移动端并通过头部姿态估计观察全景画面的各个方位的方法来解决上述技术难题。

发明内容

本发明的目的是提供一种全景显示系统在AR眼镜上的实时传输与监控的方法，该方法可以实时将设备采集的全景画面传输给移动端AR眼镜并同步显示，即便使用人员脱离全景设备也能够有效地获取安装在车载或者其他位置传出的实时全景画面，并在头部姿态控制的基础上完成全景不同方位的观察，能最大程度获取当前环境形式下的相关数据信息，结合多种智能交互模式(眼动、语音、手势)协同指挥控制。

为了实现上述目的，本发明提供了一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：

步骤1、安装摄像头；

步骤2、进行全景画面实时拼接和unity多形状动态贴图；

步骤3、对场景对象进行渲染；

步骤4、UDP/RTSP全景画面传输；

步骤5、实现头部姿态、眼动、语音和手势控制视角画面；

步骤6、最终设备间同步显示全景实时画面并协同控制。

优选地，步骤1包括：在设备上安装多路摄像头，并将其布置在设备上对应的位置，利用实时拼接及融合算法完成基本的全景画面显示；其中，摄像头的安装方式设定为弧形式排列或者散列式排列，并且，多路摄像头为4路、8路、16路或32路。

优选地，步骤2包括：通过unity3d软件接入步骤1中安装好的实时全景显示画面，在接入全景显示画面时，显示对象能够兼容多个模型作为贴图对象；将这些多模型类型的中心点作为视野的中心点，并给这多个模型的对象赋予全景Shader；其中，多个模型包括正方体、球体、圆柱体以及胶囊体。

优选地，步骤3包括：在球谐光照技术的基础上对场景对象进行渲染，将动态视频贴在球体上，用于解决带宽传输及图像渲染的问题。

优选地，步骤4包括：初始化位置坐标，通过UDP方式将实时的全景画面传输到AR眼镜端，若传输的视频帧过大，则对其进行压缩处理，用于提高传输速度。

优选地，步骤5包括：通过AR眼镜端的陀螺仪实现全方位全景画面端随头部姿态移动，若头部向左，则画面跟随头部向左移动，若头部向右，则画面跟随头部向右移动，用于解决视野盲区。

根据上述技术方案，本发明利用球谐光照和全景动态视频的贴图技术解决了光照渲染效果以及带宽传输的问题，并利用UDP传输的方式将设备采集的实时动态全景画面显示在AR眼镜中，利用头部姿态对场景进行视角控制，智能交互协同指挥控制，解决了当前环境中实时画面同步显示及通信传输的问题，本发明的优势在于通过将不同设备的多路实时画面进行实时拼接和传输，并在此基础上获取AR眼镜的头部姿态，将实时全景画面同步到AR眼镜上全景显示，动态画面随头部姿态的改变而改变。基于这一特点，使用人员只需借助AR眼镜就可以实时监控和观察整个环境的态势，提高工作效率。

本发明的其他特征和优点将在随后的

具体实施方式

部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明中全景显示系统在AR眼镜上的实时传输与监控的方法的流程图；

图2是本发明中弧形式排列的示意图；

图3是本发明中散列式排列的示意图；

图4是本发明中球体模型图；

图5是本发明中数据的发送接收加速处理的示意图；

图6是本发明中头部姿态控制的示意图；

图7是本发明中协同使用流程框图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

在本发明中，在未作相反说明的情况下，“左、右”等包含在术语中的方位词仅代表该术语在常规使用状态下的方位，或为本领域技术人员理解的俗称，而不应视为对该术语的限制。

参见图1，本发明提供一种全景显示系统在AR眼镜上的实时传输与监控的方法，包括：

步骤1、安装摄像头；

步骤2、进行全景画面实时拼接和unity多形状动态贴图；

步骤3、对场景对象进行渲染；

步骤4、UDP/RTSP全景画面传输；

步骤5、实现头部姿态、眼动、语音和手势控制视角画面；

步骤6、最终设备间同步显示全景实时画面并协同控制。

在本实施方式中，步骤1包括：在设备上安装多路摄像头，并将其布置在设备上对应的位置，利用实时拼接及融合算法完成基本的全景画面显示；其中，摄像头的安装方式设定为弧形式排列或者散列式排列(如图2和图3所示)，并且，多路摄像头为4路、8路、16路或32路。

实际安装过程中，摄像头的安装根据实际情况进行，对实时全景视频进行采集，并在终端显示。

步骤2包括：通过unity3d软件接入步骤1中安装好的实时全景显示画面，在接入全景显示画面时，显示对象能够兼容多个模型作为贴图对象；将这些多模型类型的中心点作为视野的中心点，并给这多个模型的对象赋予全景Shader；其中，多个模型包括正方体、球体、圆柱体以及胶囊体。如图4中以球体为例(该该球体渲染的顶点总数、三角面总数量分别为4167个，8192个)，多个模型类别均采用高精度模型，这样能够更好地提高全景画面的清晰度。

为了让光照效果更加真实，采用常用的球谐光照技术，该技术就是将复杂的光照信号投影到基函数上进行存储，然后在使用的时候再将基函数上的数据加起来重建光照信号，但是对于场景细分颗粒度的整个预处理会消耗大量的时间，并且对于带宽的传输也受到巨大的限制，但是如果将全景动态视频无缝的贴在3d模型上则会大幅度提高时间效率，因此本发明在此基础上，将球谐光照和动态视频的贴图相结合，既提高了渲染的效果又提升了时间效率，并且不会占用太多的内存资源。因此，步骤3中包括：在球谐光照技术的基础上对场景对象进行渲染，将动态视频贴在球体上，用于解决带宽传输及图像渲染的问题。

步骤4包括：初始化位置坐标，通过UDP方式将实时的全景画面传输到AR眼镜端，若传输的视频帧过大，则对其进行压缩处理，用于提高传输速度。

具体的，初始化坐标位置来确保设备每一帧采集的实时全景画面与AR眼镜端的画面一致，在完成初始化的操作之后，通过UDP传输的方式将设备采集的实时全景视频传输到AR眼镜端显示，考虑到全景传输的每帧画面(32M左右)较大，会影响传输的速度以及丢帧的情况，采用图片帧压缩以及队列缓存的方式进行传输，设传输图片帧的宽度和高度分别为width、height，并设置一个缩放变量T(正整数)，压缩后图片帧的宽度和高度分别为width/T、height/T，变量T依据实际情况进行缩放，若延迟较低，可将变量T设置的较小；若延迟较大，则可将变量T设置的较大，并将传输压缩后的帧图像放入队列缓存当中，如图5所示。

如图6所示，步骤5包括：通过AR眼镜端的陀螺仪实现全方位全景画面端随头部姿态移动，若头部向左，则画面跟随头部向左移动，若头部向右，则画面跟随头部向右移动，用于解决视野盲区。

全景设备与移动端用户显示画面协同指挥，当装有全景载体的设备无法到达全景显示画面中的某个目标，则可以快速指挥佩戴移动端AR眼镜的人员前去调查，并将信息实时反馈回来，并通过眼动、语音以及手势的方式进行智能交互，能够有效地对整个实际环境状况进行决策，具体如图7所示。

通过上述技术方案，利用球谐光照和全景动态视频的贴图技术解决了光照渲染效果以及带宽传输的问题，并利用UDP传输的方式将设备采集的实时动态全景画面显示在AR眼镜中，利用头部姿态对场景进行视角控制，智能交互协同指挥控制，解决了当前环境中实时画面同步显示及通信传输的问题，本发明的优势在于通过将不同设备的多路实时画面进行实时拼接和传输，并在此基础上获取AR眼镜的头部姿态，将实时全景画面同步到AR眼镜上全景显示，动态画面随头部姿态的改变而改变。基于这一特点，使用人员只需借助AR眼镜就可以实时监控和观察整个环境的态势，提高工作效率。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。