6DoF定位追踪装置、方法及电子设备
阅读说明：本技术 6DoF定位追踪装置、方法及电子设备 (6DoF positioning and tracking device and method and electronic equipment ) 是由 吴涛 于 2021-06-02 设计创作，主要内容包括：本发明提供一种6DoF定位追踪装置、方法及电子设备,其中的装置包括至少三个追踪相机、惯性导航单元以及计算处理单元；其中,追踪相机之间呈预设角度分布,追踪相机用于获取当前环境下的图像数据,并传送至计算处理单元；惯性导航单元用于获取当前环境下6DoF定位追踪装置的状态信息,并传送至计算处理单元；计算处理单元用于根据图像数据和状态信息,确定6DoF定位追踪装置相对当前环境的6DoF数据。利用上述发明能够降低追踪装置对物理环境的使用限制,提高与仿真物体的适配度。(The invention provides a 6DoF positioning and tracking device, a method and electronic equipment, wherein the device comprises at least three tracking cameras, an inertial navigation unit and a calculation processing unit; the tracking cameras are distributed in a preset angle mode and used for acquiring image data in the current environment and transmitting the image data to the computing and processing unit; the inertial navigation unit is used for acquiring the state information of the 6DoF positioning and tracking device in the current environment and transmitting the state information to the calculation processing unit; and the calculation processing unit is used for determining 6DoF data of the 6DoF positioning and tracking device relative to the current environment according to the image data and the state information. The invention can reduce the use limit of the tracking device to the physical environment and improve the adaptation degree with the simulation object.)
技术领域
本发明涉及VR/AR技术领域，更为具体地，涉及一种6DoF定位追踪装置、方法及电子设备。
背景技术
目前，在AR/VR领域的用户场景下，特别是商业场景下，为了使其用户在VR/MR中有更刺激、更沉浸感的体验，往往会开发一些比较刺激且体验感强的内容，比如多人枪击等游戏内容，一般会向通过用户手握的玩具枪来模拟虚拟场景中的真实枪具器械，此外，还有一些培训类场景，比如通过VR/MR模式培训消防演练，往往会现实一个模拟真实的灭火器物体，通过操作现实物理中的一个仿真灭火器物体及VR/MR头戴式一体机进行消防演练。
在上述各场景下，用户都是通过操作现实中的一个仿真物体，达到虚拟和现实结合的体验目的，为了达到该目的，目前的解决方案大多是会把手柄控制器固定在一些仿真物体上，使其仿真物体具备6DoF追踪功能。但是，由于手柄控制器的一些限制，往往会导致实际用户体验不够好。比如手柄的体积往往很难和仿真物体进行比较合适的匹配，此外受手柄的一些传感器限制，比如电磁方案的手柄控制器比较容易受磁铁等一些环境物体的限制等因素影响，往往不能和一些场景下的仿真物体比较合适的匹配。
可知，现有的6DoF追踪方案，对环境物体的限制比较严格，影响与仿真物体的适配，导致用户体验差。
发明内容
鉴于上述问题，本发明的目的是提供一种6DoF定位追踪装置、方法及电子设备，以解决现有的6DoF追踪方案，对环境物体的限制比较严格，影响与仿真物体的适配，导致用户体验差等问题。
本发明提供的6DoF定位追踪装置，包括至少三个追踪相机、惯性导航单元以及计算处理单元；其中，追踪相机之间呈预设角度分布，追踪相机用于获取当前环境下的图像数据，并传送至计算处理单元；惯性导航单元用于获取当前环境下6DoF定位追踪装置的状态信息，并传送至计算处理单元；计算处理单元用于根据图像数据和状态信息，确定6DoF定位追踪装置相对当前环境的6DoF数据。
此外，可选的技术方案是，追踪相机的视场角不小于160°，分辨率不小于640*480，帧率为30Hz至60Hz；并且，追踪相机的光学镜片透可见光波段。
此外，可选的技术方案是，状态信息包括角速度和加速度信息；计算处理单元根据角速度和加速度信息，确定6DoF定位追踪装置的姿态信息，并根据姿态信息和图像数据，确定6DoF定位追踪装置的6DoF数据。
此外，可选的技术方案是，追踪相机设置有三个；并且，在当前环境的360°物理区域内，三个追踪相机呈均匀分布。
此外，可选的技术方案是，还包括与追踪相机、惯性导航单元以及计算处理单元连接的电池；其中，电池用于向6DoF定位追踪装置提供运行所需的电能。
此外，可选的技术方案是，惯性导航单元包括9轴惯性传感器；9轴惯性传感器的输出频率不小于1000Hz。
另一方面，本发明还提供一种6DoF定位追踪方法，包括：获取追踪相机采集的图像数据，并提取图像数据的图像特征；对不同追踪相机的图像特征进行两两匹配处理，以获取与图像数据对应的三维特征；基于三维特征以及惯性导航单元获取的状态信息，对当前环境下的6DoF定位追踪装置进行姿态估算和特征追踪；基于姿态估算和特征追踪的结果，确定6DoF定位追踪装置的6DoF数据。
此外，可选的技术方案是，还包括：基于特征追踪结果，判断当前环境是否存在变化，并当当前环境发生变化时，对新环境下的6DoF定位追踪装置重新进行姿态估算和特征追踪。
此外，可选的技术方案是，还包括：基于6DoF定位追踪装置的6DoF数据，进行致密语义地图构建、光束法平面处理、重复帧移除处理。
根据本发明的另一方面，提供一种电子设备，包括上述6DoF定位追踪装置；其中，电子设备包括VR装置和MR装置。
利用上述6DoF定位追踪装置、方法及电子设备，通过追踪相机获取当前环境下的图像数据，并传送至计算处理单元；惯性导航单元用于获取当前环境下6DoF定位追踪装置的状态信息，并传送至计算处理单元；计算处理单元根据图像数据和状态信息，确定6DoF定位追踪装置相对当前环境的6DoF数据，不需要特殊的传感器，没有太多的传感器物理环境的使用限制，而且整体体积比较小，更容易和现实一些仿真物体进行适配，定位追踪效果好，用户体验感强。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的6DoF定位追踪装置的原理图；
图2为根据本发明实施例的6DoF定位追踪方法的流程图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
为详细描述本发明的6DoF定位追踪装置、方法，以下将结合附图对本发明的具体实施例进行详细描述。
图1示出了根据本发明实施例的6DoF定位追踪装置的示意原理。
如图1所示，本发明实施例的6DoF定位追踪装置，包括至少三个追踪相机、一个惯性导航单元以及一个计算处理单元；其中，各追踪相机之间呈预设角度分布，追踪相机用于获取当前环境下的图像数据，并传送至计算处理单元；惯性导航单元则用于获取当前环境下6DoF定位追踪装置的状态信息，并将该状态信息传送至计算处理单元；最终，计算处理单元用于根据获取的图像数据和状态信息，确定6DoF定位追踪装置相对当前环境的6DoF数据。
在本发明的6DoF定位追踪装置中，追踪相机的参数可配置为：追踪相机的视场角不小于160°，分辨率不小于640*480，帧率范围取30Hz至60Hz；并且，追踪相机的光学镜片透可见光波段，在具体应用过程中，上述各参数可根据用户需求或要求进行灵活调整，并不限于上述具体数值。
为确保追踪相机能够完整的采集当前环境的图像数据，并尽可能的减少追踪相机的使用个数，在本发明的一个具体实施方式中，追踪相机设置有三个，三个追踪相机在当前环境的360°物理区域内，呈均匀分布，类似三角形的三个顶点等形式分布。
此外，还可在6DoF定位追踪装置中内置一个高精度的惯性导航单元，该惯性导航单元可选取9轴惯性传感器，确保该9轴惯性传感器的输出频率不小于1000Hz，通过惯性导航单元，可实时获取当前环境下6DoF定位追踪装置的角速度和加速度信息，进而计算处理单元可基于角速度和加速度信息获取6DoF定位追踪装置在当前环境下的姿态信息。
可知，状态信息包括6DoF定位追踪装置的角速度和加速度，计算处理单元可基于角速度和加速度信息获取6DoF定位追踪装置在当前环境下的姿态信息，并进一步根据姿态信息和图像数据，确定6DoF定位追踪装置的6DoF数据，其中，惯性导航(inertialnavigation)主要指可通过测量对应装置的加速度，并自动进行积分运算，获得装置瞬时速度和瞬时位置数据的技术，为此，本发明中的惯性导航单元也可选取其他具有惯性导航功能的传感器结构。
为简化6DoF定位追踪装置的使用，还可以在6DoF定位追踪装置内设置具有一定容量的电池，该电池与与追踪相机、惯性导航单元以及计算处理单元连接，通过电池向6DoF定位追踪装置提供运行所需的电能，设置内置电池，能够省去6DoF定位追踪装置与仿真物体的电路连接，简化其使用操作。
此外，还可以在6DoF定位追踪装置中，设置具有一定散热能力的小型风扇，确保其在长期运行过程中的温度稳定，防止高温对各结构件的性能造成不良影响。
在本发明的一个具体实施方式中，示出了设置有三个追踪相机的示例，其中，通过第一追踪相机获取第一图像数据，第二追踪相机获取第二图像数据，第三追踪相机获取第三图像数据，然后分别对第一图像数据、第二图像数据和第三图像数据进行特征检测，获取对应的图像特征；然后，对三种不同的图像特征进行立体匹配处理，在立体匹配过程中，两两特征进行匹配，进而获取对应的三维特征，并发送至追踪模块，追踪模块根据三维特征和惯性导航单元采集的数据，对6DoF定位追踪装置进行姿态估计和特征追踪，姿态估计用于获取6DoF定位追踪装置的姿态信息，特征追踪则用于在图像数据相邻帧之间进行追踪。
从外，还包括和追踪模块连接的映射模块和重定位模块，重定位模块主要是基于特征追踪的结果，判断当前环境是否发生变化，当6DoF定位追踪装置运动导致当前环境发生变化时，通过重定位模块对6DoF定位追踪装置重新进行特征提取(特征检测)和立体匹配，以及确定新环境中的特征描述和对应的3D点信息。此外，映射模块主要是根据特征追踪和姿态估计的结果，进一步的进行致密语义地图构建(地图致密化)、光束法平面处理、重复帧移除处理等操作，此处没有一一列举，可根据具体的应用环境和需求，进行相关功能的实现。
与上述6DoF定位追踪装置相对应，本发明还提供一种6DoF定位追踪方法，图2示出了根据本发明实施例的6DoF定位追踪方法的流程。
如图2所示，本发明实施例的6DoF定位追踪方法，包括：
S110：获取追踪相机采集的图像数据，并提取图像数据的图像特征；
S120：对不同追踪相机的图像特征进行两两匹配处理，以获取与图像数据对应的三维特征；
S130：基于三维特征以及惯性导航单元获取的状态信息，对当前环境下的6DoF定位追踪装置进行姿态估算和特征追踪；
S140：基于姿态估算和特征追踪的结果，确定6DoF定位追踪装置在当前环境下的6DoF数据。
此外，本发明的6DoF定位追踪方法，还包括：基于特征追踪结果，判断当前环境是否存在变化，并当当前环境发生变化时，对新环境下的6DoF定位追踪装置重新进行姿态估算和特征追踪。
在本发明的另一具体实施例中，还可基于6DoF定位追踪装置的6DoF数据，进行致密语义地图构建、光束法平面处理、重复帧移除处理等，此处没有一一列举，可根据具体的应用环境和需求，进行相关功能的实现。
根据本发明的另一方面，还提供一种电子设备，包括上述6DoF定位追踪装置；其中，电子设备包括VR装置和MR装置。
需要说明的是，上述6DoF定位追踪方法以及电子设备的实施例，均可参考6DoF定位追踪装置实施例中的描述，此处不再一一列举。
根据上述本发明的6DoF定位追踪装置、方法及电子设备，通过追踪相机获取当前环境下的图像数据，通过惯性导航单元获取当前环境下6DoF定位追踪装置的状态信息，计算处理单元根据图像数据和状态信息，确定6DoF定位追踪装置相对当前环境的6DoF数据，不需要特殊的传感器，整体体积比较小，避免传感器物对理环境的使用限制，而且整体体积比较小，更容易和仿真物体进行适配，且不需设置连接电路，直接通过电池供电，定位追踪效果好，用户体验感强。
如上参照附图以示例的方式描述根据本发明的6DoF定位追踪装置、方法及电子设备。但是，本领域技术人员应当理解，对于上述本发明所提出的6DoF定位追踪装置、方法及电子设备，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。