阅读说明：本技术 基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统 (Submersible mechanical arm control virtual reality training system based on optical-inertial fusion positioning ) 是由 郭瑽 李峥 李飞 刘维甫 于 2019-11-04 设计创作，主要内容包括：本发明公开了一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统,涉及VR技术领域,该系统包括：光学定位摄像头、VR头显、机械臂交互道具和VR服务器,机械臂交互道具包括呈多轴多关节结构的机械臂主体及安装在其上的动作捕捉装置,该系统利用实体的机械臂交互道具结合虚拟现实手段进行训练,不仅可对潜水器进行自定义配置模拟,还可对海底真实的海洋流体环境和光照环境进行自定义配置模拟,从而得到更真实的还原实际效果,提升训练中的真实感和临场感,而且可进行高重复性训练,从而可以获得较好的训练效果,同时也可以对潜水器设计布局的合理性进行检验。(The invention discloses a submersible mechanical arm control virtual reality training system based on optical-inertial fusion positioning, which relates to the technical field of VR, and comprises: optical positioning camera, VR head shows, mutual stage property of arm and VR server, mutual stage property of arm is including the arm main part that is multiaxis multijoint structure and the action capture device of installing above that, this system utilizes the mutual stage property of arm of entity to combine the virtual reality means to train, not only can carry out the custom configuration simulation to the dive, still can carry out the custom configuration simulation to real marine fluid environment in seabed and illumination environment, thereby obtain more real reduction actual effect, the sense of reality and the sense of presence in the promotion training, and can carry out high repeatability training, thereby can obtain better training effect, also can inspect the rationality of dive design overall arrangement simultaneously.)

基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统

技术领域

本发明涉及VR技术领域，尤其是一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统。

背景技术

潜水器是人类进入深海、开发和利用深海的重要技术手段，但潜水器设计研发成本高、操作训练条件苛刻，这已成为制约潜水器谱系化发展、推广应用的主要因素。目前针对潜水器的机械臂操控训练手段常见的为模拟台训练、水池训练和浅海训练，模拟台训练没有真实效果的反馈，只能对特定操作流程进行训练，无法直观的感知操作结果，训练效果较差；水池训练和浅海训练虽然可以较直观的感知操作结果，但可重复性与成本控制均不理想，并且机械臂本身也存在使用寿命的限制，受训人员不能长期、多次进行机械臂训练，训练成本较高、可重复次数较少、训练效率较低。

发明内容

本发明人针对上述问题及技术需求，提出了一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，本发明的技术方案如下：

一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，包括：系统包括：光学定位摄像头、VR头显、机械臂交互道具和VR服务器，机械臂交互道具连接VR服务器，机械臂交互道具包括机械臂主体和动作捕捉装置，机械臂主体呈多轴多关节结构并与潜水器上的机械臂的结构匹配，机械臂主体的不同位置固定有动作捕捉装置，每个动作捕捉装置均包括若干个光学标记物，每个动作捕捉装置上的光学标记物用于反射或发送与动作捕捉装置的空间位置和空间姿态相关的空间数据；光学定位摄像头布设在机械臂交互道具的四周并用于接收各个光学标记物反射或发送的空间数据；光学定位摄像头连接VR服务器并将接收到的空间数据输出给VR服务器，VR服务器还连接VR头显；VR服务器获取训练场景模型，并根据训练场景模型和随机生成的目标物数据生成训练场景数据发送给VR头显，VR头显显示训练场景数据并展示VR训练场景，VR训练场景包括潜水舱、潜水舱外部的海底环境以及位于潜水舱外的机械臂、载物篮和目标物，载物篮和目标物均位于机械臂的操作范围内；在受训者操控机械臂交互道具的过程中，VR服务器接收光学定位摄像头输出的实时空间数据，并根据实时空间数据生成位置姿态数据，VR服务器生成机械臂的位置姿态数据，并发送给VR服务器连接的VR头显，VR头显显示机械臂的位置姿态数据在VR训练场景中显示机械臂的运动轨迹，机械臂在VR训练场景中的运动轨迹与机械臂交互道具的运动轨迹相同；对于VR训练场景，VR服务器在检测到机械臂抓取到目标物时，控制目标物随机械臂运动，并在检测到机械臂松开目标物时控制目标物与机械臂分离；VR服务器在检测到VR训练场景中的所有目标物都落入载物篮后，清空载物篮内的目标物并随机生成新的目标物。

其进一步的技术方案为，训练场景模型包括机械臂模型、潜水舱模型、海底环境模型和载物篮模型，训练场景数据包括根据机械臂模型生成的机械臂结构数据、根据潜水舱模型生成的潜水舱数据、根据海底环境模型生成的海底环境数据、根据载物篮模型生成的载物篮数据以及随机生成的目标物数据。

其进一步的技术方案为，在系统初始化阶段，机械臂交互道具处于初始标定动作，VR服务器接收光学定位摄像头输出的初始空间数据，并根据实时空间数据、初始空间数据和机械臂结构数据生成机械臂的位置姿态数据。

其进一步的技术方案为，VR服务器在通过机械臂和目标物内置的碰撞盒检测到机械臂与目标物发生碰撞且检测满足第二预设条件时，确定机械臂抓取到目标物，在第二预设条件不再满足时，确定机械臂未抓取目标物；第二预设条件包括机械臂的增量控制已激活、机械臂的卡抓液压已激活、机械臂的卡抓按钮激活以及视觉中心在目标物的预定范围内。

其进一步的技术方案为，系统还包括操作手柄，操作手柄连接VR服务器；VR服务器获取灯光模型并生成灯光图标数据发送给VR头显，VR头显播放灯光图标数据并在VR训练场景中显示各个灯光图标；VR服务器在检测到操作手柄选中目标灯光模型时，在VR训练场景中显示目标灯光模型并控制目标灯光模型随操作手柄运动，在检测到操作手柄松开目标灯光模型时，控制目标灯光模型与操作手柄分离并在分离位置显示目标灯光模型。

其进一步的技术方案为，在目标灯光模型设置过程中，潜水舱的移动控制锁定；在目标灯光模型设置完成后，目标灯光模型与潜水舱绑定并随着潜水舱运动。

其进一步的技术方案为，VR服务器在通过操作手柄和各个灯光图标内置的碰撞盒检测到操作手柄与目标灯光图标发生碰撞且检测到满足第一预设条件时，确定操作手柄选中目标灯光模型，在第一预设条件不再满足时，确定操作手柄松开目标灯光模型；第一预设条件包括操作手柄扳机键激活。

其进一步的技术方案为，VR服务器在目标物未落入载物篮时控制目标物显示提示灯光特效、在目标物落入载物篮时控制提示灯光特效消失。

本发明的有益技术效果是：

本申请公开了一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，该系统利用实体的机械臂交互道具、结合虚拟现实手段进行训练，机械臂交互道具基于光惯融合技术进行姿态标定，可快速完成训练准备并提高对多轴多关节设备的定位精度，可实现的训练的临场感较强，而且可进行高重复性训练，可以获得较好的训练效果。而且可以通过海底环境设置来模拟海底真实的海洋流体环境，得到更真实的还原实际效果，还可以通过灯光设置来模拟海底真实的光照环境，提升训练中的真实感，并进一步检验潜水器灯光设计的合理性。而且该系统的通用性和适应性也较高，并不受限于某一型号的潜水器，通过导入不同的潜水舱模型可以替换任何潜水器进行训练；还可以针对不同训练需要配置载物篮进行训练，并可进一步检验载物篮布局合理性。而且该系统中的机械臂交互道具可以利用3D打印技术制得，实现方式简单且成本较低。

附图说明

图1是本申请的潜水器机械臂操控虚拟现实训练系统的系统架构图。

图2是本申请的潜水器机械臂操控虚拟现实训练系统的应用流程示意图。

图3是本申请中的机械臂交互道具的初始标定动作示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种基于光惯融合定位的潜水器机械臂操控虚拟现实训练系统，请参考图1，该系统包括机械臂交互道具1、光学定位摄像头2、VR服务器3和VR头显4。其中，机械臂交互道具1包括机械臂主体11和动作捕捉装置12，机械臂主体11呈多轴多关节结构并与真实的潜水器上的机械臂的结构匹配，本申请中的机械臂交互道具1通过3D打印制作得到。机械臂主体11的不同位置固定有动作捕捉装置12，在应用时，动作捕捉装置12的数量通常是机械臂主体11的轴数或关节数的一半，如图1所示，本申请中包括两个动作捕捉装置12，这两个动作捕捉装置12分别设置在机械臂主体11的两个轴上。每个动作捕捉装置12均包括若干个光学标记物13，光学标记13物用于反射或发送与动作捕捉装置12的空间位置和空间姿态相关的空间数据。机械臂主体11上还包括卡抓按钮。

光学定位摄像头2通常有多个，光学定位摄像头2布设在机械臂交互道具1的四周并用于接收各个光学标记物13反射或发送的空间数据。在使用时，机械臂交互道具1和光学定位摄像头2的位置在安装完成后即是固定的，以保证机械臂交互道具1和光学定位摄像头2在空间上的相对位置关系固定不变。图1仅示出了系统的连接关系，并不表示空间位置关系。

机械臂交互道具1和光学定位摄像头2均连接VR服务器3，机械臂交互道具1将按钮的状态传输给VR服务器3，光学定位摄像头2将接收到的空间数据输出给VR服务器3。VR服务器具有计算和渲染功能，可以实现为单个服务器或者服务器集群，在本申请中统称为VR服务器3。VR服务器3通常通过交互机或路由器等设备连接机械臂交互道具1和光学定位摄像头2。VR服务器3还连接VR头显4，VR头显4用于展示虚拟现实场景。

该系统通常还包括操作手柄5，操作手柄5也连接VR服务器3。

为了提高训练感受，该系统还可以设置一个驾驶舱道具，机械臂交互道具1设置在驾驶舱道具内且与真实的潜水器中的机械臂操作设备的设置位置相同，VR头显4和操作手柄5均设置在驾驶舱道具内方便用户穿戴和操作，在各部分安装连接完成后，受训者可以进入驾驶舱道具，带上VR头显4开始虚拟现实训练，整体应用流程如图2所示。

首先系统进入初始化，VR服务器3获取训练场景模型，在本申请中，训练场景模型包括机械臂模型、潜水舱模型、海底环境模型和载物篮模型，各个模型可以根据实际训练需要导入。VR服务器3根据机械臂模型生成机械臂结构数据、根据潜水舱模型生成潜水舱数据、根据海底环境模型生成海底环境数据、根据载物篮模型生成载物篮数据，同时VR服务器3随机生成目标物数据，生成的所有数据构成训练场景数据发送给VR头显4，VR头显4播放训练场景数据显示VR训练场景。VR训练场景中包括根据潜水舱数据构建的潜水舱、根据海底环境数据构建的潜水舱外部的海底环境、根据机械臂结构数据构建的机械臂、根据载物篮数据构建的载物篮、根据目标物数据构建的目标物，机械臂、载物篮和目标物位于潜水舱外，且载物篮和目标物均位于机械臂的操作范围内。也即，当受训者进入系统后即可以在VR训练场景中看到自己处于潜水舱中，舱内只有一套操作设备，透过潜水舱的窗子可以看到外面的海底环境，还可以看到机械臂、载物篮和随机出现的目标物。

同时，VR服务器3对机械臂交互道具1进行姿态标定，机械臂交互道具1初始化至处于初始标定动作并进行锁定，该初始标定动作是一个预先设定的动作，且该初始标定动作与机械臂在VR训练场景中的初始化姿态相同，比如如图3所示。光学定位摄像头2可以采集到机械臂交互道具1上的动作捕捉装置12的各个光学标记物13的初始空间数据并发送给VR服务器3，此时VR服务器3获取到机械臂交互道具1的初始空间数据，从而可以确定机械臂交互道具1初始的位置和姿态，完成姿态标定，同时该初始空间数据作为后序反算结果的参数补充。

姿态标定完成后，受训者通过VR头显4看到相应的界面，依次点击操作机械臂调节比例、虚拟卡抓液压使能和关节激活按钮来激活操作机械臂交互道具1并做训练前的准备。

在本申请中，当需要针对不同训练课题进行训练时，可以通过导入不同的训练场景模型来显示不同的VR训练场景。当需要针对不同型号的潜水器开展训练时，导入不同的潜水舱模型显示不同的潜水舱虚拟画面。当需要针对不同的地貌开展训练时，导入不同的海底环境模型显示不同的海底环境虚拟画面，本申请提供的地貌包括冷泉、热液、海底考古中的至少一种，并可简单进行添加扩展。当需要针对不同的科考任务开展训练时，导入不同的载物篮模型显示不同的载物篮虚拟画面，包括显示不同的载物篮种类、数量和组合关系。本申请可以针对现有科考任务提供预设载物篮布局，也可以提供自行组合排布功能，同时预留扩展能力，可以进行快速增减，比如针对生物科考任务提供预设的载物篮布局为吸管和冷冻盒，再比如针对可燃冰科考任务提供的载物篮布局为密封盒。

本系统还提供深海灯光模拟，并可针对本次训练重点调整灯光的种类、数量和照射位置，VR服务器3获取灯光模型并生成灯光图标数据发送给VR头显4，VR头显4播放灯光图标数据并在VR训练场景中显示各个灯光图标，灯光图标的组成为图案+文字，文字即读取的灯光模型的文件名。受训者可以使用操作手柄5射线触碰需要添加的目标灯光模型的灯光图标并按住扳机键向外拖拽，此时目标灯光模型可被拖拽出来，在空间中需要放置的位置松开扳机键可将目标灯光模型放置在这一位置。则VR服务器3在检测到操作手柄5选中目标灯光模型时，在VR训练场景中显示目标灯光模型并控制目标灯光模型随操作手柄运动，在检测到操作手柄5松开目标灯光模型时，控制目标灯光模型与操作手柄分离并在分离位置显示目标灯光模型。具体的，VR服务器3在通过操作手柄5和各个灯光图标内置的碰撞盒检测到操作手柄与目标灯光图标发生碰撞且检测到满足第一预设条件时，确定操作手柄5选中目标灯光模型，在第一预设条件不再满足时，确定操作手柄5松开目标灯光模型；第一预设条件包括操作手柄5的扳机键激活。在目标灯光模型设置过程中，潜水舱的移动控制锁定，此时潜水舱仅能旋转、但不能移动，在目标灯光模型设置完成后，目标灯光模型与潜水舱绑定、与潜水舱共用相同的坐标系与原点，并随着潜水舱运动，从而保证目标灯光模型与潜水舱之间的相对角度和相对位置固定不变。若想再调整目标灯光模型的位置，再使用操作手柄5选中目标灯光模型按下扳机键进行拖拽即可。每一个目标灯光模型还包括控制开关，受训者使用操作手柄5射线触碰控制开关，VR服务器3检测到操作手柄5与控制开关的碰撞盒碰撞时即可控制该目标灯光模型的点亮或关闭。

在准备工作都完成后，可以开始正式训练。受训者可以操控潜水舱移动、旋转。另外，受训者操作机械臂交互道具1，光学定位摄像头2会采集到各个光学标记13物反射或发送的实时空间数据并输出给VR服务器3，VR服务器3结合初始空间数据和机械臂结构数据根据实时空间数据生成机械臂的位置姿态数据。若预先配置了调节比例系数，则在根据实时空间数据生成机械臂的位置姿态数据时还会结合调节比例系数，比如设置调节比例系数为0.5，则若实时空间数据中机械臂交互道具1的关节增加了5°，则机械臂的位置姿态数据中机械臂的关节增加为2.5°。具体的计算模型和公式可以自行配置，本申请不做限定。VR服务器3将机械臂的位置姿态数据发送给VR头显4，VR头显4播放机械臂的位置姿态数据在VR训练场景中显示机械臂的运动轨迹，机械臂在VR训练场景中的运动轨迹与机械臂交互道具的运动轨迹相同。

VR训练场景中在机械臂的操作范围内有随机生成的目标物，且目标物显示提示灯光特效，比如显示高亮呼吸闪烁特效。受训者使用机械臂交互道具1来控制VR训练场景中的机械臂运动从而抓取目标物。VR服务器3在检测到机械臂抓取到目标物时，控制目标物随机械臂运动，此时受训者继续使用机械臂交互道具1控制机械臂运动带动目标物移动至载物篮并松开目标物，VR服务器3在检测到机械臂松开目标物时控制目标物与机械臂分离，并在检测到目标物落入载物篮后控制目标物的提示灯光特效消失。具体的，VR服务器3在通过机械臂和目标物内置的碰撞盒检测到机械臂与目标物发生碰撞且检测满足第二预设条件时，确定机械臂抓取到目标物，在第二预设条件不再满足时，确定机械臂松开目标物。第二预设条件包括机械臂的增量控制未激活、机械臂的虚拟卡抓液压激活、机械臂的虚拟卡抓按钮激活以及视觉中心在目标物的预定范围内。类似的，VR服务器也通过碰撞盒检测目标物是否落入载物篮，本申请不作赘述。

VR服务器3检测到VR训练场景中的所有目标物都落入载物篮后，清空载物篮内的目标物并随机生成新的目标物。在实际应用时，VR服务器3可以随机生成一组多个目标物，比如6个目标物，当第一组目标物都被抓取到载物篮后，随机生成第二组目标物，同时清空载物篮中的目标物，依次类推重复。

当训练完毕后，锁定机械臂交互道具1的关节，随后断电。若想再次进行训练，则重新按照上述流程激活机械臂交互道具1进行训练。

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。