具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

增强现实系统（Augmented Reality，AR）借助计算机图形和可视化等技术来产生现实环境中不存在的虚拟对象并将其准确地“放置”在真实环境中，利用显示设备将虚拟对象与真实环境融为一体，使用户确信虚拟对象是其周围真实环境的有机组成部分，呈现给用户一个感官效果真实的新环境。半实物仿真又称硬件回路仿真，是将部分硬件实物直接引入仿真系统中的仿真方法，通常包括部分设备硬件实物和数学仿真模型，是纯数字仿真技术和实物仿真技术的补充，既可以接近甚至达到实物仿真的真实效果，又具有纯数字仿真重复性好、简单方便的特点。

本发明将半实物仿真和增强现实技术相结合，半实物硬件平台能够满足各个阶段培训学员的实际操作控制要求，增强现实控制系统保证半实物硬件平台和设备虚拟模型在系统运行的各个状态都能虚实结合，互为补充，始终在培训人员眼前呈现真实设备的运行和控制状态。

本发明提供了一种增强现实半实物复杂机电设备培训系统，包括半实物硬件构建模块、AR培训开发模块和AR融合显示模块。

半实物硬件构建模块用于半实物硬件的设计和控制信号的生成，其包括信号控制子模块和零件隐藏控制子模块；信号控制子模块负责将设备的状态信息发送给AR融合显示模块，解析AR融合显示模块发送的控制指令，并将这些控制信息发送给零件隐藏控制子模块，再由零件隐藏控制子模块根据控制信息，将零件隐藏或者显示。

AR培训开发模块用于设备虚拟模型分类、模型点云特征计算、指导流程建立和AR数据包导出，其包括指导流程子模块、外观模型定义子模块、控制模型定义子模块、工件模型定义子模块和AR数据包发布子模块；指导流程子模块用于建立对实物零件的安装流程，用来指导硬件零件的安装；外观模型定义子模块用于定义与实物外观一致的外观模型，为三维注册提供参考数据；控制模型定义子模块用于定义控制模型和模型运动方向；工件模型定义子模块用于定义加工工件模型，为后续的工件加工仿真提供基础数据；AR数据包发布子模块用于将安装流程、外观模型、控制模型以及控制模型特征和工件模型信息序列化到AR数据包中，然后将该数据包发送给AR融合显示模块。

AR融合显示模块用于将半实物硬件和设备虚拟模型利用增强现实三维注册技术进行虚实融合，并实现在设备实际控制信号的控制下进行运动过程模拟，其包括AR三维注册子模块、AR辅助指导子模块、培训过程仿真子模块和工件状态仿真子模块；AR三维注册子模块用于半实物硬件的点云采集、点云分割、点云识别和点云配准以及设备虚拟模型和半实物硬件的虚实融合；AR辅助指导子模块负责根据AR数据包中的安装流程信息，对安装类零件的安装过程进行辅助指导；培训过程仿真子模块根据信号控制子模块发送的设备状态信息，实时控制AR数据包中的控制模型按照定义的运动方向进行运动；工件状态仿真子模块根据AR数据包中的控制模型的运行轨迹对工件数据包中的工件模型进行加工现象模拟。

半实物硬件构建模块的建立包括以下步骤：

A1：根据实际设备中各个零件承担的功能对零件进行分类，划分为外观类零件、安装类零件、操作类零件、控制类零件和其他零件；

A2：将外观类零件、安装类零件、操作类零件和控制类零件组装在一起，组成半实物硬件设备；

A3：为操作类零件设计信号采集系统，将控制类零件由于状态改变生成的控制信号接入信号控制子模块；

A4：为安装类零件设计和制作机械结构，使其能够显示或收缩隐藏到箱体内，并将显示或收缩隐藏的状态信号添加到信号控制子模块；

A5：为半实物硬件设备设计独立的保证其机械结构和控制电路运行的供电线路。

AR数据包的建立包括以下步骤：

B1：将完整的三维设备数模导入到AR培训开发模块中；

B2：根据实际设备中各个设备零件承担的功能对设备虚拟模型中的零件模型进行分类，划分为外观类零件模型、安装类零件模型、操作类零件模型、控制类零件模型和工件零件模型；

B3：根据培训功能要求，在AR培训开发模块中为安装类零件模型建立安装类零件模型的指导动画；

B4：通过虚拟相机对外观类零件模型和操作类零件模型进行全方位的空间信息采集处理，计算每个视角下外观类零件模型和操作类零件模型对应的点云数据，根据点云数据生成VFHF特征；

B5：将外观类零件模型、操作类零件模型、安装类零件模型、控制类零件模型和工件类零件模型、不同视角下的视角信息、模型点云和模型特征值存储为AR数据包。

AR融合显示模块的建立包括以下步骤：

C1：利用增强现实头盔的深度和纹理相机，实时采集半实物硬件设备的深度和纹理数据；根据采集的深度和纹理数据计算半实物硬件设备的模型特征；利用特征分割、特征识别、特征匹配，利用增强现实三维注册算法实现虚实物体的融合；

C2：AR辅助指导，根据三维注册信息对安装类零件的安装过程进行辅助指导，主要包括零件识别、流程驱动、实时指导、智能辅助和过程评价；

C3：实藏虚显互换，安装类零件安装完成后，打开电源开关，进行安装类零件和控制类零件隐藏、对应的安装类零件模型和控制类零件模型显示，主要包括电源加电、实物隐藏和虚物显示；

C4：培训过程仿真，根据实际操作需要，通过操控操作类零件来控制控制类零件模型进行运行，主要包括状态获取、程序解析、模型运动和现象模拟；

C5：工件状态仿真，在控制类零件模型运动过程中，根据指令类型，对工件类零件模型进行相应的模拟变换，主要包括几何模拟和物理模拟。

AR三维注册包括以下步骤：

C1-1：使用增强现实头盔对半实物硬件进行扫描，获取半实物硬件的三维点云信息P和视线信息V；

C1-2：根据平面分割算法对三维点云信息P分割处理，分割结果为S，如果S内没有点云，则分割失败，则执行步骤C1-1，否则执行步骤C1-3；

C1-3：根据采集点云的视线信息V对分割结果S中的点云包围盒进行求交，求交结果为集合T，对于不能相交的点云则丢弃，否则加入集合T中，对S中点云交完成后，如果集合T为空，则执行步骤C1-1，否则执行步骤C1-4；

C1-4：计算集合T中的每个点云块的VFHF特征，计算结果为集合VH；

C1-5：将AR数据包的模型特征和分割结果特征VH进行特征匹配，根据特征距离从匹配结果中找到符合要求的最优点云块B，如果没有找到则执行步骤C1-1，否则执行步骤C1-6；

C1-6：将AR数据包的模型点云和最优点云块B进行SAC_IA初始配准，根据SAC_IA配准结果使用ICP进行精细配准，配准变换矩阵为M；

C1-7：根据配准变换M将虚拟模型变换到半实物硬件的位置上；

C1-8：通过语音指令控制虚拟模型的微调，将虚拟模型完整的叠加到半实物硬件上。

AR辅助指导包括以下步骤：

C2-1：根据安装类零件模型特征对安装类零件进行识别、配准；

C2-2：根据安装类零件特征识别安装类零件当前的状态，在安装类零件的正前方展示安装类零件的安装方法；

C2-3：通过语音指令控制安装类零件的安装流程；

C2-4：根据零件的安装状态判定安装类零件安装是否正确，如果不正确，给与正确的安装提示；

C2-5：记录整个安装过程中的所有信息，包括安装视频、安装时长、安装顺序和安装结果，根据安装信息对整个安装过程进行评价。

实藏虚显互换包括以下步骤：

C3-1：安装类零件安装完成后，在设备上放上工件类零件；

C3-2：按下电源开关，开启电源；

C3-3：通过控制系统将安装类零件、控制类零件和工件类零件缩进到设备内容；

C3-4：根据三维注册信息将安装类零件模型、控制类零件模型和工件类零件模型显示在正确的位置上。

培训过程仿真包括以下步骤：

C4-1：AR融合显示模块获取半实物硬件模块的硬件状态信息；

C4-2：解析硬件状态信息，重置AR模型状态使其跟半实物硬件状态一致；

C4-3：根据培训流程，操纵相应的操作类零件，操作类零件实时将操作信号传递给AR融合显示模块；

C4-4：AR融合显示模块根据半实物平台传递过来的操作指令驱动相应的控制类零件模型运动；

C4-5：根据操作指令类型，控制类零件模型运动过程中模拟真实的工件加工现象，譬如加工声音、切屑飞出等物理现象的模拟。

整个系统的运行包括以下步骤：（1）启动AR融合显示模块，AR融合显示模块连接到半半实物硬件构建模块中的信号控制子模块，信号控制子模块将硬件状态信号实时发送给AR融合显示模块；（2）AR融合显示模块采集半实物硬件的外观特征D；（3）AR融合显示模块将外观特征D和AR培训开发模块定义的模型特征M使用三维注册技术进行虚实融合；（4）AR融合显示模块根据AR培训开发按模块定义的安装流程，按顺序的指导硬件零件的安装；（5）半实物硬件构建模块开启电源开关，AR融合显示模块接收到半实物硬件构建模块的电源开启状态时；会给半实物硬件平台发送硬件收缩隐藏指令，同时将操作模型、控制模型和工件模型给显示出来；（6）半实物硬件构建模块收到收缩隐藏指令后；会将操作零件和控制零件给隐藏起来；（7）操作半实物硬件的操作零件，信号控制系统会实时的将硬件状态信号发送到AR融合显示模块，AR融合显示模块根据硬件状态信息，相应的驱动虚拟的控制模型，根据控制模型的运动信息，实时的模拟工件的变化过程。

本发明可以快速建立复杂机电设备增强现实半实物培训系统，可以将真实培训设备的工作状态进行有效、直观的展示，避免了真实系统使用中存在的诸多限制，同时能够减少仿真系统的经济成本和缩短开发周期，具有安全性好，可操行性好，效果逼真，价格低廉的特点。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。