具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明本身并不涉及物理世界的定位、跟踪和对应虚拟世界坐标的校准方法，而是直接使用这类方法跟踪的具体结果；

本发明本身不涉及虚拟车辆的制作过程，而是假设已经具有完成度可以满足可视化要求的数字模型及相应场景，在此基础上提供物理操作和虚拟场景的映射关系；

一种虚拟座舱虚实交互方法，如图1所示，包括以下步骤：

步骤一，校准虚拟座舱的整个物理对象系统与跟踪系统对应的虚拟世界的位置角度关系；

本步骤中的校准，是在跟踪系统自身的校准已经完成的基础上进行的，其目的是将虚拟座舱的整个物理对象在跟踪系统对应的虚拟世界的坐标系统中和虚拟对象建立一一对应的关系；

虚拟座舱的物理对象构成包括：虚拟座舱基础平台、座椅(含座椅操作按钮)、指示面板、方向盘、转向灯开关、雨刷器开关、变速杆、大灯开关、示廓灯开关、制动踏板、油门踏板、安全带；

其中，虚拟座舱基础平台可调整位置和角度，是整体座舱部署时整体调整的；

如图2所示，假设AC为虚拟座舱基础平台的车头方向，在位置对称的ABCD四个点使用结构完全相同的被跟踪对象，或使用同一被跟踪对象分别在四个位置采样，获得四个点的信息，将其中AD和BC的交点，对齐到跟踪系统的坐标原点，AC的中点和BD的中点连线对齐到跟踪系统的X轴，且X轴正方向由原点指向AC的中点，Z轴与重力方向相反，AB的中点和CD的中点连线对齐到Y轴，且Y轴正方向由原点指向AB的中点；

为了确保整个物理对象系统更容易被调节和计算，可以将虚拟座舱基础平台的物理位置在跟踪系统中获得的点根据虚拟世界坐标系统进行偏移；通过获取到的上述四个点在跟踪系统中的虚拟世界坐标[A_x、A_y、A_z]，[B_x、B_y、B_z]，[C_x、C_y、C_z]，[D_x、D_y、D_z]，可以计算出AD和BD的交点在虚拟世界中的坐标为[(A_x+B_x+C_x+D_x)/4，(A_y+B_y+C_y+D_y)/4，(A_z+B_z+C_z+D_z)/4]，然后将虚拟世界坐标原地偏移到该点；如果跟踪系统没有自带偏移，则建议将该偏移值作为后续所有跟踪点的偏移数据；

座椅(含座椅操作按钮)的可调节对象为座椅整体位置和椅背，在虚拟世界中使用跟踪到的坐垫位置作为整个座椅的位置信息，靠背的角度以靠背和座椅铰接点为轴心旋转靠背，该装置需要两个跟踪器，其中，跟踪器A用以跟踪坐垫，跟踪器B用以跟踪靠背；

座椅的位置信息为[A_x、A_y、A_z]，跟踪器B以铰接点为中心的旋转为[B_rotX，B_rotY，B_rotZ]，其中B_rotX和B_rotZ应趋近于0；

指示面板包括组合指示灯和仪表盘；

组合指示灯(左转向灯、右转向灯、驻车制动提示灯、远光灯和电源指示灯)，无需物理结构，通过跟踪调节整体位置，当使用跟踪点获取仪表盘的位置时，应使其长边平行于跟踪系统的Y轴，可以得到组合指示灯在虚拟世界中的位置坐标为：[A_x，A_y，A_z]，其姿态为[A_rotX，A_rotY，A_rotZ]，校准时应调整使跟踪系统获取到的A_rotY尽量趋近于0；

仪表盘(速度表、转速表、燃油表，水温表)，无需物理结构，通过跟踪调节整体位置，当使用跟踪点获得仪表盘的位置时，应使仪表盘平面的长边平行于跟踪系统的Y轴，可以得到跟仪表盘在虚拟世界中的位置坐标为：[A_x，A_y，A_z]，其姿态为[A_rotX，A_rotY，A_rotZ]，A_rotX和A_rotZ应趋近于0；

方向盘为可更换方向盘，并且可调节位置和角度，如图3所示，使用A点的y坐标，B点的x和z坐标对齐方向盘圆环的质心，既方向盘在虚拟世界中的位置坐标为[B_x，A_y，B_z]，姿态为[B_rotX，A_rotY，B_rotZ]；

转向灯开关、雨刷器开关、变速杆，均可更换，并且均可调节位置和角度；

上述装置由于是铰接于方向盘整体控制装置的，可以直接使用方向盘的位置信息定位获取精确定位，仅需要校准各种状态的角度，校准可以使用光学或其他带有位置定位的跟踪信息获取的信息中的角度信息，也可以使用角度传感器给出的角度信息；

大灯开关、示廓灯开关、制动踏板、油门踏板，均可更换，并且均可调节位置和角度；跟踪装置使用套具安装在踏板位置，跟踪两个极限位置，校准后移除；

安全带可更换及可调节位置，作为一个座舱位置唯一的柔性结构，安全带的校准可以简单地模拟为两点校准和两点跟踪，安全带的两个固定端校准位置，对安全带左肩部受力点和胸部受力点设置跟踪装置，用以获取人在驾驶动作中安全带的状态；

以上装置会通过带有方向的矢量点来进行快速校准，具体方法取决于整个系统的工作环境，实施方案如下：

以下方法均假定所采用的定位系统在校准虚拟和物理世界的空间时，可以根据一定的规则对坐标系统的原点(X＝0，Y＝0，Z＝0)点进行偏移和旋转，如果原定位系统系统不包含相关的方法，则需要对坐标系统进行转换，坐标偏移计算的方法可以作为本方法的有益补充；

光学跟踪标记点方案：本方案的核心点在于使用光学动作捕捉系统，对特定设计的刚体进行跟踪，借以完成整个系统的对齐和操作的跟踪；

LightHouse方案：本方案的核心点在于利用HTC为Vive系统定制开发的有专门优化的头戴式虚拟现实显示装置，系统的自洽性比较高；

传感器角度计算方案：本方案的核心点在于利用各种传感器设备对整个系统的操作进行跟踪；

多技术混合方案：多技术混合，在目前的技术水平上，是最具性价比，也最有发展潜力的方案；

实际上，根据对象的特点，分别按照操作的特点，使用混合跟踪，才能达到最佳的体验效果；

例如，使用HTC vive系统的Tracker作为定位点工具定位虚拟座舱平台来匹配整个系统的物理和虚拟坐标的关系，使用Tracker提供手掌的位置和方向，结合多个leapmotion覆盖操作区域对手势进行跟踪，使用通电式开关模拟大灯开关、雨刷开关，使用角度传感器跟踪踏板；

虽然在实施案例中会涉及惯性传感器混合光学或者激光定位装置定位的技术，但是本方法的创新点并不涉及其具体的计算方法，仅使用这类方法的产品或者定制装置的自有计算结果作为定位信息的提供源；

按照校准定位需要的步骤，可以分为一点定位，两点定位，及多点定位三种来进行虚拟世界和物理世界的快速校准：

一点定位用于只需要确认位置，方向不会发生改变，或者方向改变不影响体验的操作对象：仪表盘、方向盘、制动踏板、油门踏板、停车制动器、组合指示灯、指示面板；一点定位只取用跟踪装置位置信息，以虚拟座舱基础平台的坐标方向为参考可以准确定位其虚拟世界中的位置及方向；

两点定位用于需要确认位置和旋转，方向会发生改变且会影响到体验的操作对象：虚拟座舱基础平台、转向灯开关、变速杆、大灯开关、示廓灯开关、雨刷器开关；两点定位包含跟踪装置的位置和方向信息，可以跟踪对象的动态变化

多点定位用于整个虚拟座舱基础平台的校准，以及对象自身会发生相对改变，且会影响到体验的操作对象：座椅、安全带；多点定位包含位置和方向信息，至少包含三个跟踪装置的一组定位组成，可以定义刚体状态变化；

其中，这里校准定位中所谓的点，指空间中带有位置和方向的矢量，而非三维空间中只有位置信息的点，具体的获取方法根据使用的定位技术方案会存在差异；

三种校准方式对应的装置具有多种可能性(HTCvive的手柄、跟踪器，带有激光发射器的跟踪器，带有电子罗盘的光学刚体)；

或配合水平仪(气泡式或电子式)均可，通过装置生成物理世界和虚拟世界的相对照的坐标系统；

上述均可在确保物理操作对象和虚拟对象的相对误差精度在可接受的条件下，大幅度降低系统中物理对象和虚拟对象之间校准的难度；

校准操作要获得最佳效果，应对跟踪物和座舱中的物理对象建立1：1的模型；

步骤二，对虚拟座舱的整个物理对象进行操作跟踪，具体如下：

步骤S1，驾驶员在虚拟座舱内进行物理对象的操作，并且设计驾驶员的操作时间；

步骤S2，跟踪系统首先通过对座舱内驾驶员的操作进行跟踪，然后使用不同的通讯协议确保不同数据类型在实时性或者可靠性方面的需求可以被满足的前提下，将物理对象操作传输到虚拟场景中的虚拟对象操作上，让用户用自然世界中的操作方式来观察和体验物理世界；

对于仅需要一次性调整的装置(如座舱基础平台、电子仪表盘、座椅)，仅跟踪其位置，并在位置偏移超过阈值时发出警告，请用户确认是否需要重新校准整个系统；

对于有助力的装置(如大灯开关、雨刷、远近灯光控制)，仅跟踪动作的触发，并提供可调节的动画控制方式；

对于需要精确控制的装置(如油门踏板、制动踏板、方向盘)，则精确记录其变动，并需要在开始使用前进行校准；

或者在手掌安装定位装置，跟踪其位置方向，可配合手势跟踪系统(如红外光学手势跟踪装置LeapMotion，惯性传感器动作捕捉手套Hi5，纤维伸缩变位传感器动作捕捉手套hand assembly，电阻弯曲传感器，柔性光纤传感器)模拟手的动作、使用传感器系统获取操作的技术方案；

步骤三，调节驾驶员的物理对象操作与虚拟场景中的虚拟对象响应的交互速度，使虚拟场景中虚拟对象的响应与驾驶员的物理操作状态实现同步吻合；

步骤四，将虚拟场景中的虚拟对象响应运动以实时可视化的方式展现在显示端(立体显示装置或观众显示器)上，实现驾驶员在虚拟座舱内的物理操作在视觉上可见、触觉上真实；

出于成本和沉浸度的考虑，本方案主要针对使用VR头盔进行驾驶模拟的座舱系统，可以兼容使用环绕立体投影或者车窗屏幕化改造的使用场景；

本方法推荐使用游戏引擎进行动态视觉计算，也可通过VRPN协议兼容工业可视化引擎及其他引擎；

虚拟视觉和物理触觉的结合：本方案中推荐使用可替换部件，动态调节布局的座舱模拟装置，兼容真实车辆改装及六轴座椅平台等虚拟驾驶模拟状态；

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。