阅读说明：本技术 一种基于现实增强技术的复杂场景康复训练方法 (A kind of complex scene recovery training method based on real enhancing technology ) 是由 丛曰声 周彬 于 2019-09-04 设计创作，主要内容包括：本发明涉及一种基于现实增强技术的复杂场景康复训练方法,包括以下步骤：包括以下步骤：a、构建用于弱视患者辅助训练的模型部件的三维数据库；b、利用双目相机采集真实场景的双目图像,提取真实场景的三维特征并进行复杂场景重建；c、将模型部件的三维数据与重建场景图像进行实时自适应三维注册；d、快速估计真实场景的光照条件并进行重建场景的光照分布；e、将辅助训练信息与重建场景图像进行实时绘制与动态融合,引导患者与增强的真实场景进行实时交互。本发明面向盲人、低视力、老年视力障碍等不同视力损伤群体,帮助其感知周围环境,可对其进行视力辅助,视力康复训练等,这极大地便利了弱视力群体的生活和康复能力。(The present invention relates to a kind of complex scene recovery training methods based on real enhancing technology, comprising the following steps: the following steps are included: the three-dimensional database of a, building for the model assembly of amblyopia patient's supplemental training；B, it using the binocular image of binocular camera acquisition real scene, extracts the three-dimensional feature of real scene and carries out complex scene reconstruction；C, the three-dimensional data of model assembly and reconstruction scene image are subjected to the registration of real-time adaptive three-dimensional；D, quickly estimate the illumination condition of real scene and rebuild the illumination patterns of scene；E, supplemental training information and reconstruction scene image are subjected to real-time rendering and dynamic fusion, the real scene of patient and enhancing is guided to carry out real-time, interactive.The present invention helps it to perceive ambient enviroment towards different vision impairments groups such as blind person, low visual acuity, old vision disorders, eyesight auxiliary, visual rehabilitation training etc. can be carried out to it, this greatly facilitates the life of amblyopia power group and rehabilitation ability.)

一种基于现实增强技术的复杂场景康复训练方法

技术领域

本发明涉及现实增强技术领域，具体地说是一种基于现实增强技术的复杂场景康复训练方法。

背景技术

增强现实（Augmented Reality，简称 AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。

三维重建（3D Reconstruction）是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作及分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识，而多视图的三维重建相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。

目前，有一些关于应用现实增强技术进行肢体康复训练的报道，但是都存在一些问题，例如，专利文件CN102908772公开的训练系统需依赖辅助标识，且只能进行上肢康复训练；专利文件CN109621311公开的训练方法中不涉及场景重建，且只能进行步态康复训练；专利文件CN109011097公开的训练方法中不涉及场景重建与场景交互，只能进行运动想象。

当前盲人、低视力、老年视力障碍等不同视力损伤的群体生活极为不便，传统的辅助措施并不能有效帮助视力损伤患者准确感知周围环境并进行视力康复训练。然而很少有研究将三维重建与增强现实技术应用于对视力损伤患者的环境感知与视力康复训练，因而研究一种三维重建与增强现实技术有机结合的视力康复训练方法具有重要意义。

发明内容

本发明的目的就是提供一种基于现实增强技术的复杂场景康复训练方法，以解决现有视力障碍人群康复训练难，训练效果不理想的问题。

本发明是这样实现的：一种基于现实增强技术的复杂场景康复训练方法，包括以下步骤：

a、构建用于弱视患者辅助训练的模型部件的三维数据库；

b、利用双目相机采集真实场景的双目图像，提取真实场景的三维特征并进行复杂场景重建；

c、将模型部件的三维数据与重建场景图像进行实时自适应三维注册；

d、快速估计真实场景的光照条件并进行重建场景的光照分布；

e、将辅助训练信息与重建场景图像进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。

步骤a中，结合现实模型部件的特征，利用模型虚拟设计软件，构建模型部件的三维数据库，每个模型部件的三维数据单独导出，并保存为OBJ格式的模型数据，同时添加相对应的知识语义信息。

步骤a中，针对每个三维模型部件，分别对其指定纹理贴图和光照反射模型，然后根据知识语义信息中的指示动作对三维数据库进行分类。

步骤b中，使用基于双目图像的立体视觉算法，首先提取真实场景双目图像的三维特征，然后使用立体匹配算法对双目图像的特征进行匹配，计算并优化视差，从而恢复真实场景的三维几何信息，重建复杂真实场景。

步骤c中，通过ICP算法求解相机的位姿，将当前帧的点与上一帧得到的预测表面的点进行匹配；在建立点的对应关系时，将估计表面上的点投影到上一帧相机的位置，得到图像平面上的坐标对应的预测表面上的点，然后将其线性化，并利用SVD分解的方法计算相机六自由度变换矩阵，从而将模型部件的三维数据叠加到重建场景中。

步骤d中，首先使用离散的平行光源模拟真实场景中的光照分布，然后根据重建场景的三维特征信息，通过朗伯光照模型建立重建场景中对象物体产生阴影的方程组，求解方程组即可估算出每个光源的相位角和强度，从而得到重建场景的光照分布。

步骤e中，利用双目及手持加速度传感器采集并识别患者的运动信息，将辅助训练信息、患者的运动信息与重建场景进行实时绘制与动态融合，引导患者与增强的真实场景进行实时交互。

本发明的复杂场景实时增强现实技术是一种针对弱视力患者的有效的康复训练方法，其通过双目相机对复杂场景进行实时重建，在真实场景中添加环境指示信息与逼真辅助训练模型，引导患者进行环境感知和康复训练，无需依赖特定场景与辅助标识即可进行多种类型的康复训练任务，不仅节省了大量人力物力，且取得了良好的训练效果。

本发明面向盲人、低视力、老年视力障碍等不同视力损伤群体，帮助其感知周围环境，可对其进行视力辅助，视力康复训练等，这极大地便利了弱视力群体的生活和康复能力。

附图说明

图1 是本发明的总体流程图。

图2 是本发明的应用示意图。

具体实施方式

以下结合附图对本发明作进一步详细描述，本领域技术人员可由本说明书所揭露的内容实现本发明。

如图1所示，本发明的方法包括5个阶段：（1）构建辅助训练模型部件的三维数据库；（2）真实场景有效三维特征的高效提取；（3）辅助训练的三维信息与重建场景图像的实时自适应三维注册；（4）真实场景光照条件的快速高精度估计；（5）辅助训练等信息与重建场景图像的实时绘制与动态融合。其具体过程如下：

步骤（1）中，本发明聘请了专业的设计人士，针对常见视力康复训练交互模型进行了三维模型部件库的构建，最终构建了一个模型部件的3D库。所有的模型部件都是结合现实模型部件的形状特征，利用专业的模型虚拟设计软件，将样板数据转换为三维模型数据。所有的数据转换均在一个标准虚拟模型上进行。然后，将模型的每个部件三维数据单独导出，并保存为OBJ格式的模型数据，并添加相对应的知识语义信息。

其中，针对每个模型部件，需分别计算其三维特征，三维特征包括：高斯曲率特征（GC），形状直径特征（SDF），模型投影特征（SI），形状上下文特征（SC）以及模型主成分特征（PCA）。

针对每个三维模型部件，生成纹理贴图和指定光照反射模型，增加交互模型的真实感，使交互模型能够与真实场景融为一体。之后根据指示动作对模型库进行分类，为后续增强现实场景奠定基础。

步骤（2）中，本发明的获取装置是双目相机，通过双目相机采集真实复杂场景的RGB双目图像数据序列，在此基础上，使用基于双目图像的立体视觉算法，首先提取复杂场景RGB图像的三维特征，然后使用立体匹配算法对双目图像的特征进行匹配，计算并优化视差，从而恢复场景的三维几何信息，高效地重建精确的复杂场景。

立体匹配算法是立体视觉研究中的关键部分，其目标是在两个或多个视点中所采集的图像数据上匹配相应像素点，从而计算视差，对场景的三维几何信息进行三维重建。首先计算双目图像的匹配代价，即计算参考图像与匹配目标图像上各个对应点之间的匹配代价；然后通过求和、求均值等方法对匹配代价进行聚合，从而得到参考图像与匹配目标图像上的累积匹配代价，从而降低异常点的影响，提高信噪比和匹配精度；在聚合的匹配代价中选择累积代价最优的点作为对应匹配点，与之对应的视差即为最终视差；最终使用插值、像素增强、滤波等方法对视差图像进行优化，即可得到最终的双目视差。

步骤（3）中，进行辅助训练三维信息与双目图像的实时自适应三维注册时，注册配准技术是关键技术之一，它所要完成的任务是将虚拟添加的信息实时叠加到所要增强的真实场景中去，做到无缝融合。本发明相机的位姿通过ICP算法求解。将当前帧的点与上一帧得到的预测表面的点进行匹配。在建立点的对应关系时，将估计表面上的点投影到上一帧相机的位置，得到的图像平面上的坐标对应的预测表面上的点就是要找的对应点。由于变换矩阵中的旋转部分是非线性的，所以求解这个目标函数其实是一个非线性最小二乘问题，然后用近似的方法将其线性化，利用SVD分解的方法计算相机六自由度变换矩阵，从而将辅助训练三维信息叠加到复杂重建场景。

步骤（4）中，真实场景光照条件的快速高精度估计，首先使用离散的平行光源模拟场景中的光照分布，根据重建的场景三维特征信息，基于朗伯或其他更复杂的光照模型建立场景中对象物体产生阴影的方程组。由于图像中不同区域所受到的光照条件不同，因此所得到的方程组有解，求解方程组便可估算出每个光源的相位角和强度，快速地得到场景的光照分布。

步骤（5）中，本发明中配备了双目及手持加速度传感器，其能对患者运动信息进行采集并识别，系统识别到用户动作后进行相应的控制，如用户左右运动，上跳下蹲，拾取物品时，需要改变场景的视野角度。当用户和场景内的三维模型发生交互的时候，可以实时将人体动作、人像与三维模型动态结合起来，结合物体本身的属性和场景中的光照进行实时绘制与动态融合。

如图2所示，本发明应用过程为：患者在生活和康复训练中可佩戴本发明的双目头盔，本发明可以对患者所处的复杂环境进行精准的三维重建，计算出各类物体的距离信息，以获取周围环境信息；同时进行场景光照条件的快速高精度估计，通过辅助训练三维信息与双目图像的实时自适应三维注册将辅助训练三维数据库中的各类指示信息、文字信息、交互模型与实景图像叠加后反馈至患者，强化弱视力患者对周围环境的感知能力，使其能够看清周围环境，辅助训练/行走助力等信息与双目图像的实时绘制与动态融合，引导患者与增强现实场景进行实时交互，以刺激弱视力患者的眼部肌肉活动，极大提高了弱视力患者生活与康复能力。

以上具体实施方式仅用以说明本发明的技术方案而非限制，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者同等替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。