发明内容

为克服现有技术的不足，本发明公开一种基于Leap Motion手势识别的虚拟康复游戏的自调整方法。本发明能够根据患者表现动态调整游戏难度参数，达到促进患者积极参与康复训练的目的。本发明通过为患者提供控制感和成就感来激励患者的积极性，加速实现患者的手部康复目标。

本发明该公开一种实现上述方法的装置。

本发明详细的技术方案如下：

一种基于Leap Motion手势识别的虚拟康复游戏的自调整方法，其特征在于，包括：

1）建立数据库：

利用Leap Motion采集患者健侧手部图像数据，具体是指利用基于Leap Motion手势识别算法对图像采集并转换为矩阵数据，建立患者健侧手部在玩不同等级游戏时对应的手部图像数据，此数据建立的目的在于，将来用于将患侧手势在相同游戏难度下与所述健侧手势进行比对，依次作为自动调整游戏难度的基础对比数据库；

建立游戏难度等级级别数据库，将游戏按照难度等级分别进行划分并记录，其中，所述游戏难度级别可以按照现有游戏设计领域的常规难度设定方法将同一游戏按照不同难度等级进行分级，例如：常规游戏的难度一般由以下一种或者几种游戏元素进行调整，所述游戏元素包括但不限于：游戏持续时间、需要患者参与游戏时健侧手势的相对开合大小、游戏人物的出场顺序、游戏参与时对应的位置等，本发明只保护游戏难度级别的转变方向，但是针对怎样进行具体的游戏难度调节并不是本发明所要保护的内容；

根据同一游戏的所有难度级别数据逐一设定触发游戏难度变化的条件：所述条件包括，完成同一游戏难度时的健侧手部图像数据和患侧手部图像数据动作差距范围阈值；

2）患侧手部参与康复：

患者开始游戏，利用Leap Motion实时采集患者的患侧手部图像数据，具体是指利用基于Leap Motion手势识别算法对图像采集并转换为矩阵数据，形成患侧手部图像数据，并将所述患侧手部图像数据和健侧手部图像数据在游戏时域进行动作幅度对比：

形成健侧手部图像数据和患侧手部图像数据完成同一游戏难度时的动作差距范围；

当所述健侧手部图像数据和患侧手部图像数据完成同一游戏难度时的动作差距范围超出预设的动作差距范围阈值时，则触发游戏难度变小的条件；

当所述健侧手部图像数据和患侧手部图像数据完成同一游戏难度时的动作差距范围小于预设的动作差距范围阈值时，则触发游戏难度变大的条件；

3）自动调整游戏难度：

根据步骤2）所触发游戏难度变小或变大的条件，根据游戏难度等级级别数据自动对游戏进行难度调整。

根据本发明优选的，在所述步骤1）中的设定触发游戏难度变化的条件时，还包括设定所述动作差距范围的持续次数阈值。此技术的改进优点在于，如只通过判断是否满足健侧手部图像数据和患侧手部图像数据完成同一游戏难度时的动作差距范围阈值来确定游戏难度的调整，对于有些手部疾患严重的患者来说，游戏康复时间未免太短，因此本发明还创新性地增加了一个限定条件，即，通过统计超出动作差距范围阈值的持续次数，进而稳定的推断是否要进行调整游戏难度，此改进不但使得手部疾患严重的患者可以在适应难度的游戏中多次充分训练，还能排除患者在康复训练时由于手误等偶然因素造成不必要的训练干扰。

根据本发明优选的，所述利用Leap Motion实时采集患者的患侧手部图像数据、健侧手部图像数据，还包括：利用基于K最近邻分类算法、SVM算法或神经网络算法中的一种算法对所述步骤1）、2）中对患者健侧手部图像数据、患者患侧手部图像数据提取关键特征，分别形成健侧手势数据库和患侧手势数据库。

根据本发明优选的，在所述步骤1）中还包括：建立包含多种游戏的游戏数据库，该数据库的建立属于现有技术，本领域技术人员可以根据手部参与游戏的程度选择特定游戏入库，以供患者康复训练时选择，在进行步骤2）之前，患者根据偏好选择游戏种类。

根据本发明优选的，在步骤2）之前，所述患者可以更新健侧手部在玩不同等级游戏时对应的健侧手势数据库。此设计的优点在于，本方法可以灵活地根据游戏场景或者患者健侧实时情况对所述健侧手势数据库进行更新，彻底解决康复训练类游戏死板单一难以适应不同康复训练要求的技术问题。

根据本发明优选的，在所述步骤1）建立健侧手部在玩不同等级游戏时对应的健侧手势数据库时，可以选择游戏初始难度级别。此设计的优点在于，将康复训练游戏初始化难度级别设定交给患者自己或者了解病患康复情况的医护人员，这样，就不会因为初始化游戏难度级别过高或者过低，产生太多次难度级别调节过程，大大提升患者训练使用的舒适度。

根据本发明优选的，利用基于Leap Motion手势识别算法进行图像采集时，预先设定针对不同手势特征模型；利用不同手势特征模型对比健侧手部图像数据和患侧手部图像数据。此设计的优点在于，通过引入预设手势特征模型对健侧手部图像数据和患侧手部图像数据进行关键点识别，在提升识别效果的同时，还能根据患者的具体的病患部位进行重点关注。

根据本发明优选的，对所述健侧手部图像数据和患侧手部图像数据进行建模，通过所述手势特征模型还原虚拟现实的手部状态。此设计的优点在于，通过虚拟现实的视觉方式展现健侧或者患侧手势动作，使患者能够实时看到自己手部关键部位的实时状态，在康复训练游戏中融入视听闻多元刺激并有反馈，实现康复训练效果进行碰撞检测。

根据本发明优选的，所述方法还包括以下显示信息：患者的游戏得分、和/或参数游戏时间、展现患者健侧手势和患侧手势完成同一游戏难度时的动作差距量化的手部运动能量条：所述能量条满格代表健侧手势完成同一游戏难度时的动作幅度，能量条未满格代表患侧手势的动作幅度占健侧手势的动作幅度的比例。此设计的优点在于，后续通过硬件实现时能够显示得分和游戏时间等患者表现参数以及患者手部运动能量条，以向患者提供实时反馈，例如如果手部运动为简单的五指张开和握拳，则能量条表示手部张合幅度大小，亦可理解为五指平均弯曲角度；如果手势为其他手势，则能量条表示患者患侧当前所做手势与健侧对比的完成度大小。

根据本发明优选的，所述方法还包括一种游戏难度调整方法：

设定完成任一次任务健侧的综合表现参数为，健侧多次完成任务后求得的平均综合表现参数为，根据游戏难度确定百分比乘以健侧平均综合表现参数为游戏难度参数调整阈值p；

健侧完成游戏任务后，患侧可分阶段多次完成相同难度的游戏任务，完成任一次任务患侧的综合表现参数为，患侧多次完成任务后求得的平均综合表现参数为；游戏难度等级的更新幅度也可根据调整阈值p和患侧平均综合表现参数q来确定；记录健侧平均综合表现参数、患侧平均综合表现参数q为患者当前游戏难度的健、患侧表现记录，游戏难度参数改变量通过p与q的差值判断：

；

其中，K为游戏难度变化系数，用以表征患者健、患侧综合表现差值与难度改变量的关系，S为原来的难度参数；

为了满足条件,令K取，为多次任务中健侧最佳综合表现参数，为患侧多次任务中最差综合表现参数；

求出之后，如果为正，则说明患者表现低于调整阈值，需要降低游戏难度，如果为负，说明患者表现优于调整阈值，则需要提高游戏难度，新的难度参数。

一种实现上述方法的装置，其特征在于，包括：手势识别模块和游戏模块；

所述手势识别模块进行健侧和患侧手部图像数据采集：根据健侧手部图像数据建立健侧手势数据库，根据患侧手部图像数据建立患侧手势数据库，建立手指关键点模型通过模式识别算法判断出患者的手势类型，通过脚本实时获得手指关节和骨头的状态，也可以实时在游戏中看到自己的手；

所述游戏模块包括UI模块以及自适应模块，游戏模块需要具有菜单选项和具体的游戏场景，这个场景能够帮助患者实现康复训练目标，能够实现碰撞检测，融入视听闻多元刺激并设置反馈，同时还具有一定的趣味性，视听闻多元刺激和反馈主要是指游戏场景的元素配置。开始游戏任务前，如果是水果类游戏，可以给患者水果味道的喷雾等嗅觉刺激，激发患者的游戏积极性；“如果患者完成目标任务，可以给患者“恭喜过关！”“Good!”等语音提示，界面显示“绽放的烟花”“伸出拇指点赞”等视觉提示，通过这些视听闻刺激和反馈，来激发患者的游戏积极性，增添康复过程的趣味性。

所述UI模块用于显示患者得分情况、和/或游戏时间、和/或患者手部运动能量条，以向用户提供实时反馈；

所述自适应模块用于将所述患侧手部图像数据和健侧手势数据库中的健侧手部图像数据在游戏时域进行动作幅度对比，并与预设的阈值进行对比，

形成健侧手部图像数据和患侧手部图像数据完成同一游戏难度时的动作差距范围；

当所述健侧手部图像数据和患侧手部图像数据完成同一游戏难度时的动作差距范围超出预设的动作差距范围阈值时，则触发游戏难度变小的条件；

当所述健侧手部图像数据和患侧手部图像数据完成同一游戏难度时的动作差距范围小于预设的动作差距范围阈值时，则触发游戏难度变大的条件；

根据所触发游戏难度变小或变大的条件，根据游戏难度等级级别数据自动对游戏进行难度调整。

本发明的技术优势在于：

本发明对游戏难度进行分级，根据患者患侧当前游戏周期的表现与健侧表现进行对比，参考患者健、患侧表现记录，自动降低或提高游戏难度参数，避免因患者产生疲劳以及游戏难度过大或过小影响康复游戏的康复效果。同时能够实时让患者看到自己的游戏表现，并且给予患者反馈鼓励患者游戏积极性，让患者一直处于难度适中的游戏环境中，既有挑战性，又不失乐趣地完成自己的康复训练计划的目的。