具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

为了达到本发明的目的，如图1至图2，本实施例提供一种基于VR视听觉引导的失语症康复训练系统，包括传感交互设备、VR设备、外部显示设备和控制平台，所述传感交互设备用于采集患者的语音和动作信息并传送给VR设备，所述VR设备用于根据控制平台发布的训练任务引导患者完成训练任务、以及根据患者的语音和动作信息给予反馈，所述外部显示设备用于显示患者的训练情况，所述控制平台用于控制VR设备和外部显示设备。

具体的，所述VR设备包括任务内容模块、提示线索模块、正反馈模块，所述任务内容模块用于根据控制平台的信息触发任务，所述提示线索模块用于当患者对任务内容无反应或错误反应时给出提示线索，所述正反馈模块用于当患者对任务内容正确反应时给出正反馈。

实施例2

为了进一步地优化本发明的实施效果，其余与实施例1相同，不同之处在于，本实施例中VR设备还包括预处理模块，所述预处理模块用于提供动作演示，所述控制平台根据预处理模块运行时传感交互设备采集到的患者的语音和动作信息生成任务偏好用于由医生直接触发任务内容或根据任务偏好触发任务内容。

实施例3

为了进一步地优化本发明的实施效果，其余与实施例1相同，不同之处在于，本实施例还包括患者信息采集模块，所述患者信息采集模块用于采集患者个人身份信息和患者病情信息并传送给控制平台，所述控制平台用于根据患者个人身份信息建立账户、以及根据患者病情信息给出相应的任务等级。

实施例4

本发明提供一种基于VR视听觉引导的失语症康复训练系统的训练方法，包括以下步骤：

S1、训练命名能力：VR设备展示目标物的类别、使用场景或地点信息并提供3D镜头语音描述，以激发命名反应，若提示后命名正确，则VR给予正反馈；若无反应或错误反应，则进入命名提示步骤；

S2、训练听理解能力： VR设备根据听理解任务展示虚拟场景，虚拟人物语音引导患者指出或挑选出目标物、或做出目标动作，若回答正确，则给予正反馈；若无反应或回答错误，则进入听理解提示步骤；其中，听理解提示步骤为VR设备通过语音引导完成任务，若正确，则给予正反馈；若错误，则给出语音提示；

S3、训练文字理解能力：将听理解模式的语音刺激转变为文字刺激，语音引导任务完成在VR虚拟场景指出或挑选出目标物、或做出目标动作的文字理解任务；. 正确则给予正反馈；错误则语音提示患者“再想想”；

S4、多人互动训练：VR设备展示虚拟场景，多人自主选择角色或自动分配角色，多人共同完成任务。

其中，命名提示步骤具体包括以下内容：

S11、VR设备呈现目标物名称的偏旁部首提示或文字提示，激发命名反应，若提示后命名正确，VR给予正反馈；若无反应或错误反应，则进入下一提示步骤；

S12、VR虚拟人物给予目标相关的语句完型提示，激发命名反应，若提示后命名正确，VR给予正反馈；若无反应或错误反应，则进入下一步骤；

S13、VR虚拟人物给予目标首字发音口型提示、首字或首音提示，引导命名反应，若口型提示后命名正确，VR给予正反馈；若口型提示无反应或错误反应，给首字或起始音提示，命名正确给予正反馈；若无反应或错误反应，则进入下一步骤；

S14、VR虚拟人物直接给予目标正确命名，并语音提示患者重复2-3次；然后切换到下一训练目标。

实施例5

VR设备展示目标物的类别、使用场景或地点信息并提供3D镜头语音描述，以激发命名反应。此步骤结合了以扩散激活模型为理论基础的SFA语义特征分析法促进命名反应。

如图3所示命名训练流程图，设置不同范畴训练任务，收集一定数量高频词，如名词（水果、动物、蔬菜、厨具、家具、交通工具、服饰、场所、职业等）、动词等。命名训练提示步骤设置为可自由选择，训练开始前，由治疗师为患者勾选针对性训练提示层级，以灵活适用于多种命名障碍患者。训练结束VR设备反馈本次训练结果和正确率，给予鼓励提高训练信心和积极性。系统设置训练结果记录表，以便治疗师查看，及时调整训练方案和难易程度。

3D展示水果摊（它是一种水果）、展示苹果树（长在树上）、吃苹果动作（可以吃的）；若提示后命名正确，VR给予正反馈，如答对啦，你真棒！（可显示竖大拇指或对勾）；若无反应或错误反应，系统进入下一提示步骤。呈现目标物名称的偏旁部首提示或文字提示，激发命名；此步骤提供文字形式刺激，增强词汇语义通路激活，提高命名反应。呈现米字格文字：苹；无反应增加提示：苹果；若提示后命名正确，VR给予正反馈，如答对啦，你真棒！（可显示竖大拇指或对勾）；若无反应或错误反应，系统进入下一提示阶段。虚拟人物给予目标相关的语句完型提示（即语音暗示），激发命名反应。虚拟人物提示：它是闻起来很香，吃起来很甜的一颗；若提示后命名正确，VR给予正反馈，如答对啦，你真棒！（可显示竖大拇指或对勾）；若无反应或错误反应，系统进入下一步骤。虚拟人物给予目标首字发音口型提示、首字或首音提示，引导命名反应。虚拟人物显示“苹“的发音口型；若口型提示后命名正确，VR给予正反馈，如答对啦，你真棒！（可显示竖大拇指或对勾）；若口型提示无反应或错误反应，给首字（或起始音）提示，命名正确给予正反馈；虚拟人物发出ping 的首字发音；若无反应或错误反应，系统进入下一步骤。虚拟人物直接给予目标正确命名，并语音提示患者重复2-3次；切换到下一训练目标。

实施例7

如图4所示听理解训练任务流程图，设置不同范畴听理解任务（名词词汇听理解、动词听理解、语句指令听理解）。听理解背景为VR虚拟家庭居住环境（如厨房、卫生间、卧室、客厅、餐厅）。

训练厨房物品词汇听理解：虚拟场景为厨房间，展示3种厨房物品包含目标物（如：碗、筷子、菜刀），佩戴设备手套或手柄；虚拟人物语音引导患者指出或挑选出目标物（如：请指出或挑选出“碗”）；若回答正确，给予正反馈，如答对了，你真棒！若无反应或回答错误，给予提示（如：圆的，用来盛饭和吃饭用的）并激发反应。若回答正确，给予正反馈,进入下一题；若错误，强调正确答案（可单独展示正确目标）后，进入下一题；训练结束，VR语音及文字展示正确率，鼓励患者继续加油！

训练动词听理解： VR设备同时展示三种动作选项（如：切菜、洗脸、刷牙），佩戴设备手套或手柄； VR虚拟人物语音引导患者指出目标动作（如：请指出“刷牙“）；若回答正确，给予正反馈，如答对了，你真棒！若无反应或回答错误，给予提示（如：早上起床清洁牙齿）并激发反应；若回答正确，给予正反馈,进入下一题；若错误，强调正确答案（可单独展示正确目标）后，进入下一题；训练结束，VR语音及文字展示正确率，鼓励患者继续加油！

训练语句听理解：VR设备同时展示三种物品选项（如：外套、衣柜、洗衣机），佩戴设备手套或手柄；虚拟人物语音引导患者做出目标语句动作（如：请将外套放入衣柜）；若回答正确，给予正反馈，如答对了，你真棒！若无反应或回答错误，给予提示（如：将干净衣服整理放好）并激发反应；若回答正确，给予正反馈,进入下一题；若错误，强调正确答案（可单独展示正确目标）后，进入下一题；训练结束，VR语音及文字展示正确率，鼓励患者继续加油！

训练文字理解能力：设置不同范畴文字理解任务（名词词汇理解、动词词汇理解、语句理解）；将听理解模式的语音刺激转变为文字刺激，VR语音引导任务完成,如设置购物清单或备忘清单，在VR虚拟场景完成购买目标物或挑选目标物的文字理解任务；正确可给予正反馈；错误需语音提示患者“再想想”。

实施例8

如图5所示生活虚拟场景训练流程图，构建一个 3D 超市购物的虚拟场景，模拟日常生活中的真实超市。该技术让患者佩戴VR眼镜，同时在需要手上佩戴传感器（手套）。在虚拟现实设备中显示需要患者训练的任务。传感器接收患者手上实际运动的信号，虚拟现实提供的不同生活场景给患者营造很强的沉浸感的环境，进行沉浸式任务训练。传感器形成实时的运动反馈，帮助患者有效完成训练场景中设定的目标任务。

虚拟场景中的言语训练任务将包含一系列不同难度等级的对话任务，适用于不同言语障碍程度患者的需要, 这些任务的设置由易到难，计算机将从视、听、触多个感觉通道为用户提供多途径的刺激。

治疗师在虚拟场景中可以扮演以为虚拟角色，例如超时收营员、导购员。虚拟角色为逼真的3D人物，当治疗师进行语音引导和对话时虚拟角色会同时进行唇形的模仿来增强角色代入感。

以超市这个生活场景为例，进入虚拟超市的界面， 超市含有蔬菜、水果、肉类、日用品、厨房用品几类分区， 每一类都有醒目的文字提示。当患者处于该场景中时，虚拟导购员说“请问有什么可以帮到你的吗”， 并同时显示相应的文字任务，如今天晚上招待客人，要准备4道菜，西红柿炒鸡蛋，土豆丝，辣椒炒肉，水果蔬菜沙拉，请购买相应的食材。当患者在错误的分区留时间超过 8s时，系统反馈提示音“不对， 再想想”，同时界面显示红色图形叉提示错误； 当患者到达正确的分区前停留时间超过 8 s，时系统反馈“对啦，真棒” ， 同时显示绿色图形对勾提示正确。

患者可以对治疗师扮演的虚拟导购员进行提问，提问的对话素材有：

1）位置/路线询问：

A.请问蔬菜区/水果区/肉类区/生活用品区在哪个位置

虚拟导购员语音回答同时治疗师操控虚拟界面转到相应的位置；

B.称重区在什么位置

虚拟导购员语音回答同时治疗师操控虚拟界面转到相应的位置；

C.收银台在什么位置

虚拟导购员语音回答同时治疗师操控虚拟界面转到相应的位置。

2）具体内容询问：

A.水果蔬菜沙拉需要哪些食材

虚拟导购员语音回答并同时显示相应的文字；

B. 今天哪种鸡蛋的价格有优惠

虚拟导购员语音回答。

3）提出需求：

A. 你好！我需要一个大的购物袋/需要一个推车；

B. 你好！我的手机没电了，请问哪里可以借到充电宝

C. 你好！请问哪里有洗手间

难度等级增加，可以设定一些特定的任务。例如，电话任务：购物时患者接听到一个朋友打来的电话，要求帮朋友买需要的东西。比如电话内容为朋友的钟表停了，需要3节5号电池；还需要两支红颜色的圆珠笔和1个笔记本。电话结束后患者开始购买东西，患者可以提问的对话素材跟上面的类似。同时也锻炼患者的认知理解能力和记忆能力。训练结束时系统会记录患者完成任务的次数、消耗时间、任务的难度。从而治疗师可以根据每次的训练成绩调整下一次的任务难度。

本实施例使用虚拟现实显示设备使患者沉浸在逼真的环境里，更真实的模拟日常对话沟通交流，从而更快的适应融入实际的沟通交流；对比传统治疗方法，这种VR设计训练更好的提高失语症患者的言语认知理解能力和表达能力,从而避免社交尴尬；任务导向式以及游戏化的训练形式可以缓解训练的枯燥感，增加患者主动参与的意愿、提高患者依从性。带上VR眼镜可以去到不同的生活场景，如家庭环境，超市，餐厅，医院，银行等等，让患者更多的参与日常生活，这样的设计应用于成人失语症患者，对脑卒中后抑郁，脑外伤后情绪情感的治疗也会有帮助，从而增强他们的自尊心和自信心，减轻心理上的压力。

实施例9

如图6所示多人互动训练虚拟场景流程图，构建一个 3D 虚拟场景，模拟日常生活中的真实超市。该技术让患者佩戴VR眼镜，同时在需要手上佩戴传感器（手套）。在虚拟现实设备中显示需要患者训练的任务。传感器接收患者手上实际运动的信号。虚拟现实提供的不同生活场景给患者营造很强的沉浸感的环境，进行沉浸式任务训练。传感器形成实时的运动反馈，帮助患者有效完成训练场景中设定的目标任务。

在VR多人小组训练的失语症康复系统的训练中，根据患者水平，治疗师需进行活动前的患者匹配和话题准备工作。患者可根据自身意愿选择话题或根据等级难度提示（难度等级五星等级）进行选择，任务适配中治疗师与患者双向选择为最优选择。

一：主题话题任务：以花店场景下“鲜花”主题为例，小组成员与治疗师或其他辅助人员（医生、家属、朋友）进入虚拟花店，花店中包含了不同种类的鲜花及相关陈设。小组成员进入场景后可先参观花店。再由治疗师引导患者开展主题。参考流程如下：

1.欢迎小组成员参加本次主题-“花店聚会”。

2.进行简单自我介绍。

3.确定角色：客人（活动参与者）、店主（主持人），可以小组成员自己推选也可以是治疗师。4.主题相关问题-你喜欢什么花

5.分享自己和主题-“鲜花”有关的经历。

6. 场景、陈设相关讨论-这家花店怎么样，你想在这里买那些花。

7.结束。

8.系统-自我评价反馈。小组成员4-6人，训练时长1-1.5小时。

二：主题任务小组训练中，户外烧烤主题为例。

1.治疗师同小组成员在虚拟“会议室”中汇合。并进行任务通知。文字海报、音频提示如下：小组人员设置为四人。小组人员每人配置一部虚拟手机。烧烤活动经费设置为500元，花销包含交通费用、食材、炊具等。虚拟活动时间3小时。不超过经费情况下，3小时内完成烧烤20串牛肉串、8串鸡翅、8串考蔬菜卷（每串包含三种蔬菜）算顺利通关。2.“会议室”行程讨论。治疗师辅助下讨论：明确烧烤地点-四个地点选项（包含交通、收费信息等）；明确超市信息-两个超市位置交通信息；明确出行的交通方式-路线；明确购物清单；认领每个人的任务（明确团队共同执行任务、个人单独执行任务、角色职责分工：例如明确财务如何分配及保管）。3.交通出行：会议室到超市（每种出行方式对应虚拟用时和费用）；地铁站；公交站：同司机进行沟通（设置司机对答）；出租车：同司机进行沟通；共享单车。4.超市购物-寻找食材：（结合场景训练中超市购物主题）根据购买清单进行任务执行；分别于蔬菜区、肉类、零食、饮料、餐具、燃料、调料、半成品速冻串等，进行食材及工具选择。5.超市购物-超市结算：（结合场景训练）小组人员汇合、电话沟通、场景切换、工作人员咨询。6.从超市到烧烤地点：（每种出行方式对应虚拟用时和费用）地铁站；公交站：同司机进行沟通；出租车：同司机进行沟通（堵车）；共享单车。7.准备烧烤；分配任务-工具、食材调料/半成品（不同食材烧烤时间不同，控制火候）。8.完成任务/任务失败。9.系统-自我评价反馈。

本实施例通过虚拟的场景、道具降低传统多人训练需要准备实物环境和道具的门槛、降低治疗师工作量和准备成本。使用虚拟现实显示设备，患者可沉浸在逼真的环境里。患者通过多人小组互动模式来模拟真实场景及人物关系，降低沟通压力减轻社交尴尬。从而更好的过渡到实际的沟通交流中，并重建或改善社会家庭关系。设备电脑端口登录模式，有利于远程康复及家庭康复。多人任务导向式训练，提升康复体验，提高训练趣味性、增加患者依从性。可以提高家属参与性。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。