一种口肌训练结合的多模态言语康复训练系统
阅读说明：本技术 一种口肌训练结合的多模态言语康复训练系统 (Multi-modal speech rehabilitation training system combining oral muscle training ) 是由 姚琤 郝玥 王章志 郑星临 李笑千 应放天 于 2021-07-06 设计创作，主要内容包括：本发明公开了一种口肌训练结合的多模态言语康复训练系统,包括人机交互设备,所述人机交互设备包括有数据采集单元、数据分析单元、数据对照单元、显示单元和数据库,所述数据采集单元与数据分析单元电性连接,所述数据分析单元与数据对照单元电性连接,所述数据对照单元与显示单元和数据库连接。本发明利用音频对照技术、智能推荐、模块化学习的方式,将发音练习与口肌训练交叉进行,结合以友好的人机交互界面引导激发听障儿童的学习兴趣,提升言语发音的准确度,并大大降低了言语训练的学习成本,有助于言语训练的普及性增强；根据学习的难易程度分为不同等级,有助于用户个性化选择更符合自身水平的训练内容。(The invention discloses a multi-modal speech rehabilitation training system combining oral muscle training, which comprises human-computer interaction equipment, wherein the human-computer interaction equipment comprises a data acquisition unit, a data analysis unit, a data comparison unit, a display unit and a database, the data acquisition unit is electrically connected with the data analysis unit, the data analysis unit is electrically connected with the data comparison unit, and the data comparison unit is connected with the display unit and the database. According to the invention, the pronunciation training and the oral muscle training are performed in a crossed manner by using an audio contrast technology, intelligent recommendation and a modular learning manner, and the learning interest of hearing-impaired children is stimulated by combining with a friendly human-computer interaction interface, so that the accuracy of speech pronunciation is improved, the learning cost of speech training is greatly reduced, and the popularization of speech training is enhanced; the training content is divided into different grades according to the difficulty degree of learning, and the training content which is more suitable for the user is selected in a personalized mode.)
技术领域
本发明涉及聋哑儿童言语障碍康复技术领域，更具体地说，本发明涉及一种口肌训练结合的多模态言语康复训练系统。
背景技术
据世界卫生组织官网最新数据，全球大约有4.66亿人患有残疾性听力损失，其中儿童约为3400万。中国是世界上听力残疾人数最多的国家。随着当代助听技术的进一步发展，助听器的广泛使用和人工耳蜗临床技术显著进步，使不同听力损伤程度的患者可以选到合适的听力补偿设备。自2006年中国残疾人联合会报告以来，中国政府一直致力于扩大和规范听力康复服务，我国听力服务正在逐步普及。
听障人群除了弱听或听力丧失之外，拥有和正常人一样的发音器官与变声器官，因佩戴助听器或人工耳蜗获得听力补偿使得更多听力残疾人具备了口语交流的能力和条件。但对于听障人群来说良好的口语表达能力不是一蹴而就的，是需要根据个体年龄和发展阶段配合以科学的指导和长期的练习，逐步提升，慢慢练习出来的。语言是人类表达思想、传递信息、参与社会人际交往的重要能力。恢复言语表达能力，能够通过口语进行交流，做到聋而不哑是让听障人士融入社会的重要一步。然而言语康复机构的康复训练，价格昂贵很多家庭无力支撑，或进行简单学习就不得以放弃，后期想将口语恢复到正常水平还是需要在日常中进行大量的口语纠正练习训练。
目前国内计算机辅助言语测听技术虽然已在科研及临床中使用，但都未能得到很好的普及和推广应用。究其原因是多方面的，从言语识别评估系统来看，国内言语评估及康复软件大多仅强调系统的准确性，受众群体为听力康复机构及训练师，针对听障群体所做的训练设备较少；同时言语训练形式较为单一，无法满足不同人群的需求，且训练方式较为落后，没有将多感官、多技术相融合。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种口肌训练结合的多模态言语康复训练系统，本发明所要解决的技术问题是：如何借助计算机设备更好的辅助听障群体进行语言康复训练。
为实现上述目的，本发明提供如下技术方案：一种口肌训练结合的多模态言语康复训练系统，包括人机交互设备，所述人机交互设备包括有数据采集单元、数据分析单元、数据对照单元、显示单元和数据库，所述数据采集单元与数据分析单元电性连接，所述数据分析单元与数据对照单元电性连接，所述数据对照单元与显示单元和数据库连接。
在一个优选的实施方式中，所述显示单元包括设置于人机交互设备表面的显示屏和操作键盘，所述显示单元用于练习内容、练习动作和练习得分，所述人机交互设备上设置有USB接口。
在一个优选的实施方式中，所述数据采集单元包括有声音采集模块、图像采集模块和气体感受模块，所述声音采集模块为嵌入设置在人机交互设备上的拾音器，所述图像采集模块为设置在人机交互设备上端的摄像头，所述气体感受模块为设置在人机交互设备前端的气压传感器。
在一个优选的实施方式中，所述数据分析单元用于将采集的数据进行整理和分析，分析结果传输给数据对照单元。
在一个优选的实施方式中，所述数据对照单元包括语音对照模块、图像对照模块和气压对照模块。
在一个优选的实施方式中，所述语音对照模块用于将声音采集模块采集的音频与数据库中标准音频进行对比，根据重合率得出训练分数；所述图像对照模块用于将图像采集模块采集的口型图像与数据库中标准口型图像进行对比，并根据重合率得出训练分数；所述气压对照模块用于将气体感受模块采集的气息规律与数据库中标准气息规律进行对比，并根据重合率得出训练分数。
本发明还提供一种口肌训练结合的多模态言语康复训练系统的使用方法，包括以下步骤，
步骤一：将训练素材导入数据库中，数据库中包括简单、复杂、困难三种程度难易训练；
步骤二：用户在人机交互设备的显示屏上选择训练时的难易程度，并根据交互界面的显示引导，进行发音训练，发音训练时利用数据采集单元对用户的音频、图像和呼出气压信息进行采集；
步骤三：数据采集单元将采集的数据信息传递给数据分析单元，数据分析单元对采集的音频、图像和气压数据进行分析，并将分析结果传输给数据对照单元，数据对照单元将用户的训练信息与数据库中的标准发音信息进行对比，并根据用户训练信息与标准发音信息的重合率得出综合得分；
步骤四：若综合得分低于分，用户进行针对性口肌训练内容；
步骤五：用户根据人机交互设备上显示屏的引导进行针对性口肌训练，并由数据采集单元记录针对性口肌训练过程；
步骤六：针对性口肌训练完成后进行二次发音，数据对照单元对发音训练信息与标准发音信息进行对比打分，直至发音训练得分超过分结束训练。
在一个优选的实施方式中，所述步骤一中听障儿童进行言语训练的素材包含声母、韵母、单个音节、词组音节及音调。
在一个优选的实施方式中，所述步骤四中针对性口肌训练包括发音口型、发音音标和气体训练，根据步骤三中第一次发音训练的每项得分选择得分较少的项目进行训练。
与现有技术相比，本发明的技术效果和优点：
本发明利用音频对照技术、智能推荐、模块化学习的方式，将发音练习与口肌训练交叉进行，结合以友好的人机交互界面引导激发听障儿童的学习兴趣，提升言语发音的准确度，并大大降低了言语训练的学习成本，有助于言语训练的普及性增强；根据学习的难易程度分为不同等级，有助于用户个性化选择更符合自身水平的训练内容；同时会根据不同发音的发音器官差异结合用户发音得分情况，针对性进行发音器官的练习，明确发音发力点并强化发音器官的肌肉练习，提升发音的准确度及发音器官的肌肉力量。
附图说明
图1为本发明的系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种口肌训练结合的多模态言语康复训练系统，包括人机交互设备，所述人机交互设备包括有数据采集单元1、数据分析单元2、数据对照单元3、显示单元4和数据库5，所述数据采集单元1与数据分析单元2电性连接，所述数据分析单元2与数据对照单元3电性连接，所述数据对照单元3与显示单元4和数据库5连接。
在一个优选的实施方式中，所述显示单元4包括设置于人机交互设备表面的显示屏和操作键盘，所述显示单元4用于练习内容、练习动作和练习得分，所述人机交互设备上设置有USB接口。
在一个优选的实施方式中，所述数据采集单元1包括有声音采集模块6、图像采集模块7和气体感受模块8，所述声音采集模块6为嵌入设置在人机交互设备上的拾音器，所述图像采集模块7为设置在人机交互设备上端的摄像头，所述气体感受模块8为设置在人机交互设备前端的气压传感器。
在一个优选的实施方式中，所述数据分析单元2用于将采集的数据进行整理和分析，分析结果传输给数据对照单元3。
在一个优选的实施方式中，所述数据对照单元3包括语音对照模块9、图像对照模块10和气压对照模块11。
在一个优选的实施方式中，所述语音对照模块9用于将声音采集模块6采集的音频与数据库5中标准音频进行对比，根据重合率得出训练分数；所述图像对照模块10用于将图像采集模块7采集的口型图像与数据库5中标准口型图像进行对比，并根据重合率得出训练分数；所述气压对照模块11用于将气体感受模块8采集的气息规律与数据库5中标准气息规律进行对比，并根据重合率得出训练分数。
本发明还提供一种口肌训练结合的多模态言语康复训练系统的使用方法，包括以下步骤，
步骤一：将训练素材导入数据库5中，数据库5中包括简单、复杂、困难三种程度难易训练；
步骤二：用户在人机交互设备的显示屏上选择训练时的难易程度，并根据交互界面的显示引导，进行发音训练，发音训练时利用数据采集单元1对用户的音频、图像和呼出气压信息进行采集；
步骤三：数据采集单元1将采集的数据信息传递给数据分析单元2，数据分析单元2对采集的音频、图像和气压数据进行分析，并将分析结果传输给数据对照单元3，数据对照单元3将用户的训练信息与数据库5中的标准发音信息进行对比，并根据用户训练信息与标准发音信息的重合率得出综合得分；
步骤四：若综合得分低于50分，用户进行针对性口肌训练内容；
步骤五：用户根据人机交互设备上显示屏的引导进行针对性口肌训练，并由数据采集单元1记录针对性口肌训练过程；
步骤六：针对性口肌训练完成后进行二次发音，数据对照单元3对发音训练信息与标准发音信息进行对比打分，直至发音训练得分超过50分结束训练。
在一个优选的实施方式中，所述步骤一中听障儿童进行言语训练的素材包含声母、韵母、单个音节、词组音节及音调。
在一个优选的实施方式中，所述步骤四中针对性口肌训练包括发音口型、发音音标和气体训练，根据步骤三中第一次发音训练的每项得分选择得分较少的项目进行训练。
本发明利用音频对照技术、智能推荐、模块化学习的方式，将发音练习与口肌训练交叉进行，结合以友好的人机交互界面引导激发听障儿童的学习兴趣，提升言语发音的准确度，并大大降低了言语训练的学习成本，有助于言语训练的普及性增强；根据学习的难易程度分为不同等级，有助于用户个性化选择更符合自身水平的训练内容；同时会根据不同发音的发音器官差异结合用户发音得分情况，针对性进行发音器官的练习，明确发音发力点并强化发音器官的肌肉练习，提升发音的准确度及发音器官的肌肉力量。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种盲人便携模块化书写板