阅读说明：本技术 基于智能可穿戴设备的辅助交流系统 (Auxiliary communication system based on intelligent wearable equipment ) 是由 李凌 辜嘉 张斌 于 2019-10-12 设计创作，主要内容包括：本发明公开了一种基于智能可穿戴设备的辅助交流系统,它涉及一种生物医学辅助交流器具。包括智能可穿戴设备交互界面、翻译和显示模块和智能可穿戴设备集成及应用示范终端模块,智能可穿戴设备交互界面上设置有翻译和显示模块,智能可穿戴设备交互界面通过翻译和显示模块与智能可穿戴设备集成及应用示范终端模块进行信息传输。本发明实现了一个将外界语音和手语动作翻译成文字翻译器,使计算机能够理解人做出的手语,并将手语翻译成为普通人能够理解的文本,为聋哑人和普通人之间的交流提供方便,以达到减少聋哑人与普通人沟通障碍的目的。(The invention discloses an auxiliary communication system based on intelligent wearable equipment, and relates to a biomedical auxiliary communication appliance. The intelligent wearable device interaction interface is provided with the translation and display module, and the intelligent wearable device interaction interface performs information transmission with the intelligent wearable device integration and application demonstration terminal module through the translation and display module. The invention realizes a translator for translating the external voice and sign language actions into characters, so that a computer can understand the sign language made by people and translate the sign language into a text which can be understood by ordinary people, thereby providing convenience for communication between deaf-mute and ordinary people and achieving the purpose of reducing communication obstacles between the deaf-mute and the ordinary people.)

基于智能可穿戴设备的辅助交流系统

技术领域

本发明涉及的是一种生物医学辅助交流器具，具体涉及一种基于智能可穿戴设备的辅助交流系统。

背景技术

手语是聋哑人士的主要沟通工具，它是利用手部和身体的动作来传达信息；由于听力障碍人群听不到声音，大部分普通人不懂得手语，使聋哑人士与普通人的沟通十分困难。

人工耳蜗是一种电子装置，由体外言语处理器将声音转换为一定编码形式的电信号，通过植入体内的电极系统直接兴奋听神经来恢复或重建聋人的听觉功能；人工耳蜗作为治疗重度聋至全聋的常规方法，但是价格昂贵，且适用于小龄耳聋患者。

综上所述，本发明设计了一种系统构造简单，成本低廉的基于智能可穿戴设备的辅助交流系统。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种基于智能可穿戴设备的辅助交流系统，实现了一个将外界语音和手语动作翻译成文字翻译器，使计算机能够理解人做出的手语，并将手语翻译成为普通人能够理解的文本，为聋哑人和普通人之间的交流提供方便，以达到减少聋哑人与普通人沟通障碍的目的。

为了实现上述目的，本发明是通过如下的技术方案来实现：基于智能可穿戴设备的辅助交流系统，包括智能可穿戴设备交互界面、翻译和显示模块和智能可穿戴设备集成及应用示范终端模块，智能可穿戴设备交互界面上设置有翻译和显示模块，智能可穿戴设备交互界面通过翻译和显示模块与智能可穿戴设备集成及应用示范终端模块进行信息传输。

所述的智能可穿戴设备交互界面1将虚拟图像通过显示器投影到AR眼镜上，虚拟出实际不存在的操作界面，通过摄像头记录人与虚拟图像之间的互动从而作为设备的输入。

所述的翻译和显示模块2包括听觉和视觉信息实时转化和手语的录入、识别及转化文字；所述的听觉和视觉信息实时转化的具体步骤为：1、输入源语言声音，通过Server调用在线离线语音识别API进行系统解码，输出源语言句子，若听力障碍人士不是同一语系，则将听力障碍人群可以理解的句子投影到AR眼镜的屏幕上；2、若听力障碍人士不是同一语系，通过Server调用在线离线语音识别API进行系统解码，输出目标语言句子，最后将听力障碍人群可以理解的句子投影到AR眼镜的屏幕上，即完成了信息交流。

所述的手语的录入、识别及转化文字包括以下步骤：

1、采用最新可穿戴眼镜自带的摄像头，获取人体骨骼的三维坐标作为原始数据；

2、手语识别数据处理：首先初步建立一个坐标系，然后通过原始坐标的转换，生成了手语模板，实现了手语的数字化与序列化；这样，可以很方便的把手语对应的坐标录入，形成以数字的形式存储在文件中的手语模板，实现了手语的模板化，为手语识别做了充分的准备；

3、采用改进的DTW识别算法：该算法采用动态规划的思想，解决了识别中语音模板长度与待测语音长度不一样的问题；同理，在手语识别中，也会存在模板序列长度和待测序列长度不一样的问题，而改进的DTW算法很好地解决了这个问题；

4、3D人物动画制作技术：系统人物动画主要由MikuMikuDance制作，生成的动画通过Avi解码器生成质量高的Avi动画，并且人物动作设计精细，人物形象可爱生动，画面清晰，方便与聋哑人的沟通；

5、Avi视频无损压缩技术：本系统在正常运行时要首先加载已有的手语数据库，如果手语数据库文件太大，会导致程序崩溃，因此使用了Avi视频无损压缩技术，通过对视频文件解码，再用Xvid编码的形式对原有手语文件进行压缩，使一个手语视频占用的空间不大于1MB；

6、系统整合技术：通过计算机在Visual Studio平台上利用C#语言编程，程序可以完成手语的录入及识别、语音识别并转换成文字、文字输入、视频调用等功能。

所述的智能可穿戴设备集成及应用示范终端模块3采用一个终端，集采集语音、系统解码、上传/下载数据、输出文字于一体；对于听力障碍人群，只有一个可穿戴的眼镜和一个小型终端，源语言在传到终端，终端分析后，将目标语言句子显示在AR眼镜上，戴上眼镜，听力智障人群就可以“听到”外界的声音了。

本发明具有以下有益效果：

本发明的系统对于听力障碍人群，拓宽了获取信息的渠道，提升了学习能力，提高了生活质量，帮助他们融入正常的工作和生活；该系统构造简单，相对于手术耳蜗，成本低廉；听力障碍人群沟通交流能力的提升，可有效降低社会交流沟通的成本，助力我国实现全民大健康的宏伟目标；此外，将语音实时翻译和手语用到人机交互中还有着巨大的学术价值和广阔的市场应用价值。

附图说明

下面结合附图和

具体实施方式

来详细说明本发明；

图1为本发明的系统架构图；

图2为本发明的双目视差说明图；

图3为本发明的听觉视觉信息转化系统技术框架图；

图4为本发明的听力障碍人群辅助交流器具应用场景示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明；

参照图1-4，本具体实施方式采用以下技术方案：基于智能可穿戴设备的辅助交流系统，包括智能可穿戴设备交互界面1、翻译和显示模块2和智能可穿戴设备集成及应用示范终端模块3，智能可穿戴设备交互界面1上设置有翻译和显示模块2，智能可穿戴设备交互界面1通过翻译和显示模块2与智能可穿戴设备集成及应用示范终端模块3进行信息传输。

由于目前的智能可穿戴设备的显示普遍偏小无法达到全视角覆盖，因此只能基于现有的设备在部分视野内显示虚拟图像辅助人机交互；随着显示技术的发展(例如OLED)，将实现更大的视野覆盖，从而达到更好的虚拟现实效果。

人眼视觉的物体远近的层次感是由于左眼与右眼所看到的图像的视差造成的，如图2(a)为左眼看到的图像，图2(b)为右眼看到的图像，位移的程度显示在了图2(c)上，可以发现近处的物体发生了较大的位移，实际上位移较大也会给人较近的感觉，这也就是目前的3D电影成像的基本原理；因此双摄像头和双显示器将更好的计算和模拟出双眼的图像视差。

如果将虚拟图像通过显示器投影到眼镜上，虚拟出实际不存在的操作界面，通过摄像头记录人与虚拟图像之间的互动从而作为设备的输入那将使可穿戴设备更为便利。

基于现有的可穿戴设备发展现状，现在将先着眼于单摄像头的图像交互研究，在有条件的时候拓展到双摄像头的三维空间，同时应用双显示器达到增强现实在智能可穿戴设备上的应用完成人机交互。

要满足听力障碍人群实时交流的前提，是要将对方语言转化为可接受的信息方式；本发明采取的方案是将源语言语音转化为源语言句子，如果听力障碍人士是同一语系，即可以满足要求；如果不是同一语系，源语言句子转化为目标语言句子；最后将听力障碍人群可以理解的句子投影到AR屏幕上；这样就完成了信息的交流；如图3所述。

听力障碍人群听觉和视觉信息实时转化的显示，运用离线/云端技术，通过对TRANSLATOR API进行编程，实现A语言到A文字，A语言到A文字到B文字的翻译模块的功能；通过显示计算，将听力障碍人士可以识别的A文字或B文字实时显示在可穿戴智能眼镜上。

所述的手语的录入、识别及转化文字通过计算机在Visual Studio平台上利用C#语言编程，程序可以完成手语的录入及识别、语音录入、语音识别并转换成文字、文字输入、视频调用等；这个系统的基本思路包括一个翻译模式和一个沟通模式；翻译模式是为了展示单个词语是如何从手语形式翻译成书面形式，其中，手势动作信息采集是通过可穿戴眼镜自带的摄像头对动作信息的获取技术实现，动作信息转化为编码、再将编码转化为汉字信息可以通过运用C#语言编程实现；在沟通模式中，系统使用虚拟形象来代表听力正常者打手语，这些虚拟动画就是听力正常者的代理人；最终，将这两个模式汇总在一起，做成一个功能丰富的系统；具体技术方案如下：

1.本系统采用最新可穿戴眼镜自带的摄像头，获取人体骨骼的三维坐标作为原始数据，配合算法，完成手语识别；智能算法的标记识别告别了手套识别的历史，使识别更方便，更自然；可穿戴眼镜自带光源，补偿了光照强度对手语识别的影响，降低了算法的复杂度，提高了手语识别的稳定性和可靠性；

2.手语识别数据处理技术：本系统首先初步建立一个坐标系，然后通过原始坐标的转换，生成了手语模板，实现了手语的数字化与序列化；这样，可以很方便的把手语对应的坐标录入，形成以数字的形式存储在文件中的手语模板，实现了手语的模板化，为手语识别做了充分的准备；

3.改进的DTW识别算法：该算法采用动态规划的思想，解决了识别中语音模板长度与待测语音长度不一样的问题；同理，在手语识别中，也会存在模板序列长度和待测序列长度不一样的问题，而改进的DTW算法很好地解决了这个问题；

4.3D人物动画制作技术：本系统人物动画主要由MikuMikuDance制作，生成的动画通过Avi解码器生成质量高的Avi动画，并且人物动作设计精细，人物形象可爱生动，画面清晰，方便与聋哑人的沟通；

5.Avi视频无损压缩技术：本系统在正常运行时要首先加载已有的手语数据库，如果手语数据库文件太大，会导致程序崩溃，所以使用了Avi视频无损压缩技术，通过对视频文件解码，再用Xvid编码的形式对原有手语文件进行压缩，使一个手语视频占用的空间不大于1MB；

6.系统整合技术：通过计算机在Visual Studio平台上利用C#语言编程，程序可以完成手语的录入及识别、语音识别并转换成文字、文字输入、视频调用等功能。

实际应用中，可穿戴眼镜需要舒适、稳固、轻盈；目前不少方案采用手机作为终端，在手机端接收语音，处理信息，然后把目标语言文字通过蓝牙或其他通讯方式传输到智能眼镜的终端，最后投影到AR智能眼镜；这种方案，增加了一个终端设备，使用起来不方便；另外，中间环节太多，会造成目标语言的显示延时问题严重。

采用一个终端，集采集语音、系统解码、上传/下载数据、输出文字于一体；该方案对于听力障碍人群，只有一个可穿戴的眼镜和一个小型终端，源语言在传到终端，终端分析后，将目标语言句子显示在AR眼镜上，戴上眼镜，听力智障人群就可以“听到”外界的声音了；使用场景如图4所示。

本具体实施方式通过人工智能的手段，拓宽了获取信息的渠道，提升了学习能力，提高了生活质量，帮助他们融入正常的工作和生活；该系统构造简单，相对于手术耳蜗，成本低廉。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点；本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内；本发明要求保护范围由所附的权利要求书及其等效物界定。