阅读说明：本技术 使交互式可穿戴设备能够作为听障个体的教育补充的系统和方法 (Enable interactive wearable device as the system and method for the education supplement for listening barrier individual ) 是由 奥农帕·巴蒂亚 克里希纳·马尔霍特拉 古里·莱克希米纳拉亚南 于 2018-03-03 设计创作，主要内容包括：本文描述了一种用于使交互式可穿戴设备能够作为听障个体的教育补充的系统和方法。该系统可以包括计算系统101、控制单元103和用户设备104。控制单元103可以嵌入在手套对上。控制单元103可以收集由用户执行的手势的原始数据,并通过用户设备104传输到计算系统101。计算系统101可以使用人工神经网络(ANN)方法处理原始数据。计算系统101可以导出手势字母的值并且还可以自动校正手势字母的值以便使误差最小化。计算系统101还可以在用户设备104的屏幕上显示图片或图形文字,以用于视觉提示个体使用手部手势字母拼写相关联的单词。(This document describes a kind of for enabling interactive wearable device as the system and method for the education supplement for listening barrier individual.The system may include computing system 101, control unit 103 and user equipment 104.Control unit 103 can be embedded in gloves to upper.Control unit 103 can collect the initial data of gesture performed by the user, and be transferred to computing system 101 by user equipment 104.Artificial neural network (ANN) method processing initial data can be used in computing system 101.Computing system 101 can export the value of gesture letter and can also automatically correct the value of gesture letter to make to minimize the error.Computing system 101 can also show picture or pictograph on the screen of user equipment 104, to use the associated word of hand gesture letter spelling for visual cues individual.)

使交互式可穿戴设备能够作为听障个体的教育补充的系统和 方法

相关申请的交叉引用和优先权

本申请要求2017年3月3日提交的、申请号为20172100766的印度专利的优先权。

技术领域

本发明总体上涉及可穿戴设备技术领域，且更具体地，涉及使交互式可穿戴设备能够作为听障个体的教育补充的系统和方法。

背景技术

根据“印度人口普查：2017年人口计数数据(最终人口)(Census of India:Population Enumeration Data(Final Population),2017)”的报告，已观察到印度各地在5-19岁年龄组中，约1279358名儿童显著的听力损失。虽然其中67％一直上学，但21％从未得到任何正规教育。此外，根据印度的人口普查数据(2011年)，总人口中近三百万为言语障碍和听障。根据全国聋人协会(NAD)的资源，针对言语障碍和听障人口的手语翻译员只有254种人。患有严重/重度听力损失(70db到-95db以及95dB或更高)的儿童听力非常困难，并且主要依赖于唇读和/或手语。手语通过特定给定的聋人群体发展为三级建模设备，使该群体的成员从他们当时环境中获得刺激。手语是一种视觉空间形式，空间和移动能够以这种形式用于语言学上表示世界中的空间和移动。对听障儿童的教育的差距是对于任何国家的可持续和/或包容性发展的阻碍。对听障人士的教育一直充满挑战。

尽管许多研究表明HI儿童通过手语学***的测量系统。尽管对于听力正常儿童开发的各种标准化的识字测试也用于耳聋儿童。尽管老师们知道我们的耳聋学生的阅读写作技能很差；但支持这点的经验数据非常少。由于目前尚未完成印度耳聋儿童识字率的研究，因此没有关于印度耳聋儿童识字率的统计数据。这一切都基于经验和观察并且推断出识字率非常低。耳聋儿童识字率低的原因有几种，包括缺乏有意义的沟通、不完整的第一语言、教育质量差等。聋人不会像听力正常人那样用口语交往。但研究也表明对于语法和词汇来说手语体现在大脑中的区域与口语体现在大脑中的区域相同。唯一不同的大脑区域与肢体表达有关；口语与声音和说话区域相关联，并且手语与大脑的视觉和空间区域相关联。因此根据大脑，手语与口语一样为语言并且它以相同的方式得到表示。事实上，手语是视觉手动语言并且聋人是视觉学习者。与具有听力能力的人相比，这也给予了他们一定的与视觉和空间分析相关的益处。例如，由于聋人依靠观察来注意环境中的变化，因此聋人的周边视觉处理比具有听力能力的人更强。并且耳聋儿童比具有听力能力的儿童具有更好的视觉空间记忆。因为儿童能够完全没有任何限制地进行交流，所以通过ISL的学习有助于认知和社会心理发展的所有方面。

在这些学校的口授教育中也缺乏适当且有效的视听支持。这导致大多数耳聋儿童的沟通和语言技能不足，造成聋人群体的识字技能差的影响。现实是，聋校主要不使用ISL并且近5％的聋人就读聋校。ISL的使用仅限于职业课程和短期课程。用于补充在校听障学生的教材学习材料的当前资源仅限制/受限于常规的教学方法。此外，还需要来自特殊教师或资源教师的帮助以培养良好的阅读和写作技能。

在当前的情况下，借助教师的帮助，这些视觉学习辅助工具帮助耳聋儿童仅仅识别对象。但是为能拼写单词、理解它们并且然后为了进一步的阅读和写作的学术要求建立所获得的知识，他们需要本地媒介(印度手语)。为成为读者，儿童必须学习他们已经知道的口语和打印在页面上的单词之间的映射。对于英语，如对于大多数语言来说一样，映射基于声音。重度耳聋儿童作为潜在读者是不利的——他们无法轻松获取语音代码并且许多人没有很好地了解任何语言，更不必说从印刷物所获取的语言了。重度耳聋儿童无法充分获取对于印刷物-声音映射的听觉基础。因此，书面语和口语之间的关联必须被教授，并且所述关联不像聋人教育中所假设的那样由儿童自然获得。儿童在结构化手语中的技能提供了语言基础，从该语言基础能够发生另一种语言技能的发展，例如阅读。结构化手语的经验形成了符号库，儿童能够从该符号库中学习印刷单词的含义。在阅读测试中表现得更好的年幼耳聋儿童是在“联想技能”方面有能力或者能够写下手指拼写给他们的单词并且能够翻译初始化符号的儿童。手指拼写是对耳聋儿童培养其书面沟通技能的有效方式。需要通过教授儿童将结构化手语形态与英语正写法建立联系的语言和阅读指令的过程来发现和培养联想技能。这些技能不是自然获得的，且必须通过指令的方式来形成。

在现有技术中，使用总体手部手势表示日常对话中使用的完整单词的概念，可用于听障儿童的教学或学习解决方案专注于符号到文本、或符号到言语的转换，反之亦然。然而，这些解决方案仅与美国手语(ASL)兼容。在印度，使用印度手语，其中手形表示参照对象的视觉空间属性，并且基于手形形成区别于其他类别的类别。这需要的是分类器手形为语素(语言中无法被分割的最小的语法单位，例如come、in等)。ISL部分受到手指拼写系统中的英国手语和一些其他符号的影响，但大多数与欧洲符号系统无关。ISL本身是唯一的且一致的。存在关于ISL的唯一特征的重要理论并且通过作为起源的移动(Supalla 1986、1990；Schick 1990；Liddell&Johnson 1987)和作为起源的手形(McDonald 1982；Engberg-Pedersen1993)描述了ISL中的一致性。印度手语(ISL)与其他国家的符号在句法、语音学、形态和语法上不同。ISL使用静态和动态手势、面部表情、头部/身体姿势、手相对于身体的位置和定向等来表示符号。在ISL中，手语表示者选择利用具有/不具有分类器手形的词汇符号来构造表示动作和位置的动词的句子。动作和位置的动词中的分类器手形被并入动词根中，并且由于音节约束而删除动词的手形。总体来说ISL分类器，尤其是ISL反映了手语表示者与他们的社会、物理和功能的环境的交互(如由Denny1976年提出地)。ISL使用双手以代表一些符号，并甚至手指拼写语言中地点、人物或事物的名词性名称。仅与美国手语(ASL)兼容的现有解决方案可能不支持ISL，并且因此使用计算方式翻译ISL仍为未解决的挑战。

由于ISL主要使用双手进行手语表示和手指拼写，因此长期存在需求一种系统和方法，该系统和方法针对HI儿童的早期识字通过对印度手语进行翻译和/或解码来提供对印度手语(ISL)的交互式自学以及拼写。

发明内容

在描述本系统及其使用方法之前，应理解的是，因为能够存在本公开中未明确示出的多个可能实施例，所以本公开不限于所描述的特定装置及其布置。还应理解的是，说明书中使用的术语仅为描述特定版本或特定实施例，且并不旨在限制本申请的范围。本发明内容不旨在标识本主题的必要特征，也不旨在用于检测或限制所提出的主题的范围。

在一个实施方式中，公开了一种使交互式可穿戴设备能够用作听障个体的教育补充的系统。该系统可以包括控制单元、计算系统和用户设备。用户设备可以与计算系统和用户设备通信耦合。控制单元可以包括多个传感器、微控制器和短程收发器。在一个实施例中，控制单元可以通过短程传输协议与用户设备通信耦合。在一个实施例中，多个传感器可以嵌入定制手套对上。该定制手套对可以适于采用穿戴者的手的形式。多个传感器可以包括一个或更多个接触传感器以及一个或更多个弯曲传感器。一个或更多个接触传感器可以对该定制手套对的接触点进行预义定次数的连续扫描以便确认手势完成。微控制器可以读取该定制手套对的接触点。微控制器可以读取来自一个或更多个弯曲传感器的手指位置的数据。微控制器可以从该定制手套对的一个定制手套处针对用于手语的手势字母收集双手的原始数据，以便在完成双手的手势之后执行与手势字母的预定数据的比较。微控制器还可以使用短程传输协议通过用户设备将原始数据传输到计算系统。计算系统可以使用神经网络方法处理原始数据以便导出手势字母的值。计算系统还可以将从一个或更多个弯曲传感器所获得的数据与预定义数据进行比较，以便确认手势字母的值。计算系统还可以根据该比较自动校正手势字母的值以便使误差最小化。计算系统还可以在用户设备的屏幕上显示图片或图形文字，以用于视觉提示个体使用手部手势字母拼写相关联的单词。

在另一个实施方式中，公开了一种使交互式可穿戴设备能够用作听障个体的教育补充的方法。该方法可包括通过一个或更多个接触传感器对定制手套对的接触点进行预定义次数的连续扫描以便确认手势完成。该方法还可包括通过微控制器读取该定制手套对的接触点以及来自一个或更多个弯曲传感器的手指位置的数据。该方法还可包括通过微控制器，从该定制手套对的一个定制手套处针对手语的手势字母收集双手的原始数据，以便在完成双手的手势之后执行与手势字母的预定数据的比较。该方法还可以包括通过微控制器，使用短程传输协议通过用户设备将原始数据传输到计算系统。该方法可以包括通过计算系统，使用神经网络方法处理原始数据以便导出手势字母的值。该方法可以包括通过计算系统将从一个或更多个弯曲传感器获得的数据与预定义数据进行比较，以便确认手势字母的值。该方法可以包括通过计算系统，根据比较自动校正手势字母的值以便使误差最小化。该方法可以包括通过计算系统在屏幕上显示图片或图形文字，以用于视觉提示个体使用手部手势字母拼写相关联的单词。

附图说明

参考附图进行详细描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。贯穿附图使用的相同数字表示相同的特征和组件。

图1示出了根据本主题的实施例的、用于使交互式可穿戴设备能够用作听障个体的教育补充的系统100的网络实施方式。

图2(A)示出了根据本主题的、针对右手和左手的手掌和手背、用于对手语表示每个字母(A-Z)进行标记的一个或更多个接触传感器以及一个或更多个弯曲传感器的位置。

图2(B)示出了根据本主题的、嵌入可穿戴手套中的控制单元103的组件。

图2(C)示出了根据本主题的示例性实施例的、使用管状编织结构和作为单面针织结构的底基织物将棉/钢导电纱线的一个或更多个接触传感器点集成在手套面板中。

图3示出了根据本主题的实施例的计算系统101的组件。

图4(A)示出了根据本主题的实施例的用于字符识别的人工神经网络(ANN)的框图。

图4(B)示出了根据本主题的实施例的人工神经网络(ANN)分类器图。

图5示出了根据本主题的实施例的、在训练阶段中使用人工神经网络处理输入数据以便实现模式识别和自动校正的步进式流程图。

图6示出了根据本主题的实施例的、在验证阶段中在神经网络中处理输入数据以便实现自动校正的步进式流程图。

图7示出了根据本主题的实施例的由系统100所实施的方法700。

图8示出了根据本主题的实施例的系统100的示例性实施例。

图9示出了根据本主题的第一示例性实施例的由系统100执行的学习功能。

图10和图11示出了根据本主题的第二示例性实施例的由计算系统100的拼写与词汇构建。

图12和图13示出了根据本主题的第三示例性实施例的通过100对单词的自动校正。

图14示出了根据本主题的实施例的在显示屏上可视化的图片或图形文字，该图片或图形文字提示个体使用手部手势字母拼写相关联的单词。

具体实施方式

现在将详细讨论本公开的一些说明其所有特征的实施例。词语“包含”、“具有”、“含有”和“包括”以及其其他形式在意义上旨在是等同的并且是开放式结束的，因为这些单词中的任何一个之后的一项或多项并不意味着是该一项或多项的详尽列表，或不意味着仅限于所列的一项或多项。

还必须注意的是，除非上下文另有明确规定，否则单数形式“一”、“一个”和“所述”包括复数指代。尽管与本文所描述的方法类似或等同的任何方法能够用于本公开的实施例的实践或测试，但现在对示例性方法进行描述。所公开的实施例仅为本公开的示例性实施例可以以各种形式体现。

对于本领域技术人员来说对实施例的各种修改将是显而易见的，并且本文中一般原理可以应用于其他实施例。然而，本领域技术人员之一将易于认识到，本公开不旨在限制于所示的实施例，而是符合与本文所述的原理和特征相符的最宽泛范围。

本主题涉及用于使交互式可穿戴设备能够用作听障儿童的教育补充的系统和方法。参考图1，根据本主题的实施例，示出了用于使交互式可穿戴设备能够用作听障个体的教育补充的系统100的网络实施方式。如图所示，控制单元103与用户设备104通信耦合。控制单元103可以嵌入可穿戴手套(图2C)中。在一个实施例中，控制单元103可以通过例如蓝牙、USB等通信协议与用户设备104通信。此外，用户设备104可以与计算系统101通信耦合。

尽管考虑到在服务器上实施计算系统101以解释本主题，但是可以理解的是，计算系统101也可以在各种计算系统中实施，例如手提电脑、台式计算机、笔记本、工作站、大型计算机、服务器、网络服务器等。将被理解的是，可以由多个用户通过一个或更多个用户设备104-1、104-2...104-N(在下文统称为用户104)或存在于用户设备104上的应用来访问计算系统101。用户设备104的示例可以包括但不限于便携式计算机、个人数字助理、手持设备和工作站。用户设备104通过网络102通信耦合到计算系统101。

在一个实施方式中，网络102可以是无线网络、有线网络或其组合。用户设备104能够使用包括更新的通信技术的有线或无线网络连接装置访问网络102。能够将网络102实施为不同类型的网络中的一种，例如内联网、局域网(LAN)、广域网(WAN)、因特网等。网络102可以是专用网络或共享网络。共享网络表示使用例如超文本传输协议(HTTP)、传输控制协议/网际协议(TCP/IP)、无线应用协议(WAP)等各种协议彼此通信的不同类型网络的关联。此外，网络102可以包括各种网络设备，包括路由器、桥接器、服务器、计算设备、存储设备等。

现参考图2(A)，根据本主题的实施例，示出了嵌入可穿戴手套中的一个或更多个接触传感器以及一个或更多个弯曲传感器的位置。在一个实施例中，一个或更多个接触传感器以及一个或更多个弯曲传感器可以具有在左手和右手的手掌和手背的标记点上的位置以用于手语表示每个字母(ISL中的A-Z)。在一个实施例中，标记点可以表示对嵌入在提供与穿戴者皮肤直接接触的定制手套对上的一个或更多个接触传感器以及一个或更多个弯曲传感器的预定义定位。在一个实施例中，使用导电棉或钢混纺纱线编织该定制手套对。在一个实施例中，使用再生纤维素纱线作为底基织物，预定义定位的导电棉或钢混纺纱线适于充当一个或更多个接触传感器。在一个实施例中，可以通过融合织物将一个或更多个弯曲传感器嵌入并缝在手套上。

现参考图2(B)，根据本主题的实施例示出了嵌入可穿戴手套中的控制单元103的组件。如图2(B)中所示，控制单元103包括多个传感器、微控制器201、触觉致动器205、短程收发器204、电源单元206以及USB端口207。在一个实施例中，该多个传感器可以包括一个或更多个弯曲传感器202以及一个或更多个接触传感器203。在一个实施例中，该一个或更多个弯曲传感器202可以是电阻型传感器。一个或更多个弯曲传感器202的电阻可以跟随手指的每次弯曲而改变。在一个示例性实施例中，该一个或更多个弯曲传感器202可以具有舒适地保持在手套的手指上并且具有长生命周期的简单结构。在一个示例性实施例中，该一个或更多个弯曲传感器202可以包括10K欧姆的平坦电阻以及60K到110K欧姆的弯曲电阻。此外，该一个或更多个弯曲传感器202可以获得很大的形状因子。在一个实施例中，该一个或更多个弯曲传感器可以设置在每个手指上以测量每个手指的第二关节以及指关节的弯曲。在一个实施例中，在每次针对所有字母(ISL中的A-Z)以各种位移角使手指弯曲时，该一个或更多个弯曲传感器202可以适于测量并提供接近的结果。

在一个实施例中，一个或更多个接触传感器203可以使用棉/钢导电纱线的混合物制成。在一个实施例中，纱线可以是柔性的、耐用的并且在预定义位置处与其它纤维组合物一起编织以便充当接触传感器。在一个实施例中，当手套的两个不同部分接触时，一个或更多个接触传感器203中的每个可以表现像简单的开关并且向微控制器201提供输入。在一个示例性实施例中，导电纱线可以在预定义位置处编程为接触传感器，其中，管状编织结构和作为再生纤维素纱线的底基一起使用。

在一个示例性实施例中，导电纺织纱线用于使得传感器与手套兼容地集成。在一些实施例中，可以通过利用软纺织材料的电特性和先进的编织技术在手套内制造织物传感器。在一个实施例中，通过在手套的适当区域处的编织导电纺织纱线中使用编织技术，粘附的纺织电极可以与穿戴者皮肤紧密接触。在一个实施例中，纺织纤维纱线的混合物可以在手的特定区域处编织，以记住儿童或用户在印度气候条件下对手套的使用、手中的汗腺，并且获得改进的性能和结果的准确性。在一个示例性实施例中，纺织纤维纱线可以由天然纤维、两种再生纤维素纤维、氨纶和导电纱线制成。在一个实施例中，纺织纤维纱线可以提供感觉舒适性和热生理舒适性，这可以进一步有助于稳定的热量传递和水分传递。可以根据项目/用户要求在特定区域上编织纺织纤维纱线。在一个实施例中，各种混纺纱线的编织连同表层一起可以在手部区域中的最大排汗的专用区域处施加到手套。在一个实施例中，手套可以有助于感觉舒适性和热生理舒适性，这进一步有助于稳定的热量传递和水分传递。

现参考图2(C)，根据本主题的示例性实施例，示出了使用管状编织结构和作为单面针织结构的底基织物将棉/钢导电纱线的一个或更多个接触传感器点集成在手套面板中。现参考图2(c)(i)，示出了将棉/钢导电纱线的一个或更多个接触传感器点集成在右手掌面板中。在一个示例性实施例中，再生纤维素纱线209可以是底基织物，并且导电纱线208可以编程为充当接触点。现参考图2(c)(ii)，示出了将棉/钢导电纱线的一个或更多个接触传感器点集成在右手背面板中。在一个示例性实施例中，天然纤维、再生纤维素纱线、氨纶211的纤维组合物可以为底基织物，并且导电纱线210可以被编程为充当接触点。现参考图2(c)(iii)，示出了将棉/钢导电纱线的一个或更多个接触传感器点集成在左手掌面板中。在一个示例性实施例中，再生纤维素纱线213可以为底基织物，并且导电纱线212可以编程为充当接触点。现参考图2(c)(iv)，示出了将棉/钢导电纱线的一个或更多个接触传感器点集成在左手背面板中。在一个示例性实施例中，天然纤维、再生纤维素纱线、氨纶215的纤维组合物可以为底基织物，并且导电纱线214可以编程为充当接触点。

在一个实施例中，一个或更多个接触传感器203可以配置为对定制手套对的接触点进行预定义次数的连续扫描以便确认手势完成。在一个实施例中，一个或更多个接触传感器203可以执行对每个接触点的扫描。在一个示例性实施例中，一个或更多个接触传感器203可能需要20毫秒来扫描每个接触点。在一个实施例中，可以比较与三次连续扫描有关的数据，以便确认手势完成。在一个实施例中，连续扫描之间的数据比较可以用于单独获得对于每只手的常量数据。在一个示例性实施例中，当手因做手势而移动时，通过接触点获得的数据可以继续改变。因此，当手势完成时，对于三次连续扫描通过接触点所获得的数据必须保持相同/不变。因此，一个或更多个接触传感器203可消耗60毫秒以从接触点获得还可以用于确认手势完成的最终数据。在一个示例性实施例中，从接触点所获得的数据的大小为6字节，即每只手48位。

在一个实施例中，微控制器201可以配置为读取定制手套对的接触点和手指位置的数据。在一个实施例中，一个或更多个弯曲传感器202可以获得手指位置的数据，例如手指的弯曲角度。在一个示例性实施例中，微控制器201可能需要10毫秒来读取接触点和弯曲传感器。

在一个实施例中，微控制器201可以配置为从定制手套对的一个定制手套处针对手语的手势字母收集双手的原始数据。在一个实施例中，手语可以是印度手语(ISL)。在一个实施例中，原始数据可以是从一个或更多个接触传感器以及一个或更多个弯曲传感器所获得的数据。在一个实施例中，在完成双手的手势之后，微控制器可以执行原始数据与手势字母的预定数据的比较。在一个示例性实施例中，左手定制手套可以将原始数据传输到右手定制手套。在一个实施例中，在手势完成之后，原始数据与字母的预定数据的比较可以以右手数据进行。在一个示例性实施例中，微控制器201可以是8位PIC18F87K22微控制器，其具有16K或更多的程序存储器，4K RAM。在一个实施例中，微控制器可以包括2个串行端口(即，RS232兼容的)、5个模拟输入、10位ADC模块和50个或更多个数字i/o引脚。在一个实施例中，微控制器206可以与短程收发器204和USB端口207电子耦合，以便分别使用短程通信协议或USB端口207促进将原始数据传输到用户设备104。在一个示例性实施例中，短程收发器204可以是蓝牙模块，并且短程通信协议可以是蓝牙协议。在一个实施例中，短程收发器204可以用于双手之间的通信以及与计算系统101的通信。在一个实施例中，计算系统101可以实施在用户设备104上。如图2中所示，控制单元103还可以包括向微控制器201供电的电源单元206。在一个示例性实施例中，微控制器201可以使用双向编程输入输出(PIO)控制以在两个配对蓝牙之间充当服务器-主机模式。在一个实施例中，微控制器201可以成功地收集并处理双手手势之间的一个或更多个接触传感器或一个或更多个弯曲传感器的数据，并且使用查询响应方法(服务器-主机模式)与系统101进行通信。

现参考图3，根据本主题的实施例示出了计算系统101的组件。如图3中所示，计算系统101可以包括至少一个处理器301、输入/输出(I/O)接口302、存储器303、模块304和数据309。在一个实施例中，该至少一个处理器301可以配置为提取并执行存储在存储器303中的计算机可读指令。

在一个实施例中，I/O接口302可以包括各种软件和硬件接口，例如，网络接口、图形用户界面等。I/O接口302可以允许计算系统101与用户设备104交互。此外，I/O接口302可以使用户设备104能够与诸如网络服务器和外部数据服务器(未示出)之类的其他计算设备通信。I/O接口302能够促进在各种各样的网络和协议类型内的多种通信，包括例如LAN、电缆等的有线网络和诸如WLAN、蜂窝或卫星之类的无线网络。I/O接口302可以包括用于连接到另一个服务器的一个或更多个端口。

在一个实施方式中，存储器303可以包括本领域中已知的任何计算机可读介质，例如包括诸如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)之类的易失性存储器和/或诸如只读存储器(ROM)、可擦除可编程ROM、闪存、硬盘、光盘和存储卡之类的非易失性存储器。存储器303可以包括模块304和数据309。

模块304包括执行特定任务、功能或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。在一个实施方式中，模块304可以包括模式识别模块305、自动校正模块306、反馈生成模块307和其他模块308。该其他模块308可以包括补充用户设备的应用和功能的程序或编码指令。

在一个实施例中，数据309可以包括存储库310和其他数据311。在一个示例性实施例中，存储库310可以配置为存储由模块304中的一个或更多个所处理、接收和生成的数据。该其他数据311可以包括由于一个或更多个模块的执行所生成的数据。

在一个实施方式中，用户可以使用用户设备104通过I/O接口302向计算系统101注册。用户可以使用安装在用户设备104上的应用以便向计算系统101注册。

在一个实施例中，模式识别模块305可以对从控制单元103接收的原始数据进行处理。在一个实施例中，模式识别模块305可以使用人工神经网络(ANN)方法处理原始数据。在一个实施例中，人工神经网络(ANN)可以用于导出手势字母的值。在一个实施例中，模式识别模块305可以配置为将从一个或更多个弯曲传感器获得的数据与预定义数据进行比较。在一个实施例中，预定义数据可以是存储在计算系统101的数据库中的数据。在一个实施例中，模式识别模块305可以根据比较来确认手势字母的值。

现参考图4A，根据本主题的实施例示出了用于模式识别的人工神经网络(ANN)的框图。在一个实施例中，微控制器201可以将从一个或更多个弯曲传感器202以及一个或更多个接触点传感器203所获得的手势的原始数据传输到ANN分类器。现参考图4B，根据本主题的实施例示出了ANN分类器图。在一个实施例中，ANN可以在输入层中包括十个输入神经元。在一个示例性实施例中，ANN可以包括来自左拇指(LT)、左食指(LI)、左中指(LM)、左无名指(LR)、左小指(LL)、右拇指(RT)、右食指(RI)、右中指(RM)、右无名指(RR)、右小指(RL)的输入。在一个实施例中，ANN可以在隐藏层中包括四个神经元。在一个实施例中，ANN可以在输出层中包括二十六个输出神经元。在本主题的示例性实施例中，ANN参数在下表1中所示。

表1

现参考图5，根据本主题的实施例示出了在训练阶段中使用人工神经网络处理输入数据以便实现模式识别和自动校正的步进式流程图。在步骤501处，模式识别模块305可以配置为执行指令以便对从一个或更多个弯曲传感器获得的原始数据进行标记并且存储在X位置中。在步骤502处，模式识别模块305可以配置为执行指令以便分离目标和输入。在一个实施例中，目标代表对于给定输入的期望输出。在步骤503处，模式识别模块305可以配置为执行指令以便将目标和输入划分为十组用于十折交叉验证。在步骤504处，模式识别模块305可以配置为执行指令以便通过选择表1中所示的参数来初始化神经网络。在步骤505处，模式识别模块305可以配置为使用十组中的第一组的被标记数据来训练神经网络。在步骤506处，模式识别模块305可以配置为使用对于剩余九组的被标记数据来测试神经网络。在步骤507处，模式识别模块305可以配置为创建读取字母符号/读取字母的函数，以从步骤506中的神经网络所指定的类别中读取字母符号/字母。在步骤508处，模式识别模块305可以配置为存储神经网络。在步骤509处，模式识别模块305可以配置为对用于字符/字母识别的分数/准确度进行计算。在步骤510处，模式识别模块305可以配置为迭代地重复步骤505-509以完成十折交叉验证。在步骤511处，模式识别模块305可以配置为对具有最大分数的神经网络创建函数my_nn。

现参考图6，根据本主题的实施例，示出了在测试阶段中在神经网络中处理输入数据以便实现模式识别以及自动校正的步进式流程图。在步骤601处，模式识别模块305可以配置为获得未标记的弯曲传感器数据并且存储在(Xtest)中。在步骤602处，模式识别模块305可以配置为调用在训练阶段中在步骤511(如图5中所示)中所创建的函数my_nn并且将Xtest作为函数参数传递。在步骤603处，模式识别模块305可以配置为调用读取字母符号(read Letter)或读取字母(read alphabet)函数，以从由函数my_nn所指定的类别中识别字符。

现在再次参考图3，自动校正模块306可以配置为根据比较自动校正手势字母的值。在一个实施例中，自动校正模块306可以使用户的误差最小化并且自动校正单词。在一个实施例中，反馈生成模块307可以配置为给用户生成针对手部手势字母或单词的反馈。在一个实施例中，自动校正模块306可以配置为在屏幕上显示图片或图形文字。在一个实施例中，屏幕视觉提示个体/用户使用手部手势字母拼写相关联的单词。

现参考图7，根据本主题的实施例，示出了由系统100所实施的方法700。在一个实施例中，用户可以穿戴手套对。在一个实施例中，接触单元103可以嵌入该手套对内。

在步骤701处，控制单元103内的一个或更多个接触传感器203可以对该定制手套对的接触点执行预定义次数的连续扫描。

在步骤702处，微控制器201可以配置为读取该定制手套对的接触点和手指位置的数据。在一个实施例中，一个或更多个弯曲传感器202可以获得手指位置的原始数据。

在步骤703处，微控制器201可以从该定制手套对的一个定制手套处针对手语的手势字母收集双手的一个或更多个弯曲传感器的原始数据以及一个或更多个接触点传感器的数据。在一个实施例中，手语是印度手语(ISL)。在一个实施例中，两个手套通过短程通信协议彼此通信耦合。在一个示例性实施例中，微控制器201可以使用双向编程输入输出(PIO)控制以在两个配对蓝牙之间充当服务器-主机模式。在一个实施例中，原始数据可以转换为用于通信的ASCII格式，并且在主机中重新转换为以计算为目的十六进制格式。微控制器可以在完成双手的手势之后将原始数据与手势字母的预定数据进行比较。

在步骤704处，微控制器201可以使用短程传输协议将原始数据传输到用户设备104。

在步骤705处，用户设备104可以使用神经网络方法处理原始数据以便导出手势字母的值。在一个实施例中，用户设备104可以通过模式识别模块305使用神经网络方法处理原始数据。

在步骤706处，用户设备104可以通过模式识别模块305将从接触点获得的数据与预定义数据进行比较，以便确认手势字母的值。

在步骤707处，用户设备104可以通过自动校正模块306根据比较自动校正手势字母的值以使误差最小化。

在步骤708处，用户设备104可以在屏幕上显示图片或图形文字。在一个实施例中，用户设备104可以通过反馈生成模块307显示图片或图形文字。屏幕上显示的图片或图形文字视觉提示个体使用手部手势字母拼写相关联的单词。

现参考图8，根据本主题示出了系统100的示例性实施例。在一个实施例中，用户可以使用用户设备104访问计算系统101。用户可以使用用户设备104通过I/O接口302向计算系统101注册。用户可以使用安装在用户设备104上的应用以便向计算系统101注册。在一个实施例中，用户可以是儿童。在步骤801处，儿童可以启动安装在用户设备104上的应用。在步骤802处，计算系统101可以通过用户设备104提示儿童穿戴手套。在步骤803处，系统101可以检查儿童是否已穿戴手套。如果儿童没有穿戴手套，则计算系统101重复步骤802。如果儿童穿戴手套，则在步骤804处，计算系统101可以提示儿童将手势保持5秒。在步骤805处，系统101可以检测儿童所执行的手势，如果儿童没有执行手势，则在步骤806处，手套的控制单元103可以向儿童提供触觉反馈，并且方法800返回到步骤804处。如果儿童执行手势，则在用户设备104的显示器/屏幕上开始倒计时5秒。在步骤807处，计算系统检查儿童是否将手势保持5秒。如果儿童没有将手势保持5秒，则在步骤808处，手套的控制单元103可以向儿童提供触觉反馈，并且方法800返回到步骤804处。如果儿童将手势保持5秒，则在步骤809处，系统101可以向儿童显示确认/祝贺消息。在步骤810处，系统101可以提示儿童从学习功能、询问/自动校正功能、拼写功能中选择一个功能。如果儿童选择学习功能，则计算系统进行到步骤811。如果儿童选择询问/自动校正功能，则计算系统进行到步骤812。如果儿童选择拼写功能，则计算系统进行到步骤813。

现参考图9，根据本主题的第一示例性实施例示出了由系统100所执行的学习功能。在一个实施例中，儿童可以穿戴手套对，其中控制单元103嵌入该手套对上。在步骤901处，计算系统101可以向儿童显示字母/字母手势视频。在一个示例性实施例中，计算系统101可以在用户设备104上显示字母/字母手势视频。在步骤902处，儿童可以模仿手势。在步骤903处，嵌入该手套对中的控制单元103可以感测由儿童执行的手势。在一个实施例中，控制单元103可以将所感测的数据传输到计算系统101。在步骤904处，计算系统101可以识别手势中的模式。在步骤905处，计算系统101可以检查模式是否正确。如果模式不正确，则在步骤906处，手套的控制单元103给予儿童触觉反馈以便校正手势。在步骤907处，儿童自我校正该手势并且计算系统返回到步骤905处以验证手势。如果手势模式正确，则在步骤908处，计算系统101可以向儿童显示视觉反馈，并且计算系统返回到步骤901处以学习新的字母。

现参考图10和图11，根据本主题的第二示例性实施例，示出了由计算系统100促进的拼写和词汇构建。现参考图10，在步骤1001处，儿童可以选择拼写功能。在步骤1002处，系统101可以向儿童显示人手语表示单词/短划线的图片/视频。在一个示例性实施例中，计算系统101可以在屏幕上提示图片。在另一示例性实施例中，计算系统101可以显示正在手语表示单词的人的视频。在又一示例性实施例中，计算系统101可以在用户设备104的屏幕上显示短划线。在步骤1003处，计算系统101可以提示儿童对屏幕上显示的图片的单词进行手指拼写。在步骤1004处，系统101可以检查儿童是否将手势保持3秒。如果不是，则计算系统101返回到步骤1003处。如果儿童将手势保持3秒，则在步骤1005处，系统101可以检查手势是否可识别。如果手势不可识别，则在步骤1006处，手套的控制单元103可以提供触觉反馈，并且计算系统101在用户设备104的屏幕上显示问号的矢量水印。在步骤1007处，计算系统101可以使矢量水印消失。在步骤1024处，系统101可以检查手势是否连续3次未识别。如果否，则计算系统101可以返回到步骤1003处。如果手势连续3次未识别，则在步骤1025处，计算系统101可以向用户显示教程。在一个示例性实施例中，教程可以包括用于显示手指拼写的图像的框。如果手势是可识别的，则在步骤1008处，计算系统101可以显示字母的矢量水印以及字母。在步骤1009处，计算系统101可以在短划线上方显示字母，并且随后使矢量水印消失。在步骤1010处，计算系统101可以执行字母的验证过程。如果字母无效，则在步骤1011处，计算系统101可以得出手指拼写的字母不正确的结论。在步骤1012处，手套的控制单元103可以提供触觉反馈，并且计算系统101显示视觉反馈。在步骤1013处，计算系统101可以在短划线下方显示“拇指向下”符号。在步骤1014处，计算系统101可以检查手指拼写的字母是否连续三次不正确。如果不是，计算系统返回到步骤1003处。如果是，则在步骤1015处，计算系统101可以向用户显示教程和提示的选项。如果用户选择提示选项，则在步骤1016处，计算系统101可以向用户显示提示。在一个示例性实施例中，提示可以指示包括正确字母的框。可替代地，如果用户选择教程选项，则在步骤1017处，计算系统101可以向用户显示教程。在一个示例性实施例中，教程可以指示包括手指拼写的图像的框。如果计算系统101执行字母的验证并得出手指拼写的字母是正确的结论，则在步骤1018处，计算系统101可以在短划线下方显示“拇指向上”符号。在步骤1019处，计算系统101可以检查单词中的新的字母。如果在单词中存在下一个字母，则计算系统101可以返回到步骤1003。如果不存在下一个字母，则在步骤1020处，计算系统101可以得出这是单词的结尾的结论。在步骤1021处，计算系统101可以向用户显示确认或祝贺消息。在步骤1022处，计算系统101可以检查下一个单词。如果是，计算系统101返回到步骤1002处。如果否，则在步骤1023处结束过程。

现参考图11，根据本主题的第二示例性实施例示出了由系统100所执行的拼写功能。在一个实施例中，儿童可以穿戴手套对，其中控制单元103嵌入该手套对上。在步骤1101处，计算系统101可以向儿童显示图片/单词手势视频。在一个示例性实施例中，计算系统101可以在用户设备104上显示图片/单词手势视频。在步骤1102处，儿童可以对单词的每个字母执行手势。在步骤1103处，嵌入手套对中的控制单元103可以感测由儿童执行的手势。在一个实施例中，控制单元103可以将所感测的数据传输到系统101。在步骤1104处，计算系统101可以识别手势中的模式。在步骤1105处，计算系统101可以检查模式是否正确。如果模式不正确，则在步骤1106处，手套的控制单元103给予儿童触觉反馈以便校正手势。在步骤1107处，儿童自我校正该手势并且计算系统101返回到步骤905。如果手势模式正确，则在步骤1108处，计算系统101可以向儿童显示视觉反馈，并且返回到步骤1101以拼写提示的图片或手势视频的单词。

现参考图12和图13，根据本主题的第三示例性实施例，示出了由系统100实现的单词的自动校正。现参考图12，在步骤1201处，儿童可以选择询问/自动校正功能。在步骤1202处，计算系统101可以提示儿童以便进行手指拼写。在一个实施例中，儿童可以对单词进行手指拼写。在步骤1203处，计算系统101可以检查儿童是否将手势保持3秒。如果不是，则计算系统101可以返回到步骤1202处。如果儿童将手势保持3秒，则在步骤1204处，计算系统101可以检查手势是否可识别。如果手势不可识别，则在步骤1205处，手套的控制单元103可以提供触觉反馈，并且计算系统101在用户设备104的屏幕上显示问号的矢量水印。在步骤1206处，计算系统101可以使矢量水印消失。在步骤1207处，系统101可以检查手势是否连续3次未识别。如果否，则计算系统101可以返回到步骤1202。如果手势连续3次未识别，则在步骤1208处，计算系统101可以向用户显示教程。在一个示例性实施例中，教程可以指示用于显示手指拼写的图像的框。如果手势是可识别的，则在步骤1209处，计算系统101可以显示字母的矢量水印以及字母。在步骤1210处，计算系统101可以在短划线上方显示字母，并且随后使矢量水印消失。在步骤1211处，计算系统101可以检查与存储在数据库中的单词相似的2+个字母的序列。在步骤1212处，计算系统101可以在屏幕上显示单词。在步骤1213处，计算系统101可以使儿童能够看到并且选择单词。在步骤1214处，计算系统101可以检查下一个单词。如果下一个单词存在，则计算系统101返回到步骤1202。如果不存在，则在步骤1215处结束过程。

现参考图13，根据本主题的第三示例性实施例示出了由系统100所执行的询问/自动校正功能。在一个实施例中，儿童可以穿戴手套对，其中控制单元103嵌入该手套对上。在步骤1301处，儿童可以对单词的每个字母执行手势。在步骤1302处，嵌入手套对中的控制单元103可以感测由儿童执行的手势。在一个实施例中，控制单元103可以将所感测的数据传输到计算系统101。在步骤1303处，计算系统101可以识别手势中的模式。在步骤1304处，计算系统101可以检查模式是否正确。如果模式不正确，则在步骤1305处，计算系统101可以提供与手语表示的单词接近的建议。在步骤1306处，儿童自我校正该手势并且计算系统返回到步骤905。如果手势模式正确，则在步骤1307处，计算系统101可以向儿童显示视觉反馈，并且返回到步骤1301以执行对于新单词的手势。

现参考图14，示出了在提示个体使用手部手势字母来拼写相关联的单词的显示屏上可视化的图片或图形文字。如图14中所示，图片或图形文字包括由用户手语表示的单词中的、印度手语(ISL)的手部手势字母以及从图14中能够看到的针对该单词的相关联的图片(例如马铃薯、甜菜根和胡萝卜等)。

上文所讨论的示例性实施例可以提供一定的优势。本公开的一些实施例可以实现比常规系统更精确的系统和方法。基于使用两层传感器来实现系统的精度。通过使用神经网络分析数据，传感器的组合可以使系统更精确。

本公开的一些实施例可以实现检测作为手语表示者的手部的不同部分之间的交互的手势的系统和方法。

本公开的一些实施例可以实现用于教育目的系统和方法，其不只针对普通学生也针对残疾学生，特别是听障学生/个体。

本公开的一些实施例可以实现特别设计成记住用户的使用性和安全性的密集型产品。系统在用户设备中执行繁重的处理，其进一步实现降低硬件成本。

在一些实施例中，本公开中所公开的可穿戴手套可以具有对可穿戴设备传感器系统实现安全且可靠的输出是及其必要的专用设计以及非侵入式传感器集成。该设计满足用于听障儿童的教育的儿童手套将ISL转换为文本的精度。

在一些实施例中，系统包括可穿戴设备传感器系统，该可穿戴设备传感器系统包括各种各样的组件传感器、可穿戴材料、智能纺织品、致动器、电源、无线通信模块和链路、控制和处理单元、用户界面、软件以及用于数据提取和决策的先进算法。外观不仅应符合美学要求，而且系统的重量和尺寸应做得小并且其不应妨碍用户的活动和动作，这在儿童使用所述手套的情况下是必不可少的。

本公开的一些实施例可以实现系统和方法以提供简单、有吸引力和有效的接口来向儿童/个体传达要完成的事情。系统可以提供在任何时候都能够参考的、如何手语表示每个字母符号的教程。在一个实施例中，可以通过接口提供具有相同视觉语言并且能够由儿童/个体精确解释的视觉提示。

本公开的一些实施例可以提供如果手语表示的字母符号正确或不正确引导儿童/个体的反馈机制。

在一些实施例中，可以通过要求新用户手语表示/绘制某一组字母符号来校准系统。此过程可以帮助理解动作的完整范围以及新用户手语表示/或绘制字符的特定方式。

可以独立地或以任何组合的方式采用包括前述段落、描述的实施例、示例和替代方案的各方面或相应单独特征中任何一种的实施例、示例和替代方案。结合一个实施例描述的特征适于所有实施例，除非这样的特征是不兼容的。在不脱离本公开的精神或本质特征的情况下，本公开能够以许多其他形式体现或以其他方式实施，并且仅为说明性目的详细公开了本公开的上述实施例。应当理解的是，本公开不限于此，而是允许进行许多本领域技术人员已知的变化和修改，并且所公开的系统的所有这样的变型或修改(包括部件的重新布置)都在本公开的范围内。