阅读说明：本技术 通信方法及系统 (Communication method and system ) 是由 伊泰·科恩伯格 奥尔·雷茨金 于 2018-12-06 设计创作，主要内容包括：本揭露提供一种控制系统,所述控制系统通过追踪眼睛及/或追踪通过个体生成的其他生理信号来与一个体相互联系。所述系统配置为将拍摄的多个眼睛图像分类为多个姿态,所述姿态模仿计算机的类似操纵杆的控制。这些姿态允许用户进行操作,例如带有多个菜单项目的计算机或系统。(The present disclosure provides a control system that interfaces with an individual by tracking the eye and/or tracking other physiological signals generated by the individual. The system is configured to classify the captured plurality of eye images into a plurality of poses that mimic joystick-like control of a computer. These gestures allow a user to operate, for example, a computer or system with multiple menu items.)

通信方法及系统

技术领域

本揭露涉及一种系统，所述系统允许个体通过跟踪个体的眼睛或其他生理参数的任何一个或组合来操作通信模块或其他实用程序。

背景技术

通过跟踪用户的眼睛来启动用户通信的系统与方法是已知的。

专利文献WO2016142933揭露一种具有选择界面的系统，所述选择界面向用户选择性地呈现一系列通信选项。光传感器检测从用户的眼睛反射的光并且提供相关信号，处理所述信号以确定关于用户头部的相对眼睛取向。基于所述确定的相对眼睛取向，确定及实现选择的通信选项。

发明内容

本揭露涉及一种计算机系统，所述计算机系统通过跟踪眼睛及/或跟踪通过一个体产生的其他生理信号来与一个体相互联系。换句话说，它是一种包括一实用程序的系统，所述实用程序具有与一摄像机相关联的一控制单元，所述控制单元配置为跟踪所述眼睛及/或眼睑的运动，并且可以另外包括配置为跟踪另一生理参数的一实用程序。通过一个实施例，所述系统配置为将所述拍摄的多个眼睛图像分类为多个姿态(gesture)，所述图像可以是瞳孔位置或注视方向、一系列定向的眼球运动、一系列的所述眼睑的眨眼等的一个或多个。这些姿态允许用户进行操作，例如带有多个菜单项目的一计算机或一系统。以此方式，所述眼睛运动可以例如允许用户浏览一菜单、通过眼睛运动在一屏幕上移动一光标、通过在一给定时间周期内将所述眼睛固定一特定位置或经过一系列眨眼来选择项目、通过根据一菜单提示浏览所述注视来浏览菜单项目等。所述系统还可以将其他生理数据进行分类，并且将它们转换为一计算机可读的或配置为操作一个或多个***装置的多种命令。例如，所述系统可以允许用户通过执行一定义的眼睛姿态或执行一预定的呼吸模式来浏览一菜单、通过移动一身体部位在所述屏幕上移动一光标、通过一呼吸动作或基于多个电生理信号选择项目。通常，本揭露的所述系统允许用户以类似于一操纵杆的方式来操作一计算机。通过本揭露的所述类似操纵杆的方法，唯一的参考点是拍摄所述眼睛的图像的一摄像机，并且不需要检测用户正在看或在一角膜反射处的所述确切地点或位置。同样根据本揭露，通常，在使用之前不需要使用一屏幕的任何校准程序(并且实际上，根本不需要为了使用系统进行通信来使用屏幕)。

通过一些实施例，一菜单没有在一屏幕上呈现给用户，并且用户的一菜单的浏览及项目选择是在没有一屏幕的情况下进行(例如，基于预定的一菜单或先前引入或呈现给用户的一菜单)。

通过一些实施例，仅在一初始引入阶段期间在一屏幕上向用户呈现一菜单，例如在此期间向用户提供一反馈或多个指令。所述阶段可以是以分钟、小时、周与月为单位的任何时间范围。

通过一些实施例，允许用户操作所述计算机的姿态是在一定义的方向上的一般观看(眼睛姿态)，而不是用户正在注视一特定位置的姿态(眼睛凝视)。例如，即使用户没有将视线聚焦在特定的实体或虚拟物件上，一平常的左凝视也可以用作一姿态。

通常，本揭露的所述系统的操作独立于所述照明条件。

通过一些实施例，姿态分类是基于采用机器学习技术。具体地，所述机器学习模型可以是由多个线性变换层与随后的逐元件非线性构成的一神经网络模型。所述分类可以包括一单个用户或跨用户的眼睛表征。通过一些实施例，所述分类估计眼睛运动的所述范围。

通过一个实施例，所述系统允许使用所述系统的所述个体(在此为“用户”)浏览呈现给用户的一菜单。所述菜单的所述呈现可以是一可听见的呈现(通过一扬声器、耳机、头戴式耳机、植入的可听装置等)或一可视的呈现(通过一显示器或一屏幕、所述个体前面的一小显示器等)。所述菜单可以是分层的，这意味着一菜单项目的一选择可以打开其他较低层次可选的选项。举例来说，一更高层次的可选菜单项目可以允许用户选择几个字母组之一(例如，所述字母A到F组成的一组，所述字母G到M组成的所述第二组等)，并且一旦被选择，向用户呈现选择另一组字母的能力(例如，如果选择所述第一组字母，则用户可能被给定选择A，B，C或D-F之间的所述选项，然后如果选择D-F，则向用户呈现供他选择的所述单个字母)。然而，所述选择也可以是提示驱动的，即，可以提示用户针对一特定选择在特定方向上移动眼睛。

通过一些实施例，可以针对特定需要定制所述菜单项目或其部分。这可以在本地实现，例如，通过用户或看护者界面，或者也可以远程实现，例如在一远程服务器上。

所述菜单项目或其部分可以通过所述系统或所述控制单元来提出给用户。所述菜单项目或其部分也可以基于从环境接收的多个输入来向用户提议或呈现给用户。

在一些实施例中，所述控制单元接收与处理(例如通过自然语言处理)音频数据。例如，一旦另一个人问用户问题，例如看护者，所述控制单元可以接收与处理医生的言词并且基于其他人的言词的一上下文分析来提出一响应。本揭露的所述系统用于允许原本无法通信的瘫痪者与他们的环境进行通信，包括多个看护者、多个***设备，例如一警报系统、一视听系统、一计算机等。一个目标人群是ALS患者随着疾病的发展，丧失移动肢体或其他肌肉的能力以及说话与显示声音的能力。所述系统对于患有暂时性沟通障碍的个人，例如重症监护室中的患者，具有临时或永久性呼吸辅助的患者等也可能是有用的。

本揭露的实施例提供一种用于操作一计算机的控制系统，所述控制系统包括：一摄像机，配置为连续地拍摄一用户的眼睛与眼睑的其中一个或两者的多个图像以及生成代表所述图像的图像数据；以及一控制单元，与所述摄像机及与所述计算机进行数据通信。所述控制单元可操作为接收与处理所述图像数据并且将它们分类为多个姿态，所述多个姿态旨在模拟所述计算机的一类似操纵杆的控制。

如本文中所描述的所述术语类似操纵杆的控制是指姿态分类，包括跟踪所述瞳孔区域的所述位置。

在本揭露的上下文中的所述瞳孔区域，标识为指示所述瞳孔，是所述瞳孔或其任何部分。

通过一些实施例，基于一数据库来确定所述瞳孔区域的所述位置，所述数据库包括具有标记姿态的图像数据。从用户本身或任何其他用户或用户组可以获取所述图像数据。通过一些实施例，通过利用机器学习技术，例如考虑一给定图像数据对应于一特定姿态的所述可能性的一模型来确定基于所述标记数据库的所述瞳孔区域的所述位置。

通过一些实施例，可以基于所述瞳孔区域在一阈值图内的位置来确定所述瞳孔区域的所述位置，其中，每当所述瞳孔区域接触所述阈值图的一边界或与所述阈值图的一边界相切时，确定一特定位置。例如，当所述瞳孔区域接触所述阈值图的所述上边界时，所述图像数据分类为“上”姿态，或者当所述瞳孔区域未接触所述阈值图的任何边界时，所述图像数据分类为“直视”姿态。所述阈值图可以从一位置图导出，所述位置图包括在所述瞳孔区域的所述运动范围内的一区域。举一个例子，所述位置图定义为通过所述瞳孔区域的所述上、下、最左与最右位置定义的一矩形。在一些实施例中，所述阈值图覆盖由一边界限制的一区域，所述区域与所述位置图的所述中心相距至少20％、40％、60％、80％、90％、95％。所述阈值图通常距离所述位置图的所述中心至少80％。基于用户的图像数据或包括具有或不具有标记姿态的图像数据的任何数据库来获得所述位置图。可选地，所述位置图在一较大的兴趣区域(ROI)内，所述区域是基于眼睛或其周围的解剖特征定义的。

通过一些实施例，所述系统要求用户在其他姿态之间执行一直视姿态。

通过一些实施例，所述眨眼姿态识别为暗像素的一区域。

通过一些实施例，当所述瞳孔区域接触所述阈值图的一边界或与所述阈值图的一边界相切至少0.05、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、1、2、4、8、10时，将对一姿态进行分类。

通过一些实施例，所述摄像机是一红外摄像机。

另外，所述控制单元可以与用于检测其他生理测量值的一个或多个传感器连接，并且可操作为接收与处理由这种装置或传感器获取的生理信号并且将它们分类为计算机化命令。

例如，通过眼睛的移动(可以通过所述瞳孔相对于所述眼眶的所述位置进行跟踪)以及也可选择性地通过眼睑的眨眼，用户可以浏览可选的选项并且随意选择它们。这可以包括通过菜单项目的浏览与选择、超链接的浏览与选择等。根据一个特定的且非限制性的实施例，所述瞳孔的一定向移动或位置，例如所述瞳孔的向上位置可以使一屏幕上的一光标在向上方向移动，向右位置可以使所述光标在向右方向移动等等；或可选替地，不仅可以是一系统定义的方向，还可以是用户定义的一光标的所述移动方向。作为一非限制性实施例，用户的眨眼(或用户所定义的任何其他姿态或生理参数)可以启动所述摄像机操作，并且随后的眨眼可以允许用户浏览可选的选项并且通过这样的一个眨眼来选择一选项。根据另一示例，可以将所述菜单项目语音地输出给用户，并且当语音地输出期望的菜单项目时，用户眨眼并且选择所述期望的项目。根据另一个非限制性实施例，具有一有限能力的用户可以基于他的定义，使用一单个姿态来操作所述系统，例如仅“左”姿态。而且，作为另一示例性且非限制性的实施例，可以通过音频或视觉输出提示用户以在多个选项之间进行选择，例如，对于一个选择“向上”(即，向上凝视)，对于另一选择“向下”，等等。通过进一步的示例性与非限制性实施例，可以向用户呈现(例如，通过一音频读出)多个选项，从而当呈现特定的选择时，提示用户凝视在特定的或非特定的方向，在确定的时间内进行一系列的眨眼、合上眼睑等。例如针对用于书写文本的字母的一快速选择后者是有用的。

通过一些实施例，通过用户或看护者来定义所述姿态的类型、姿态的数量、所述姿态的持续时间以及所述对应的命令中的任何一个。

通过一些实施例，一系列的1、2、3或5次眨眼可以选择一“呼救”项目。

通过一些实施例，在多达30秒内，一系列多达10次眨眼来选择一个项目。

通过一些实施例，闭眼1、2、3、4、5、6、7、8、9、10、30秒可以使所述系统进入休息模式。

根据本揭露的实施例，所述控制单元可以配置为(i)接收与处理所述图像数据以识别瞳孔位置与眼睑运动中的至少一个并且将它们分类为多个姿态，所述姿态例如包括：瞳孔位置、瞳孔位置的序列以及眼睑眨眼的序列的一个或多个，并且生成姿态数据，以及(ii)利用所述姿态数据操作所述计算机。通过一个实施例，连接到所述控制系统的所述计算机操作一视觉或音频输出模块。所述输出模块可以允许用户与其他个体通信。在一些实施例中，所述音频输出模块是一骨传导助听器(bond conduction hearing aid)。

另外，所述控制单元可以配置为并且可操作为(i)接收与处理生理数据并且将它们分类为多个命令，所述命令包括例如任何电生理指标(例如通过脑电图(EEG)装置记录的)，体感、呼吸、声音、运动姿态或其任何组合，以及(ii)利用所述生理命令来操作所述计算机。通过一个实施例，连接到所述控制系统的所述计算机操作一视觉或音频输出模块。所述输出模块可以允许用户与其他个体通信。

例如，可以记录EEG信号，使得EEG命令在与一时间有关的菜单中启动一浏览，并且一旦所述浏览菜单到达所期望的菜单项目，用户就可以产生选择所述菜单项目的一附加EEG命令。根据另一个示例，EEG命令触发所述系统的所述启始。

本揭露的另一实施例提供一种控制单元，所述控制单元配置为与用于测量一生理参数的至少一传感器进行数据通信，并且与一计算机进行通信，所述控制单元可操作为接收与处理由所述至少一个传感器获取的生理数据并且将它们分类为多个命令，以及将对应的命令传送到所述计算机，从而控制所述计算机的操作。

本揭露的另一实施例提供一种基于眼睛跟踪的系统，包括一摄像机、一第一输出模块与一控制单元，通常是一计算机或包含处理器的单元。所述摄像机可操作成连续地拍摄用户的眼睛与眼睑其中一个或两者的多个图像并且生成代表所述图像的图像数据。所述控制单元与摄像机以及与第一输出模块进行数据通信；并且配置为(i)接收与处理所述图像数据以识别瞳孔位置与眼睑运动的至少一个，并且将它们分类为多个姿态，所述姿态包括瞳孔位置、瞳孔位置的序列以及眼睑眨眼的序列的一个或多个，以及生成姿态数据；(ii)操作一分层的用户可选的菜单项目，以允许用户通过所述姿态数据浏览且选择菜单项目，以及(iii)驱动所述第一输出模块向用户呈现所述菜单项目。可选地，所述控制单元还配置为与用于测量一生理参数的一传感器进行数据通信。所述控制单元可以进一步配置为(i)从所述传感器接收与处理生理数据并且将它们分类为多个命令，(ii)操作一分层的用户可选的菜单项目以允许用户通过所述命令浏览并且选择菜单项目，以及(iii)驱动所述第一输出模块向用户呈现所述菜单项目。所述第一输出模块配置为向用户提供所述菜单项目的视觉或音频呈现的一个或两者。在一些实施例中，所述音频呈现模块是一骨传导助听器。

由另一个实施例提供的是一种基于眼睛跟踪的系统，所述系统类似于在上一段中讨论的实施例的系统，包括一摄像机、一第一输出模块与一控制单元。所述摄像机可操作成连续拍摄用户的眼睛与眼睑中的其中一个或两者的图像并且生成代表所述图像的图像数据。所述控制单元与所述摄像机以及所述第一输出模块进行数据通信。它包括一数据处理器，所述数据处理器配置为与可操作为响应于从所述摄像机接收到的所述图像数据并且处理所述图像数据以识别瞳孔位置与眼睑运动的至少一个并且将它们分类为多个姿态，所述姿态包括瞳孔位置、瞳孔位置的序列、眼睑眨眼的序列的一个或多个，并生成姿态数据。它还包括一菜单生成器模块，所述菜单生成器模块配置为并且可操作为利用所述姿态数据来操作一分层的用户可选的菜单项目。所述系统还包括一第一致动器模块，所述第一致动器模块配置为驱动所述第一输出模块以经由所述菜单项目的视觉或音频呈现的一个或两者向用户呈现菜单项目，从而允许用户浏览并且选择菜单项目。

可选地，所述控制单元与用于测量一生理参数的一传感器进行数据通信，它包括一数据处理器，所述数据处理器配置为并且可操作为响应于从所述传感器接收到的所述生理数据并且处理所述生理数据以将它们分类为多个命令。

所述姿态可包括所述瞳孔的直视、中心、右、左、上与下位置及眨眼。可选地，所述姿态可以包括两次或更多次眼睑眨眼的序列。例如，所述瞳孔的所述正确位置可以分类为“输入”命令。

所述姿态可以选自本领域中已知的眼睛姿态任何一种或组合，例如，所述姿态可以是一注视(固定凝视)或一系列注视及其持续时间、其多个凝视点及多个群集及多种分布。

所述系统(以上实施例中的任何一个)可操作成驱动一输出模块，所述输出模块配置为输出一警报信号(通常是一音频与视觉信号的一个或两者)。

所述摄像机可以安装在可附接到用户头部的支架上。但是，所述摄像机也可以安装在用户附近的框架上，例如床的框架、承载医疗器械的框架等。

所述菜单项目可以用一分层方式安排。例如，它们可以安排在一连续的分层层中，使得一第一菜单项目的一选择允许用户随后在从属于所述第一菜单项目的一层处来选择第二菜单项目。每个这样的“层”通常可以包括多达5个可选的项目-通过所述瞳孔的中心、右、左、上与下位置是可选择的。

作为补充或替代，可以通过基于提示的一个系统来选择菜单项目。例如，通过一视觉或一音频提示来指示用户注视某个方向以选择一菜单项目，注视另一个方向以选择一第二项目等等。

通过一些实施例，所述菜单项目是用户可定义的。

所述系统可以包括用于一第二输出模块的一驱动器。这样一个模块可以是配置为生成一警报的模块；或配置为操作多个***系统的模块，例如一虚拟助手、一智能家居装置、一国内气候控制系统、一电视机、一音乐播放器、通信装置、一轮椅、一平板电脑、一智能手机、一游戏配件等。所述系统可以配置为通过系统定义或用户定义的特定姿态像一第二个输出模块这样运行；例如一定义的眨眼顺序。

所述生理测量或生理数据是指可以从用户的身体获取的任何信号，包括从用户的神经、体感、声音与呼吸系统以及选择的肌肉的运动来获取的任何信号。

这种用于测量一生理参数的传感器可以是任何传感器实用程序或一测量装置、一麦克风、肺活量计、皮肤电反应(GSR)装置、触摸或压力探针、皮肤电反应探针(皮肤电导探针)、脑电图(EEG)装置、脑电图(ECoG)装置、肌电图(EMG)、眼电图(EOG)与心电图。所述传感器记录的所述数据将分类为多个命令。

所述命令可以是任何身体部位的运动(例如，手指敲击或按下响应按钮)，呼吸模式、嗅探、声音输出、肌肉张力变化、皮肤电导或神经输出的任何一个或组合。

例如所述神经输出可以是一测量的诱发反应电位或与所述测量数据的时间或频率有关的任何标记。

本揭露的所述系统的用户可以是任何需要的个人，例如ALS患者、重症监护室患者、锁定患者、没有口头沟通能力的患者。

附图说明

为了更好地理解本文揭露的主题并且举例说明如何在实践中进行实施，现在将仅通过非限制性示例的方式，参考附图来描述实施例，其中：

图1A-1B是根据本揭露的实施例的系统的示意性方框图。

图2是根据本揭露的另一实施例的系统的示意方框图。

图3A-3B是根据本揭露的一方面的控制单元的示意性方框图。

图4是根据本揭露的实施例的菜单层的示意性视觉描绘。

图5-6是根据本揭露的另一实施例的菜单层的示意性视觉描绘。

图7是根据本揭露的实施例的用于选择的基于时间的提示菜单的示意图。

图8是基于眼睛跟踪的系统的一个实施例的示意图，所述系统包括摄像机、骨传导扬声器及控制单元。

图9是类似操纵杆姿态分类的一个实施例的示意图，其中，基于阈值图(最里面的正方形)、位置图(中间的正方形)及ROI图(最外面的正方形)来确定瞳孔区域的位置。

图10是在单姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。

图11是在两个姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。

图12是在三个姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。

图13是在四个姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。

图14是在五个姿态操作模式下在眼睛姿态与命令之间进行映射的一个实施例的图示。

具体实施方式

首先参考图1A-1B，图1A-1B根据本揭露的实施例说明系统的示意性方框图。基于所述眼睛跟踪的系统100包括一摄像机102，所述摄像机102安装在一框架上或安置在附接到一用户头部的一支架上。所述摄像机102可操作为连续地拍摄用户的眼睛与眼睑的一个或两者的多个图像并且生成代表所述图像的图像数据。所述系统100包括一控制单元104，所述控制单元104通常通过一致动器模块108与所述摄像机102及所述第一输出模块106进行数据通信，所述致动器模块108驱动所述第一输出模块106。输出模块106可以是一视觉显示器，例如，数字屏幕或一可听设备，例如扬声器、耳机等。

控制单元104还包括一处理器110，所述处理器110配置为接收与处理来自所述摄像机102的图像数据，并且识别瞳孔位置与眼睑运动中的至少一个，并且将它们分类为多种姿态并且生成姿态数据，所述姿态包括瞳孔位置、瞳孔位置的序列以及眼睑眨眼的序列。所述处理器110还配置为驱动所述菜单生成器112，所述菜单生成器112通过致动器模块108的所述动作来向用户驱动所述菜单的呈现。这允许用户通过所述姿态数据浏览并且选择菜单项目。

图1B显出本揭露的系统的方框图，其中所述系统与用于测量一生理参数115的一传感器(例如EEG、肌电图(EMG)或头部运动测量装置)进行通信。具体地，所述装置115与所述控制单元104进行数据通信，所述控制单元104配置为基于用户的检测的生理信号来传递命令。可以在所述系统100中分析所述生理信号并且转换为多个命令，例如启动所述系统、开始浏览流程、选择菜单项目等。

在图2-3中，与图1A-1B的元件相似的元件通过偏移100赋予相同的附图标记。例如，图2中的元件204起到与图1A-1B中的元件104相同的功能。因此，读者可以参考图1A-1B的描述来了解其含义及功能。

图2的系统与图1A-1B的系统的不同之处在于，前者还包括一第二制动器模块214，所述第二制动器模块214可操作来驱动一第二输出单元216，所述第二输出单元216可以是所述系统的一部分，或是一外部元件，例如一警报装置、一显示屏、用户附近用于操作装置的一实用程序(窗帘、音乐播放器、灯光等)。换句话说，所述第二输出单元216通过有线(例如红外线)或无线连接到其他设备、与用户周围环境的一云服务器连接或通信装置连接来建立所述系统到所述系统环境的所述连接。例如，所述系统可以无线连接，例如无线连接，例如通过Wi-Fi或蓝牙连接到智能家居装置，所述智能家居装置使用系统200通过用户的姿态是可操作的。所述系统可配置为通过特定的定义的姿态或通过一可选菜单项目来驱动所述第二输出单元。这样的特定姿态可以是预定义的或用户可选择的。

现在参考图3，图3根据本揭露的两个方面说明控制单元的示意性方框图。所述控制单元304包括一数据输入实用程序303，所述数据输入实用程序303与拍摄所述眼睛302(图3A)的连续图像的摄像机，或者与用于测量一生理参数301的一传感器进行通信(图3B)。所述数据输入实用程序303接收到的所述数据通过所述处理器310处理，并且处理后的数据通过所述分类器305分类为多个姿态。然后，所述分类的姿态通过一数据通信模块309被发送到与所述控制单元进行数据通信的一计算机307，从而控制所述计算机307的操作。

现在参考图4，图4是根据本揭露的实施例的菜单层的示意性视觉描绘。可以理解，所述菜单层具有几个菜单项目，每个菜单项目通过一不同的姿态来选择。例如，一上姿态UG，即所述瞳孔的一向上位置，将被驱动播放音乐的一个选择。因此，左姿态LG将被驱动与看护者菜单通信，中姿态CG看电视，右姿态RG听书，而下姿态DG将打开免费短信菜单。通过无线连接启用一些菜单项目，例如通过蓝牙或Wi-Fi网络在电视语系统之间启用，而其他菜单项目通过连接到一云服务器，例如在听书或拨放音乐的情况下来启用。可以直接从所述云服务器完成播放音乐或听书，而无需将所述数据存储在本地存储器中。应当注意，与所述云的所述数据交换可以在两种方式上起作用，即，可以从所述云下载数据到所述系统，并且可以从所述系统上传数据到所述云。

在菜单的任何时间及任何层中，当用户将进行一预定义的姿态序列PGS时，它将触发一预定义的动作，例如为护理人员输出一紧急警报，例如通过一扬声器发出的语音警报，向一移动装置发送文字警报，提醒一医疗中心或其任何组合。可以根据用户的意愿来配置所述预定义的姿态序列PGS，例如它可以是3或4次眨眼的序列、上姿态UG、下姿态DG、上姿态UG及下姿态DG的序列，或任何其他期望的序列。

图5-7是根据本揭露的另一实施例的菜单层的示意性视觉描绘，例示一种通过免费短信方式选择项目菜单的独特方法。所述字母聚集在多个字母组中，例如在每组中4、5或6个字母。用户可以通过在正确的时机做出一特定姿态来在组之间浏览以及选择一组中的一特定字母。在图5中，所述系统正在呈现字母A，B，C，D，E这组。用户可以做出一上姿态UG并且浏览到这组V，W，X，Y，Z或下姿态DG来浏览这组F，G，H，I，J。可以做出其他姿态来触发其他命令，例如使用一退格键来删除一字母或返回上一级菜单，并且仅以示例方式显示。应当注意，这些命令可以通过任何其他合适的命令代替或可以移除。图6举例说明在图5的所述菜单层中一下姿态DG的用户选择，所述下姿态DG触发包括字母F，G，H，I，J的这组的一菜单项目。所述系统可以触发该组中的所述字母的一自动输出会话，例如通过扬声器或耳机来宣告每个字母的所述名称，在时间上不同于图7举例说明的其他字母。可以理解的是，在一时间t1宣告所述字母F，在所述时间t2宣告字母G，以此类推。当做出一特定预定义的姿态PG时，例如眨眼一次或两次，来选择一个字母。例如，如果在时间t1<t<t2时做出所述预定义姿态PG，则所述字母F将被选择，并且如果在时间t3<t<t4中做出所述预定义姿态PG，则所述字母H将被选择。在所述系统的另一实施例中，通过一预定义姿态PG根据用户请求来触发该组中的所述字母的所述输出会话。在使用所述系统的受试者缺乏执行某些所述姿态，例如左、右、上或下姿态的能力的情况下，这可能是相关的。在这种情况下，所述系统中的所述浏览可以通过一第一预定义姿态PG1来启动，并且可以通过一第二预定义姿态PG2来选择项目菜单，所述第一及所述第二预定义姿态可以不同或相同。例如，当所述系统是图6的状态时，用户可以闭上眼睛以触发所述组中的所述字母的所述输出会话，并且当听到所述期望的字母时，用户可以睁开眼睛以选择所述字母。应当理解，通过做出上或下姿态UG、DG，所述系统将浏览到其他字母组，如图6所示。

为了改善所述姿态的分类，通过一机器/深度学习算法可以训练所述系统。首先，所述系统接收带有标记的姿态图像(眨眼、中心、向上、向下、向右、向左)以收集初始数据集。然后，所述系统通过一组训练图像来进行训练。在此培训课程中，所述系统，即所述系统的所述神经网络学习如何识别所述标记图像中的每个类别。当本模型出错时，它会自行纠正并且改进。当所述网络的所述训练课程结束时，通过所述系统来接收与处理一测试图像集，以检查所述新的分类模型。所述系统做出的所述分类与所述测试集的所述真实值(ground-truth)标签进行比较，并且可以计算出所述正确分类的数量，以及可以获得用来量化此类网络的所述性能的精度、召回率与f测度的数值。

图8提供基于一辅助通信眼睛追踪系统的示意图。所述系统包括安装在一轻巧的头部支架(800,通过家庭成员、看护者或用户自己配戴在用户的头部上)上的一摄像机(802)，一骨传导扬声器/耳机(804)及一控制单元(未显示)。

在通过本申请的发明人进行的临床试验中，证明在简短的几分钟的试验后能够舒适地控制所述系统的患者。作为下面表1的非限制性示例，在以色列拉姆贝姆医院进行的一项临床试验中，学***均1.12分钟的训练时间，学***均6.44分钟的培训时间，以及使用移动屏幕通过字母通信进行免费短信需要11.08分钟的平均培训时间。

表1

在图9中说明类似操纵杆的姿态分类的非限制性实施例。所述分类基于发现所述瞳孔区域的所述位置。它是基于一阈值图(最里面的正方形)获得的。具体地，每当所述瞳孔区域接触所述阈值图的一边界或与所述阈值图的一边界相切时就确定一特定位置。例如，当所述瞳孔区域接触所述阈值图的所述上边界时，所述图像数据将分类为一“上”姿态。所述阈值图可以从一位置图(中间的正方形)来导出，例如距所述位置图的所述中心至少80％，并且可选地，所述位置图在一较大的兴趣区域(ROI)内，所述兴趣区域根据所述眼睛或其周围的解剖特征来定义的。

图10-14提供在一单个、两个、三个、四与五个姿态操作模式中的眼睛姿态与命令之间的映射的几个实施例的说明。根据图10中所说明的映射，用户可以通过执行一眨眼姿态来启动一扫描会话并且选择项目。根据图11所说明的映射，用户可以通过执行一眨眼姿态来启动一扫描会话并且选择项目，以及通过执行一“右”姿态来选择一后退命令。根据图12所说明的映射，用户可以用两个姿态(“右”与“左”)来回移动菜单项目，并且通过执行医第三眨眼姿态来选择项目。根据图13所说明的映射，用户可以用三个姿态(“右”、“左”、“上”)来回移动菜单项目，并通过执行一眨眼姿态来选择项目。根据图14所说明的映射，用户可以用四个姿态(“右”、“左”、“上”、“下”)来回移动菜单项目，并且通过执行一眨眼姿态来选择项目。