阅读说明：本技术 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口 (Brain-computer interface with adaptation for high speed, accurate and intuitive user interaction ) 是由 R·阿尔塞德 D·帕登 J·简茨 J·哈梅特 J·小莫里斯 A·珀瑞拉 于 2018-11-13 设计创作，主要内容包括：本文描述的实施例涉及在大脑-计算机接口的实现中使用的系统、设备和方法,大脑-计算机接口集成了实时眼睛运动跟踪与大脑活动跟踪,以呈现和更新被策略性地设计用于人机交互的高速和精度的用户界面。本文描述的实施例还涉及具有特定用户界面适配以使得能够对应用和/或机器进行高速、直观和准确的用户操纵的硬件不可知的大脑-计算机接口的实现。(Embodiments described herein relate to systems, devices, and methods for use in the implementation of a brain-computer interface that integrates real-time eye movement tracking with brain activity tracking to present and update a high-speed and accurate user interface that is strategically designed for human-computer interaction. Embodiments described herein also relate to the implementation of a hardware-agnostic brain-computer interface with specific user interface adaptations to enable high-speed, intuitive, and accurate user manipulation of applications and/or machines.)

具有对于高速、精确和直观的用户交互的适配的大脑-计算机 接口

相关申请的交叉引用

本申请要求于2017年11月13日提交的标题为“Brain-Computer Interface withAdaptations for High-Speed,Accurate,and Intuitive User Interactions”的美国临时专利申请序列No.62/585209的优先权和权益，其公开内容通过引用整体并入本文。

技术领域

本文所述的实施例涉及在大脑-计算机接口的实现中使用的系统、设备和方法，该大脑-计算机接口使用大脑活动跟踪来呈现和更新被策略性地设计用于人机交互的高速度和精度的用户接口(UI)或UX，以传达对机器的用户操纵。本文描述的实施例还涉及硬件不可知的大脑-计算机接口的实现，该大脑-计算机接口集成了眼睛运动跟踪和神经活动的分析集成以传达对机器的用户操纵。

背景技术

大脑-计算机接口(BCI)是一种硬件和软件通信系统，它允许大脑活动单独利用连线的大脑与外部设备之间的直接通信路径来控制计算机或外部设备。BCI主要被设计为一种通过解释大脑信号来直接提供对于操作机器和应用的访问的辅助技术。BCI发展的主要目标之一是为因神经系统神经肌肉紊乱(诸如肌萎缩性侧索硬化症、脑干中风或脊髓损伤)而完全瘫痪或“锁定”的严重残疾人士提供交流能力，对于这些严重残疾人士来说，与他人进行有效的交流可能非常困难。

大脑-计算机接口的一些已知实现包括拼写器，如Farwell和Donchin所设计的拼写器。在这个拼写器中，字母表中的26个字母以及其它几个符号和命令按6×6矩阵显示在屏幕上，其中行和列随机闪烁。用户将注意力集中在屏幕上，并连续地专注于要书写的字符，同时监视大脑的神经反应以寻找特征神经大脑信号。一旦检测到特征大脑信号，就允许系统识别期望的符号。Farwell-Donchin拼写器允许人们以每分钟2个字符的速度进行拼写。

BCI系统可以被设计为帮助和增强甚至有身体能力的人来操作计算机或其它数据处理机器和/或软件应用，而无需常规的输入或输出接口，诸如鼠标和键盘。与常规输入方法相比，BCI还可以提供与计算机进行更直观和自然交互的界面。此外，BCI也可以被开发为服务于许多其它功能，包括增强、修复以及映射和研究人类和动物的认知和/或感觉运动系统及其功能。一些BCI应用包括文字处理器、经适配的Web浏览器、轮椅或神经假肢的大脑控制以及游戏等。

发明内容

本文针对硬件不可知的、集成的动眼(oculomotor)-神经混合大脑-计算机接口(BCI)平台的各种实施例描述了系统、设备和方法，以跟踪眼睛运动和大脑活动，从而传达用户注视或注意的实时定位以及对期望动作的选择/激活。本公开提出了一种集成的混合BCI系统，以解决对以高速度和精度操作的大脑-计算机接口的需求。

附图说明

图1是根据实施例的混合大脑-计算机接口系统的示意图。

图2示出了使用混合BCI设备的实施例的指向控制特征和动作控制特征以选择/取消选择刺激图标的示例实现中所涉及的步骤序列的图示。

图3A和3B示出了用户交互之前和之后的UI。图3C示出了根据实施例的安装有基于视频的眼睛跟踪器和神经记录头戴式装置(headset)的用户。

图3D和3E示出了由图3C中所示的基于视频的眼睛跟踪器和神经记录头戴式装置获取的示例信号。

图4示出了根据实施例的混合大脑-计算机接口设备的操作的示例处理。

图5是根据实施例的混合大脑-计算机接口设备的示意图。

图6示出了根据实施例的混合BCI系统的示例UI，其图示了动态刺激的识别和跟踪。

图7示出了根据实施例的在混合BCI系统的UI中的示例导航控制的图示。

图8A示出了根据实施例的在由混合BCI系统捕获的真实世界图像上执行的图像分割的示例。

图8B示出了根据实施例的示例UI，其填充有来自处理如图8A所示的真实世界图像的基于上下文的控制项。

图9A-9C示出了根据实施例的混合BCI系统的示例UI，其图示了焦点点击适配。

图10A图示了根据实施例的向用户呈现一步选择处理的示例混合BCI系统的示例UI。

图10B图示了根据实施例的向用户呈现实现预先选择池化适配的两步选择处理的UI的另一种模式。

图11A-11D示出了根据实施例的混合BCI系统的示例UI，其图示了可拖动标记适配的实现。

图12A-12H示出了根据实施例的混合BCI系统的UI的图示，其实现可拖动粘性标记的示例使用。

图13A示出了根据实施例的实现对于用户交互的适配的示例UI。

图13B-13D图示了根据实施例的实现选择激活的UI适配的机制。

具体实施方式

本文所述的实施例涉及在混合大脑-计算机接口(BCI)的实现中使用的系统、设备和方法，该混合大脑-计算机接口集成了实时的眼睛运动跟踪和神经活动大脑活动跟踪来呈现和更新被策略性地设计用于人机交互的高速度和精度的UI。本文描述的实施例还涉及硬件不可知的大脑-计算机接口的实现，该大脑-计算机接口使用眼睛运动跟踪和神经活动的在线分析来传达对机器的用户操纵。

为了使BCI技术更适合患者、对普通大众有用，并用于控制真实世界中的任务，与当前的实时相比，必须提高信息传送速率以满足自然的交互速度、必须降低错误率并且必须最小化交互接口的复杂性。此外，BCI应用要求用户承担高认知负担，因此必须改进UI，以从安静的实验室环境走出到真实世界。为了将BCI设备和应用配置得更简单且更直观，在实现大脑机器接口时需要改进的设备和技术，这些大脑机器接口以高速和高精度操作，以能够通过自然直观的处理启用用户传达的动作选择。

混合BCI系统

如本文所述，BCI是一种硬件和软件通信系统，其允许大脑活动单独控制计算机或外部设备。混合BCI系统包括通过界面的刺激显示、用于在界面上定位用户的焦点的硬件装置、用于记录和处理大脑活动的设备以及用于实行对界面的控制的装置，对界面的控制可以转化为对用户环境的控制。这些标准特征可以表征为(1)指向控制特征、(2)动作控制特征和(3)UI特征。指向控制特征可以类似于常规的指向设备，如鼠标指针，它允许用户缩小到一小组一个或多个操纵器以进行控制。动作控制特征可以类似于选择设备，例如鼠标单击或键盘上的击键，它允许用户实现动作以实行对UI的改变以及进而对连接的机器的改变。混合BCI系统中的UI特征可以类似于操作系统，它创建并维护实现指向控制特征和动作控制特征的环境，以及如提供选择菜单、导航控件等其它特征。

由动作控制特征执行的动作可以是许多动作之一，并且可以被适配以适合被设计为控制各种设备或机器的UI的各种版本。仅举几例，动作可以是激活或去激活、UI的连续或半连续改变(例如，滚动、悬停、捏合、缩放、倾斜、旋转、滑动等)。动作还可以通过离散的开始和停止(例如，突出显示等)对UI进行剧烈改变。经由UI的动作控制的其它一些示例可以包括虚拟键盘控制、菜单导航、用于放置和取消放置物体或项的动作、移动物体或项的动作、扩展和/或缩小物体、第一人称观察者或玩家的移动或导航、改变观察者的视角以及如抓取、拾取或悬停之类的动作。动作控制的这些方面中的一些在下面公开。

在本文描述的混合BCI系统的一些实施例中，指向控制特征和用于识别用户的焦点的方法可以包括眼睛跟踪设备。在一些实施例中，用于识别用户的意图的动作控制特征和方法可以包括监视大脑中的神经信号的任何合适形式。这可以包括记录大脑活动的任何形式，例如，大脑成像方法(如电、光或磁成像)。例如，在一些实施例中，混合BCI系统可以使用记录通过将用户的大脑信号转换成BCI命令的放大器和处理器引导的大脑活动神经信号的电极。在一些实施例中，混合BCI系统可以实现复杂的UI，这些UI实现基于大脑活动的机器控制。如下所述，可以实现对这些特征中的一个或多个的特定适配，以实现与混合BCI系统的人类交互的高速度和精度。例如，在一些实施例中，混合BCI系统可以与2017年8月25日提交的标题为“Brain-computer interface with high-speed eye tracking features”的美国专利申请No.62/549253(“'253申请”)；要求'253申请的优先权的、2018年8月22日提交的标题为“Brain-computer interface with high-speed eye tracking features”的国际专利申请No.PCT/US2018/047598；2018年9月21日提交的标题为“Brain-computerinterface using high-speed and accurate tracking of user interactions”的美国专利申请No.16/138791中描述的系统基本相似。这些申请中的每一个的公开内容都通过引用整体并入本文。

图1是根据实施例的混合大脑-计算机接口系统100的示意图。示例混合大脑-计算机接口系统100(在本文中也称为“混合BCI系统”或“BCI系统”或“系统”)是包括眼睛跟踪器102(例如，基于视频的眼睛跟踪器)和用于记录用户大脑的一个或多个控制信号的神经记录头戴式装置104的集成式动眼神经混合BCI系统。混合BCI系统还可以可选地包括肌电图仪(EMG)，以记录EMG信号，该EMG可以与动眼神经混合集成。基于视频的眼睛跟踪器102可以被配置为捕获、记录和传输用户102的眼睛的动眼响应，该动眼响应指示任何时候的用户的焦点(即，指向控制特征)。神经记录头戴式装置104可以被配置为捕获、记录和传输来自一个或多个大脑区域的神经控制信号，这些神经控制信号指示用户的认知意图(即，动作控制特征)。神经控制信号可以是通过任何合适方法记录的任何形式的神经活动，例如，脑电图(EEG)、脑皮层电图(ECoG)或磁脑电图(MEG)等。神经活动的示例形式包括事件相关的电位(ERP)、运动想象、稳态视觉诱发电位(SSVEP)、暂态视觉诱发电位(TVEP)、大脑状态命令、视觉诱发电位(VEP)、像P300诱发电位这样的诱发电位、感觉诱发电位、运动诱发电位、感觉运动节律(诸如mu节律或beta节律)、事件相关的去同步(ERD)、事件相关的同步(ERS)、慢皮质电位(SCP)等。示例混合BCI系统100还包括大脑-计算机接口设备110，以及可选地视听显示器106。

在混合BCI系统100的一些实施例中，所收集的神经和动眼数据可以被传送到大脑-计算机接口设备110，大脑-计算机接口设备110将信号与关于呈现了什么刺激的数据一起作为整体处理。利用组合的信息，大脑-计算机接口设备110可以基于统计模型检测有关信号特征，以预测用户的意图。然后，可以经由例如通过显示器106呈现的UI将这个预测的意图传达给用户，并用于实现UI以及任何连接的可控制机器中的改变。混合BCI系统100的一些实施例还可以包括其它外围传感器和致动器(图1中未示出)，以收集关于通过其它模态(如声音、触摸、朝向等)想到的用户行为的数据，并呈现出丰富的多模态UX。

二维和三维空间中的眼睛跟踪–指向控制特征

在一些实施例中，基于视频的眼睛跟踪器102可以用于通过在二维或三维空间中快速跟踪用户的眼睛运动来确定用户在他们的视野中看向哪里。例如，假设用户具有对其眼睛运动的自愿控制，那么基于视频的眼睛跟踪器102可以被用于确定他们的每只眼睛“指向”视野中的哪个子空间。换句话说，基于视频的眼睛跟踪器102可以将用户的眼睛运动轨迹用作指向控制特征，从而揭示关于受试者的意图和行为的重要信息。在一些实施例中，可以在BCI系统100中有效地使用他们的注意力集中在视觉空间中的什么地方、他们专注于什么刺激或者他们响应什么刺激的方面。通过同时跟踪两只眼睛相对于彼此的移动轨迹，基于视频的眼睛跟踪器102还可以记录用户的聚焦深度，从而启用在三维空间中的指向控制。

在一些实施例中，基于视频的眼睛跟踪器102依靠使用头戴式眼睛跟踪相机对用户的眼睛成像来跟踪用户的瞳孔和照明源的第一表面角膜反射(CR)。这两个特征之间的位置差异可以被用于确定观察者的头部眼睛朝向。可从SenseMotoric Instruments、TobiiEye Tracking和Pupil-labs等其它商业供应商获得一些可用作基于视频的眼睛跟踪器102的示例头戴式眼睛跟踪器。在一些实施例中，基于视频的眼睛跟踪器102可以包括一个或多个照亮用户的眼睛的照明源。照明源可以发射任何合适的波长的光并安装在任何合适的位置。可以通过有线或无线通信连接照明源，以便于功能控制和数据传输等。

基于视频的眼睛跟踪器102可以包括左眼相机和右眼相机，该左眼相机和右眼相机被配置为同时成像来自每只眼睛的一个或多个照明源的瞳孔和角膜反射。相机可以彼此连接，并且可以通过有线或无线连接连接到外部设备，如图1中所示的大脑-计算机接口(BCI)设备110。基于视频的眼睛跟踪器还可以包括附加的场景相机，以捕获用户的视野。来自场景相机的信号也可以通过有线或无线通信方法中继到外部设备，如BCI设备110。

在一些实施例中，基于视频的眼睛跟踪器102可以使用被虹膜最佳地反射并且人类不可见的近红外(IR)照明源，因此它不会打扰或分散用户的注意力。强大的IR反射率可以产生高对比度的图像，这对瞳孔检测特别有利。在一些实施例中，基于视频的眼睛跟踪器102可以使用准直的远距离光源，由此平行光线从远处的照明源发射并且由光学部件准直。在一些实施例中，基于视频的眼睛跟踪器102可以使用非准直的近光源来照明眼睛，从而将照明源安装在距眼睛有限距离(通常为50mm或更小)处并且在源和眼睛之间不存在使光线准直的光学部件。

如本文所述，基于视频的眼睛跟踪器102利用从眼睛反射的光，该光由相机或为此目的专门设计的任何其它合适的光学传感器感测。然后分析感测到的光以从反射率的改变中提取眼睛转动。在一些实施例中，基于视频的眼睛跟踪器102可以使用角膜反射(即，第一Purkinje图像)和瞳孔的中心作为随时间推移进行跟踪的特征。在一些实施例中，基于视频的眼睛跟踪器102可以使用来自角膜的前部(即，第一Purkinje图像)和晶状体的后部(即，第四Purkinje图像)的反射作为特征来以更灵敏的方法跟踪眼睛运动。在一些实施例中，基于视频的眼睛跟踪器102可以通过对眼睛内部的特征(诸如例如视网膜血管)成像来使用甚至更灵敏的跟踪方法，并在眼睛转动时跟踪这些特征的运动。

在一些实施例中，基于视频的眼睛跟踪器102可以包括如下所述的集成显示器。与显示器106集成的基于视频的眼睛跟踪器102可以是被配置为观看虚拟现实空间的系统。在一些实施例中，与显示器106集成的基于视频的眼睛跟踪器102可以被配置为观看增强现实空间。换句话说，作用是作为添加有通过显示器106呈现的叠加UI的一副眼镜来观看真实世界。

大脑信号的神经记录-动作控制特征

混合BCI系统100的目的是通过从监视大脑活动中解释用户意图来主动控制外部机器。这个目的的核心是可以指示用户意图的大脑信号，从而使大脑信号成为动作控制特征。混合BCI系统100可以使用由用户执行的认知任务同时引起或与之相关的几个特征大脑信号中的一个或多个。这些大脑信号中的一些可以通过人们可以随意学习以调制它们的方式进行解码。使用被视为控制信号的这些信号可以使混合BCI系统100能够解释用户的意图。

电生理起源的神经活动是通过在神经元之间交换信息的电化学传递物产生的。神经元产生在神经元集团之内和之间流动的离子电流。种类繁多的电流通路可以被简化为偶极子，其通过树突状干线将电流从源(source)传导到汇(sink)。这些细胞内电流被称为一次电流。电荷的守恒要求一次电流被细胞外电流包围，细胞外电流被称为二次电流。

神经记录头戴式装置104可以被适配为按照任何合适的方法来记录神经活动。神经活动可以直接通过电气监视一次电流或者通过电气记录二次电流来记录。此外，神经活动也可以通过其它方法来监视，如光学成像(例如，功能磁共振成像、fMRI)，通过记录由一次电流引起的光学变化。可以用于记录大脑神经活动的其它方法包括脑电图(EEG)、硬膜外和硬脑膜下皮层电图(ECoG)、功能近红外成像和其它类似的本征信号成像方法、磁脑图(MEG)、多电极记录、单神经元皮层内记录等。

神经活动形式的各种签名大脑信号(signature brain signal)可以用作用于实现动作控制特征的控制信号。时间上的神经活动的一些示例包括事件相关电位(ERP)、运动想象、稳态视觉诱发电位(SSVEP)、暂态视觉诱发电位(TVEP)、大脑状态命令、视觉诱发电位(VEP)、诸如P300诱发电位之类的诱发电位、感觉诱发电位、运动诱发电位、感觉运动节律(诸如mu节律或beta节律)、事件相关的去同步(ERD)、事件相关的同步(ERS)、慢皮质电位(SCP)等，以及其它尚未发现的作为各种认知或感觉运动任务的基础的签名活动电位。神经活动也可以是频域。其中的一些示例包括感觉运动节律、事件相关的频谱扰动(ERSP)、特定信号频带(如Theta、Gamma或Mu节律等)。

如本文所述，神经记录头戴式装置104可以记录神经活动信号，以通过记录阶段收集关于用户意图的信息，该记录阶段测量大脑活动并将信息转化为易控制的电信号，电信号可以被转换成命令。在一些实施例中，神经记录头戴式装置104可以被配置为通过脑电图(EEG)来记录电生理活动，脑电图具有高时间分辨率、建立和维护的低成本、高便携性并且对用户无创。神经记录头戴式装置104可以包括具有传感器的一组电极，传感器从不同的大脑区域获取脑电图信号。这些传感器可以测量由神经元中的树突突触刺激期间电流流动所引起的电信号，从而中继二次电流的影响。当放置在用户的头皮上时，神经信号可以通过适当地布置在期望的大脑区域上的神经记录头戴式装置104中的电极来记录。示例性神经记录耳机可以从如Biosemi、Wearable Sensing和G.Tec等商业供应商处获得。

在一些实施例中，神经记录头戴式装置104可以包括电极、放大器、A/D转换器和记录设备。在一些实施例中，神经记录头戴式装置104上的电极可以从头皮获取信号，并且放大器可以放大模拟信号以扩大神经信号的振幅。神经记录头戴式装置104可以被配置为具有适当数量的信号获取通道以匹配电极的数量。在一些实施例中，布置在神经记录头戴式装置104中的一个或多个电极可以连接到如放大器、A/D转换器和用于存储来自每个电极的信号的一个或多个记录设备的部件。在一些实施例中，这些部件可以被容纳在神经记录头戴式装置104中。在一些实施例中，在神经记录头戴式装置104中可以仅执行即时的信号放大，并且可以在将信号传送到B-C集成设备110之后执行如A/D转换和记录的其它处理。来自神经记录头戴式装置104的信号传送可以通过有线或无线通信信道来配置。

在一些实施例中，基于由美国脑电图学会标准化的普遍遵循的国际10-20系统，神经记录头戴式装置104上的电极可以被布置为放置在头皮上。10-20系统使用头部上的两个参考点来定义电极位置。这些参考点之一是鼻根，它位于鼻子的顶部，与眼睛处于同一水平。另一个参考点是枕骨隆突，它位于头骨底部的骨块中。横向平面和中间平面将头骨从这两个点分开。在一些其它实施例中，神经记录头戴式装置104上的电极可以按照任何其它合适的系统布置。例如10-5系统或自定义的电极放置系统。在一些实施例中，神经记录头戴式装置104上的电极可以对称地放置在头部的左侧和右侧。在其它实施例中，电极可以不对称地放置在头部的左侧和右侧。在其它实施例中，可以将电极放置在头部的特定部分中，例如，围绕头部的顶部、围绕头部的背面、围绕耳朵、围绕头部的侧面或其组合。

将神经信号测量为有源电极(也被称为信号电极)与参考电极之间随时间的电位差。在一些实施例中，可以使用被称为接地电极的第三电极来测量有源电极与参考电极之间的差分电压。在一些实施例中，神经记录头戴式装置104可以包括一个或多个有源电极、一个或多个参考电极以及一个接地电极。在一些实施例中，神经记录头戴式装置104可以包括少至七个有源电极。在一些实施例中，神经记录头戴式装置可以包括多达128个或256个有源电极。电极可以由氯化银(AgCl)或任何其它合适的材料制成。电极可以被配置为使得可以适当地调整电极-头皮接触阻抗，以记录精确的信号。在一些实施例中，神经记录头戴式装置104可以具有两个或更多个有源电极和少于16个有源电极，或者在另一个实施例中，少于12个有源电极，或者在另一个实施例中，少于8个有源电极。

跨用户头皮以非侵入方式记录的神经信号必须穿过头皮、头骨和许多其它层，这会使它们变得微弱且难以获取。神经信号也会受到在大脑内部或头皮外部生成的背景噪声的影响，这会影响从记录的信号中提取有意义的信息的能力。包括神经记录头戴式装置104的系统100的实施例可以结合多种适配以改善神经信号获取。例如，可以使用凝胶(即，导电凝胶)在皮肤和每个电极之间形成导电路径以减小阻抗。在一些实施例中，神经记录头戴式装置104可以包括不需要使用凝胶的“干”电极，其可以由其它材料制成，诸如钛和不锈钢。在一些实施例中，神经记录头戴式装置104可以包括具有预放大电路的干式有源电极，以适应非常高的电极/皮肤界面阻抗。在一些实施例中，神经记录头戴式装置104可以包括不具有任何有源电路的干式无源电极，但是可以链接到配置有超高输入阻抗的神经记录系统。电生物信号的振幅通常约为微伏的数量级。因此，信号对电子噪声非常灵敏。在一些实施例中，BCI系统100可以被设计为利用诸如电磁干扰屏蔽或针对共模信号的降低之类的适配来降低噪声的影响。

如本文所述，神经记录头戴式装置104可以记录神经活动信号以搜集关于用户意图的信息。神经活动可以是指示用户意图的任何形式的控制信号。一种示例控制信号可以采取所谓的运动想象信号的形式。运动想象信号是与用户经历运动想象的心理过程相关的神经活动信号。运动想象的心理过程涉及用户在其脑海中排练或模拟特定的动作。例如，用户可以在他们的脑海中想象或模拟指向手指并转动手腕的滑动动作。运动想象信号是例如在用户想象动作时通过神经记录头戴式装置104以电生理神经活动的形式记录的大脑信号。如下所述，运动想象信号的获取可以包括或可以不包括用户的实际运动。

对神经功能的多项研究表明，运动想象与运动控制(即，运动编程)的早期阶段所涉及的神经回路的特定激活有关。对在实际运动和想象的运动期间测量的神经活动的研究表明，至少在大脑区域的子集中，来自想象的移动的运动想象信号非常接近在实际移动期间诱发的神经信号。一些神经回路包括辅助运动区域、初级运动皮层、顶下皮质、基板神经节和小脑。在运动成像期间和在实际运动表现期间对心脏和呼吸活动的测量表明，心率和肺通气与想象的努力程度存在协变。因此，运动想象已经显示出可以激活类似于实际运动的计划执行的运动通路。

混合BCI系统100的一些实施例可以使用运动想象来实现动作控制特征。例如，混合BCI系统100可以被配置为接收经由神经记录头戴式装置104记录的神经活动信号，该神经记录头戴式装置104被适当地布置为从已知对运动想象信号有贡献的大脑区域收集神经活动数据。混合BCI系统100可以以经训练的方式或者以未经训练的方式使用，以便检测与用户想象的特定运动动作对应的运动想象信号。例如，用户可以通过执行运动想象以及实际移动来在训练阶段中排练，以训练混合BCI系统100识别用户的一个或多个想象手势，如滑动、捏合、缩放以及用户身体的其它简单或复杂的运动。混合BCI系统还可以使用由外围传感器108(如测角计和扭力计)搜集的信息，以帮助在训练或测试期间高度详细地识别手势。

在操作期间(有或没有训练)，特定手势的运动想象可以被配置为实现特定动作。例如，捏合手势的运动想象可以被配置为在UI中实现缩小动作。从神经记录头戴式装置获取的神经活动数据可以被分析以获取运动想象信号，并且一旦被适当地检测和分类，BCI设备110就可以在UI的期望部分上实现与检测到的姿势相关联的特定动作。例如，如果检测到与捏合手势对应的运动想象信号，那么UI可以实现指向控制特征，以识别UI中期望动作的部分，然后实现动作控制特征，即，对期望部分的缩小效果。

用户界面(UI)/用户体验(UX)的显示和呈现

如本文所述，混合BCI系统100中的UI用作用户(例如，用户的大脑、眼睛等)与BC接口设备110之间的通信链接，并且使用户能够集中精力和通过指向控制特征指向特定刺激，并使用动作控制特征选择或取消选择特定刺激。UI可以是经由显示器呈现的视觉刺激的二维图像的序列。UI也可以是多种模态下的刺激的丰富混合，一起形成也可以充当界面的可以被称为UX的东西。策略性设计的UX包括通过任何模态向用户呈现刺激的过程，一些示例包括视觉刺激、听觉刺激、触觉刺激、前庭刺激或其组合。在一些实施例中，可以在如图1中所示的显示器106的显示器上渲染呈现视觉刺激的UI。可以通过适当的外围致动器(图1中未示出)递送其它形式的刺激，该外围致动器也是混合BCI系统100的一部分。

在一些实施例中，显示器106可以是单独的、独立的视听显示单元，其可以与混合BCI系统100的其余部分连接并进行数据通信。即，配备有音频系统(例如，扬声器或耳机)的独立显示器(例如，液晶显示器)可以与混合BCI系统100的一个或多个其它部件(例如，BC接口设备110、基于视频的眼睛跟踪器102和神经记录头戴式装置104)进行双向通信。在一些实施例中，显示器106可以被集成到基于视频的眼睛跟踪器102中以成为眼镜区域的一部分。集成的基于视频的眼睛跟踪器102和显示器106可以被配置为以呈现在显示器106上的UI的形式观看虚拟现实空间。在一些实施例中，集成的基于视频的眼睛跟踪器102和显示器106可以被配置为使得显示器106在半透明的眼镜区域上，从而允许用户观看增强现实空间。即，用户可以通过半透明眼镜区域观看真实世界，该半透明眼镜区域也是向用户呈现他/她可以与之交互的UI的集成显示器106。

在非可视模态下操作的外围设备

在一些实施例中，混合BCI系统100可以包括若干在图1中示为可选单元(由虚线框指示)的外围致动器112和传感器108。一个或多个外围致动器112可以被配置为递送丰富的多模UX，并且一个或多个外围传感器108可以被配置为分别捕获来自用户和他/她的环境的多模输入。要么单独地，要么通过结合到其它设备(如基于视频的眼睛跟踪器102)中，这些外围致动器112和传感器108可以被适当地安装。例如，混合BCI系统100可以包括用于中继听觉刺激的耳机和用于捕获声音(如用户的语音命令)的麦克风。耳机(听觉传感器)和麦克风(听觉致动器)可以是通过有线或无线通道连接到混合系统100的独立设备。可替代地，它们可以被安装并与基于视频的眼睛跟踪器102或神经记录头戴式装置104集成在一起。类似地，混合传感器BCI系统100中可以包括如加速度计、测角计、扭力计之类的外围传感器，以记录人体运动。例如，测角仪可以被用于登记形成手势的肢体移动，加速度计可以被用于记录人体的移动。外围传感器还可以包括被配置为捕获用户的真实世界视野的视野相机。可以分析并使用由视野相机获取的信号来生成并向用户展示增强的或混合的现实体验，其具有通过UI叠加了可选择选项的真实世界图像。可以连接到混合BCI系统100的外围致动器可以包括触觉或运动学设备，其可以施加并产生如触摸和振动之类的力，以丰富所呈现的UX。

大脑-计算机接口设备

在一些实施例中，大脑-计算机接口设备(或BCI设备)110可以被配置为完成三个主要功能。首先，可以将BCI设备110配置为生成经策略性设计的UI或UX。例如，经策略性设计的UX可以用于培训阶段或测试阶段。在一些实施例中，UX可以被设计为虚拟现实环境和/或增强现实环境。在一些实施例中，可以针对诸如例如特定用户历史、反应时间、用户偏好等之类的特定需求来定制UI。BCI设备110可以在生成和更新UI/UX时考虑所有这些要求。第二，除了设计和生成UI/UX之外，BC接口设备110还可以被配置为接收指向控制信号(例如，来自基于视频的眼睛跟踪器102)和动作控制信号(例如，来自神经记录头戴式装置104)，然后将信号作为整体进行处理，以确定用户的意图。最后，BCI设备110可以被配置为通过(1)从神经信号中检测有意义的特征，以及(2)根据用户的意图对正指向的刺激实现改变来实现指向控制特征和动作控制特征。在一些实施例中，BCI设备110还可以连接到其它外围设备，例如，可以是混合BCI系统100的一部分的外围传感器和致动器，所述外围传感器和致动器以不同于如上所述的视觉模态的模态起作用。这样的外围传感器可以包括音频麦克风、触觉传感器、加速度计、测角计等、并且外围致动器可以包括音频扬声器、触觉刺激提供器等。

在一些实施例中，BCI设备110可以包括输入/输出单元140，该输入/输出单元140被配置为通过有线或无线通信信道接收信号并将信号发送到BCI设备110以及从BCI设备110发送到一个或多个外部设备。例如，输入/输出单元140可以通过一个或多个数据通信端口从基于视频的眼睛跟踪器102、神经记录头戴式装置104和可选的视听显示器106接收信号并将信号发送到这些设备。BCI设备110还可以被配置为能够连接到远程服务器(图1中未示出)并访问数据库或包含在远程服务器中的其它合适的信息。BCI设备110可以包括通信器180，该通信器被配置为处理适于要传送的数据的类型的合适的通信信道。在BCI设备110的其它部分当中，通信器180可以连接到I/O单元140，并且控制输入/输出单元140的功能。信号的传送也可以通过有线连接(如有线以太网、串行、FireWire或USB连接)进行，或通过任何合适的通信通道(如蓝牙、近场通信等)无线地进行。

在一些实施例中，BCI设备110中的输入/输出单元140的功能可以包括多个过程，如信号获取、信号预处理和/或信号增强等。所获取和/或预处理的信号可以被引导到BC接口设备110内的处理器120。在一些实施例中，处理器120及其子部件(未示出)可以被配置为处理传入的数据、向存储器160发送数据以及从存储器160检索数据。处理器120还可以连接到通信器180，以访问和利用来自远程服务器(图1中未示出)的信息。

BCI设备110中的处理器120可以被配置为执行构建和维护UI的功能，该UI可以被渲染在显示器106上或与基于视频的眼睛跟踪器102集成的显示器上。在一些实施例中，处理器120及其子部件可以被配置为执行启用特定于用户的大脑信号解释所需的功能，并且将输出信号打包到输入/输出单元140以中继到外部设备。处理器120及其子部件的其它功能可以包括若干过程，如特征提取、分类和控制界面的操纵。

指向和选择选项-混合BCI系统的工作

图2示出了混合BCI系统的工作，作为用户聚焦并控制示例输入符号的选择的一个示例实例化。图2中的操作事件的说明性示例序列包括在UI或UX呈现期间捕获一个或多个用户的动眼信号和神经活动、解释这些信号以推断用户的意图以及通过经由UI控制一个或多个机器来实行改变。混合BCI系统的工作的这个示例实例开始于在步骤251处通过UI 271呈现输入刺激(例如，符号)。在呈现刺激后，并且在来自用户的眼睛运动和神经反应之后，在步骤253中，混合BCI系统获取一个或多个动眼信号275(例如，指示来自基于视频的眼睛跟踪器的实现指向控制特征的眼睛运动)。在步骤253中，混合BCI系统还可以接收一个或多个神经活动信号273(例如，来自神经记录头戴式装置的实现指示用户的认知意图的动作控制特征)。这个信号获取步骤253可以包括从其它外围传感器和致动器接收信号，以及接收由图2中的刺激信息277指示的关于刺激呈现的信息。

步骤255包括对获取的动眼神经信号275和神经信号273的整体分析，其可以以如下公开的集成方法来执行。来自基于视频的眼睛跟踪器、神经记录头戴式装置和其它外围设备的信号的整体分析是在刺激信息277(例如，所呈现的刺激的时空特性)的上下文中执行的。在分析后，在决定步骤257中，混合BCI系统可以使用来自多个来源的信息(例如，所获取的信号、关于通过UI 271呈现的刺激的信息、关于用户的先验信息、UI 271和混合BCI系统的使用的上下文)估计用户的意图。在决定根据用户意图采取行动之后，可以采取任何合适的动作。例如，选择或取消选择所呈现的刺激的预测。可以使用一种或多种机器学习工具通过一种或多种估计方法来执行用户意图的估计。决定步骤257可以使用一个或多个准则或阈值来基于任何合适的阈值交叉算法来确定用户的意图。例如，如果估计的结果确实超过阈值准则，那么混合BCI系统可以前进到步骤259A，步骤259A涉及选择UI 271中呈现的刺激或符号，该刺激或符号可以导致对连接的机器的适当改变。另一方面，例如，如果在步骤257处估计的值未超过阈值准则，那么混合BCI系统可以前进到步骤259B，步骤259B不涉及在接口271中选择刺激或符号。

用户与混合BCI系统的交互

图3A-3E图示了根据实施例的与混合BCI系统100的示例用户交互。在这个示例中，混合BCI系统100正被用于在两步过程中拼写单词，并且在图3A中显示器106呈现字符(例如，键盘上常见的字母、数字和符号)的几个子分组的UI 371。用户穿戴基于视频的眼睛跟踪器102和神经记录头戴式装置104，如图3C中所示。当用户将其注视集中在包含期望字母的子组(例如，图3A中突出显示的圆圈指示的子组)上时，显示器106中呈现的UI 371改变为图3B中所呈现的聚焦子组被放大的UI。然后，用户可以通过将注视集中在那个子组中的特定期望字母上来执行选择字母的动作。然后，通过使用所记录的神经活动来实现动作控制特征，以执行对用于形成单词或句子的字母的选择。

以上参考图3A和3B描述的定点控制特征是由图3C中所示的基于视频的眼睛跟踪器102获取的数据实现的。基于视频的眼睛跟踪器102可以被配置为检测用户将其注视集中在哪里，然后输出例如如图3D中所示的信号。附加地或可替代地，基于视频的眼睛跟踪器102可以被配置为检测用户没有将其注视集中在哪里。动作控制特征(即，刺激或符号的激活)通过图3C中所示的神经记录头戴式装置104记录的数据来实现。神经记录头戴式装置104被配置为记录来自用户大脑的神经信号，然后输出例如如图3E中所示的信号。然后，处理器(未显示)可以从眼睛跟踪信号(图3D)和神经信号(图3E)中提取有意义的特征，然后以无监督和/或半监督的方式或者通过基于先前通过针对每个特定用户的严格培训建立的模型对信号进行分类来分析信号。然后，所分析的数据可以被用于做出用户行为的预测，诸如用户的焦点和/或对预测集中的符号的选择或激活。

操作混合BCI系统

虽然可以针对单个刺激实例化图2中所示的过程序列以及图3A-3E中所示的示例指向控制和动作控制实现，但在经由UI或UX呈现虚拟或增强多模环境期间可以遵循具有相似步骤序列的相似过程。如图4中所示，过程400可以包括形成训练阶段的子步骤序列(由虚线框指示为可选)，或者可以被用于在没有任何训练数据的情况下呈现新颖刺激。

图4中所示的示例过程400包括初始步骤401，该初始步骤401在一个时间点针对与神经记录头戴式装置和眼睛跟踪器(以及其它外围传感器和/或致动器)相关联的特定用户发起数据获取和预处理。例如，可以通过在混合BCI系统中作为BCI设备中的处理器的一部分的部件来进行这种发起和信号获取。

过程400可以包括步骤的子集(可选地用于训练阶段，在图4中的虚线框内指示)，用于生成和训练统计模型的目的。训练阶段的步骤子集可以包括步骤403，该步骤403应用所生成的训练环境，以向用户呈现一系列输入，从而记录和存储用户的动眼和神经反应，以供稍后使用。训练环境的呈现可以包括在步骤405呈现的一组预定的受控制的刺激，并且可以在步骤407中记录随后的眼睛运动和大脑活动。在步骤409中，可以将获取的响应与引起响应的已知刺激配对，并馈送到通过配对和关联构件的模型。对于每组动眼神经反应，可以重复变化但受控制的刺激的呈现以及对应的动眼和神经活动数据的收集，如步骤419针对一个或多个重复呈现中的一系列刺激所示。由已知刺激和记录的动眼神经反应的关联生成的模型可以用训练集中的每组新的刺激-反应对进行更新。

在训练阶段之后或在没有训练阶段的情况下，在步骤401中发起数据获取之后，可以通过UI或UX向用户呈现刺激。这在过程400的步骤411中示出。步骤411可以包括呈现新环境，该新环境包含可以与训练期间呈现的一个或多个预编程的刺激相关联的一个或多个新颖刺激或惯常刺激。混合BCI系统可以生成新的统计模型，或者使用在训练期间呈现的预先构建的统计模型。通过使用统计模型分析用户的动眼和神经活动反应，混合BCI系统可以在步骤413中确定用户的焦点(通过指向控制特征)，并在步骤417中估计用户的意图。随后，在步骤417中，混合BCI系统可以通过执行用户意图的动作(由对神经活动数据的分析确定)来实现动作控制特征。例如，步骤417可以包括选择拼写器中的字母，或者选择游戏中的角色，或者选择与可以在增强现实系统中操作的TV系统相关联的ON功能。

示例混合BCI系统

图5示出了根据实施例的混合BCI系统500。在一些实施例中，BCI系统500可以在结构和/或功能上与以上参考图1描述的混合BCI系统100的对应部分相似。例如，BCI系统500包括与混合BCI系统100的基于视频的眼睛跟踪器106、记录神经记录头戴式装置104、可选的显示器106和大脑-计算机接口设备110相同或相似的基于视频的眼睛跟踪器506、神经记录头戴式装置504、可选的显示器506和大脑-计算机接口设备510。因而，本文不进一步详细描述这样的相似部分和/或方面。

在一些实施例中，除了处理器520之外，大脑-计算机接口设备510还可以包括I/O单元540、存储器560和通信器580。这些部件可以通过有线或无线连接相互连接。大脑-计算机接口设备510的处理器520进而可以包括同步事件日志记录器522、信号分析器524、UI/UX引擎526和体系架构开发器532，所有单元彼此互连并被配置为在彼此之间访问和传送信息。

同步事件日志记录器522可以经由I/O单元540从各种外围设备接收所获取的眼睛跟踪动眼信号、神经活动信号以及其它传入信号。同步事件日志记录器522可以对信号数据加时间戳记以使其彼此同步，并执行进一步分析所需的任何预处理。在一些实施例中，同步事件日志记录器522可以被配置为执行如下所述的高速眼睛运动检测和分类。

在一些实施例中，大脑-计算机接口设备510可以包括信号分析器524，信号分析器524可以被配置为使用截然不同的生理信号来实现对注意力的整体估计，如下面的集成方法的示例中所述。大脑-计算机接口设备510也可以被配置为使用管线(pipeline)中的可分离部件的并行化和异步处理，以确保消费者级个人计算机上的性能。

在一些实施例中，处理器520可以包括UI/UX引擎526，UI/UX引擎526被配置为生成并呈现通过UI渲染的训练环境(在需要训练阶段的情况下)。训练环境可以被配置为向用户呈现一组预定的受控制的刺激并记录随后的眼睛运动和/或大脑活动，然后可以将这组受控制的刺激以及诱发的与每个受控制的刺激对应的眼睛和大脑活动存储在存储器560中，并且由信号分析器524将其用作训练数据以构建为各个用户量身定制的统计模型。信号分析器524可以使用一种或多种统计工具，如降维方法、特征提取方法、机器学习工具，来构建分类器等。信号分析器524还可以通过作为BCI设备510的一部分的通信器580访问和使用来自远程源(例如，远程服务器、数据库等)的信息。可以使用提供的训练数据来构建、测试和交叉验证模型。然后，信号分析器524可以将被测试的模型用于从该特定用户获取的新的动眼和神经活动数据以实现与UI交互的高精度和速度。

在一些实施例中，信号分析器524与UI/UX引擎526结合可以基于来自统计测试的结果对数据进行分类，并使用最大似然估计、最大后验估计等对用户行为生成预测。在一些实施例中，处理器520还可以包括体系架构开发器532，体系架构开发器532接收动眼和神经活动数据以及来自处理器520的其它子部件(例如，信号分析器524、UI/UX引擎526，以及通过通信器580来自外部远程源)的数据。体系架构开发器532可以不打算用于实时使用，而是用于离线进行健壮的统计分析，以便对潜在的BCI算法检测体系架构进行原型制作。

信号分析的集成方法

如本文所述，混合BCI系统100、500可以以集成的方式结合神经活动信号以及其它适当的信号来处理动眼信号，以便以高速度和精度实现BCI系统的指向控制和动作控制特征。在一些实施例中，可以使用几种信息源以混合方式实现指向控制特征。即，BC接口设备110(或510)可以被配置为将集成的信号作为整体来处理。例如，在一些实施例中，基于视频的眼睛跟踪器102可以被用于通过传达眼部肌肉的运动的动眼数据来检测任何合适形式的眼睛运动信息，例如眼跳、眼动和/或瞳孔扩张信息以及眼动信息。也可以从自神经记录头戴式装置104获取的神经活动(例如由视觉反应引起的ERP)间接获得关于眼球跳动位置的信息。例如，混合BCI系统100、500可以被配置为将ERP的出现与特定刺激在时间和空间上的表示相关联以形成因果关系。还可以根据刺激被UI/UX引擎生成并被呈现给用户的方式的知识来获得关于注视位置的间接信息。因此，在由信号分析器524分析之前，来自基于视频的眼睛跟踪器102的动眼数据可以与来自神经记录头戴式装置104的视觉诱发的神经活动的数据以及通过显示器506传递的UI中的刺激的策略性呈现相结合。此外，在一些实施例中，信号分析器524还可以包括来自注视运动学的理论模型或用户眼睛的生物学模型的数据，从而通知眼睛位置的估计以实现指向控制特征。这些模型可以包括双目视觉参数以估计聚焦深度，以便在三维空间中启用指向控制。

跟踪指向控制的集成混合方法允许用户通过其眼睛注视的来快速选择目标，其中来自基于视频的眼睛跟踪器102的各种信号、来自神经记录头戴式装置的视觉诱发的神经活动104、关于所呈现的刺激的特性的信息以及来自理论模型的数据在所提供的信息中相互补充以定位注视。用户在视觉上将注意力固定在目标上，并且BC接口设备110可以通过对关于注视的信号的组合包的特征分析来识别目标。值得注意的是，在混合BCI系统100中，通过BC接口设备110对组合包中的信号进行分析，并对每个信号源进行适当的加权。

使用集成方法实现指向控制特征的优点之一是可以非常迅速地实时估计眼睛位置。由于基于视频的眼睛跟踪器102可能不易受到与通过神经记录头戴式装置104记录的神经活动相同的噪声源的影响，反之亦然，因此集成方法还允许进行最健壮的估计。因此，一个渠道可以弥补另一个渠道的不足。此外，将两个数据集作为整体进行处理的方法允许根据其它参数(如用户历史和所导航的界面的特定细节等)对各个信号进行适当的加权。此外，信号分析器524可以被配置为实现适当的分析管线，该分析管线使用：(1)通过一个或多个滤波系统(例如，双卡尔曼滤波器或任何其它无滞后滤波器)对信号的适当处理，(2)贝叶斯线性判别系统，(3)加权的信号包的空间滤波，(4)套袋整体分类器算法，以及(5)高阶oracle算法，其在实验任务期间将来自分类算法的信息与程序例程结合在一起，以提高选择精度。

混合BCI系统100、500还使用集成方法来实现动作控制特征。例如，在一些实施例中，信号分析器524可以结合来自神经记录头戴式装置504的神经活动数据与根据训练数据建立的统计模型，或基于视频的眼睛跟踪器502的动眼数据(从如瞳孔扩张等参数中传递大脑状态，如注意力)和人类认知以及来自各种外围传感器的多模感觉数据的理论模型。信号分析器524可以使用合适的机器学习工具和统计分类器来执行整体距离估计和分类，以将估计精简为简单值或阈值交叉信号。然后，这个精简的信号可以被用于实现对期望的符号或刺激的动作控制特征。为了改善用户体验，可以对混合BCI系统100、500进行调整以优化速度，使得动作控制的实现发生在5秒内、或4秒内、或3秒内、或2秒内、或1秒内、或0.9秒内、或0.8秒内、或0.7秒内、或0.6秒内、或0.5秒内。为了改善用户体验，可以对混合BCI系统100、500进行调整，以减小或最小化速度*精度％的值，使得动作控制速度(以秒为单位)乘以系统平均精度(以％为单位)的实现小于5(例如，10s*50％精度)、或小于4、或小于3、小于2或小于1.125(例如，1.5s*75％精度)、或小于1、或小于0.9(例如，1s*90％精度)、或小于0.8、或小于0.7、或小于0.6、或小于0.5(例如，0.6s*83.33％精度)。

UI/UX中的适配

如本文所述，混合BCI系统100、500的操作包括对于混合BCI系统的运作至关重要的UI或UX。UI或UX用作用户(例如，用户的大脑、眼睛等)与BC接口设备110之间的通信链接，并且使得用户能够通过指向控制特征来聚焦并指向特定刺激并且使用动作控制特征选择或取消选择特定刺激。在简单的示例中，UI可以是经由显示器呈现的视觉刺激的二维图像的序列。在图2(UI 271)和图3(UI371)中示出了呈现在显示器(如显示器106)上显示的视觉刺激的UI的示例。

UI也可以是多种模态下的刺激的丰富混合，它们一起形成可以也充当界面的被称为UX的东西。策略性设计的UX包括通过任何模态向用户呈现刺激的过程，一些示例包括视觉刺激、听觉刺激、触觉刺激或前庭刺激。UI或UX可以由混合BCI系统500的UI/UX引擎526来设计和生成。UI/UX引擎526可以与信号分析器524结合操作，从而更新利用从信号分析器524输出的数据所呈现的UX。例如，可以根据估计的用户意图来更新UX，从而实现动作控制特征。

UI/UX引擎526还可以与体系架构开发器532结合操作，以根据用户的要求和混合BCI系统的使用的上下文来生成并维持适当的UI或体验。UI/UX引擎526可以被配置为基于通过从基于视频的眼睛跟踪器102或神经记录头戴式装置104记录的动眼信号或者一个或多个其它外围设备的、来自用户或用户环境的反馈来实时更新UI，其中外围设备可以是包括可以捕获即时环境的现场相机的传感器和致动器。UI/UX引擎524也可以被配置为根据用户反馈和更新后的UI来更新BCI设备510中的处理器520，使得BCI设备510可以支持维持UI并分析传入的信号所需的后台处理。例如，UI/UX引擎524可以将刺激特性提供给信号分析器524，以用于指向控制和动作控制特征的整体估计和实现。在一些实施例中，例如，如果UI从交互的视觉模态切换到视听模态，那么UI/UX引擎526还可以切换信号分析器524中的处理模式。UI的一些示例实现在下面公开。

动态刺激

在一些实施例中，UI可以被配置为不仅包括静态视觉图像，而且包括形成视频的视觉图像的运行序列。视频可以是由UI/UX引擎526在BCI设备510内编程的图像的经合成生成的序列，或者通过通信器580从远程源获得并被更新以适合期望的UI。可以通过显示器(106、506)将经合成生成或获得的视频中继给用户。视频还可以包括一系列实时事件，这些实时事件发生在用户的真实世界环境中、通过任何合适的眼镜中继到用户并复制到BCI设备510，这些眼镜包括捕获用户视野的视野相机。在一些实施例中，眼镜和视野相机可以结合在基于视频的眼睛跟踪器102上。

在一些实施例中，视频形式的视觉刺激可以被视为具有运动目标的动态刺激。图6示出了在空间中移动的示例动态物体。BCI设备510可以被配置为执行合适的图像处理例程，以通过分析视频(通过视野相机生成、获得或捕获)来识别运动目标并跟踪其在时间和空间上的动态运动。在图像处理期间，BCI设备510也可以被配置为通过经由通信器580建立通信信道而从远程服务器中保存的图像或视频数据的数据库或存储库中执行搜索和访问信息。信号分析器524和UI/UX引擎526可以组合操作以执行分析例程，如图像分割、轮廓检测、运动检测等。BCI设备510可以使用任何合适的统计方法套件来识别和跟踪运动的动态刺激。它还可以结合用户的行为或存储在存储器560中的UI或UX的上下文的先验知识，以帮助识别和跟踪动态刺激。

一旦被识别，就可以给动态刺激指派标签，如图6中的UI 671的示例图示所示。标签T₀，T₁…T₅可以是时间点，每个时间点指定与动态刺激相关联的特定事件。例如，T₀可以指示动态刺激出现并首先被检测到的时间点。T₅可以指示刺激消失之前跟踪的结束。每个标签和相关联的信息可以被存储为刺激信息(例如，刺激信息677)的一部分，该刺激信息可以在其它几种分析中使用，包括眼睛位置的整体估计以实现指向控制特征或用户意图的整体估计以实现动作控制特征。例如，可以对物体进行识别和标记，使得当检测到用户的注视点在空间和时间上越过被跟踪的物体时，被跟踪的动态物体会闪烁(如图6中的示例中的标签T₄所示)。然后，用户可以使用他们的想法来操纵物体。即，同时记录的神经活动数据经过整体处理后，可以用于确定用户关于动态物体的意图。如果检测到签名神经活动(例如，ERP或运动想象信号)，那么这可以指示用户期望触发与那个动态物体相关联的动作。该动作可以基于动态刺激的特性以及正在被记录和分析的神经活动。例如，动作可以是简单的选择，以查看与物体相关联的菜单，或者动作可以通过使用运动想象信号来复杂地操纵物体，如下面的示例中所公开的。在任何情况下由于对动态物体的选择而导致的任何这种选择或触发动作也可以被存储为刺激信息677的一部分以供将来使用。

三维UX

本文描述的混合BCI系统100、500和其它实施例可以被配置为在空间维度上支持二维或三维UI或UX。如本文所述，UI或UX可以是由UI/UX引擎526生成的完全虚拟的环境。可替代地，UI/UX可以是用户通过眼镜中继的并叠加有UE的真实世界环境，其中UE使之成为用户对增强现实的体验。

在一些示例实施方式中，UI可以是简单的系统，其以菜单和图标的形式提供控制工具的集合，并在二维空间或三维空间中实现指向控制特征和动作控制特征(即，利用视觉深度)。在一些实现中，UI还可以是具有多模呈现的虚拟(或增强)空间的丰富的三维体验，该虚拟(或增强)空间可以由用户进行导航以提供类似于真实世界导航的体验。UI还可以包括这些和各种其它类型的刺激呈现的组合，这些刺激呈现被适当地布置以适合用户的上下文要求。

混合BCI系统100、500可以使用人类视觉系统如何在三个维度上处理深度的特性来生成UX并在整体处理期间分析动眼和神经信号。例如，人类视觉系统使用几种提示来确定视野中的物体是否来自不同的视觉深度。一个示例特性是部分遮挡。当一个物体被另一个物体遮挡时，可以合理地预计被遮挡的物体位于遮挡物体的后面。这可以被用于在虚拟环境中生成三维空间。在实现指向控制特征时，也可以使用这个特性来精确地确定用户的焦点在全视图上，而不是在视觉上被遮挡的物体上。

另一个示例特性是已知物体随视觉深度而改变的相对尺寸和形状。例如，如果两个物体的尺寸和形状已知，并且一个看上去比另一个小，那么可以合理地估计较小的物体到观察者的空间距离比较大的物体要远。UI/UX引擎526也可以使用这个特性来以不同的尺寸并在不同的透视图中渲染物体，以生成真实的三维虚拟空间。这个特性也可以被用于精确地确定用户的焦点。

此外，人类视觉系统还使用来自双目视觉的信息来中继一只眼睛相对于另一只眼睛的相对运动以及每只眼睛的焦深来确定物体在真实世界中的位置，也称为立体眼睛跟踪。混合BCI系统100、500可以执行立体眼睛跟踪并使用由基于视频的眼睛跟踪器102、502收集的来自两只眼睛的眼睛运动信号，并使用该信号生成焦点深度的双目估计。这种双目估计可以与深度信息的其它来源相结合，以在真实、虚拟或增强空间中根据用户的角度精确地估计物体的深度。

导航控制

在一些实施例中，混合BCI系统100、500可以包括涉及导航的二维或三维空间中UX的呈现。例如，可以将UI被配置为玩类似Pacman或Quake的导航游戏。在其它情况下，UI可以被配置为在真实世界中导航用户的轮椅。UI/UX引擎526可以使用由用户、BCI设备110(510)或从用户的环境(通过视场相机中继)提供的基于上下文的信息，并且生成/更新呈现具有适当控件的UI或UX，以介导导航。在图7中图示了根据一个实施例的导航控制界面的示例图示。

在一些实施例中，混合BCI系统100、500可以基于用户环境的上下文或来自用户的明确指令向用户呈现如图7中所示的导航控制界面。导航控制界面可以提供对运动速度和运动方向的控制。例如，导航控制界面可以包括同心圆的透明覆盖物，每个环代表速度区域。每个环还可以包括符号的对称支出(outlay)，例如可以被激活或停用的箭头。可以将符号或箭头配置为通过开始和停止对相关联速度带的选择来控制移动。每个箭头的角度和位置可以指示移动的方向。

在一些实施例中，可以通过组合地实现指向控制特征和动作控制特征来操作类似于上面公开的并且在图7中示出的导航界面。例如，指向控制特征可以用于确定用户期望的指示移动方向的箭头。动作控制特征可以被实现为选择那个特定速度带的那个特定箭头。结合有这种导航界面的混合BCI系统100、500可以连接到外部导航系统，如电子操作的轮椅。在这种情况下，与特定速度带相关联的特定箭头的激活可以导致轮椅中的车轮运动的激活以沿着期望的方向转动或移动。可替代地，混合BCI系统100、500可以向用户呈现可导航的虚拟环境。在这种情况下，导航界面中特定速度带中的特定箭头的激活可以允许用户根据激活指示的速度和方向在呈现的虚拟空间中移动。换句话说，UI/UX引擎526可以修改所呈现的虚拟环境以产生用户对期望运动的感知。导航界面还可以包括供用户向导航控制系统提供反馈的通道。可以将导航界面的使用的特性(如用户选择符号的持续时间、所产生的移动和用户的反馈)存储为刺激信息，以备将来使用，例如用于特定于用户的校准和设置。

基于上下文的真实世界交互

在一些实施例中，混合BCI系统100、500可以被用于允许用户在增强或混合现实空间中进行交互。即，通过使用混合BCI系统100、500，可以通过包括视野相机的一副眼镜将真实世界中继给用户，该视野相机作为外围传感器108、508之一，被配置为捕获用户可以看到的所有东西。例如，眼镜和视野相机可以被结合为基于视频的眼睛跟踪器102的组成部分。眼镜可以被配置为能够呈现视觉刺激的集成式显示器(例如，液晶显示器)。视觉图像或视频可以投影到集成式显示器中，如果需要的话，可以为每只眼睛量身定制合适的图像或视频，以模拟三维空间，从而允许用户体验增强现实或混合现实。例如，所投影的图像可以是控制界面，如可以通过实现指向控制和动作控制特征来激活或选择的菜单和按钮。所投影的图像或视频还可以是生成的丰富的三维环境，以补充用户查看的真实世界的图像。

在一些实施例中，混合BCI系统100、500可以被配置为处理用户通过视野相机观察到的真实世界环境的捕获视频。例如，视野相机(外围设备508)可以记录捕获的真实世界图像并将其发送到BCI设备510的I/O单元540。然后，BCI设备510中的处理器520可以经由同步事件日志记录器522加时间戳并日志记录捕获的视频，并在信号分析器524中分析捕获的视频。信号分析器524可以对视频执行各种图像处理例程，包括图像分割、轮廓检测、运动检测、图像识别等。信号分析器524可以使用存储在存储器560中的预先获得的信息，或者还可以经由通过通信器580建立的通信信道从远程源获得附加的信息，以帮助进行图像处理例程。

图8A示出了使用混合BCI系统的一个实施例由视野相机捕获的真实世界图像的示例实例。图8A中的示例图像示出了用户的客厅的实例。例如，信号分析器524可以在视频中接收这个图像并将这个图像分割成可识别的部分，如图8A的示例中突出显示的。即，信号分析器524可以检测轮廓并识别如电视机、书架和两只家猫的个别物品。另外，信号分析器524可以访问所存储的关于用户的信息或来自远程源(例如，网站、数据库、供应商目录等)的附加信息，以在捕获的视频中识别电视的品牌和型号。在识别之后，信号分析器524可以确定与识别出的特定设备(例如，特定品牌和型号的电视)的合适的通信模式。通过使用选择的合适的通信信道(例如，蓝牙、NFC等，这可以由供应商预先确定)，BCI设备510可以通过通信器580与识别出的设备(例如，电视)连接。

在一些实施例中，对如电视的特定可控电子部件的识别和成功连接可以触发适于识别出的可控电子设备的基于上下文的UI的呈现。例如，在识别并连接到特定品牌和型号的电视之后，混合BCI系统100、500可以获得电视的可控特征的列表。然后，BCI设备510中的UI/UX引擎可以使用关于设备和用户的信息来生成基于上下文的直观UI，其结合电视的可用控制的列表，包括音量控制、频道控制、家庭影院控制等。在图8B中示出了用于示例电视的这种控制的示例UI。

基于上下文的UI可以呈现为二维或三维空间，并且可以包含可以通过任何适当的模态激活或禁用的符号或图标。然后，混合BCI系统500可以实现指向控制特征，以检测用户对特定可控符号的聚焦，例如“增加音量”图标。之后，混合BCI系统500可以使用经由神经记录头戴式装置记录的神经活动来在UI上实现动作控制特征(例如，增加音量图标的激活)。可以将基于上下文的UI上的这种动作传送给电视，以改变真实世界中的电视呈现的用户体验(例如，音量)。

可见和不可见的UI/UX适配，便于交互

在一些实施例中，混合BCI系统100、500可以在UI或UX的生成中结合适配，以使得易于进行高速和高精度的操作。这些适配可以包括如呈现给用户的UI的可见特性。适配还可以包括UI的特性，这些特性不明显可见，但是结合在UI或UX的生成和维护中，以及在如何实现指向控制和/或动作控制特征中。下面公开了一些适配。

焦点点击

在一些实施例中，混合BCI系统100、500可以结合三维方面以向用户呈现可操作的菜单项。在三维度中显示可操作的菜单可以有几个优点，包括呈现尺寸合适的菜单项而不会出现混乱的选项。菜单项的三维呈现在可视化UI或UX的显示或呈现的可用空间有限的条件下(如呈现增强现实或混合现实的情况)也是有用的。

图9中示出了示例UI中的一个示例三维呈现。UI可以包括几个选项，混合BCI系统500可以选择这些选项来实现动作控制特征。图9中所示的示例包括包含选项1和2的面板。如上面所公开的，可以通过利用人类视觉系统用于检测景深的几个特性来在三维空间中呈现UI。如图9中所呈现的示例中，UI可以调制亮度和对比度的特性，以使特定项对焦或对焦不准。此外，UI还可以使用如一个物体被另一个物体遮挡或一个物体相对于另一个物体的透视图的特性来创建三维中的深度效果。

在指向控制特征的实现期间，混合BCI系统100、500可以通过使每个选项成为焦点来依次呈现选项1和2。期望的选项可以通过一种或多种方法来确定，包括监视由基于视频的眼睛跟踪器102收集的动眼反应以实现立体眼睛跟踪，或将神经记录头戴式装置104所收集的神经活动与用户界面中的选项1和2的聚焦深度的修改相关，或这两者的组合。结合使用这两种方法的集成方法可以实现更快的检测，从而导致高速用户交互，同时维持动作选择的高精度。

选项池预选择

在一些实施例中，混合BCI系统100、500可以被用于在具有几个可操作项的条件下操作。UI 1071的示例实例在图10A中示出，其包含六个可操作项。在某些条件下，减少在UI中一次显示的可操作项的数量可以是合适的。这也可以是为了减少在执行指向控制特征时确定用户焦点的不确定性。也可以是在执行动作控制特征期间减少所选择的可操作项的不确定性。此外，在混合BCI系统100、500的一些实施例中，UI可以被配置为闪烁刺激并关联通过神经记录头戴式装置504同时收集的神经活动，以附加地使用这个相关数据来实现对可操作项的选择。在这些条件下，可能期望将刺激的重复闪烁最小化以增强UX。UI/UX引擎524在这些要求下采用的一种策略可以是策略性地池化选项。因此，在图10A和10B所示的示例中，代替在一步过程(如图10A中所示)中选择6个潜在选项中的一个，可以将UI修改为以两步选择过程进行操作。例如，在第一步中，可以将UI修改为将池选项1、2和3一起形成池化的预选择选项1，并将池选项4、5和6一起形成池化的预选择选项2。因此，用户可以在第一步中指向并选择两个可能的预选择选项中的一个。在这个第一步中的预选择选项上实现了指向控制和选择控制特征后，UI可以改变以呈现预选择选项1或预选择选项2中包含的实际单个选项，具体取决于在第一步中选择哪个，如图10B中所示。虽然这个过程会增加选择中所涉及的步骤数，但将选项合并到预选择池中的过程可以减少各个选项的闪烁次数。此外，由于第一步和第二步中不确定性的降低，选择正确选项的精度可以提高。

可拖动标记

混合BCI系统100或500可以通过使用视觉辅助工具(例如，光标)来操作以指示指向控制特征的当前状态。光标可以是符号或标记，它们的特性(例如，颜色、形状亮度等)可以被用于在实现指向控制和动作控制特征时指示系统的当前状态。例如，标记在指向时可以是普通的，但是可以修改为不同的颜色，以表示指向控制的实现(即，UI中呈现的选项的选择)的完成。可以将标记进一步修改为另一种形状或颜色，以表示动作控制特征(即，选项的激活)的完成。

在混合BCI系统100、500的一些实施例中，可以通过遵循通过眼睛跟踪记录的眼睛运动轨迹来简单地移动标记或光标。因此，可以在UI中选择的可能项目是其在UI上的位置与标记的轨迹相交(遵循用户眼睛的轨迹)的项。选择可以通过几种方法来实现，包括仅聚焦或在物体上定时聚焦等。

在一些实施例中，可以将标记修改为不紧贴用户眼睛的轨迹，而改为可拖动的粘性标记。即，在混合BCI系统100、500的一些实施例中，UI可以被切换到包括粘性标记的操作模式，该粘性标记可以从一个物体或选项拖放到另一个物体或选项。图11A和11B图示了包括粘性标记1181的示例UI 1171。在所示的示例中，用户通过从显示器的中心处的原始位置拖动粘性标记1181并将粘性标记1181放置到要选择的选项1179上来与UI 1171进行交互。例如，图11中呈现的UX可以是视频游戏。用户可能想在游戏进行时暂停游戏。这可以通过使用粘性标记1181来实现。用户可以通过转向其原始位置，从其在显示器中心处的原始位置“拾取”粘性标记1181。然后，通过“拖动”粘性标记1181，用户可以转向要选择的选项，例如由方框图标1179指示的“暂停”选项。通过在拖动粘性标记的同时聚焦选项1179，用户可以将粘性标记1181“拖放”到暂停选项1179上方，如图11B中所示。粘性标记1181然后粘贴到所选择的选项1179，从而完成指向控制特征的实现。

在以使用粘性标记1181的模式操作的混合BCI系统的实施例中，用户没有“拾取”粘性标记1181的任何眼动或眼跳眼睛运动将不会对选择或实现指向控制特征产生任何影响。这会导致用户眼睛的杂散注视(stray gaze)或杂散固定(stray fixation)的虚假选择减少。此外，将不要求用户进行定时足够长的眼动或眼睛运动以实现在不使用粘性标记的情况下可能需要的指向控制特征。因此，使用粘性标记可以提高用户交互的便利性，实现高速、精确的指向和选择，而无需用户进行不自然和/或破坏性的长时间固定。

在图12A-12H中示出了使用混合BCI系统100、500的实施例来实现粘性标记的另一个示例。具体而言，图12A-12H示出了当使用粘性标记来选择选项时的事件序列。例如，在图12A中，示例UI1271示出了四个可能的选项A、B、C和D 1279以及放置在位于屏幕中央处的原始位置的粘性标记1281。UI 1271还包括粘性抓取器对象1285，其指示指向控制特征的状态并有助于拖动粘性标记1281的过程，如下所述。UI还包括由回收站的符号指示的特殊选项1283。界面1271在图12B-12H中重复呈现，指示在使用粘性标记1281期间由用户交互导致的改变的顺序。

例如，在图12A中，粘性标记1281处于原始位置，并且粘性抓取器1285被着色为第一颜色(例如，蓝色)并且为空。例如，如果用户期望选择选项B，那么用户通过将他/她的注视指向原始位置的粘性标记1281开始。这导致如图12B中所示粘性标记1281被粘性抓取器1285抓取。值得注意的是，用户“拾取”粘性标记1281并不需要最小的固定时间。仅仅用户的注视越过粘性标记1281的原始位置，就可能导致它被粘性抓取器1285抓取。

在将粘性标记1281抓取到粘性抓取器1285上之后，用户可以将他们的注视转移到他们想要选择的选项上，例如选项B。仅将用户的注视越过一个选项就可以导致标记被拖动到该选项上，如图12C中所示。该选项不会立即被选中。一旦将粘性标记1281拖动到选项上，就可以启动用户可能不可见的计时器1287。一旦计时器1287在预设的时间量之后超时，就可以实现对选项的选择。

但是，在定时器1287超时之前，如果用户选择选择另一个选项，例如选项D，那么可以通过用户使用粘性标记1281将其注视转移到选项B上来完成。如图12E所指示的，这将粘性标记1281拾取回到粘性抓取器1285上。此后，用户可以将视其注视转移到要选择的选项上，例如选项D，这导致粘性标记1281被拖动到选项D上，如图12F中所示。

如果用户在某个其它动作期间无意中拾取了粘性标记1281，那么他们可以通过瞥一眼回收站图标1283来丢弃粘性标记1281，如图12F中所指示的。类似地，如果用户无意中将粘性标记1281放到了不期望的选项上，那么他们可以通过转移回到具有粘性标记1281的不期望的选项、然后注视回收站图标1283来使该选择无效。

选择激活

在混合BCI系统100、500的一些实施例中，UI可以被适配为提供用于激活和/或去激活特定的重要符号的便利机制，该特定的重要符号在那个上下文中对于操作混合BCI系统可以是极为重要的。例如，当使用混合BCI系统来运行控制某些特定应用或关联设备的UI/UX界面时，UI可以包含相关联的主要符号或图标，在被选择后，该符号或图标可以集中控制那个特定应用或所连接设备的多个方面。

一个示例应用可以是基于视频的游戏，该游戏可以通过由核心图标集中控制的UI来呈现。核心图标在被选择后可以带出几个菜单，这些菜单控制玩游戏、在玩游戏过程中控制用户的库存等。因此，用户可以在需要时通过选择核心图标来访问这些菜单。因此，在使用混合BCI系统进行游戏时，需要核心图标的不断出现。但是，在游戏过程中可能不需要经常使用核心图标。

在一些实施例中，可以通过将核心图标放置在所显示的UI上对主要环境(例如在这种情况下为游戏环境)无阻碍的某个位置来处理对控制图标(例如，核心图标)的不断需求。如在图13A中的示例UI 1371中所示，无障碍放置的控制图标1379可以是示例核心图标，其是小的半透明的“n”。图13A图示了在持续使用UI 1371的正常情况下，示例核心图标1379如何在具有UI 1371的屏幕上出现。

图13B-13D示出了通过UI 1371中的核心图标1379进行的上述选择激活过程的示例实例化。例如，在与UI 1371的持续交互期间，用户可能想要访问通过核心图标1379可用的控制。用户可以转向核心图标1379。一旦分析了动眼跟踪信号以指示用户的注视固定在核心图标1379上(在图13B中指示)，就可以修改UI 1371以改变图标1379的外观。例如，UI1371可以将核心图标1379的外观从半透明改变为实心和/或不透明。然后，可以形成在图13C中用实心的彩色“n”指示的固化的核心图标1379，以再次改变外观。例如，外观上的这种改变(例如，核心图标1379的脉动)可以被用来指示现在可以根据需要选择核心图标1379。如果在核心图标1379外观改变的时间段期间用户的视线移离了核心图标1379，那么外观改变可以停止并且核心图标1379可以返回到未改变的状态，例如如图13A中所指示的。在核心图标1379的操作中，UI 1371可以使用或可以不使用如下所述的幽灵闪烁。

UI 1371可以采用可被混合BCI系统的处理器520用作基本UI工具的不可见闪烁或幽灵闪烁，以检测与所呈现的任何刺激相关联的有关动眼反应或有关神经活动。在UI中以受控制方式使用幽灵闪烁可以有几种不同的用法。例如，可以使用幽灵闪烁来评估用户对任何可见刺激的闪烁的反应。即，在幽灵闪烁期间的任何同时的动眼或神经反应都可以用作真正的否定反应。这种真实的否定反应可以被用于设置一个或多个阈值，为了检测有关因刺激触发的动眼或神经反应，必须跨过这些阈值。幽灵闪烁可以被用于UI的选择激活适配的实现中，以将真实选择与由于杂散注视而导致的虚假选择区分开。

可以使显示在UI上的图标或符号可供用户操纵。并且，图标或符号的可用性可以经由其外观的临时或短暂改变来向用户指示。外观上的改变可以适当地长且/或显著，使得可以提醒用户登记该改变。外观的改变可以通过更改图标的若干特性中的任何一个来实现。例如，通过更改亮度强度、对比度、颜色、尺寸、形状、位置等来闪烁。作为示例，外观的改变在本文中被描述为闪烁。

在一些实施例中，例如，核心图标的每次改变可以被计数为“标签改变”(例如，标签闪烁)，其可以是选项图标(例如，1379)的外观的单个改变。标签改变可以是与UI(例如，UI 1371)上显示的图标或物体相关联的外观改变(例如，闪烁、脉动等)。几个选项图标可以在被称为闪烁组的组中一起闪烁或者单个选项图标(如“核心图标”)可以自己构成闪烁组。在UI中与核心图标相邻的部分中，在缓慢脉动和/或Neurable图标的闪烁之间会发生幽灵闪烁。可以将幽灵闪烁配置为单独发生或在形成闪烁组的组中。幽灵闪烁可以被用于设置选择阈值。当动眼反应和/或神经活动反应跨过由幽灵闪烁设置的阈值时，UI 1371可以调出由几个可选择选项填充的选择菜单，例如图13D中的A、B、C和D指示的选项1379。在呈现选择菜单之后，用户可以通过实现上面描述的指向控制特征和动作控制特征来选择并触发与每个可选择选项相关联的动作。如果眼睛跟踪分析确定用户的注视位置不再固定在选择菜单区域周围，那么菜单可以被去激活，并且透明的核心图标可以重新出现。

结论

总而言之，本文描述了用于由用户实时操作的集成式混合大脑-计算机接口的实现中使用的系统和方法。所公开的系统包括用于实现指向控制特征的眼睛运动跟踪系统以及用于实现动作控制特征的大脑活动跟踪系统。这两个特征都是通过呈现UI的方式来实现的，该UI被策略性地设计为启用高速且精确的操作。此外，所公开的系统和方法被配置为硬件不可知的，以在任何合适的平台上实现实时的混合BCI，以传达用户对虚拟、增强或真实环境的操纵。

虽然上面已经描述了各种实施例，但是应该理解的是，它们仅以示例的方式而不是限制的方式给出。在上述方法指示某些事件以某种次序发生的情况下，可以修改某些事件的排序。此外，某些事件可以在可能的情况下在并行过程中并发地执行，以及如上所述顺序执行。

在上述示意图和/或实施例指示以某些朝向或位置布置的某些部件的情况下，可以修改部件的布置。虽然已经具体示出和描述了实施例，但是将理解，可以进行形式和细节上的各种改变。除了相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施例可以包括所描述的不同实施例的功能、部件和/或特征的各种组合和/或子组合。