视觉追踪的脑机接口检测系统
阅读说明：本技术 视觉追踪的脑机接口检测系统 (Vision tracking brain-computer interface detection system ) 是由 李远清 肖君 余天佑 潘家辉 黄海云 于 2021-07-08 设计创作，主要内容包括：本发明公开了一种视觉追踪的脑机接口检测系统,包括高清人脸头像采集与移动模块、EEG信号采集模块、时频特征分析提取与分类模块、统计检验评估标准模块这几个功能模块。该系统根据行为量表评估视觉追踪的过程,选定脑机接口实验范式中的目标刺激与非目标刺激,目标刺激键闪烁同时移动,非目标保持不动。通过目标刺激的移动与闪烁,引导患者选择性追踪该目标头像并保持注意直至目标键从中心移至初始位置,并由ITPC(试次间相位一致性)作为特征进行分类实时输出在线结果,20次在线任务的结果进行统计检验,达到显著水平,则认为患者存在视觉追踪,否则不存在。本发明克服了行为量表和经验检测的对行为响应变化的敏感度不高、评估者主观性太强等缺点。(The invention discloses a brain-computer interface detection system for visual tracking, which comprises a high-definition face head portrait acquisition and moving module, an EEG signal acquisition module, a time-frequency characteristic analysis, extraction and classification module and a statistical test and evaluation standard module. The system evaluates the process of visual tracking according to the behavior scale, selects target stimulation and non-target stimulation in a brain-computer interface experimental paradigm, and the target stimulation key flickers while moving and the non-target remains still. And guiding the patient to selectively track the target head portrait and keep paying attention until the target key moves from the center to the initial position through the movement and the flicker of target stimulation, classifying by using an ITPC (inter-trial phase consistency) as a characteristic to output an online result in real time, and performing statistical test on the results of 20 online tasks until the results reach a significant level, wherein the patient is considered to have visual tracking, otherwise, the patients do not exist. The invention overcomes the defects of low sensitivity to behavior response change, strong subjectivity of an evaluator and the like of behavior scale and experience detection.)
技术领域
本发明涉及脑机接口技术、运动视觉诱发电位、人脸识别诱发电位以及偶发任务相关的诱发电位的技术领域，尤其是指一种视觉追踪的脑机接口检测系统。
背景技术
皮层脑电信号(electroencephalogram，EEG)可以通过无损伤的脑机接口系统采集，并且逐渐被应用于神经系统疾病辅助诊断、脑功能的研究等方面。人们通过研究EEG脑电信号中自主产生的内源性的节律成分或者由外部刺激诱发的外源性脑电成分以及信源的空间位置和相互关系去获取大脑对外部环境的反应。因此，对于严重缺乏行为表达和存在感觉缺陷的意识障碍患者来说，多模态脑机接口系统通过播放多种感官刺激并直接检测大脑中与刺激相关的脑电成分，用于辅助意识障碍患者的临床诊断，从而提供更为客观准确的诊断与预后评估结果。
目前对意识障碍患者的临床评估主要依据各种行为量表，但患者的行为表达容易受到运动损伤、感觉缺陷、觉醒水平低或易疲劳等因素影响而造成很高的误诊率(37-43％)。昏迷恢复量表-修订版(Coma Recovery Scale-Revised，CRS-R)分为听觉，视觉，运动，语言，交流，唤醒6个子量表；每个子量表包含若干项目分别检测患者各项功能状态；比如视觉子量表包含：0分–无反应，1分–视觉惊吓，2分–视觉定位，3分–视觉追踪，4分–物体定位，5分–物体识别；5个项目的评分由经验丰富的临床医生先对患者实施具体的刺激过程，随后通过患者的行为响应给出相应评分。其中视觉追踪项的具体评估过程如下：在患者面前50cm处，评估者手持直径为10-15cm的圆镜，缓慢地向上、下、左、右四个方向移动，观察移动过程中患者的眼睛是否跟随镜子有相应的移动，4个方向的4次评估中如果观察到2次追踪行为，则认为患者具有视觉追踪行为，否则进行2分项(视觉定位)的评估。这种评估可能会因为眼动受限(运动障碍)或行为不易观察到等而造成诊断结果不准确。
本发明根据运动视觉刺激、人脸识别、偶发任务刺激诱发事件相关电位(ERP)的原理设计的脑机接口检测系统。该系统提取ITPC(inter-trial phase coherence，试次间相位一致性)特征进行分类并实时输出结果，同时结合离线的ERP波形与时频分析中的ERSP(event related spectral perturbation,事件相关谱扰动)共同判断患者是否具有视觉追踪响应。大脑对外部刺激的内/外源性的响应比起行为响应更为敏感、客观准确。因此，采用脑机接口检测意识障碍患者的视觉追踪可能获得更为准确客观的评分。
本发明的难点在于实时运动的人脸视觉刺激的设计与实现、意识障碍患者脑电信号中与刺激相关的特征提取及基于ITPC分类算法的设计。根据行为量表中的视觉追踪和意识障碍被试的特点，选择运动的人脸刺激和对应ERP的潜伏期。采用高清摄像头实时采集被试当前的头像作为大小4cm的人脸刺激键，并通过Microsoft Visual C++软件编程实现目标人脸刺激键的实时移动，移动过程记录EEG信号，在单个试次结束后，根据提取的特征输出结果并以视听反馈形式播放给被试者。ITPC特征的选择需要确定有效的潜伏期与对应的频带范围，确保达到预期的检测效果。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种视觉追踪的脑机接口检测系统，可补充临床行为量表中经典的行为与生理观察，减少因为患者缺乏行为或者评估者主观解释造成的临床误诊率。
为实现上述目的，本发明所提供的技术方案为：视觉追踪的脑机接口检测系统，包括：高清人脸头像采集与移动模块、EEG信号采集模块、特征分析提取与分类模块、统计检验评估标准模块；
所述高清人脸头像采集与移动模块，通过计算机的显示器上的高清摄像头正面实时采集当前被试者的头像并裁剪为4cm*4cm的头像，作为人脸刺激键，并将此刺激键分布于显示器正方形范围内的上、下、左、右四个方向，在每个试次前随机选取一个方向为目标方向，并将此方向上的人脸刺激键置于显示器中心，用于提示患者选择性注意；试次开始后，目标方向上的人脸刺激键作为目标键进行移动并同时闪烁，而非目标的其余3个方向上的人脸刺激键则在原地闪烁而不移动，且在目标闪烁移动过程中，通过EEG信号采集模块实时采集患者脑电信号，并通过特征分析提取与分类模块进行特征提取与分类，同时将结果输出；
所述EEG信号采集模块，要求每个被试者按照扩展国际10-20系统标准佩戴电极帽，以单极导联方式连接，将右侧耳垂处的电极作为公共端；试次选择了Fp1、Fp2、F7、F3、Fz、F4、F8、FT7、FC3、FCz、FC4、FT8、T7、C3、Cz、C4、T8、TP7、CP3、CPz、CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz和O2共30个信号的通道作为脑电通道用来采集EEG数据；GND作为接地电极，A2作为参考电极；在数据采集过程中，为保证信号质量，所有通道的电极接触阻抗都保持在5k欧以下；脑电原始数据经过[0.1-70]Hz的带通滤波，并通过50Hz陷波滤波器去除工频干扰和去除脑电背景噪声；
所述特征分析提取与分类模块，要求单个试次的目标键从中间移至初始位置后，EEG数据被实时送入计算机中，采用相位一致性分类算法即ITPC特征提取与分类算法对数据进行处理，并根据结果同时播放正性/负性反馈图片与声音；
所述统计检验评估标准模块，对每个被试者，分类准确率就是命中的次数除以总的试次(trial)数，为了评估分类准确率的显著性，使用如下描述的基于Jeffreys’Beta分布的二项式检验：
式中，N表示试次(trial)的个数，m是期望的命中个数，a是期望对比的准确率，λ为所求的达到显著所需的准确率，z是标准正态分布中的z值；对于单边检测即大于期望值，当置信度为0.05时，z值为1.65；对于完成20次训练任务与20次在线任务的患者中，认为正确率在显著水平45％以上，且同时存在显著的ERP成分或者某个频带显著的ERSP，就判定被试者在视觉追踪项目评分为3，20个试次(trial)的在线任务分两次完成，每次10个试次(trial)，每次在线任务前，先收集10次训练任务即10个试次(trial)作为训练数据集，用于建立分类模型。
进一步，在所述特征分析提取与分类模块中，采用的ITPC分类算法具体步骤如下：
S1、由EEG信号采集模块采集到的EEG数据经过0.1Hz-50Hz的零相位带通滤波，并采用回归方法去除眼电伪迹；
S2、选择与视觉相关的区域的通道，至少包含P3、Pz、P4、O1、Oz和O2；利用所选通道的滤波后EEG数据构建至少400个目标和1200个非目标的数据单元，每个数据单元从刺激移动前100ms至刺激结束后800ms，将400个目标和1200个非目标的数据单元进行基于快速傅里叶变化的时频分析；
S3、时频分析包含计算事件相关谱扰动ERSP和试次间的相位一致性ITPC；ERSP的值能够反映脑电图信号中不同频率的功率随刺激起始而改变的程度，其中，ERSP的计算如下：
其中，ERSP(f,t)是频率f和时间t下的事件相关谱扰动；n是实验试次数；Fk(f,t)是频率f和时间t下，第k试次的谱估计；ITPC能够被视为ERSP的补充，揭示了选定频率范围与时间窗口内不同试次间的脑电图频谱相位一致性，即相位一致性的程度，计算如下：
其中，ITPC(f,t)是频率f和时间t下的相位一致性；
S4、采用不同频段的ITPC值作为特征进行分类，决定目标刺激；按照上、下、左、右方位构建某个频段(1-20Hz)的特征向量，从训练数据集的数据中提取特征向量，训练一个支持向量机SVM或者线性的分类器，即分类模型，在分类器中，对应目标和3个非目标的特征向量分别被标注为1和-1；对于每个在线的试次，训练的分类模型被应用到对应上、下、左、右不同方位的4个特征向量中，获得4个值，4个值中最大值对应的刺激方位被认为是目标，在试次中即为移动的目标键；如果检测到的方位与实际方位一致，则这个试次(trial)正确响应。
进一步，所述EEG信号采集模块在数据采集过程中，要求意识障碍患者面对显示器，并与显示器保持设定的距离，保证患者的视角在设定的角度范围内，给被试者佩戴电极帽，并注入电极膏确保每个电极导通。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明根据移动视觉刺激、人脸识别以及偶发任务诱发的多种ERP成分(如N170，N200，P200，P300和N400等)结合昏迷恢复量表的视觉追踪评估，选定脑机接口实验范式中的目标刺激与非目标刺激，目标刺激键闪烁同时移动，非目标保持不动。通过目标刺激的移动与闪烁，引导患者选择性追踪注意该目标头像并保持注视直至目标键从中心移至初始位置，并由ITPC作为特征进行分类实时输出在线结果，20次在线任务的结果进行统计检验，达到显著水平，则认为患者存在视觉追踪，否则不存在。
2、本发明采用基于脑机接口的检测方式，克服了行为量表和经验检测的对行为响应变化的敏感度不高、评估者主观性太强等缺点。
3、本发明不但可以有效应用于视觉追踪的辅助诊断，还可以用于意识障碍患者康复效果的预测。
附图说明
图1为单个试次(trial)的示意图。图中，在7s的实验提示语播放完毕后，刺激开始，一个试次(trial)包含10次重复的刺激(但目标键是随机选定的)，整个刺激过程持续8s，刺激完成后，分类结果实时输出反馈(4s)。
图2为不同组患者的ERSP与ITPC分布图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本实施例公开了一种视觉追踪的脑机接口检测系统，该系统包括高清人脸头像采集与移动模块、EEG信号采集模块、特征分析提取与分类模块、统计检验评估标准模块，各个功能模块的具体情况如下：
a、高清人脸头像采集与移动模块
根据行为量表评估过程与脑机接口评估范式结合，首先，通过计算机的显示器上的高清摄像头正面实时采集当前被试者的头像，并由程序裁剪为4cm*4cm的头像，作为人脸刺激键，并将此刺激键分布于显示器正方形范围内的上、下、左、右四个方向，在每个试次前随机选取一个方向为目标方向，并将此方向上的人脸刺激键置于显示器中心，用于提示患者选择性注意；单个试次(trial)过程见图1所示，试次开始后，先播放7s时长的实验提示语，帮助被试者注意到中间的人脸刺激键，然后目标方向上的人脸刺激键作为目标键进行移动并同时闪烁，而非目标的其余3个方向上的人脸视觉刺激则在原地闪烁而不移动。目标键从中间移动到初始位置后，单个刺激完成，整个刺激过程包含10个重复刺激，目标键的选取是由程序随机选定的。且在目标闪烁移动过程中，通过EEG信号采集模块实时采集患者单个试次共10次刺激的脑电信号，并通过特征分析提取与分类模块进行特征提取与分类，同时将结果作为反馈输出(反馈时间为10s)。
b、EEG信号采集模块
要求每个被试者按照扩展国际10-20系统标准佩戴电极帽，以单极导联方式连接，将右侧耳垂处的电极作为公共端。试次选择了Fp1、Fp2、F7、F3、Fz、F4、F8、FT7、FC3、FCz、FC4、FT8、T7、C3、Cz、C4、T8、TP7、CP3、CPz、CP4、TP8、T5、P3、Pz、P4、T6、O1、Oz和O2共30个信号的通道作为脑电通道用来采集EEG数据。GND作为接地电极，A2作为参考电极。在数据采集过程中，先让意识障碍患者就坐于显示器前0.5m左右，保证患者的视角在30°左右，给被试者佩戴电极帽，并注入电极膏确保每个电极导通，为保证信号质量，所有通道的电极接触阻抗都保持在5k欧以下，脑电原始数据经过[0.1-70]Hz的带通滤波，并通过50Hz陷波滤波器去除工频干扰，去除头动、肌电等脑电背景噪声。
c、特征分析提取与分类模块
要求单个试次的目标键从中间移至初始位置后，EEG数据被实时送入计算机中，采用ITPC(相位一致性)分类算法立即对数据进行处理，并根据结果同时播放正性/负性反馈图片与声音；其中，ITPC(相位一致性)分类算法具体步骤如下：
S1、由EEG信号采集模块采集到的EEG数据经过0.1Hz-50Hz的零相位带通滤波，并采用回归方法去除眼电伪迹；
S2、选择与视觉相关的区域的通道，至少包含P3、Pz、P4、O1、Oz和O2；利用所选通道的滤波后EEG数据构建至少400个目标和1200个非目标的数据单元，每个数据单元从刺激移动前100ms至刺激结束后800ms，将400个目标和1200个非目标的数据单元进行基于快速傅里叶变化的时频分析；
S3、时频分析包含计算事件相关谱扰动(event-related spectralperturbation，ERSP)和试次间的相位一致性(ITPC)，ERSP的值可以反映脑电图信号中不同频率的功率随刺激起始而改变的程度，其中，ERSP的计算如下：
其中，ERSP(f,t)是频率f和时间t下的事件相关谱扰动；n是实验试次数；Fk(f,t)是频率f和时间t下，第k试次的谱估计；ITPC能够被视为ERSP的补充，揭示了选定频率范围与时间窗口内不同试次间的脑电图频谱相位一致性(即相位一致性的程度)，计算如下：
其中，ITPC(f,t)是频率f和时间t下的相位一致性。
不同组患者的ERSP与ITPC分布见图2所示；在正常被试组中低频带(小于20Hz)的ERSP值非常高，且300-400ms时间窗内的ITPC值也较高，即锁相性很好，同样的现象在意识障碍患者中一些后期出现视觉追踪的患者中(Responsive组和Inconsistent组中)也可观察到，此现象没有在不具备视觉追踪的患者中观察到。
S4、采用不同频段的ITPC值作为特征进行分类，决定目标刺激；按照上、下、左、右方位构建某个频段(1-20Hz)的特征向量。每位患者进行20个trial的在线任务，分两次完成，每次10个trial。每次在线任务前，先收集10次训练任务(10个trial)作为训练数据集，用于建立分类模型。从训练数据集中提取特征向量，训练一个支持向量机SVM或者线性的分类器，即分类模型，在分类器中，对应目标和3个非目标的特征向量分别被标注为1和-1；对于每个在线的试次，训练的分类模型被应用到对应上、下、左、右不同方位的4个特征向量中，获得4个值，4个值中最大值对应的刺激方位被认为是目标，在试次中即为移动的目标键；如果检测到的方位与实际方位一致，则这个试次(trial)正确响应。
d、统计检验评估标准模块
对每个被试者，分类准确率就是命中的次数除以总的试次(trial)数，然而，意识障碍患者的准确率普遍较低，为了评估分类准确率的显著性，使用如下描述的基于Jeffreys’Beta分布的二项式检验：
式中，N表示试次(trial)的个数，m是期望的命中个数，a是期望对比的准确率(这里是0.25)，λ为所求的达到显著所需的准确率，z是标准正态分布中的z值；对于单边检测(即大于期望值)，当置信度为0.05时，z值为1.65；对于完成20次训练任务与20次在线任务的患者中，认为正确率在显著水平45％以上，且同时存在ITPC的，就判定被试者在视觉追踪项目评分为3。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种面向双眼竞争的视觉稳态诱发电位检测系统