一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法
阅读说明：本技术 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法 (Cross-tested EEG (electroencephalogram) cognitive state detection method based on efficient multi-source capsule network ) 是由 方欣 戴国骏 赵月 张振炎 吴政轩 金燕萍 吴琪 夏念章 刘洋 曾虹 于 2021-09-30 设计创作，主要内容包括：本发明提出一种基于高效多源胶囊网络的跨被试EEG认知状态检测方法。本发明通过将目标域和多源域的特征分布对齐,以实现域间特征的有效迁移。将EEG数据构建成多通道一维结构,提高了训练效率,同时提高模型性能。其次,引入自表达模块来捕捉样本之间的潜在联系,能够很好地适应不同任务下具有显著个体差异的跨被试EEG数据分析。最后提出了基于动态子胶囊的空间注意力算法来进一步学习EEG数据空间层次上的细粒度特征信息,有效刻画了EEG数据的部分间空间关系和部分-整体层次关系。本发明有效避免了脑认知计算领域脑电信号的个体差异性问题,可适用于任何任务下基于EEG的认知状态识别,具有较强的泛化能力,能够很好的适用于临床诊断和实际应用。(The invention provides a cross-tested EEG cognitive state detection method based on an efficient multi-source capsule network. The invention realizes the effective transfer of the inter-domain characteristics by aligning the characteristic distribution of the target domain and the multi-source domain. EEG data is constructed into a multi-channel one-dimensional structure, so that training efficiency is improved, and model performance is improved. Secondly, the introduction of the self-expression module to capture potential connections between samples can be well adapted to cross-subject EEG data analysis with significant individual differences under different tasks. Finally, a space attention algorithm based on dynamic sub-capsules is provided to further learn fine-grained characteristic information on EEG data space hierarchy, and the partial space relation and the partial-whole hierarchy relation of EEG data are effectively described. The method effectively avoids the problem of individual difference of electroencephalogram signals in the field of brain cognitive computation, is suitable for cognitive state recognition based on EEG under any task, has strong generalization capability, and can be well suitable for clinical diagnosis and practical application.)
技术领域
本发明涉及脑认知计算领域的神经电生理信号分析技术，及无监督学习领域的多源域域适应模型构建方法，是一种基于高效多源胶囊网络使用脑电信号(EEG)对认知状态进行检测的方法。本发明不仅能够有效解决不同被试个体差异性显著的问题，还能有效解释EEG特征与认知状态之间相关性的内在机制，此外，在保持胶囊网络性能的同时有效提高训练效率。
背景技术
脑电信号(EEG)是最能反映人脑认知活动的信号，是认知状态检测任务的关键指标。近年来，基于EEG的认知状态检测方法因其高时间分辨率、无创性和低成本的特点而受到越来越多的研究关注，并且广泛应用于不同任务，如疾病诊断、驾驶员疲劳状态检测和情绪识别等。
传统的基于EEG的分析方法通常将适当的特征提取与分类器结合起来，通过提取和分析EEG电位特征，识别不同任务的不同认知状态。尽管这些方法具有很高的判别性能，但大多针对被试内部的EEG会话数据或者分别混合多个被试的EEG会话数据进行分析，实现跨会话泛化。由于EEG信号具备个体差异性大、低信噪比和非线性的特征，上述方法在跨被试分析中的性能可能会严重下降，阻碍了基于EEG的跨被试认知状态检测的发展。因此，构建一个通用的跨被试EEG认知状态检测方法十分重要。
最近，深度学习(DL)由于具有良好的特征表示能力，在帮助理解复杂EEG信号方面显示出巨大的前景。然而，为了获得更好的神经网络性能，DL需要更大的数据量、更深的网络和更复杂的结构，而EEG数据普遍为有限小样本数据，且存在个体差异性大的特点，目前的一些DL方法可能不适合跨被试的EEG分析。特别地，对于经典卷积神经网络(CNN)及其变体，也很难建立明确学习或解释EEG特征与认知状态之间相关性的内在机制，很难分析它们为什么不适合在空间层面上进行具有强相关性的跨被试EEG数据。
胶囊网络是一种可解释的架构，采用了一种新的“矢量输入矢量输出”特征信息传输策略，并引入了动态路由算法来描述部分(底层特征的矢量表示)和整体(上层特征的矢量表示)之间的关系。在训练样本有限的情况下，胶囊网络的动态路由机制仍能获得较好的性能。目前已有一些研究工作将胶囊网络及其变体应用于基于EEG的分析，如运动想象分类、驾驶员警惕性估计等。
尽管现有的基于胶囊的EEG分析方法已经取得了快速的进展，但跨被试EEG分析仍然存在许多挑战：首先，胶囊网络的原始动态路由算法对EEG显著个体差异引起的异常值较为敏感；其次，胶囊网络的动态路由过程虽然能够描述从局部到整体的层次关系，但不能解释底层的部分间交互问题。具体地，对于多通道EEG分析，它很难描述通道之间的相互作用。从理论上讲，认知状态与脑功能连接方式之间存在着很强的相关性，不同的认知状态导致不同脑功能区活动的差异，而胶囊网络牺牲其训练性能以实现其可解释性，如何在保持胶囊网络性能的同时提高训练效率也是一个有待解决的问题。
此外，相关文献表明，区别于单源域域适应问题，多源域迁移学习同时将多个源域的知识迁移到目标域中辅助目标域的学习，这些数据不但和目标域不同，而且互相之间也不同，该方法可有效解决EEG的个体差异性问题。
综上所述，针对上述挑战，本发明将以跨被试、可解释性、高效、多源域为关键出发点，构建基于高效多源胶囊网络的跨被试EEG认知状态检测方法，以便在神经生理信号分析领域更高效的应用。
发明内容
本发明提出一种基于高效多源胶囊网络的跨被试EEG认知状态检测方法，针对EEG数据存在的高度非线性和显著的个体差异情况，以及对于EEG认知状态检测方法的准确性、可解释性和效率的需求，充分学习样本的结构特征，通过将目标域和多源域的特征分布对齐，以实现域间特征的有效迁移。
本发明提出的基于EEG的认知状态检测方法，综合考虑跨被试的关联性和相似性，通过对EEG进行特征分析，对被试的认知状态进行分类，实现在不同实验任务下的跨被试认知状态检测，如网络游戏成瘾患者的认知状态(成瘾和正常对照组)、驾驶员驾驶任务下的认知状态(清醒和疲劳)、实验被试在不同情绪刺激任务下的认知状态(负面、中性和正面情绪)等，可处理不同的脑电数据集。
本发明以疲劳驾驶脑电数据集为前提，为克服现有方法的不足所采用的技术方案如下：
步骤1：数据获取
本发明采用的疲劳驾驶脑电数据集中的数据为多名具有较好驾驶经验的健康被试的脑电EEG数据，并且每位被试在试验后填写NASA-TLX问卷，以提供主观的工作负荷感知。根据NASA-TLX问卷，本发明选取TAV3和DROWS两种精神状态作为分析。
步骤2：数据预处理
为进一步过滤噪声和去除伪影，本发明针对原始EEG数据，首先使用带通滤波器(1-30Hz)消除自发脑电信号以外的高频噪声以及工频干扰等信号，然后使用独立成分分析(ICA)方法进行处理，最后利用功率谱密度(PSD)提取EEG信号特征，为后续模型构建提供稳定的信号特征。
步骤3：基于E3GCAPS算法的跨被试EEG认知状态检测方法
输入：①带有认知状态标签的多源域样本数据其中N为源域总数(即被试总数)，n为第n个源域，表示第n个源域的样本，表示第n个源域样本对应的真实标签。
②不带认知状态标签的目标域样本数据其中表示目标域的第i个样本，|XT|为目标域样本的总数。
③最大迭代次数T，标签类别k＝{1,2,…,K}，其中K为标签类别总数。
3-1.考虑到EEG通道之间的联系，将二维EEG数据转换为多通道一维结构，在保持模型性能的同时，极大地提高了训练效率。将源域和目标域的每个样本表示为其中 Channels表示样本的通道数，Features表示样本每个通道的特征数。
3-2.使用批量归一化(BN)和指数线性单元(ELU)激活的逐点卷积作为公共特征提取器G(·)，提取公共域不变特征。第n个源域中的第i个样本获得的公共域不变特征为将其简化为目标域中的第i个样获得的公共域不变特征为将其简化为
3-3.考虑到EEG数据异常值的敏感性，进一步引入多个自表达模块来获取样本之间的潜在联系。每个自表达模块包括全连接层和softmax函数；使用全连接层(FC)作为分类器，将学习到的特征分布映射到样本标签空间，并使用softmax函数从该全连接层的输出中获得类别系数C。softmax函数为：
其中，Ci表示来自源域或目标域的样本zi的类别系数，表示FC层的转换，fik表示fi中属于第k类的特征。
3-4.为有效消除对少量数据的依赖，增加一个正则化项Lwc来约束自表达的类别系数C，防止过度拟合，提高泛化能力。Lwc的计算如下：
其中，T表示矩阵转置，M表示批训练样本数，α表示超参数。
总的正则化损失为：
其中，为第n个源域的正则化项，为目标域对应的正则化项。
3-5.公共特征提取器输出的域不变特征作为输入，引入多个EEGCAPS分类器，有效提取EEG的各种细粒度特征，包括：从公共域不变特征中提取特定于域的特征，将特定于域的特征映射到更高纬度的空间；通过初始胶囊层(PrimaryCaps)获得拥有向量输出的胶囊层其中el为子胶囊，每个子胶囊在第l层的纬度是dl。记此时输出子胶囊数量为p个，表示第n个源域的第j个子胶囊，表示目标域的第j个子胶囊。
为了规范化特征，通过squash函数将特征压缩到0-1的范围内，squash函数可表示为：
其中，Fj为当前源域或目标域中的某个子胶囊，||Fj||表示Fj的L1范数，||Fj||2表示Fj的L2范数。此时第n个源域中第j个胶囊的输出为记为目标域中的第j个胶囊输出为记为
3-6.考虑到EEG的强空间相关性，引入基于动态子胶囊的空间注意路由，子胶囊通过空间注意路由，路由到子胶囊所属的整体，输出认知胶囊，具体为：
①设置路由次数r，初始化层数l＝0，初始化先验权重矩阵W和先验概率矩阵a，初始化路由协议系数b，将类别系数C维度扩展输出C'，将子胶囊投影为认知胶囊：
其中，表示源域或目标域中某个子胶囊T'j的第l层表达，C'j为维度扩展后第j个子胶囊的类别系数，为T'j和认知胶囊Tk在第l层的先验权重矩阵。
②获取基于子胶囊的注意耦合系数rjk：
其中，ajk是T'j和的先验概率矩阵，是路由协议系数，tjk是通过学习T'j和之间的空间关系计算的空间注意权重。
③获取加权和特征sk：
④获取输出胶囊
⑤获取路由协议系数
其中，cos(·)表示余弦相似性函数。
⑥层数l＝l+1，重复步骤②-⑤，直到达到路由次数r，记此时输出第k个认知胶囊为Tk。
3-7.认知胶囊的范数长度表示认知胶囊的存在概率。使用边际损失Lcap应用于每个认知胶囊，以优化整个胶囊网络模块。边际损失Lcap的计算如下：
其中，为认知胶囊的L1范数，如果样本属于类别k，则Yk＝1，否则Yk＝0，m+、m-和λ是超参数，max表示求两个数的最大值。
3-8.记当前第n个源域为其第k个认知胶囊的范数长度为目标域为其第k'个认知胶囊的范数长度为根据各个认知胶囊的范数长度，使用最大均值差异(MMD)来度量源域和目标域的预测分布的距离，对这两个分布进行对齐，得到损失计算如下：
其中，H为再生核希尔伯特空间(RKHS),表示将域的特定特征分布映射到H的特征映射函数。
总的MMD损失为：
3-9.计算总的目标优化函数，定义如下：
Ltotal＝Lcap+βLmmd+γLw#(13)
其中β和γ为模型的超参数。
3-10.重复步骤3-1至步骤3-9，直至迭代T次。
输出：目标域样本标签对应于所有分类器集成结果的类别标签。
本发明的主要贡献在于：
首先，将EEG数据构建成多通道一维结构，大大提高了训练效率，同时实现了更好的模型性能。其次，引入自表达模块来捕捉样本之间的潜在联系，能够很好地适应不同任务下具有显著个体差异的跨被试EEG数据分析。最后，提出了基于动态子胶囊的空间注意力算法来进一步学习EEG数据空间层次上的细粒度特征信息，有效刻画了EEG数据的部分间空间关系和部分-整体层次关系。
本发明有效避免了脑认知计算领域脑电信号的个体差异性问题，可适用于任何任务下基于EEG的认知状态识别，具有较强的泛化能力，能够很好的适用于临床诊断和实际应用。
附图说明
图1是本发明结构图。
具体实施方式
下面结合附图和实例对本发明作进一步说明。
目前，基于胶囊的相关研究成果大多应用在图像识别、目标检测等方面，胶囊网络为解释EEG与其相应的身体活动之间的相关性提供一种新的途径。现有方法大多使用胶囊网络从多频带EEG数据中提取多层次特征以进行认知状态检测，忽略了局部胶囊之间的关系，而对于被试之间存在显著差异的EEG数据，也没有有效的基于胶囊的框架来对其进行分析。
本发明所提出的算法主要有以下三个方面：1)考虑到不同EEG通道之间的相互作用，提取多通道一维脑电特征以代替通常采用的二维脑电特征作为输入，有效保留通道之间潜在的特征信息，并且显著加快训练过程；2)引入一个自表达的模块，通过考虑不同样本之间的潜在联系来计算类别系数，对胶囊路由模块进行加权，有效降低方法对异常值的敏感性，此外采用适当的正则化算法对批量样本的联合概率分布进行优化，有效避免过拟合；3)提出了一种改进的基于动态子胶囊的空间注意算法(子胶囊定义为底层特征的向量表示)，考虑到认知状态与脑功能连接模式之间的强相关性，通过引入空间注意力机制来探索多通道一维脑电数据的空间关系，进而有效地刻画脑电特征的潜在空间关系(部分间)和层次关系(部分-整体)。
从本质上看，该算法能够有效避免EEG高度非线性和显著个体差异特征的影响，在基于EEG的认知状态检测中可达到较好的准确率和较高的效率，并且能够较好地解释EEG特征与认知状态之间相关性的内在机制，在实际中具有广泛的应用场景。
综上所述，本发明针对基于EEG的认知状态检测问题，以EEG数据个体差异性特性以及认知检测方法的准确率、可解释性和效率为关键出发点，对被试的认知状态进行检测，其核心技术主要是基于高效多源胶囊网络的算法(Efficient EEG-based Multi-Capsule,E3GCAPS)构建针对多源域跨被试的EEG认知状态检测方法。本发明将每个训练被试个体作为一个单独域组成多个源域，新的跨被试个体作为目标域，综合考虑跨被试的关联性和相似性，引入胶囊网络和空间注意力机制对跨被试的认知状态进行检测。该方法充分考虑数据的特征空间分布结构，不仅能有效解释EEG特征与认知状态之间相关性的内在机制，还能大大提高模型训练效率，并且具有较高的普适性，在实际的脑机交互(BCI)中有广泛的应用前景，为临床应用提供技术支持。
如图1所示，是基于高效多源胶囊网络的跨被试EEG认知状态检测方法(E3GCAPS)的结构图，主要包括如下步骤：
步骤1：数据获取
本发明采用的疲劳驾驶脑电数据集中的数据为15名具有较好驾驶经验的健康被试的脑电EEG数据，并且每位被试在试验后填写NASA-TLX问卷，以提供主观的工作负荷感知。根据NASA-TLX问卷，本发明选取TAV3和DROWS两种精神状态作为分析。
步骤2：数据预处理
以疲劳驾驶EEG数据为例，原始EEG数据处理步骤如下所示：
2-1.伪迹去除：对获取的原始EEG数据进行伪迹去除操作，首先进行1-30Hz的带通滤波处理，同时去除信号中的工频干扰及直流成分；之后采用ICA独立成分分析去除信号中的伪迹。
2-2.PSD特征提取：对伪迹去除后的EEG进行PSD特征提取，针对每个被试个体的EEG通过0.5s的滑动窗口进行数据分割，得到1400个样本，脑电数据采集通道数为61，提取与疲劳驾驶相关的频段4-30Hz(其中θ为4-7Hz，α为8-13Hz，β为14-30Hz)，对提取频段和通道维度进行拼接得到61*27维的特征向量，每个被试个体对应1400*1647维度的样本数据。
步骤3：基于E3GCAPS算法的跨被试EEG认知状态检测方法
输入：①带有认知状态标签的多源域样本数据集Us，具体为：
其中N为源域总数(即被试总数)，n为第n个源域，表示第n个源域的样本，表示第n个源域样本对应的真实标签，更具体地如下所示：
其中表示第n个源域的第i个样本，表示第n个源域的第i个样本对应的真实标签，|Xsn|为第n个源域的样本总数；
②不带认知状态标签的目标域样本数据XT，具体为：
其中表示目标域的第i个样本，|XT|为目标域样本的总数；
③最大迭代次数T，标签类别k＝{1,2,…,K}，其中K为标签类别总数。
3-1.考虑到EEG通道之间的联系，将二维EEG数据转换为多通道一维结构，在保持模型性能的同时，极大地提高了训练效率。将源域和目标域的每个样本表示为其中 Channels表示样本的通道数，Features表示样本每个通道的特征数。
3-2.使用批量归一化(BN)和指数线性单元(ELU)激活的逐点卷积作为公共特征提取器G(·)，从多个源域和目标域中提取多通道一维数据的公共域不变特征。第n个源域中的第i个样本获得的公共域不变特征为将其简化为目标域中的第i个样获得的公共域不变特征为将其简化为
3-3.考虑到EEG数据异常值的敏感性，进一步引入多个自表达模块来获取样本之间的潜在联系。每个自表达模块包括全连接层和softmax函数；使用全连接层(FC)作为分类器，将学习到的特征分布映射到样本标签空间，并使用softmax函数从该全连接层的输出中获得类别系数C，其中：第n个源域中的第i个样本获得的自表达模块输出为类别系数目标域中的第i个样本获得的自表达模块输出为类别系数softmax函数为：
其中，Ci表示来自源域或目标域的样本zi的类别系数，表示FC层的转换，fik表示fi中属于第k类的特征。
3-4.为有效消除对少量数据的依赖，增加一个正则化项Lwc来约束自表达的类别系数C，防止过度拟合，提高泛化能力。Lwc的计算如下：
其中，T表示矩阵转置，M表示批训练样本数，α表示超参数。
总的正则化损失为：
其中，为第n个源域的正则化项，为目标域对应的正则化项。
3-5.公共特征提取器输出的域不变特征作为输入，引入多个EEGCAPS分类器，有效提取EEG的各种细粒度特征，包括：
首先，使用一组卷积层从公共域不变特征中提取特定于域的特征，并应用BN和ELU，将特定于域的特征映射到更高纬度的空间。
接着，通过初始胶囊层(PrimaryCaps)获得拥有向量输出的胶囊层其中el为子胶囊，每个子胶囊在第l层的纬度是dl，此时的特征表示不再是单个神经元，而是向量胶囊。记此时第n个源域的输出为p个子胶囊，表示其中的第j个子胶囊，目标域的输出为p个子胶囊，表示其中的第j个子胶囊。
最后，为了规范化特征，通过squash函数将特征压缩到0-1的范围内，squash函数可表示为：
其中，Fj为当前源域或目标域中的某个子胶囊，||Fj||表示Fj的L1范数，||Fj||2表示Fj的L2范数。此时第n个源域中第j个胶囊的输出为记为目标域中的第j个胶囊输出为记为
3-6.考虑到EEG的强空间相关性，引入一种空间注意力机制来约束动态路由系数，子胶囊通过空间注意路由，路由到子胶囊所属的整体，最终输出为认知胶囊。每个源域或目标域的认知胶囊数均为K。具体为：
⑦设置路由次数r，初始化层数l＝0，初始化先验权重矩阵W和先验概率矩阵a，初始化路由协议系数b，将类别系数C维度扩展输出C'，将子胶囊投影为认知胶囊：
其中，表示源域或目标域中某个子胶囊T'j的第l层表达，C'j为维度扩展后的对应第j个子胶囊的类别系数，为T'j和某个认知胶囊Tk在第l层的先验权重矩阵。
⑧获取基于子胶囊的注意耦合系数rjk：
其中，ajk是T'j和的先验概率矩阵，是路由协议系数，tjk是通过学习T'j和之间的空间关系计算的空间注意权重，通过一维卷积直接学习子胶囊的特征而来，该卷积可以进行权重共享，以实现跨通道(空间级别)交互策略，而无需降维，可以有效捕捉子胶囊之间的空间关系。
⑨获取加权和特征sk：
⑩获取输出胶囊
获取路由协议系数
其中，cos(·)表示余弦相似性函数，通过计算向量间夹角的余弦来评估其相似性，可以有效度量样本特征的空间差异。其计算公式如下：
其中，A和B表示两个向量，||A||表示A的L1范数，||B||表示B的L1范数。
层数l＝l+1，重复步骤②-⑤，直到达到路由次数r，记此时输出第k个认知胶囊为Tk。
3-7.向量的范数长度用于表示认知胶囊的存在概率。使用边际损失Lcap应用于每个认知胶囊，以优化整个胶囊网络。边际损失Lcap的计算如下：
其中，为第n个源域第k个认知胶囊的L1范数，如果样本属于类别k，则Yk＝1，否则Yk＝0，m+、m-和λ是超参数，max表示求最大值。
3-8.记当前第n个源域为其第k个认知胶囊的范数长度为目标域为其第k'个认知胶囊的范数长度为根据各个认知胶囊的范数长度，使用最大均值差异(MMD)来度量源域和目标域的预测分布的距离，对这两个分布进行对齐，得到损失计算如下：
其中，H为再生核希尔伯特空间(RKHS),表示将域的特定特征分布映射到H的特征映射函数。
总的MMD损失为：
3-9.计算总的目标优化函数，定义如下：
Ltotal＝Lcap+βLmmd+γLw#(17)
其中β和γ为模型的超参数。
3-10.重复步骤3-1至步骤3-9，直至迭代T次。
输出：目标域样本标签对应于所有分类器集成结果的类别标签。
本发明可适用于任何基于EEG的认知状态检测，一定程度上解决了脑电个体差异性问题，解释了EEG特征与认知状态之间相关性的内在机制，具有效率高、泛化能力强等优势。