具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

近年来，BCI技术兴起，在医疗康复、教育培训等领域成为热点。脑控机械臂作为其在医疗康复领域的应用，一直是研究的热点，对失去运动能力的患者具有重要意义。基于此，本申请的实施例提供一种机械臂的脑机接口控制方法。参见图1所示，机械臂的脑机接口控制方法至少可以包括如下步骤：

步骤11、获取多通道的脑电信号。

实施时，可以通过脑电采集设备获取到多通道的脑电信号。

其中，脑电采集设备可以是脑电帽，也可以是其他的可以采集脑电信号的装置。

步骤12、针对每个通道的脑电信号，执行预处理，得到三维空间中六个方向的信号特征。

步骤13、对每个信号特征，计算功率谱，并根据功率谱，计算对应的预设频段的功率谱特征，将功率谱特征作为频域特征；对每个信号特征进行滑动窗口卷积，计算得到时域特征。

步骤14、对每个通道的频域特征和时域特征进行拼接，得到多通道的特征结果。

步骤15、将得到的多通道的特征结果输入到预先训练好的解码模型中，得到机械臂在三维空间中三个方向的运动速度。

本实施例中，在获取到多通道的脑电信号后，针对每个通道的脑电信号，可以对其执行预处理操作，得到三维空间中六个方向的信号特征，使得脑电信号沿不同的方向的分解成独立、解耦的信号。继而针对每个信号特征，计算功率谱，并根据计算得到的功率谱确定对应的预设频段的功率谱特征，将功率谱特征作为频域特征，同时，对每个信号特征都进行滑动窗口卷积，计算得到时域特征。在得到每个通道的频域特征和时域特征后，对每个通道的频域特征和时域特征进行拼接，得到多个通道的特征结果。最后，将得到的多通道的特征结果输入到预先训练好的解码模型中，就可以得到机械臂在三维空间中三个方向的运动速度。如此，将脑电信号处理成独立、解耦的信号，通过提取频域特征和时域特征，再结合预先训练好的解码模型，不仅将机械臂的运动强度考虑到了控制方法中，提高了机械臂运动控制的流畅程度，还有效提高了脑控机械臂运动的准确性，从而实现三维空间下机械臂的在线控制。

具体实施时，可以给使用者佩戴脑电采集设备，使用者通过运动想象产生脑电信号(EEG信号)，脑电采集设备可以是64路电极帽，利用电极帽采集EEG信号，采样频率为1000Hz。

其中，运动想象指令对应关系如下表：

表1运动想象指令对应表

在步骤12中，执行预处理，得到三维空间中六个方向的信号特征，具体可以包括：使用共空间模式，分别从脑电信号中提取三维空间中六个方向的空间分布成分；将六个方向的空间分布成分作为对应方向的信号特征。

其中，在使用共空间模式，分别从脑电信号中提取三维空间中六个方向的空间分布成分时，可以将脑电信号分别输入到预先训练好的六个空间滤波器中，得到三维空间中六个方向的空间分布成分；六个空间滤波器包括三维空间中X轴第一方向空间滤波器、X轴第二方向空间滤波器、Y轴第一方向空间滤波器、Y轴第二方向空间滤波器、Z轴第一方向空间滤波器和Z轴第二方向空间滤波器。

在对空间滤波器进行训练时，可以分别对三维空间中X轴(左右)、Y轴(上下)、Z轴(前后)，即X轴第一方向、X轴第二方向、Y轴第一方向、Y轴第二方向、Z轴第一方向和Z轴第二方向这六个方向的训练样本进行处理，对应得到六个空间滤波器，然后将脑电信号输入到这六个滤波器中可以得到脑电信号中这六个方向解耦的特征。假设E1(左)、E2(右)、E3(前)、E4(后)、E5(上)、E6(下)分别为表1中六种运动想象任务下的多通道诱发响应时-空信号矩阵，他们的维数均为N*T，N为脑电通道数，T为每个通道等时间间距采集的样本数。实施时，共空间模式是一种对两分类任务下的空域滤波特征提取算法，为了求出每个方向的空间分布特征，可以把六类中的一类看成一类，其余五类看成一类，将六分类任务转化为六个二分类任务，从而得到六个空间滤波器。

具体实施时，可以设X1为向左运动想象的数据(即E1)，X2为非向左运动的数据(即E2-E6)。先通过X1、X2提取出左方向的空间分布成分，实施步骤如下：

首先求两类数据的混合空间协方差矩阵，在对X1、X2进行归一化后的协方差矩阵R₁、R₂可以分别表示为：

其中，X^T表示X的转置，trace(X)表示矩阵X对角线上元素的和。由此，就可以求得左右混合空间协方差矩阵R_L。

左右混合空间协方差矩阵R_L的表达式为：

其中，和分别为左右混合空间中向左运动和向右运动的平均协方差矩阵。

在得到左右混合空间协方差矩阵R_L后，可以利用主成分分析法求得白化特征值矩阵P_L。先对左右混合空间协方差矩阵R_L按式进行特征值分解：

R_L＝UλU^T (4)

其中，U是矩阵λ的特征向量矩阵，λ是R_L的特征值构成的对角阵。将特征值进行降序排列，白化特征值矩阵的表达式即为：

在得到白化特征值矩阵P_L后，可以对协方差矩阵R₁、R₂进行如下变换：

然后对S₁和S₂做主分量分解：

通过上面的式子可以证明矩阵S₁的特征向量和矩阵S₂的特征向量矩阵是相等的，即：

B₁＝B₂＝B_L (10)

同时，两个特征值的对角阵λ₁和λ₂之和为单位矩阵，即：

λ₁+λ₂＝I (11)

由于两类矩阵的特征值相加总是为1，则S₁的最大特征值所对应的特征向量使S₂有最小的特征值，反之亦然。把λ₁中的特征值按照降序排列，把λ₂中的特征值按照升序排列，根据这点可以推断出λ₁和λ₂具有下面的形式：

λ₁＝diag(I₁σ_M0) (12)

λ₂＝diag(0σ_MI₂) (13)

白化脑电信号到与λ₁和λ₂中的最大特征值对应的特征向量的变换对于分离两个信号矩阵中的方差是最佳的。由此，投影矩阵W_L所对应的空间滤波器(X轴第一空间滤波器)为：

同理,可求得向右方向空间滤波器(X轴第二空间滤波器)W_R、前后两个方向空间滤波器(Z轴第一空间滤波器和Z轴第二空间滤波器)W_F和W_B，以及上下方向空间滤波器(Y轴第一空间滤波器和Y轴第二空间滤波器)W_U和W_D，其大小均为N*N的矩阵，取空间滤波器的前r行和后r行(2r＜N)作为最终的滤波器，即，W_2r,L、W_2r,R、W_2r,F、W_2r,B、W_2r,U和W_2r,D，其中，r为生成空间滤波器时根据实际需求确定的特征个数，此处不作限定。本实施例中，r可以取1，设X为运动想象的其中一段EEG信号，大小为N*T，将X通过六个空间滤波器W_L、W_R、W_B、W_B、W_U和W_D分别得到三维空间中x、y、z轴六个方向的空间分布分量Z_L、Z_R、Z_F、Z_B、Z_U和Z_D，即：

Z_dir＝W_2r,dirX dir＝L,R,F,B,U,D (15)

将六个空间分布分量纵向拼接为Z，大小为12r*T。如此，即可通过不同运动想象任务的训练集求出三维空间中六个方向的空间滤波器，从而得到六个空间分布成分。

在得到三维空间中六个方向的信号特征后，可以针对每个信号特征，以预设的窗口长度构建自回归模型，并利用Burg算法确定每个通道的自回归模型参数；基于自回归模型和确定的自回归模型参数，计算每个信号特征的功率谱。

其中，预设的窗口长度可以是400ms。

具体实施时，可以针对预处理之后的Z_LR、Z_FB和Z_UD分别以400ms的窗口构建自回归模型，阶数可以是16阶，窗口滑动的步长为10ms，模型如下：

其中，Z_j(t)是第j个特征在t时刻的估计信号，w_j是权重系数，ε是估计误差，p是自回归模型的阶数为16。继而可以使用Burg算法估计自回归模型的参数w_j，确定自回归模型，从而计算得到每个通道的信号特征的功率谱。

实施时，由于在运动想象范式中，被试会出现明显的时间相关去同步化/事件相关同步化现象，通常出现在μ(8-13Hz)频段下。因此，可以将μ频段的能量作为特征，即功率谱密度图中μ频段下的面积的总和，从而得到Z信号的μ频段的功率谱特征P，即信号特征的频域特征。

具体的，利用Burg算法估计自回归模型的参数，以及，计算功率谱特征的具体实现方式可以参考现有相关技术，此处不再赘述。

在计算信号特征的频域特征的同时，还考虑了与误差相关的时间信息来实现闭环BCI系统。如此，在对每个所述信号特征进行滑动窗口卷积，计算得到时域特征时，可以针对每个信号特征，以预设窗口长度进行进行滑动窗口卷积，得到信号特征与误差相关的P300特征，将P300特征作为时域特征。

具体实施时，当受试者注意到机械臂没有达到预期的控制位置时，在刺激后约300ms，大脑中会产生一个被称为P300的正电位，如此，可以将P300特征作为时域特征，对预处理之后的六个空间成分分布分别以300ms的窗口进行滑动窗口卷积，即可得到P300特征Q，公式如下：

其中，Q_j(t)为第j个特征在t时刻的P300特征，为高斯小波函数的一阶导数，l为的尺度，Z_j(t)是第j个特征在t时刻的信号。本实施例中，l为30，即窗口长度为300ms，窗口滑动的步长是10ms。

在分别得到功率谱特征P和P300特征Q之后，可以将每个通道中这两种特征进行纵向拼接，最终得到特征结果F，其大小为24r*M。其中，M是T经过数据预处理、特征提取后时间维度的样本数。

在得到多通道的特征结果后，就可以将得到的多通道的特征结果输入到预先训练好的解码模型中，解码模型可以包括：transformer encoder层、pooling层和全连接层。利用解码模型即可将多通道的特征结果映射为机械臂在三维空间中x、y、z方向的运动速度以实现机械臂的三维连续移动。

其中，Transformer由多个encoder和decoder构成，多用于生成式任务。由于脑控机械臂属于理解式任务，因此只需要encoder部分即可。Transformer的优势是可以并行的处理不同时刻的特征，从而进行信息交互。Transformer encoder包含两个block，selfattention block和feed forward block。self attention block能够得到每个时间点新的特征，新的特征是每个时间点原始特征的一个线性加权和，模型能够自己学习到某个时间点的特征是否需要关注以及关注程度如何，从而提高时间序列任务的性能。

为了让模型理解输入特征的时间顺序，可以将正余弦相对位置编码叠加到输入特征。Transformer encoder的输出是一个跟输入特征同样大小的矩阵(24r*M)，因此需要在最后一层的encoder后做一个pooling操作聚合信息(24r*1)，然后再接一个全连接层映射为机械臂三个方向的运动速度。公式如下：

V＝FC(pooling(f(F))) (18)

其中，f为多层encoder，考虑到数据量规模不大和防止过拟合，本实施例可以采用3层encoder；pooling方法采用mean pooling，即对M个24r*1的矩阵取平均；为了维数匹配，FC是一个24r*3的全连接层，将24r*1的矩阵转变为3*1的矩阵。

在训练解码模型的参数时，可以采集多通道的特征结果作为训练样本，构成样本训练集，输入到由transformer encoder层、pooling层和全连接层构成的解码模型中，将预设速度作为模型的输出数据，通过解码模型提取与脑控机械臂相关的抽象特征，输出机械臂的运动速度；应用误差反向传播算法调整解码模型的参数值，直至拟合度达到预设值，即可得到训练好的解码模型。

实际应用时，解码模型的输入是F(24r*M)，输出是V(3*1)，分别为x、y、z方向的运动速度,输出为正表示沿该轴正向运动，输出为负表示沿该轴反向运动。如此，基于transformer encoder的解码模型可以并行地处理当前和历史信息，模型中的selfattention block会对每个时刻的信息打一个相关性分数来表示模型对该信息的关注度，降低噪声带来的影响，解码模型输出机械臂不同方向的运动速度从而实现机械臂在三维空间的在线连续控制。

具体的，训练解码模型的具体实现方式如下：

放置两个机械臂A和B，以机械臂A的运动为监督信息，训练机械臂B的控制系统使之准确跟踪机械臂A的运动。训练过程中，机械臂A是沿着预设好的轨迹及速度进行运动，机械臂B的运动状态由解码模型的输出决定。

实验范式如下：

预设六个运动轨迹，分别为左、右、前、后、上、下，预设多个不同的运动速度等级。首先随机初始化解码模型的参数，实验者会进行多次实验，每次实验内容如下：机械臂A会挑选一个预设运动轨迹和运动速度等级，挑选完毕后有提示本次实验的运动轨迹方向，使用者根据表1和提示得到对应运动想象指令；然后当机械臂A开始运动后，使用者看着机械臂A的运动轨迹，执行对应的运动想象指令产生大脑信号，通过解码模型的输出来控制机械臂B的运动状态。当机械臂B和机械臂的A的运动状态有偏差时，基于这个偏差通过梯度下降法来更新解码模型的参数，从而让机械臂B跟踪机械臂A的运动轨迹和速度。每两轮实验中间有休息的间隔。在得到机械臂在三维空间中三个方向的运动速度之后，就可以根据三个方向的运动速度，控制机械臂运动。其中，三个方向可以是三维空间中的X轴方向、Y轴方向和Z轴方向。

本申请提供了一种机械臂的脑机接口控制方法，采用六个运动想象指令与机械臂的三维运动一一对应，实现了机械臂在三维空间的连续运动；采用CSP算法将EEG信号分解为三维空间各个方向的独立信号分量，从而通过μ频段的功率谱更精确地分别得到各个方向的特征；通过回归的方法将各个方向的特征通过解码模型映射成机械臂对应方向的运动速度，实现了更为复杂的机械臂运动；采用了基于transformer encoder的解码模型，能够并行处理当前和历史信息，self attention block会对每个时刻的信息打一个相关性分数来表示模型对该时刻信息的关注度，能够降低噪声带来的影响。如此，对某些特定的人群或特定条件下的应用非常有意义，采用非侵入式的头皮脑电信号的获取，对人体无伤害，易于使用和推广。对某些病人来说，还可以通过本申请的方法逐渐恢复自己的运动神经，从而恢复正常的生活。

基于相同的技术构思，本申请的实施例还提供一种机械臂的脑机接口控制装置，如图2所示，该装置可以包括：获取模块201，用于获取多通道的脑电信号；前向运动控制解耦模块202，用于针对每个通道的脑电信号，执行预处理，得到三维空间中六个方向的信号特征；时频特征提取模块203，用于对每个信号特征，计算功率谱，并根据功率谱，计算对应的预设频段的功率谱特征，将功率谱特征作为频域特征；对每个信号特征进行滑动窗口卷积，计算得到时域特征；拼接模块204，用于对每个通道的频域特征和时域特征进行拼接，得到多通道的特征结果；综合指令生成模块205，用于将得到的多通道的特征结果输入到预先训练好的解码模型中，得到机械臂在三维空间中三个方向的运动速度。

其中，解码模型可以包括：transformer encoder层、pooling层和全连接层。

可选的，在执行预处理，得到三维空间中六个方向的信号特征时，前向运动控制解耦模块202，具体用于：使用共空间模式，分别从脑电信号中提取三维空间中六个方向的空间分布成分；将六个方向的空间分布成分作为对应方向的信号特征。

可选的，在使用共空间模式，分别从脑电信号中提取三维空间中六个方向的空间分布成分时，前向运动控制解耦模块202，具体可以用于：将脑电信号分别输入到预先训练好的六个空间滤波器中，得到三维空间中六个方向的空间分布成分；六个空间滤波器包括三维空间中X轴第一方向空间滤波器、X轴第二方向空间滤波器、Y轴第一方向空间滤波器、Y轴第二方向空间滤波器、Z轴第一方向空间滤波器和Z轴第二方向空间滤波器。

可选的，在对每个信号特征，计算功率谱时，时频特征提取模块203，用于：以预设的窗口长度构建自回归模型，并利用Burg算法确定每个通道的自回归模型参数；基于自回归模型和确定的自回归模型参数，计算每个信号特征的功率谱。

可选的，在根据功率谱，计算对应的预设频段的功率谱特征时，时频特征提取模块203，具体可以用于：根据功率谱，得到功率谱密度图；计算功率谱密度图中预设频段下的面积的总和，对应得到六个方向的信号特征在预设频段的功率谱特征。

可选的，在对每个信号特征进行滑动窗口卷积，计算得到时域特征时，时频特征提取模块203，具体可以用于：针对每个信号特征，以预设窗口长度进行进行滑动窗口卷积，得到信号特征与误差相关的P300特征，将P300特征作为时域特征。

可选的，机械臂的脑机接口控制装置还可以包括控制模块，控制模块用于：根据三个方向的运动速度，控制机械臂运动。其中，三个方向包括三维空间中X轴方向、Y轴方向和Z轴方向。

本实施例中，机械臂的脑机接口控制装置的具体实现方式可以参考以上任意实施例的机械臂的脑机接口控制方法的具体实施方式，此处不再赘述。

基于相同的技术构思，本申请的实施例还提供一种机械臂的脑机接口控制设备，如图3所示，该设备可以包括：处理器301，以及与处理器301相连接的存储器302；存储器302用于存储计算机程序；处理器301用于调用并执行存储器302中的计算机程序，以执行如以上任意实施例所述的机械臂的脑机接口控制方法。

本实施例中，机械臂的脑机接口控制设备的具体实现方式可以参考以上任意实施例所述的机械臂的脑机接口控制方法的具体实施方式，此处不再赘述。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。