具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明。

本发明提供了一种基于3D矩阵特征与多维卷积网络的脑电信号情感分类方法，针对大型公开DEAP数据集上的原始EEG脑电信号提出一种新的EEG特征表示的方法，在此基础上提出多维卷积神经网络模型，学习并提取判别性更高的深层时频相关性特征，并对依赖于被试的两类情感进行分类，与现有方法相比，获得了更好的分类准确率，包括如下步骤：

步骤1：采集多个通道的脑电信号并对多个通道的脑电信号进行预处理；其中，本方法在公开的大规模脑电情感数据集DEAP上进行脑电情感分类实验和模型性能的验证；

步骤2：从DEAP数据集预处理的多个通道的脑电信号中提取均值、方差、标准差、一阶差绝对值的平均值、二阶差绝对值的平均值、近似熵这六种时域特征；

步骤3：从DEAP数据集预处理的多个通道的脑电信号中提取Delta(1Hz～4Hz)、Theta(4Hz～8Hz)、Alpha(8Hz～13Hz)、Beta(13Hz～30Hz)和Gamma(30Hz以上)五个分频带以及全频带上的PSD特征；

步骤4：将时域特征的一维脑电序列转换为二维网状序列，将得到的二维网状序列在第三维进行拼接，最终得到3D时域特征矩阵序列；

步骤5：将频域特征的一维脑电序列做步骤4相同操作，最终得到3D频域特征矩阵序列；

步骤6：构建多维卷积神经网络模型，将上述步骤最终得到的三维特征矩阵作为多维卷积神经网络模型输入，经过单元卷积层和多元卷积层，最终接入SoftMax层进行情感类别预测；

具体的，实现以上步骤具体细节如下：

基于EEG的情感脑-机接口系统通常使用便携式可穿戴的多通道电极帽采集EEG信号，当被试者观看刺激视频时，电极帽上的传感器捕获被试大脑头皮电流的波动情况；

本实施例中基于公开的大规模DEAP数据集中采集的脑电信号进行实验，该数据集记录了32个被试者观看40个时长约为1分钟的、带有不同情感倾向的音乐视频所诱发的脑电、心电、肌电等生理信号，之后被试对所观看的视频在唤醒度，效价，喜好，优势度和熟悉度方面使用1-9的连续数值进行评价，评价值由小到大分别表示各项指标由负到正或由弱到强。40个刺激视频中包含20个高效价/唤醒度刺激和20个低效价/唤醒度刺激；

本实施例中，提取32个通道的EEG信号，采样频率降至128Hz，为了消除直流噪声、电源噪声和其他伪迹，使用4-45Hz的带通滤波器进行数据过滤，再采用盲源分离技术去除眼电干扰，得到总时长为63秒的EEG信号，包括观看视频的60秒和观看前静息态的3秒；

本发明原始EEG信号表示为32(subs)×40(trials)×40(channel)×8064(samples)，其中8064表示128(samples)×63(s)，标签Labels表示为40(trials)×4。对该原始数据进行预处理，从40个通道中提取所需的32个EEG通道的数据，由于人类视觉上的延迟反应，本发明将前3秒作为基准，提取后60秒的EEG信号作为实验数据，预处理后的数据表示为32(subs)×40(trials)×32(channels)×7680(samples)。标签选取前两维，分别表示效价和唤醒度，即40(trials)×2；

然后，提取多个通道的原始特征，基于步骤1上述步骤中提取的多个通道的脑电信号，对每次试验的脑电信号进行不重叠分段，每次试验得到多个样本，则得到每个被试的样本总数，每个样本包含有多个采样点，每个采样点包含步骤1中提取的多个通道的数据，即得到原始特征；

具体的，基于本发明中实验采用1s时长对EEG序列进行不重叠分段，即样本划分。每次试验得到60个片段，每个片段包含128个采样点，每个采样点包含32个通道，即每个被试的EEG数据可表示为40×128×60×32，对其进行维度变换，得到2400×32×128的脑电数据，每个被试共有2400个EEG片段，每个片段大小为32×128。对标签进行相同维度的转换，可表示为2400×1；

如图1所示，接下来对该原始特征分别提取均值、方差、标准差、一阶差的绝对值的平均值、二阶差的绝对值的平均值、近似熵等6种时域特征，然后将时域特征的一维时域链式序列转换为二维网状结构。本发明中使用32通道的EEG数据，根据各个电极对应位置，将脑电图映射成一个9×9的二维网状矩阵。为了保证空间信息完整且不影响其功能，使用0来填充映射矩阵的其他位置，矩阵中非0值表示对应通道的EEG特征值。然后将上述每种特征序列转换成一个9×9×1的特征矩阵，再分别将每个样本的6种时域特征在第三维进行拼接，获得9×9×6的3D时域特征矩阵；

具体的，将32个通道的数据转换成二维网状结构，32个通道和二维网状矩阵的对应关系如图2所示，得到128×2400×9×9的数据表示，6种特征进行拼接后得到三维时域矩阵特征(3D_Time-domain_matrixfeatures)，表示为307200×9×9×6，即输入深度模型的样本数为307200，对应标签为307200×1，具体三维时域矩阵结构如图3所示；

接下来，采用时域特征的转换方法对频域特征进行转换；具体的，本发明在原始特征的基础上，从多个通道的脑电信号中提取频域特征，对原始EEG时序信号在Delta，Theta，Alpha，Beta和Gamma五个频带上分别利用快速傅里叶变换提取频域特征，再利用汉明窗滑动提取全频带PSD特征，具体的，在4-45Hz频带上利用快速傅立叶算法在1s的EEG片段的每个通道上使用0.5s的汉明窗无重叠地滑动提取64个PSD特征，每个被试40次试验共提取PSD特征的维度是2400×32×64，然后采用跟时域相同的方法进行维度的转换，将5个频带及全频带频域特征进行连接，得到三维频域特征(3D_Freq-domain_matrix features)，其表示为153600×9×9×6，标签也随之进行一致性转化，对应标签为153600×1，具体三维矩阵结构如图3所示。转换以后EEG样本包含了丰富的空间、时间与频域上的信息；

接下来处理每个EEG样本的标签，基于被试对每个视频在1-9范围内的评价值以中位数5作为阈值将效价和唤醒度上的评价值划分为两类，在某个维度上解决二分类问题时，大于5代表高类或正性指标，用1表示；小于或等于5代表低类或负性指标，用0表示；

进一步的，所述步骤6里多维卷积模型的实现过程：构建多维卷积模型如图3所示，模型的输入是经过上述处理的三维EEG特征矩阵，每个样本大小为9×9×6。首先采用单元卷积层从每个三维EEG特征矩阵中提取EEG数据的时域特征，然后将提取的时域特征序列输入到多元卷积层中，进一步提取EEG数据的时域特征。最后通过一个全连接层接收CNN网络的输出，得到的特征向量再输入到一个SoftMax层进行最后的情感分类，频域特征和时域特征过程相同；具体的：

为了增强模型的局部抽象能力，我们采用如图3单元卷积层所示的1×1的卷积核来进行扫描，在每进行1×1卷积后，使用ReLU激活函数来获得非线性结果；

将上述步骤得到的三维特征矩阵序列输入多元卷积层，该层分别采用3×3、5×5和7×7大小的卷积核来提取不同视野下的局部脑电特征。该卷积核的大小取决于输入层3D矩阵特征的表示形式。每个不同的卷积网络都包含两层，第一层将局部EEG通道分组在一起来学习通道间的局部相关性，第二层用来捕获组与组之间的上下文相关信息，每个卷积层上使用相同的填充，相同地，在每次卷积运算之后，使用ReLU激活函数获取非线性输出，接着将多元卷积的结果进行连接。该多元卷积层保留了每组卷积的独特功能，多层卷积级联之后，再进行一次卷积，该卷积核大小与输入数据的大小相同。最后滤波器以不同的方式将每个张量压缩成向量；

最后全连接层的输入是多元卷积层的输出，为了防止模型的过拟合，在全连接层后加入Dropout层，然后接入SoftMax层进行最终的分类。

综上所述，本发明所提出的多元卷积模型针对多通道的EEG脑电信号，考虑到了各个通道之间以及各个区域之间的相关性和交互作用，这样能更充分地挖掘3D脑电特征矩阵中与情感相关上下文语义特征，从而提高了情感识别的性能。

由图4可以直观的发现以三维EEG特征矩阵特征为输入的多维卷积网络模型取得了在唤醒度维度上，频域特征上的分类精度达到0.8588，时域特征上的分类精度为0.8483。在效价维度上，频域特征上的分类精度为0.8732，时域特征上的精度为0.8519，二者皆有较高的分类精度；由图5和图6可以看出三维矩阵特征明显优于其他一维特征和二维特征的分类准确率；由图7可以明显的看出，本发明提出的多维卷积模型和其他现有的深度模型对比，在唤醒度和效价上皆优于其他模型，分类性能较之前模型有了很大的提升。综上，表明了本发明中学习的3D特征对于提升EEG情感分类识别性能非常关键。

本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于3D矩阵与多维卷积网络的情感分类的操作，包括：

采集多个通道的脑电信号，并提取脑电信号的原始特征；

基于提取的原始特征，从多个通道的脑电信号中提取时域特征；

基于提取的原始特征，从多个通道的脑电信号中提取频域特征；

将时域特征和频域特征的一维脑电序列分别转换为时域特征二维网状序列和频域特征二维网状序列，将时域特征二维网状序列和频域特征二维网状序列分别在第三维进行拼接，分别得到3D时域特征矩阵序列和3D频域特征矩阵序列；

构建多维卷积神经网络模型，将3D时域特征矩阵序列和3D频域特征矩阵序列分别作为多维卷积神经网络模型输入，提取深层的时域特征和频域特征，并将提取的深层的时域特征和频域特征输入SoftMax层进行情感分类。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关3D矩阵与多维卷积网络的情感分类的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：

采集多个通道的脑电信号，并提取脑电信号的原始特征；

基于提取的原始特征，从多个通道的脑电信号中提取时域特征；

基于提取的原始特征，从多个通道的脑电信号中提取频域特征；

将时域特征和频域特征的一维脑电序列分别转换为时域特征二维网状序列和频域特征二维网状序列，将时域特征二维网状序列和频域特征二维网状序列分别在第三维进行拼接，分别得到3D时域特征矩阵序列和3D频域特征矩阵序列；

构建多维卷积神经网络模型，将3D时域特征矩阵序列和3D频域特征矩阵序列分别作为多维卷积神经网络模型输入，提取深层的时域特征和频域特征，并将提取的深层的时域特征和频域特征输入SoftMax层进行情感分类。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。