阅读说明：本技术 一种多模脑电信号及1dcnn迁移的驾驶疲劳状态识别方法 (Multimode electroencephalogram signal and 1DCNN migration driving fatigue state identification method ) 是由 宋立新 黄亚康 于 2019-11-01 设计创作，主要内容包括：一种多模脑电信号及一维卷积神经网络(1DCNN)迁移的驾驶疲劳状态识别方法。属于疲劳驾驶检测和分类技术领域,目的是为了对驾驶员进行疲劳预警,以较少因疲劳驾驶而引发交通事故对人们的生命财产造成的伤害。本发明包括：步骤一：脑电(EEG)信号预处理及特征提取,步骤二：眼电(EOG)信号预处理及特征提取,步骤三：1DCNN模型的构建和预训练,步骤四：1DCNN迁移模型的构建,步骤五：融合特征送入1DCNN迁移模型,将EEG特征和EOG特征进行融合送入1DCNN迁移模型进行训练和测试,对样本进行疲劳状态的识别。本发明应用于疲劳驾驶的识别与分类。(A driving fatigue state identification method for multi-mode electroencephalogram signals and one-dimensional convolutional neural network (1DCNN) migration. The driver fatigue early warning system belongs to the technical field of fatigue driving detection and classification, and aims to carry out fatigue early warning on a driver so as to reduce the damage of traffic accidents caused by fatigue driving to lives and properties of people. The invention comprises the following steps: the method comprises the following steps: preprocessing an electroencephalogram (EEG) signal and extracting characteristics, and the second step is: preprocessing an electro-ocular (EOG) signal and extracting characteristics, and the third step is: 1, constructing and pre-training a DCNN model, and step four: 1, constructing a DCNN migration model, and a fifth step: and (4) the fusion characteristics are sent into a 1DCNN migration model, the EEG characteristics and the EOG characteristics are fused and sent into the 1DCNN migration model for training and testing, and the fatigue state of the sample is identified. The method is applied to recognition and classification of fatigue driving.)

一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法

技术领域

本发明涉及到疲劳驾驶的识别与分类，具体涉及一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法。

背景技术

驾驶疲劳是驾驶员神经持续处于紧张状态，身体的生理机能和心理机能下降导致驾驶员反应迟钝，注意力、感知处理信息能力下降的现象，是引发交通事故，威胁人们的生命财产的重要原因。疲劳驾驶识别的研究已成为世界各国争先研究的重点领域。近年来，生理信号被认为是一种高效的检测驾驶疲劳的方法。驾驶员由清醒变疲劳的过程，其生理指标如脑电(electroencephalogram，EEG)、心电(electrocardiogram，ECG) 和肌电(electromyogram，EMG)信号等均会产生相应的变化，研究者尝试基于不同生理指标研究驾驶疲劳的判别方法，并取得一定成果。与基于计算机视觉疲劳检测相比，基于人体生理信号的疲劳检测可以提供驾驶员状态的客观表征。在众多的被用于驾驶员疲劳程度检测的生理信号中，EEG信号已被证明可以很好的表征驾驶员的疲劳程度。其次，EOG 是眼球运动产生的另一种电信号，可以通过眼球周围的皮肤进行测量。EOG信号包含丰富的眼动信息，可以直接的反应疲劳的级别。

融合不同信号进行多模态分析已成为系统设计新的趋势，其优点是不仅可以提升系统的鲁棒性，还可以提高识别的精度。一些文献表明，不同区域的生物信号可以反应出心理状态的不同层面。EEG通常表示内部的认知状态，而EOG通常反应外部潜意识的行为。本发明的目的是通过融合EEG和EOG，充分的挖掘两种信号的互补信息，针对清醒、疲劳、困倦三种驾驶疲劳状态，基于完全卷积网络迁移，构建泛化性强、准确度高的驾驶疲劳分类系统。

发明内容

本发明的目的是为了对驾驶员进行疲劳预警，以减少因疲劳驾驶而引发交通事故对人们的生命财产造成的伤害；提出了一种利用迁移模型微调，进而实现驾驶状态清醒、疲劳、困倦状态的识别与分类的多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法。

上述的目的通过以下的技术方案实现：

一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，该方法包括如下步骤：

步骤一：EEG信号预处理及特征提取；

EEG信号在进行特征融合前，需要经过滤波、特征提取；

步骤二：EOG信号预处理及特征提取；

EOG信号在进行特征融合前，需要经过滤波、水平和垂直眼电分离及特征提取；

步骤三：1DCNN模型的构建和预训练；

搭建包含卷积层、全连接层和softmax分类层的1DCNN模型，并对模型进行预训练；；

步骤四：1DCNN迁移模型的构建；

将预训的1DCNN进行模型迁移，以作为新个体识别的迁移模型；

步骤五：融合特征送入1DCNN迁移模型训练和测试；

将EEG特征和EOG特征在特征层面上进行融合送入1DCNN迁移模型进行训练和测试，对样本进行疲劳状态的识别；

根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤一包括如下过程：

首先用一个0-60Hz的带通滤波器对脑电信号进行过滤，其作用为对信号进行降噪和去伪迹处理；

然后，基于离散短时傅里叶变换将脑电信号分别划分为5频段和25频段，并针对每个频带计算微分熵特征，离散短时傅里叶变换及微分熵的定义如式(1)，式(2)所示：

其中，x[n]表示待变换的信号，ω[n]是窗函数，这里采用汉宁窗。

如果一个随机变量遵循高斯分布N(u，σ²)，则微分熵可以简单的被下式计算：

其中

x表示经过离散短时傅里叶变换脑电频段数据。

根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤二包括如下过程：

首先用一个0-30Hz的带通滤波器对眼电信号进行滤波；

然后通过直接相减的方法从前额的四个电极信号中分离水平眼电，通过FastICA方法从前额电极信号中分离垂直眼电，若输入为前额电极信号(其中混杂着脑电信号、眼电信号等) 的观察向量X，ICA分离过程中包含解混矩阵W，它将多通道数据分解为独立分量的总和如式(3)。

U＝W*X (3)

其中，U为解混的含眼电和脑电的独立分量。

接着采用小波变换和峰值检测法对水平眼电和垂直眼电进行特征提取，其小波基函数采用墨西哥帽子小波如式(4)

小波变换方法利用墨西哥母波对水平眼电和垂直眼电信号计算每八秒的小波系数；

然后采用波峰检测算法作用于小波系数来检测眨眼和扫视；同时计算扫视、眨眼、注视的平均值、最大值、方差作为眼电特征。

根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤三包括如下过程：

(1)卷积层

卷积层的主要作用是对输入数据进行特征提取，卷积层完成一次卷积操作首先选取卷积核的大小和个数与特征图进行卷积操作，然后通过一个激活函数，就可以输出新的特征图，作为下一层的输入。C^l表示卷积神经网络第l层的特征图(C⁰＝X)。假设

是第l层卷积神经网络的第j个特征图，

的产生过程如式(5)所示：

其中，

表示连接l-1层第i个特征图和l层第j个特征图的权值矩阵，*表示卷积。

表示第l-1层的第i个特征图，i，j是输入和输出特征图的索引；

表示第l层每个输出特征图对应偏置。最终通过一个激励函数f(·)得到l层的第j个特征图

激励函数选取ReLU函数。

(2)全连接层和softmax分类层

考虑模型输入信号为频域信号，故数据间无冗余。为了减小信息的损失，提高模型的识别能力，所有的卷积操作后不进行池化操作。输入信号经过三个卷积层，进行充分的特征提取。

全连接层和softmax层分类，输出疲劳程度的类别。全连接网络对提取的特征进行分类，得到基于输入的概率分布P(l_i表示第i个标签类别)。如式(6)所示，卷积神经网络本质上是原始序列X经过多个层次的变换或降维，映射到一个新的特征表达Y的数学模型：

Y(i)＝P(L＝l_i|X；(W，b)) (6)

卷积神经网络通过训练使最小化损失函数L(W，b)，进行模型的训练。1DCNN模型采用交叉熵作为损失函数，对比预测的softmax输出概率分布和目标类概率分布的相似性。p(x) 表示目标类概率分布，q(x)表示预测分布，p(x)和q(x)的交叉熵定义为式(7)：

为了最小化损失函数，本文采用随机梯度下降算法。为了防止过拟合和提高模型的泛化能力，在第一个全连接网络前采用丢弃法(dropout技术)来防止过拟合。dropout在监督学习中使用，训练阶段dropout概率设置为p，即每个神经元以概率p被丢弃，以概率1-p被保留。在这里p的值设置为0.2。

选取一个各状态样本相对均衡的个体用于预训练，通过前向传播和最小化损失反向传播进行1DCNN模型的预训练，并保存训练好的预训练模型1DCNN。。

根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤四包括如下过程：

将训练好的预训练模型进行迁移，即固定预训练模型的特征提取部分的训练参数，重置一下分类层；用其他个体数据对模型分类层进行微调和测试。

根据权利要求1所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，其特征在于：所述的步骤五包括如下过程：

将脑电特征和眼电特征在特征级别上直接融合，并进行最大最小归一化操作如式(8)，

其中，x表示输入特征，u表示特征均值，σ表示特征方差。

本发明所达到的有益效果是：1.本发明通过搭建1DCNN网络，用于训练预训练模型。

2.本发明通过预训练模型微调对不同区域脑电特征，不同区域脑电特征加眼电特征对驾驶员状态(清醒、疲劳、困倦)进行分类与识别。

3.在单模态的情况下，2频带的前额脑电特征对疲劳状态的识别效果最好，准确率达到 95.71％±2.36％。4.在融合多模态的情况下，2频带的枕部脑电加眼电特征对疲劳状态的识别效果最好，准确率达到97.63％±1.78。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是疲劳驾驶识别系统的整体框图。

图2 1DCNN结构图。

图3 1DCNN疲劳识别流程图。

图4单一模态和融合多模态结果对比。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

具体实施方式一：

一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法，该方法包括如下步骤：

步骤一：EEG信号预处理及特征提取；

EEG信号在进行特征融合前，需要经过滤波、特征提取；

步骤二：EOG信号预处理及特征提取；

EOG信号在进行特征融合前，需要经过滤波、水平和垂直眼电分离及特征提取；

步骤三：1DCNN模型的构建和预训练；

搭建包含卷积层、全连接层和softmax分类层的1DCNN模型，并对模型进行预训练；；

步骤四：1DCNN迁移模型的构建；

将预训的1DCNN进行模型迁移，以作为新个体识别的迁移模型；

步骤五：融合特征送入1DCNN迁移模型；

将EEG特征和EOG特征进行融合送入1DCNN迁移模型进行训练和测试，对样本进行疲劳状态的识别；

具体实施方式二：

本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤一包括如下过程：

首先用一个0-60Hz的带通滤波器对脑电信号进行过滤，其作用为对信号进行降噪和去伪迹处理；

然后，基于离散短时傅里叶变换将脑电信号分别划分为5频段和25频段，并针对每个频带计算微分熵特征，离散短时傅里叶变换及微分熵的定义如式(1)，式(2)所示：

其中，x[n]表示待变换的信号，ω[n]是窗函数，这里采用汉宁窗。

如果一个随机变量遵循高斯分布N(u，σ²)，则微分熵可以简单的被下式计算：

其中x表示经过离散短时傅里叶变换脑电频段数据。

具体实施方式三：

本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤二包括如下过程：

首先用一个0-30Hz的带通滤波器对前额电极信号进行滤波；

然后通过直接相减的方法从前额的四个电极信号中分离水平眼电，通过FastICA方法从前额电极信号中分离垂直眼电，若输入为前额电极信号(其中混杂着脑电信号、眼电信号等) 的观察向量X，ICA分离过程中包含解混矩阵W，它将多通道数据分解为独立分量的总和如式(3)。

U＝W*X (3)

其中，U为解混的含眼电和脑电的独立分量。

接着采用小波方法和峰值检测法从分离出的垂直眼电和水平眼电提取眨眼、注视、扫视相关特征，其小波基函数采用墨西哥帽子小波如式(4)

小波变换方法利用墨西哥母波对水平眼电和垂直眼电信号计算每八秒的小波系数；

具体实施方式四：

本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤三包括如下过程：

(1)卷积层

卷积层的主要作用是对输入数据进行特征提取，卷积层完成一次卷积操作首先选取卷积核的大小和个数与特征图进行卷积操作，然后通过一个激活函数，就可以输出新的特征图，作为下一层的输入；C^l表示卷积神经网络第l层的特征图(C⁰＝X)；假设

是第l层卷积神经网络的第j个特征图，

的产生过程如式(5)所示：

其中，

表示连接l-1层第i个特征图和l层第j个特征图的权值矩阵，*表示卷积；表示第l-1层的第i个特征图，i，j是输入和输出特征图的索引；

表示第l层每个输出特征图对应偏置；最终通过一个激励函数f(·)得到l层的第j个特征图

激励函数选取ReLU函数。

(2)全连接层和softmax分类层

考虑模型输入信号为频域信号，故数据间无冗余；为了减小信息的损失，提高模型的识别能力，所有的卷积操作后不进行池化操作；输入信号经过三个卷积层，进行充分的特征提取。

全连接层和softmax层分类，输出疲劳程度的类别；全连接网络对提取的特征进行分类，得到基于输入的概率分布P(l_i表示第i个标签美别)；如式(6)所示，卷积神经网络本质上是原始序列X经过多个层次的变换或降维，映射到一个新的特征表达Y的数学模型：

Y(i)＝P(L＝l_i|X；(W，b)) (6)

卷积神经网络通过训练使最小化损失函数L(W，b)，进行模型的训练；1DCNN模型采用交叉熵作为损失函数，对比预测的softmax输出概率分布和目标类概率分布的相似性；p(x) 表示目标类概率分布，q(x)表示预测分布，p(x)和q(x)的交叉熵定义为式(7)：

为了最小化损失函数，本文采用随机梯度下降算法；为了防止过拟合和提高模型的泛化能力，在第一个全连接网络前采用丢弃法(dropout技术)来防止过拟合；dropout在监督学习中使用，训练阶段dropout概率设置为p，即每个神经元以概率p被丢弃，以概率1-p被保留；在这里p的值设置为0.2。

选取一个各状态样本相对均衡的个体用于预训练，通过前向传播和最小化损失反向传播进行1DCNN模型的预训练，并保存训练好的预训练模型1DCNN。。

具体实施方式五：

本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤四包括如下过程：

将训练好的预训练模型进行迁移，即固定预训练模型的特征提取部分的训练参数，重置一下分类层；用其他个体数据对模型分类层进行微调和测试。

具体实施方式六：

本实施方式是对具体实施方式一所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，所述的步骤五包括如下过程：

将脑电特征和眼电特征在特征级别上直接融合，并进行最大最小归一化操作如式(8)，

其中，x表示输入特征，v表示特征均值，σ表示特征方差。

具体实施方式七：

本实施方式是对具体实施方式四所述的一种多模脑电信号及1DCNN迁移的驾驶疲劳状态识别方法的进一步说明，1DCNN模型包括三个卷积层、一个全连接层和一个softmax分类层，其卷积层的参数设置如表1所示：

表1卷积层参数设置

Tab.1 Convolution layer parameter setting

1DCNN模型第一个全连接层隐层神经元设置为100；且在第一个全连接层前设置一个概率为20％的丢失层来克服过拟合。

使用小批量梯度优化算法，参数设置：学习率：0.02；动量：0.05；批次尺寸：32；预训练模型训练迭代次数500；迁移模型训练迭代次数200；λ：1×10-7。

本实验的计算机环境为：中央处理器(central processing unit，CPU)(Core i5-4210M@ 2.6GHz，Intel，美国)；随机存取存储器(random access memory，RAM)(DDR4 8GB，Samsung，韩国)。

性能对比：

为了对比分类性能，采用了传统的机器学习算法SVM分类器，对数据进行学习分类。其中， c和g分别基于[1，10³，5×10³，10⁴，5×10⁴]和[0.0001，0.0005，0.001，0.005，0.01，0.1]进行网格搜索来选取最佳参数，核函数采用径向基函数(rbf)。

选取上海交通大学仿脑计算与机器智能研究中心的疲劳警觉度估计数据集SEED-VIG进行实验验证。数据集包括不同脑区脑电主要包含颞叶脑区T区，枕部脑区P区，前额脑电F 区；前额眼电(EOG)，PERCLOS指数，共含有23个人的数据。

根据PERCLOS指数，将小于等于0.35的样本状态为清醒，介于0.35和0.7之间的样本状态为疲劳，大于等于0.7的样本状态为困倦，此得到各样本的标签。数据输入网络前对数据进行归一化处理，然后通过五折交叉验证进行评估。

本发明通过对比不同脑区的脑电信号、眼电信号、不同脑区特征融合眼电信号的驾驶疲劳状态识别，通过平均准确率和标准差进行性能的评估，以确定输入信号的融合模式。

实验结果分析：

现有的脑电数据包括通过独立成分分析算法从前额信号重建的4通道脑电信号、来自枕部的11通道脑电信号和颞区的6通道脑电信号。对上述脑电信号提取DE特征：一种来自5 个频带，另一种在整个频带使用2HZ的频率分辨率。基于不同脑区的脑电评估结果如表2 所示。

表2基于不同脑区的脑电评估结果

通过对比分析P区5频带的脑电特征1DCNN稍差于SVM，其它实验结果表明2频带的脑电特征评估效果要优于5频带的脑电特征，1DCNN的评估效果明显优于SVM，采用1DCNN迁移模型的最高平均准确率为96.41％，比SVM平均最高准确率高2.39％，且具有较小的标准差。

将来自不同部位(枕部、前额和颞区)的EEG特征和前额EOG特征融合在一起，以利用它们的互补特性来提高检测模型的泛化性和精度。

附图4显示了每种单一模态和不同模态融合策略的表现。从整体来看1DCNN的检测效果要优于SVM，相对于单一形态，融合多种模态可显著提高检测的精度和鲁棒性。

采用表现最好的P区脑电加眼电的样本特征，利用1DCNN迁移模型分别对22个个体数据进行5折交叉验证实验，统计22个个体中3894测试样本绘制混淆矩阵如表3所示。

表3疲劳状态混淆矩阵

采用连续条件神经元场(CCNF)，进回归后在进行分类的平均准确率为87.31％，本发明的 1DCNN迁移模型的方法比其高10.32％，体现本发明方法的优越性。

池化操作是卷积神经网络中的常规环节，但作为模型输入的基于功率谱的微分熵的脑电和眼电信号，其带宽已是有用频率范围(1-50Hz)，因此，本发明对比了在第一个卷积层后包含最大池化层、均值池化层和无池化层的网络结构进行了实验对比，其数据分别采用P区脑电与眼电融合特征(P+EOG)、T区脑电和眼电融合特征(T+EOG)、F区脑电和眼电融合特征(F+EOG)实验结果如表4所示：

表4有无池化层实验对比

通过对比实验结果，不包含池化层的实验效果要优于包含池化层的，采用最大池化的结果要优于均值池化的结果；这可能由于信号功率谱能量集中特性，信号通过池化层降低了模型的表达能力；所以，上述深度迁移卷积神经网络模型均采用无池化层的网络结构进行评估。

以上所述仅为本发明的优先实施方式，本发明并不限定于上述实施方式，只要以基本相同手段实现本发明目的的技术方案都属于本发明的保护范围之内。