阅读说明：本技术 一种基于生物电及行为特征融合的疲劳驾驶检测方法 (Fatigue driving detection method based on bioelectricity and behavior characteristic fusion ) 是由 程忱 王恁 郭慧利 李瑶 张佳 高晋 郭浩 于 2019-10-31 设计创作，主要内容包括：本发明公开了一种基于生物电及行为特征融合的疲劳驾驶检测方法,可以实现对驾驶员驾驶状态的实时检测,包括脑电信号处理模块、面部多特征模块、疲劳检测融合模块。所述脑电信号处理模块即通过小波包分解采集δ、θ、α、β四种脑电波,采用(α+θ)/β作为疲劳指数,并计算重构后的脑电样本熵；所述面部多特征模块为采用边缘检测与聚类算法实现眼睛与嘴部区域的识别,通过分析眨眼指标、眼动指标以及哈欠指标来判断驾驶员状态；所述疲劳检测融合模块是将各特征信号通过LVQ-BP人工神经网络进行融合,根据融合结果判断驾驶员是否疲劳。将多种特征相融合确保了系统的可靠性与高效性,更有效地降低事故发生概率,保障人民的生命财产安全。(The invention discloses a fatigue driving detection method based on bioelectricity and behavior characteristic fusion, which can realize real-time detection of the driving state of a driver and comprises an electroencephalogram signal processing module, a facial multi-characteristic module and a fatigue detection fusion module, wherein the electroencephalogram signal processing module acquires four brain waves of delta, theta, α and β through wavelet packet decomposition, adopts (α + theta)/β as a fatigue index and calculates the entropy of a reconstructed electroencephalogram sample, the facial multi-characteristic module realizes the identification of eyes and a mouth region by adopting an edge detection and clustering algorithm and judges the state of the driver by analyzing a blink index, an eye movement index and a yawning index, the fatigue detection fusion module fuses all characteristic signals through an LVQ-artificial neural network and judges whether the driver is tired according to a fusion result.)

一种基于生物电及行为特征融合的疲劳驾驶检测方法

技术领域

本发明涉及生物电信号处理技术、图像处理技术与汽车辅助驾驶技术领域，特别涉及一种基于生物电及行为特征融合的疲劳驾驶检测方法。

背景技术

近年来随着全球经济快速发展，汽车保有量持续上升，交通事故的发生数量逐年增长，生命财产损失惨重。经研究发现疲劳驾驶是引起交通事故的一项重要因素，当驾驶员疲劳时人体的生理机能下降，意识模糊，引发事故概率急剧上升，严重威胁着人民的生命和财产安全。

目前，对疲劳驾驶的检测大多基于车辆轨迹，驾驶员行为或从单个生理指标进行疲劳的判断，这些都存在有一定的缺陷，受个人驾驶习惯及行驶速度、道路环境、操作技能的限制，并且检测结果不准确，容易出现误判或漏判的情况，检测的健壮性会受到影响。

基于此，为了克服上述所存在的问题，避免交通事故的发生，保障人民的生命财产安全，本发明提出了一种基于生物电与驾驶员行为特征融合的疲劳驾驶实时检测方法，形成综合疲劳指标，相比较于单个生物电特征检测、单个行为特征检测其疲劳判断准确率明显上升。

发明内容

为解决上述现有技术存在的问题，本发明的目的在于提供，本发明主要针对现有相关技术存在的缺陷，考虑到多特征信号指标，提出一种基于生物电及行为特征融合的疲劳驾驶检测方法，可以实现对驾驶员驾驶状态的实时检测。

本发明为解决技术问题所采用的技术方案是：一种基于生物电及行为特征融合的疲劳驾驶检测方法。包括：脑电信号处理、面部多特征处理和疲劳检测；

所述脑电信号处理，即通过小波包分解采集δ、θ、α、β四种脑电波，采用(α+θ)/β作为疲劳指数，并计算重构后的脑电样本熵；

所述面部多特征处理则通过分析眨眼、打哈欠、点头以及眼动来判断驾驶员状态；

所述疲劳监测用于根据各信号特征融合结果判断驾驶员是否疲劳；

一种基于生物电及行为特征融合的疲劳驾驶检测方法，具体按照以下步骤进行：

步骤S1：使用TGAM模块进行原始脑电信号、专注度与放松度采集，然后将采集到的脑电信号采用小波包分解；

步骤S2：将小波包分解后的FP1电极脑电波重构后，得到一组脑电信号；进而进行样本熵计算；

步骤S3：用相关系数分析方法对专注度与放松度的比值进行分析；

步骤S4：进而计算出(θ+α)/β的功率谱密度比值随时间的变化曲线，分析曲线判断疲劳区间；

步骤S5：采用加权平均法对驾驶员的视频图像进行灰度化处理；

步骤S6：使用机器学习分类器对图像进行预处理，采用KLT算法进行点跟踪，采用维奥拉-琼斯目标检测算法对其进行检测并用矩形框标示出驾驶员脸部区域；

步骤S7：通过使用适当的阈值来确定眼睛的位置即使用Soble边缘检测算法通过图像直方图和颜色直方图找到眼睛区域的边缘；使用K-means聚类算法识别出嘴部区域；

步骤S8：所述面部多特征模块根据驾驶员眨眼状态判断驾驶员是否疲劳的工作方法为：当驾驶员处于疲劳状态时，眼睛的闭合时间会变长，采用单位时间内眼睛闭合时长所占的百分比K值进行眼部疲劳识别；

步骤S9：所述面部多特征模块根据驾驶员哈欠状态判断驾驶员是否疲劳的工作方法为：基于上述对人脸的嘴部进行检测与定位，通过判断嘴部的宽高比P值进行打哈欠判断；

步骤S10：通过对眼睛焦点位置的跳动幅度及眼跳持续时间的相关信息的研究，分析注视方向和注视时间的变化，可以对驾驶员的驾驶状态进行检测；

步骤S11：按上述方案，所述疲劳监测模块采用LVQ-BP人工神经网络进行各特征指标的融合，形成综合疲劳指标，当综合疲劳指标达到疲劳阈值时，系统会及时发出预警，并提醒驾驶员尽快停车休息。

进一步的，所述步骤S1中，首先使用TGAM模块进行原始脑电信号、专注度与放松度的采集，然后将采集到的脑电信号采用小波包分解；该方法不仅分解了信号的低频近似部分，而且分解了信号的高频细节部分，可以更大程度地保留原始信号的特征；分解后的信号更真实，它在继承小波变换本质的同时，也弥补了小波变换的不足，提高脑电信号分析的准确性；在本发明中，选择与疲劳程度密切相关的前额电极FP1进行说明；

根据能量时域计算公式：

E＝∑_t|f(t)|² (1)；

其中：E为能量值，t为时间，f(t)为θ，α，β三种波对应的变化曲线；可得出θ，α，β三种波的能量值；综合分析多个节律的能量变化，得到疲劳指数(α+θ)/β；该比值可进一步设计为实时疲劳驾驶检测的预警数值。

进一步的，所述步骤S2中，将小波包分解后的FP1电极脑电波重构后，得到一组脑电信号；样本熵使用Samp En(m，r，N)表示，其中选择参数m＝2，相似容限r＝0.2SD，样本容量N＝1000；

每10秒计算一次样本熵，得到平均的样本熵序列，分析样本熵序列可知不同驾驶状态的样本熵值具有一定的差异，非疲劳驾驶状态的样本熵值集中在0.6-0.9之间，而疲劳驾驶状态的样本熵集中在0.3-0.6之间，即非疲劳驾驶状态的样本熵高于疲劳驾驶状态的样本熵。

进一步的，所述步骤S3中，用相关系数分析方法对专注度与放松度的比值进行分析；专注度和放松度两者在同一时间段内存在着相关性；所以引用相关系数分析方法，分析观察专注度与放松度的比值，比值的区间代表了疲劳的程度。

进一步的，所述步骤S4中，根据FP1电极θ波、Low_α波、High_α波、Low_β波、High_β波的具体数值，通过处理得到功率谱密度曲线(θ+α)/β：

其中α＝(Low_α+High_α)/2，β＝(Low_βα+High_βα)/2；

进而可以计算出(θ+α)/β的功率谱密度比值随时间的变化曲线，得出疲劳指数区间阈值。

进一步的，步骤S5中，采用加权平均法对图像进行灰度化处理，对所得到的灰度图像进行二值化处理，可以使图像变得简单，而且数据减少，能突显出感兴趣的目标的轮廓。

进一步的，步骤S6中，使用机器学习分类器首先对图像进行预处理，经灰度化与二值化之后增强图像的对比度，使用机器学习分类器可以消除不必要的训练数据功能，并将其置于关键训练数据上；

然后对其进行网格标记，使用Canny算法提取边缘信息，识别出人脸感兴趣区域,对其进行检测并标示出脸部区域。

进一步的，步骤S7中，通过使用适当的阈值来确定眼睛的位置即使用Soble边缘检测算法通过图像直方图和颜色直方图找到眼睛区域的边缘；Soble边缘检测器使用两个掩模，一个垂直，一个水平，并且将Soble边缘检测的掩模扩展到了5×5维；使用K-means聚类算法识别出嘴部区域；K-means使用迭代算法进行图像分割，在所有聚类上最小化从每个对象到其聚类质心的距离之和。

进一步的，步骤S8中，所述面部多特征模块根据驾驶员眨眼状态判断驾驶员是否疲劳的工作方法为：当驾驶员处于疲劳状态时，眼睛的闭合时间会变长，采用单位时间内眼睛闭合时长所占的百分比K值进行眼部疲劳识别，其值越大驾驶疲劳程度越深；公式如下：

进一步的，步骤S9中，所述面部多特征模块根据驾驶员哈欠状态判断驾驶员是否疲劳的工作方法为：基于上述对人脸的嘴部进行检测与定位，采取如下公式对嘴部坐标进行确定,其中x_face和y_face分别表示基于机器学习算法检测的目标检测框架的左下方原点坐标值，W_face与H_face分别为目标检测框架的宽与高；(x₀，y₀)表示嘴部矩形框的左上角坐标，W_mouth与H_mouth分别表示人嘴区域矩形框的宽与高：

我们采用嘴部的宽高比进行打哈欠判断，如下公式：

当嘴部处于正常状态时，显然P值大于1；当处于打哈欠状态时，P值显然逐渐变小，直至小于1；通过计算在一定时间内，P值大于等于1的频率，来对嘴部进行疲劳状态识别，公式如下：

进一步的，步骤S10中，所述面部多特征模块根据驾驶员眼动状态判断驾驶员是否疲劳的工作方法为：通过对眼睛焦点位置(Eye Focus Position,EEP)的眼跳幅度及眼跳持续时间的相关信息的研究，分析注视方向和注视时间的变化，可以对驾驶员的驾驶状态进行检测；采用下述公式对疲劳进行判断，其中S₁表示注视方向偏离正常范围的图像帧数：

进一步的，步骤S11中，所述疲劳监测模块采用LVQ-BP人工神经网络进行各特征指标的融合，形成综合疲劳指标；通过LVQ(LearningVector Quantization)神经网络对各特征指标进行分类,然后将分类后的指标基于BP神经网络进行多特征融合形成最后的综合指标，建立基于LVQ-BP神经网络的疲劳驾驶检测系统，实现对驾驶员驾驶状态的实时检测。当驾驶员驾驶过程当中综合疲劳指标超过疲劳阈值时，判断驾驶员疲劳，发出预警，并提醒驾驶员尽快停车休息。进行大量实验后发现，本发明方法疲劳状态检测准确率高达92％，相比较于单个生物电特征检测、单个行为特征检测疲劳判断准确率明显上升。

相对于现有技术，本发明的有益效果为：本发明提供一种基于生物电及行为特征融合的疲劳驾驶检测方法，可以实现对驾驶员驾驶状态的实时检测，以不影响驾驶员驾驶的方式对所采集到的信息进行有效的处理，与传统疲劳检测相比本文将多种信号特征相融合的方法结果更加稳定高效，检测结果准确率高，并且确保了系统的可靠性与高效性。

附图说明

图1是依照本发明实施例的基于多种生物信号融合的疲劳驾驶检测算法的整体流程图。

具体实施方式

下面结合附图和具体实施方式对本发明技术方案做进一步详细描述：

如图1所示，

一种基于生物电及行为特征融合的疲劳驾驶检测方法，具体按照以下步骤进行：

步骤s1:选择50名年龄均在20-26岁之间的被试参与实验，有驾驶证且身体状态健康。本文实验中的所有被试者，都被要求前一天睡眠时间为00:00—06:00，不允许使用任何提神类物品。并且实验选择在人们最容易产生疲劳的13:00—14:00之间进行。

步骤s2：调整并初始化设备，给被试佩戴内嵌TGAM模块的脑电采集设备，打开蓝牙开关并与电脑连接，测试并检查连接质量；将摄像头对准被试面部，获取被试面部信息，采集被试睁眼闭眼的眼部信息模板，张嘴打哈欠模板进行训练操作。在实验过程当中采集完基础数据后，会进行被试疲劳诱发阶段。

步骤S1：按上述方案，所述脑电信号模块，首先使用TGAM模块进行原始脑电信号、专注度与放松度采集，然后将采集到的脑电信号采用小波包分解。

选择与疲劳程度密切相关的前额电极FP1进行说明。

根据能量时域计算公式：

E＝∑_t|f(t)|² (1)；

其中：E为能量值，t为时间，f(t)为θ，α，β三种波对应的变化曲线。可得出θ，α，β三种波的能量值，及变化曲线。当β波占主导地位时，被试的意识是清醒的；而当θ波和α波占主导地位时，人的意识模糊甚至出现睡眠。由于疲劳是多种因素共同作用的结果，单个节律能量的变化趋势不能客观衡量疲劳程度变化。因此，综合分析多个节律的能量变化，得到疲劳指数(α+θ)/β随时间变化的曲线。该比值可进一步设计为实时疲劳驾驶检测的预警数值。

步骤S2：将小波包分解后的FP1电极脑电波重构后，得到一组脑电信号。样本熵使用SampEn(m，r，N)表示，其中选择参数m＝2，相似容限r＝0.2SD，样本容量N＝1000。每10秒计算一次样本熵，得到平均的样本熵序列，分析样本熵序列可知不同驾驶状态的样本熵值具有一定的差异，非疲劳驾驶状态的样本熵值集中在0.6-0.9之间，而疲劳驾驶状态的样本熵集中在0.3-0.6之间，即非疲劳驾驶状态的样本熵高于疲劳驾驶状态的样本熵。

步骤S3：专注度(Attention)和放松度(Meditation)，两者在同一时间段内存在着相关性。专注度和放松度的相关系数将作为分类的特征值。分析观察专注度与放松度的比值，比值的区间代表了疲劳的程度。由经过简单的预处理之后得知专注度与放松度的区别还是比较明显。本实施例，在t120-t150之间，专注度数值明显高于放松度，在t330-t390之间专注度数值明显小于放松度。那么就可以利用比值的变化来评价疲劳程度。

步骤S4：根据FP1电极θ波、Low_α波、High_α波、Low_β波、High_β波的具体数值，通过处理得到功率谱密度曲线(θ+α)/β：

其中α＝(Low_α+High_α)/2，β＝(Low_β+High_β)/2。

进一步的，可以计算出(θ+α)/β的功率谱密度(Power Spectral Density，PSD)比值随时间的变化曲线，得出疲劳指数区间阈值。

步骤S5：首先对采集到的图像进行灰度处理，然后对灰度图像的再处理会为之后的人脸检测带来极大的帮助，其中对图像的灰度化处理使用的是加权平均算法。对所得到的灰度图像进行再处理即二值化处理，可以使图像变得简单并且数据减少，能突显出感兴趣区域的目标轮廓。

步骤S6：进一步的，对其进行网格标记，使用Canny算法提取边缘信息，识别出人脸感兴趣区域(表示为Face-ROI)，采用KLT算法进行点跟踪，采用维奥拉-琼斯目标检测算法对其进行检测并用矩形框标示出驾驶员脸部区域。

步骤S7：通过使用适当的阈值来确定眼睛的位置即使用Soble边缘检测算法通过图像直方图和颜色直方图找到眼睛区域的边缘。Soble边缘检测器使用两个掩模，一个垂直，一个水平，并且将Soble边缘检测的掩模扩展到了5×5维。使用K-means聚类算法识别出嘴部区域。K-means使用迭代算法进行图像分割，在所有聚类上最小化从每个对象到其聚类质心的距离之和。

步骤S8：按上述方案，所述面部多特征模块根据驾驶员眨眼状态判断驾驶员是否疲劳的工作方法为：当驾驶员处于疲劳状态时，眼睛的闭合时间会变长，采用单位时间内眼睛闭合时长所占的百分比K值进行眼部疲劳识别。其值越大驾驶疲劳程度越深。公式如下：

通过计算每分钟内K值得变化进行疲劳判断。最后分析实验数据得到当K值大于16.18％时，系统判定为眼部疲劳状态。

步骤S9：按上述方案，所述面部多特征模块根据驾驶员哈欠状态判断驾驶员是否疲劳的工作方法为：基于上述对人脸的嘴部进行检测与定位，采取如下公式对嘴部坐标进行确定：

其中x_face和y_face分别表示基于机器学习算法检测的目标检测框架的左下方原点坐标值，W_face与H_face分别为目标检测框架的宽与高。(x₀，y₀)表示嘴部矩形框的左上角坐标，W_mouth与H_mouth分别表示人嘴区域矩形框的宽与高：

我们采用嘴部的宽高比进行打哈欠判断，如下公式：

当嘴部处于正常状态时，很显然P值是大于1的；当处于打哈欠状态时，P值显然逐渐变小，直至小于1。通过计算在一定时间内，P值大于等于1的频率，来对嘴部进行疲劳状态识别，公式如下：

通过计算每分钟内的L值进行疲劳判断，由先验知识可知人们打一次哈欠需5秒左右。当每分钟内打哈气次数为三次及之后L值的增长幅度明显逐步增大，且说明驾驶员疲劳程度逐步加深，即L值大于25％时，判定为疲劳状态，实验结果也与常理相符合。

步骤10：按上述方案，所述面部多特征模块根据驾驶员眼动状态判断驾驶员是否疲劳的工作方法为：通过对眼睛焦点位置(Eye Focus Position,EEP)的跳动幅度及眼跳持续时间的相关信息的研究，分析驾驶员眼跳的变化，可以对驾驶员的驾驶状态进行检测。采用下述公式对疲劳进行判断，其中S₁表示眼跳幅度较小的图像帧数：

由实验可知正常焦点范围为2.5±1.8mm，当驾驶员眼跳幅度降低几乎零摆动时，说明驾驶员开始出现目光呆滞现象。

根据常理，若每分钟内出现3次及以上目光呆滞现象，驾驶员有很大可能处于疲劳状态。当每分钟内驾驶员眼跳信息偏离正常范围的帧数超过180帧时即S大于21.98％时，判断为疲劳状态。

步骤11：按上述方案，所述疲劳监测模块采用BP-LVQ人工神经网络组合模型进行各特征指标的融合，形成综合疲劳指标。通过LVQ(Learning Vector Quantization)神经网络对各特征指标进行分类,然后将分类后的指标基于BP神经网络进行多特征融合形成最后的综合指标，建立基于LVQ-BP神经网络的疲劳驾驶检测系统，实现对驾驶员驾驶状态的实时监测。LVQ神经网络输入层与竞争层神经元之间采用全连接的方式，竞争层与输出层神经元之间采用局部连接方式。连接权值恒为1。实验中统一用计算出的Z-Score值进行衡量，以保证数据之间的可比性：

上式中μ为整个数据的均值，σ表示整个数据的标准差，x表示特征。且BP-LVQ结构共有5个隐含层，一个输入一个输出。在(-1,1)中设置网络连接权重和神经元阈值初始值，并设置最小误差ε和最大训练时间n。训练迭代次数为19，loss终止值为0.00191.可知训练网络参数有效。

当综合疲劳指标达疲劳阈值时，系统会及时发出预警，并提醒驾驶员尽快停车休息。进行大量实验后发现，融合后的综合指标疲劳状态检测准确率高达92％，相比较于单个生物电特征检测、单个行为特征检测疲劳判断准确率明显上升。如表1所示。

将多种特征信号指标相融合对驾驶员进行疲劳检测，克服了传统单一信号检测疲劳的不稳定性，该方法以不影响驾驶员驾驶的方式对所采集到的信息进行有效的处理，与传统疲劳检测相比将多种信号特征相融合的方法结果更加稳定高效，并且确保了系统的可靠性与高效性。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。