具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。

实施例1

本发明提供一种基于声学的疲劳驾驶和分心驾驶的检测方法，可以检测驾驶者是否进行疲劳和分心驾驶行为并评估驾驶者进入疲劳和分心驾驶状态的程度。该方法的主要思路是将商用智能手机转变为一个有源声纳系统，利用智能终端的扬声器传输超声波信号(16—20KHz的Chirp信号)，并在智能手机的麦克风上跟踪来自驾驶者头跟手的回声，然后根据Chirp信号飞行时间TOF(Time Of Flight)，以准确测量从头和手到智能手机的距离。然后，通过分析时域上回波距离的变化，来检测驾驶者是否存在疲劳和分心驾驶的动作。在此基础上，进一步评估驾驶者进入疲劳和分心驾驶的状态。

然而，要实现这一目标，仍然需要克服一些挑战。首先，发射的信号不能影响驾驶者的正常驾驶。其次，需要克服外部环境引起的不可预测的信号波动，所以本发明方法应该具有较高的容错能力，以确保能提取头和手的位置具有良好的稳定性以及较强的适应性和较高的灵活性。再次，为了使用TOF精确计算头和手到智能手机的距离，该装置需要消除环境噪声、多路径效应和智能终端不完善的声学硬件的影响。此外，为了通过时域上距离的变化检测出驾驶者的动作，还需要深入得出不同疲劳和分心驾驶动作的特征，实时监控驾驶者的行为。

本实施例为实现上述技术目的，提出的基于声学的疲劳驾驶和分心驾驶的检测方法优选实施例，如图1所示，具体包括以下步骤：

步骤1，扬声器发射FMCW信号，麦克风接收信号进行预处理，得到通过LOS路径传输的FMCW信号和由不同对象反射的回波信号。

本实施例充分利用普遍使用的智能手机，在COTS智能手机中使用一对内置扬声器和麦克风，将该COTS智能手机固定于驾驶室仪表盘的任意一侧。利用扬声器发射FMCW线性调频脉冲信号，经过包括驾驶员头部和转向手以及驾驶室内其他静止或运动的物体反射，麦克风接收到反射回来的回波信号。但是麦克风接收的信号，除回波信号外，不可避免地接收到其他干扰信号，因此需要对麦克风接收到的信号进行预处理，包括信号去噪和回波信号提取。

对于普通成人来说，C是电磁波的速度，16KHz的信号很难区分，但超过20KHz的信号会对智能手机造成严重的功率损失，因此可用带宽范围B＝20KHz-16KHz＝4KHz。FMCW的理论范围分辨率为但事实上，驾驶员点头或打哈欠的头部运动范围将超过5cm，这意味着简单的FMCW方法不能有效地检测驾驶员分心和昏昏欲睡的驾驶活动。

为了提高测距精度，本实施例通过计算相对相关系数RCC(relative correlationcoeffificient)来测量延迟。使用RCC法来测量延迟不同于使用脉冲法和计算FMCW的频差法，脉冲法是通过计录时间计算两段信号的延迟，而频差法是通过计算接受信号与发射信号的频率差异计算延迟。本发明基于RCC的方法是一种间接的测量延迟的方法，简单来说，发射信号与接受信号实际上是同一信号在时域上的一段平移，在不考虑能量衰减和信号干扰的情况下，发射信号与接受信号拥有相同的信号特征，但是实际上发射信号与接受信号不可能完全相同，但是相似的。因此只要在时域上找到与发射信号拥有高相似性的一系列信号，这一系列信号就是各个回波信号。将发射的FMCW信号做离散化处理，对于发射的FMCW信号T_x和接收的回波信号R_x有RCC关系，其RCC相关系数R(T_x,R_x)定义如下公式：

其中，N代表了一段采样周期内的总采样点数，而n是所有的平移点数，RCC相关系数R(T_x,R_x)测量的就是经过n个点移动之后发射信号和接受信号的相似性。

假设在时域上，经过L个采样点之后，发射信号T_x和接受信号R_x拥有了最大的R(T_x,R_x)，那么信号的平移时间τ可以通过下式得到：

其中F_s为48Khz(手机采样频率)。通过上式，可以得到：

其中，考虑到发射端静止不动(v≈0)，可以得到：

对于离散处理，L的单位变化是1个采样点，通过这种方法，计算出FMCW的范围分辨率为其中F_s是智能手机的采样频率，商用智能手机的最高采样频率为48KHz，所以FMCW的测距分辨率是

人类的听力灵敏度通常在20KHz到15KHz之间，现成智能手机中内置麦克风的采样率可高达48KHz。此外，当音频频率超过20KHz时，声学信号的功率衰减显著增加。因此，为了避免驾驶场景(如风、音乐、谈话等)中的噪声干扰回声信号并且避免信号对驾驶者和乘客造成干扰，本实施例精心设计设计FMCW信号的各参数，该信号频率覆盖从16KHz到20KHz，这既不干扰驾驶者和车上的乘客，也不超过主流智能手机的硬件限制。

为了捕捉驾驶员头部和手所反射的回波，扬声器会定期传输FMCW信号。每个FMCW信号的持续时间决定了智能手机和目标对象(即头部和转向手)之间的最小距离，而分离的信号时间决定了有效监控区域的范围。因此，本实施例精心设计每个FMCW信号的持续时间和下一个连续的FMCW信号之间的分离(这种短FMCW信号被称为Chirp信号)。本实施例发射的FMCW信号的持续时间设置为1ms，考虑到真实的实验环境，分离的长度被设置为不小于9ms，以便可以捕获2米范围内的所有回波，而不受下一个FMCW信号的干扰，由于危险驾驶动作至少持续数百毫秒，系统将分离持续时间设置为10ms，以防止当前的FMCW信号与时域中的下一个FMCW信号混叠。

在本实施例方法中，初始频率f₀、带宽B和信号持续时间T分别为16kHz、20kHz和1ms。

FMCW信号会依次到达有效监测范围内的驾驶员手、手臂、身体、头或其他车内物体，然后可能被反射回来。本实施例使用智能手机内置的麦克风来记录这些反射的回波信号。为了消除移动车辆中的背景噪声的影响，采取信号去噪处理具体为：首先通过16KHz-20KHz的巴特沃斯带通滤波器对麦克风中所接收的信号进行滤波，另外在每个脉冲上应用Hanning窗来重塑包络形状并消除干扰信号，以此增加每个回波信号的峰旁瓣比。FMCW的频率随时间线性变化，并结合精心设计的线性调频脉冲之间的间隔，系统可以利用线性调频脉冲的自相关特性来有效地区分具有不同到达时间的多个回波。

所述回波信号提取具体为：设置FMCW信号为频率随时间变化的线性调频脉冲信号，计算接收到的每个脉冲信号与对应的线性调频脉冲信号之间的相关系数，其中相关系数大于预设阈值的所有脉冲中，时间最早的脉冲为通过LOS路径直接由扬声器传输到麦克风的FMCW信号，其余脉冲均为由驾驶室内不同对象反射的回波信号。

其中，接收到的每个脉冲信号与对应的线性调频脉冲信号之间的相关系数，计算式为：

式中，i和j分别代表接收信号和发射的线性调频脉冲信号，Cov(i,j)表示i和j的协方差，Cov(i,i)和上Cov(j,j)分别表示i、j的方差。

步骤2，根据麦克风接收到每个回波信号相对于接收到FMCW信号的时间差，计算得到不同反射对象相对于麦克风的距离时间序列。

其中，发射的FMCW信号如图2所示，表示为：

其中，f₀、B和T分别是FMCW信号的初始频率、带宽和持续时间。在存在多径信号的情况下，接收信号可以写成：

其中，A_i和是第i个路径的衰减和飞行时间。将接收信号y(t)除以发射信号x(t)得到：

上述方程表明，具有不同到达时间的多路径属于不同的频率。麦克风接收器使用离散傅里叶变换(DFT)来查找第一个和第i个峰值f_peak(1)和f_peak(i)。这些峰值到智能手机的距离计算为

步骤3，从所有的距离时间序列中，提取出驾驶员头部的距离时间序列SOD(R_i,head)和驾驶员转向手的距离时间序列SOD(R_i,hand)。具体为：

步骤3.1，将所有样本点数据值稳定不变的距离时间序列、样本点数量低于预设值的距离时间序列，均从所有距离时间序列中剔除。

其中，所有样本点数据值稳定不变的距离时间序列，可视为静态的干扰物体反射得到的距离时间序列，而转向手和头部相对于智能手机的麦克风的距离，均为动态变化，因此为消除干扰，可以提前将所有样本点数据值稳定不变的距离时间序列，从所有距离时间序列中剔除。

样本点数量低于预设值的距离时间序列，相当于部分样本点数据缺失，而只要驾驶员在驾驶室内，正常情况下转向手和头部的距离数据不会消失，因此可通过设置预设样本点数量阈值，只要某个距离时间序列的样本点数量低于预设值，则视为突然出现在驾驶室内的物体反射，比如车内乘客向驾驶员交东西或与司机交谈。为消除突现的干扰物，可提前将样本点数量低于预设值的距离时间序列，从所有距离时间序列中剔除。

步骤3.2，从当前剩余的所有距离时间序列中，取出起始样本时间最早的距离时间序列，即为驾驶员转向手的距离时间序列SOD(R_i,hand)。

当将智能手机放置在有效位置时，转向手是离智能手机最近的移动对象，因此可以将当前剩余的所有距离时间序列中，起始样本时间最早的距离时间序列，默认为是驾驶员转向手的距离时间序列SOD(R_i,hand)。

步骤3.3，计算驾驶员转向手的距离时间序列SOD(R_i,hand)与其余剩余的每个距离时间序列之间的皮尔逊相关系数，若得到的皮尔逊相关系数大于对应的预设值，则该距离时间序列的反射对象是与转向手具有相同运动模式的肘部或手臂，并将该距离时间序列从当前剩余的所有距离时间序列中剔除。

由于手和连接体部如肘、臂的运动模式相似，因此对应的峰的距离变化也具有一致的运动模式。基于此特征，本实施例采用皮尔逊相关系数来计算两个反射物体的运动变化之间的相关性。皮尔逊相关系数PCC的计算式为：

式中，SODⁱ和SODⁱ⁺¹分别为两个不同的距离时间序列，表示SODⁱ和SODⁱ⁺¹之间的皮尔逊相关系数，表示SODⁱ和SODⁱ⁺¹的协方差，表示SODⁱ的标准差，表示SODⁱ⁺¹的标准差。

将所有与转向手具有相同运动模式的肘部和手臂等的距离时间序列剔除，便于下一步提取头部的驾驶员头部的距离时间序列SOD(R_i,head)。

步骤3.4，从当前剩余的所有距离时间序列中，选择标准差最大的距离时间序列，即为驾驶员头部的距离时间序列SOD(R_i,head)。

尽管根据上述运动模式，头部和身体躯干的不同部位可能存在多个回波，但可以确定的是，即使在刹车或方向盘猛踩、急转弯、不系安全带等情况下，身体躯干和智能手机之间的距离也在头部移动超过颈部的范围内保持稳定的变化，在驾驶过程中头部会不断摇动。因此，本实施例可以通过测量标准差来选择从驾驶员头部反射的回波信号。即从当前剩余的所有距离时间序列中，选择标准差最大的距离时间序列，即为驾驶员头部的距离时间序列SOD(R_i,head)。

步骤4，根据SOD(R_i,head)和SOD(R_i,hand)以及已知的多种危险驾驶动作相对于麦克风的距离时间序列，对驾驶员是否执行各种危险驾驶动作进行判断。

本实施例中，设已知的危险驾驶动作包括点头、打哈欠、分心驾驶、手离开方向盘、异常操作方向盘这五种类型。

其中，点头(Nodding)：在正常驾驶中，当司机疲劳时，点头动作通常表现为快速点头，然后突然向上看。在整个疲劳的驾驶期间，点头动作可能偶尔或周期性地出现。

打哈欠(Yawning)：伴随着点头，打哈欠是另一个有代表性的行动，当人们感受到困倦的时候。打哈欠包括两个连续的动作：持续张开嘴巴，抬起由用力呼气的反应力引起的头部，然后回到正常的头部位置。

分心驾驶：这类行为通常包括在司机回头和司机的视线长时间离开前方。

异常的操作方向盘：长时间无转向修正，方向盘调整相对突然，导致转向手运动变化的标准偏差显著增加手没有放置在方向盘：无法检测到来自手的回波。

因此，上述点头、打哈欠、分心驾驶这三种危险驾驶动作，可在驾驶员头部的距离时间序列SOD(R_i,head)中得到体现，从而计算驾驶员头部的距离时间序列SOD(R_i,head)分别与点头、打哈欠、分心驾驶这三个危险驾驶动作相对于麦克风的距离时间序列之间的DTW匹配距离，可以判断得到当前驾驶员是否存在点头、打哈欠、分心驾驶这三种危险驾驶动作。

而上述的手离开方向盘、异常操作方向盘这两种危险驾驶动作，可在驾驶员转向手的距离时间序列SOD(R_i,hand)中得到体现，从而计算驾驶员转向手的距离时间序列SOD(R_i,hand)分别与手离开方向盘、异常操作方向盘这两个危险驾驶动作相对于麦克风的距离时间序列之间的DTW匹配距离，可以判断得到当前驾驶员是否存在手离开方向盘、异常操作方向盘这两种危险驾驶动作。

具体地，步骤4对驾驶员是否执行各种危险驾驶动作进行判断的方法为：

计算驾驶员头部的距离时间序列SOD(R_i,head)分别与点头、打哈欠、分心驾驶这三个危险驾驶动作相对于麦克风的距离时间序列之间的DTW匹配距离；若与某个危险驾驶动作的匹配距离大于预设阈值，则判断驾驶员当前执行该危险驾驶动作，否则判断驾驶员当前未执行该危险驾驶动作；

计算驾驶员转向手的距离时间序列SOD(R_i,hand)分别与手离开方向盘、异常操作方向盘这两个危险驾驶动作相对于麦克风的距离时间序列之间的DTW匹配距离；若与某个危险驾驶动作的匹配距离大于预设阈值，则判断驾驶员当前执行该危险驾驶动作，否则判断驾驶员当前未执行该危险驾驶动作。

然而，驾驶员在做出每次危险驾驶动作时，其动作速度和振幅的不同，使得到的距离时间序列长度不可能每次都保持一致，因此，在更优的实施例中，在计算DTW匹配距离时，自适应地提取最佳长度的距离时间子序列与系统内已知的各危险驾驶动作计算DTW匹配距离，具体为：

将步骤3提取的驾驶员头部的距离时间序列SOD(R_i,head)和驾驶员转向手的距离时间序列SOD(R_i,hand)，统称为待检测的距离时间序列；待检测的距离时间序列与危险驾驶动作之间的DTW匹配距离：枚举一组候选长度Ln∈[0.5W,2W]；对每个候选长度，均采用滑动窗口的方法，从待检测的距离时间序列中提取一组当前候选长度的距离时间子序列；计算每个距离时间子序列分别与点头、打哈欠、分心驾驶这三个危险驾驶动作相对于麦克风的距离时间序列之间的DTW匹配距离；选择每个危险驾驶动作的所有DTW匹配距离中的最大值，作为待检测的距离时间序列与对应危险驾驶动作之间的DTW匹配距离；其中，W为各个危险驾驶动作相对于麦克风的距离时间序列长度。

步骤5，统计预设长时间段内各种危险驾驶动作的次数，并加权融合所有危险驾驶动作的次数，判断驾驶员当前是否进入疲劳与分心驾驶的状态。

依靠单一的一次动作(点一次头，打一次哈欠)即判断驾驶者是否进入危险驾驶状态是不够客观的，因为危险驾驶状态是一个连续的判断过程，是一段时间内驾驶员做出危险驾驶动作或者驾驶员做出严重威胁驾驶安全动作的状态，本实施例采用模糊综合评价法综合各种驾驶动作来判断驾驶者的危险驾驶状态。

为了构建模糊评价结构，本实施例使用一定比例的样本来生成决策树，通过这种方法，即可以获得所有驾驶动作的权重值，通过这种方法可以获得所有五种危险驾驶动作的权重为{w₁,w₂,w₃,w₄,w₅}。

然后，即可使用得到的权重，对预设长时间段内各种危险驾驶动作的次数进行加权融合：

式中，n用于区分不同的危险驾驶动作，N表示危险驾驶动作的种类数量，c_n表示第n种危险驾驶动作的权重，w_n表示第n种危险驾驶动作的次数，S_D为计算得到的加权融合所有危险驾驶动作的次数。

最后，即可基于加权融合得到的S_D进行疲劳与分心驾驶的状态判断：若S_D超过对应的预设阈值，则判断驾驶员当前处于疲劳与分心驾驶的状态；否则判断驾驶员并非处于疲劳与分心驾驶的状态。

实例实验环境和参数设定：

本实验针对普通商用智能手机进行实验验证可行性和稳定性。本实验验证系统由两部分组成:服务器和客户端。在客户端，只使用Android本地接口进行编程，主要使用立体声录制模块。当系统运行时，音频文件写入缓冲区，数据通过局域网利用Socket发送到服务器端。服务器端配置为Intel i5 3.0GHz处理器和8GB内存，并启动一个进程来侦听客户机发送的数据。当缓冲区填满5帧数据时，调用DTW匹配算法运行。当然，这些信号处理算法也可以在安卓端使用Android NDK进行实现。客户端使用的智能终端是Nexus6P,Android 6.1版本，以及48KHz的采样率。

实验设置与结果显示：

模拟驾驶使志愿者能够在虚拟驾驶环境中体验到接近真实效果的视觉，听觉和体感车辆驾驶体验。驾驶模拟效果逼真，节能，安全，经济，不受时间，气候和场地的限制。该模拟器具有可调节高度和靠背的座椅，可以针对不同的驾驶员调整模拟器。为了确保志愿者的安全，在模拟器中收集了训练数据并进行了实验，但是出于真实实验环境，在真实车辆中进行了实验。

在模拟器中选择了两个路由器，一个是公路，另一个是山路(驾驶员在交通较少的道路上更容易陷入危险的驾驶情况)。天气是随机生成，包括(白天，晚上，雨天，晴天)。对于真实的实验环境，选择了两个路线：校园路，另一条为市郊路。为了实验的安全，在夜间交通流量低的情况下进行了实验。在真实驾驶情况下，为确保驾驶员的安全，随机给司机指示(点头，打哈欠，离开方向盘，分心驾驶一段时间等)以此来模拟疲劳和分心驾驶状态。通过招募18位参与者(10位男性，8位女性，志愿者的身高从1.58m至1.85m，年龄范围从20至55岁)，并在5种不同的汽车(福特福克斯，丰田普锐斯，本田飞度，大众捷达，本田雅阁)中记录了数据。

图3展示了本实验对于疲劳和分心驾驶动作的检测结果，可以看出，对于各种驾驶动作。系统均能保持90％以上的准确率，图4展示了系统的检测时延，可以看出，系统可以在所有疲劳驾驶动作可以在4秒内识别，所有分心的驾驶检测可以在5秒内识别。因此，系统可以实时识别危险驾驶行为。

实施例2

本实施例提供一种基于声学的疲劳驾驶和分心驾驶的检测装置，包括：

回波信号获取模块，用于：扬声器发射FMCW信号，麦克风接收信号进行预处理，得到通过LOS路径传输的FMCW信号和由不同对象反射的回波信号；

距离时间序列计算模块，用于：根据麦克风接收到每个回波信号相对于接收到FMCW信号的时间差，计算得到不同反射对象相对于麦克风的距离时间序列；

头部与转向手的序列提取模块，用于：从所有的距离时间序列中，提取出驾驶员头部的距离时间序列SOD(R_i,head)和驾驶员转向手的距离时间序列SOD(R_i,hand)；

危险动作判断模块，用于：根据SOD(R_i,head)和SOD(R_i,hand)以及已知的多种危险驾驶动作相对于麦克风的距离时间序列，对驾驶员是否执行各种危险驾驶动作进行判断；

疲劳与分心驾驶状态判断模块，用于：统计预设长时间段内各种危险驾驶动作的次数，并加权融合所有危险驾驶动作的次数，判断驾驶员当前是否进入疲劳与分心驾驶的状态。

本实施例的检测装置各模块，其工作原理与实施例1相同，本实施例不再重复阐述。

实施例3

一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现实施例1所述的方法。

实施例4

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的方法。

以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。