阅读说明：本技术 一种基于驾驶员换道行为预测的自动转向灯控制系统及控制方法 (Automatic steering lamp control system and control method based on driver lane change behavior prediction ) 是由 何友国 龚星 蔡英凤 袁朝春 陈龙 王海 于 2019-08-09 设计创作，主要内容包括：本发明公开了一种基于驾驶员换道行为预测的自动转向灯控制系统及控制方法,由车载信息采集装置、驾驶员信息采集摄像头和视频处理器硬件平台组成。车载信息采集装置负责采集车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号。驾驶员信息采集摄像头负责采集驾驶员头部运动的图像。视频处理器硬件平台结合车辆运行参数及驾驶员头部朝向信息,基于驾驶员换道行为预测模型对驾驶员换道行为进行预测；并根据预测结果和转向灯的开关情况,进行转向灯自动控制。本发明能够有效避免在换道过程中由于未开转向灯而导致的交通事故,提高车辆驾驶安全性。本发明也能够有效避免在换道完成后由于未关闭转向灯对其他车辆造成的影响,提高交通的流动性。(The invention discloses an automatic steering lamp control system and a control method based on lane changing behavior prediction of a driver. The vehicle-mounted information acquisition device is responsible for acquiring longitudinal acceleration, transverse acceleration, steering wheel turning angles and steering lamp switch signals of the vehicle. The driver information acquisition camera is responsible for acquiring images of the head movement of the driver. The video processor hardware platform predicts the lane changing behavior of the driver based on a driver lane changing behavior prediction model by combining vehicle operation parameters and the head orientation information of the driver; and automatically controlling the turn lights according to the prediction result and the on-off condition of the turn lights. The invention can effectively avoid traffic accidents caused by not turning on the steering lamp in the lane changing process and improve the driving safety of vehicles. The invention can also effectively avoid the influence on other vehicles caused by not turning off the steering lamp after the lane change is finished, and improve the traffic mobility.)

一种基于驾驶员换道行为预测的自动转向灯控制系统及控制 方法

技术领域

本发明涉及智能汽车领域，具体为一种基于驾驶员换道行为预测的自动转向灯控制系统及控制方法。

背景技术

随着国民经济的不断发展，汽车的保有量和驾驶员的数量持续增加，非职业驾驶员的驾驶水平和安全意识参差不齐。道路交通事故已经是人类社会的第一大公害，道路交通事故致人死伤的问题已经成为全球关注的重点问题之一，交通事故的发生给人民带来深重的灾难，给国家和社会造成巨大的损失。据统计，全世界每年有130万人死于交通事故，有2000万至5000万人因交通事故而造成非致死性伤害。其中，交通事故的4％-10％是由车辆换道行为引起。针对我国驾驶员换道操作***均换道频率约为68次/小时，换道驾驶时平均换道频率约为127次/小时。这说明大多数中国驾驶员并不满足于跟随前面的慢车行驶，而是倾向于通过换道或者超车来寻求更大的驾驶优势。然而，驾驶员使用转向灯示意换道的意识比较淡薄，自由驾驶情况下转向灯的使用率不到50％，换道驾驶时转向灯的使用率也只有65％左右。在换道过程中，如果不能提前打开转向灯，会导致后向车辆无法及时响应前向车辆的换道行为，进而引起交通事故的发生。同时，一些驾驶员在换道完成后，会出现忘记关闭转向灯的行为，这会对周边车辆的驾驶行为造成影响，影响交通的流动性。尽管目前国内外汽车厂家已经开发了大量的主动安全系统，如车轮防抱制动系统(Antilock Brake System)、驱动防滑系统(Acceleration Slip Regulation)、制动辅助系统(Brake Assist System)、碰撞预防系统(Collision Avoidance System)、车道偏离预警系统(Lane Departure Warning System)等，但是针对于驾驶员在换道过程中没有正确使用转向灯行为的主动安全系统还未见到报道。

通过查阅资料，目前基于驾驶员换道行为预测的自动转向灯系统的应用尚未见到报道。

发明内容

针对上述问题，本发明提出一种基于驾驶员换道行为预测的自动转向灯控制系统，通过车载传感器采集车辆参数，通过视频处理器采集驾驶员驾驶行为参数，建立驾驶员换道行为预测模型，根据预测结果及驾驶员对是否使用转向灯进行主动转向灯控制。

本发明提供了一种基于驾驶员换道行为预测的自动转向灯控制系统，该自动转向灯控制系统由车载信息采集装置、驾驶员信息采集摄像头和一个视频处理器硬件平台组成。车载信息采集装置负责采集车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号。驾驶员信息采集摄像头负责采集驾驶员头部运动的图像。视频处理器硬件平台结合车辆运行参数及驾驶员头部朝向信息，基于驾驶员换道行为预测模型对驾驶员换道行为进行预测；并根据预测结果和转向灯的开关情况，进行转向灯自动控制。本发明能够有效避免在换道过程中由于未开转向灯而导致的交通事故，提高车辆驾驶的安全性。同时，本发明也能够有效避免在换道完成后由于未关闭转向灯对其他车辆造成的影响，提高了交通的流动性。

本发明的技术方案如下：

一种基于驾驶员换道行为预测的自动转向灯控制系统由车载信息采集装置、驾驶员信息采集摄像头和一个视频处理器硬件平台组成。

本发明所述车载信息采集装置由车辆纵向加速度传感器、横向加速度传感器、方向盘转角传感器和转向灯开关信号传感器及信号调理电路构成，负责采集车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号，并通过CAN总线发送给视频处理器硬件平台。当能够直接通过车辆CAN总线通信协议解析车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号时，则系统不用重新安装车载信息采集装置，由视频处理器硬件平台直接通过CAN总线解析车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号。

本发明所述驾驶员信息采集摄像头采用CCD车载摄像头，安装在车辆前挡风玻璃上，负责采集驾驶员的头部运动图像。

本发明所述视频处理器硬件平台采用高性能视频处理器，负责对驾驶员头部移动图像进行分析，得出在固定时间窗内驾驶员头部朝向车辆正前方区域、左侧后视镜区域以及右侧后视镜区域的时间占空比。同时综合车辆运行信息与驾驶员头部朝向信息，基于驾驶员换道行为预测模型对驾驶员换道行为进行预测。然后根据预测结果和转向灯的开关情况，设计转向灯自动控制算法。

本发明还提出了基于上述一种基于驾驶员换道行为预测的自动转向灯控制系统的控制方法，包括如下：

车载信息采集：采集车辆运行参数；所述车辆运行参数包括车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号；

驾驶员信息采集：采集驾驶员头部运动的图像；

信息处理和预测：结合车辆运行参数及驾驶员头部朝向信息，基于驾驶员换道行为预测模型对驾驶员换道行为进行预测；并根据预测结果和转向灯的开关情况，进行转向灯自动控制。

进一步，上述控制系统和控制方法中所述的驾驶员换道行为预测模型如下：

基于HMM理论，建立驾驶员换道行为预测HMM预测模型λ＝(N,M,π,A,B)，其中：

驾驶员换道行为状态S：S＝(S₁,S₂,…S_N)，t时刻所处状态为q_t，q_t∈S，本发明状态数N＝3，其中，S₁为左换道行为，S₂为车道保持行为，S₃为右换道行为；

观测序列V：V＝(v₁,v₂,…v_M)，t时刻观测事件为O_t，本发明观测值数M＝6，其中，v₁为车辆纵向加速度，v₂为车辆横向加速度，v₃为方向盘转角，v₄为驾驶员头部朝向车辆正前方区域占空比，v₅为驾驶员头部朝向左侧后视镜区域占空比，v₆为驾驶员头部朝向左侧后视镜区域占空比；

π：驾驶员换道行为初始状态概率矢量，π＝(π₁,π₂,…π_N)，其中π_i＝P(q₁＝S_i)；其中，q₁表示初始状态，P(q₁＝S_i)表示状态S_i作为初始状态的概率，所有的概率之和为1；

A：状态转移矩阵，即驾驶员换道行为状态转移矩阵，A＝{a_ij}_N×N，其中，a_ij＝P(q_t+1＝S_j|q_t＝S_i)，1≤i,j≤N；

B：观测事件概率分布矩阵，即驾驶员不同换道行为在状态S下各观测状态出现的概率，B＝{b_jk}_N×M，其中，b_jk＝P[O_t＝v_k|q_t＝S_j]，1≤j≤N，1≤k≤M。

进一步，上述控制系统和控制方法中所述转向灯自动控制算法如下：

(1)信息采集：包括车辆纵向加速度、车辆横向加速度、方向盘转角、转向灯开关信号及驾驶员的头部运动图像；

(2)数据处理：对驾驶员头部移动图像进行分析，得出在固定时间窗内驾驶员头部朝向车辆正前方区域、左侧后视镜区域以及右侧后视镜区域的时间占空比。

(3)驾驶员换道行为预测：根据离线训练好的驾驶员换道行为预测模型，对驾驶员换道行为进行预测；

(4)转向灯自动控制：根据预测结果和转向灯的开关情况，设计转向灯自动控制；

(a)当驾驶员具有左换道行为时，如果此时左转向灯未开，则系统自动打开左转向灯；

(b)当驾驶员具有右换道行为时，如果此时右转向灯未开，则系统自动打开右转向灯；

(c)当驾驶员具有车道保持行为时，如果此时转向灯处于打开状态，则系统自动关闭转向灯。

本发明的有益效果：

本发明基于车辆运动学参数及驾驶员头部运动的图像，对驾驶员换道行为进行预测。并根据预测结果和转向灯的开关情况，对转向灯进行自动控制。本发明能够有效避免在换道过程中由于未开转向灯而导致的交通事故，提高车辆驾驶的安全性。同时，本发明也能够有效避免在换道完成后由于未关闭转向灯对其他车辆造成的影响，提高了交通的流动性。

附图说明

图1为本发明系统结构示意图。

图2为本发明车载信息采集装置电路结构示意图。

图3为本发明视频处理器硬件平台电路结构示意图。

图4为本发明视频处理器硬件平台电路示意图。

图5为本发明驾驶员换道行为预测模型离线训练流程图。

图6为本发明驾驶员换道行为预测流程图。

图7为本发明转向灯自动控制算法流程图。

图中附件：1为驾驶员信息采集摄像头，2为视频处理器硬件平台，3为车载信息采集装置。

具体实施方式

下面结合附图对本发明作进一步说明。

见图1、图2、图3、图4，一种基于驾驶员换道行为预测的自动转向灯控制系统由车载信息采集装置3、驾驶员信息采集摄像头1和一个视频处理器硬件平台2组成。

所述车载信息采集装置3由车辆纵向加速度传感器、横向加速度传感器、方向盘转角传感器和转向灯开关信号传感器及信号调理电路构成，负责采集车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号，并通过CAN总线发送给视频处理器硬件平台。当能够直接通过车辆CAN总线通信协议解析车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号时，则系统不用重新安装车载信息采集装置，由视频处理器硬件平台直接通过CAN总线解析车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号。

如图2所示，在车载信息采集装置3中设有1个车载信息采集电路板，该电路板主要有电源电路、信号调理电路、信息采集控制器电路和CAN总线通信电路组成。其中，电源电路负责为车载信息采集电路板及传感器供电；信号调理电路负责将车载信息传感器输出信号转换为电压信号、滤波、放大或缩小，达到信息采集控制器的电压范围；信息采集控制器电路负责对调理好后的传感器信号进行模数转换，通过计算得到各个传感器信号的输出值，再通过CAN总线输出给视频处理器硬件平台；CAN总线通信电路负责与视频处理器硬件平台进行CAN总线通信。

所述驾驶员信息采集摄像头1采用CCD车载摄像头，安装在车辆前挡风玻璃上，负责采集驾驶员的头部运动图像。

所述视频处理器硬件平台2采用高性能视频处理器，负责对驾驶员头部移动图像进行分析，得出在固定时间窗内驾驶员头部朝向车辆正前方区域、左侧后视镜区域以及右侧后视镜区域的时间占空比。同时综合车辆运行信息与驾驶员头部朝向信息，基于驾驶员换道行为预测模型对驾驶员换道行为进行预测。然后根据预测结果和转向灯的开关情况，设计转向灯自动控制算法。

如图3所示，在视频处理器硬件平台2中设有1个视频处理电路板。该视频处理电路板由电源电路、CAN总线通信电路、视频解码电路、视频处理器电路和输出控制电路组成。其中，电源电路负责为视频处理电路板及驾驶员信息采集摄像头1供电；CAN总线通信电路负责通过CAN总线接收来自车载信息采集装置3发送的车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号；当能够直接通过车辆CAN总线通信协议解析车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号时，则视频处理器直接通过该CAN总线通信电路解析车辆纵向加速度、横向加速度、方向盘转角、转向灯开关信号；视频解码电路负责将驾驶员信息采集摄像头1采集到的驾驶员的头部运动图像的模拟图像信号转换为数字图像信号，发送给视频处理器进行图像处理；视频处理器电路负责驾驶员头部运动图像处理算法、驾驶员换道行为预测算法及转向灯自动控制算法的执行；输出控制电路负责控制转向灯的开关。

如图4所示，以美国模拟器件公司(ADI)的双核视频处理器BF561为例，说明本发明视频电路板的电路工作原理。该视频处理电路板由电源电路、CAN总线通信电路、视频解码电路、视频处理器电路和输出控制电路组成。其中，该视频处理电路板的电源电路由LM22676、LP38501、LP38693MP及其***元件组成。LM22676负责将车载12V电源转换为5V电源，为系统5V元器件供电。LP38501负责将车载5V电源转换为3.3V电源，为系统3.3V元器件供电。LP38693MP负责将车载5V电源转换为1.8V电源，为系统1.8V元器件供电。该视频处理电路板的CAN总线通信电路由SN65HVD230D及其***电路组成，负责实现视频处理器串行通信接口与CAN总线通信接口的物理转换。该视频处理电路板的视频解码电路由视频解码芯片ADV7180及其***电路组成，负责对模拟视频信号进行解码，转换为数字视频信号，输出到视频视频处理器BF561，由视频视频处理器BF561对视频图像进行处理。该视频处理电路板的视频处理器电路由DDR2存储器MT48LC16M16A2TG、FLASH存储器M29W640D及视频处理器BF561组成。DDR2存储器MT48LC16M16A2TG用于存储程序运行时的临时的数据。FLASH存储器M29W640D用于存储该系统的程序代码。视频处理器BF561负责对驶员头部运动图像信息进行处理。同时，基于驾驶员换道行为预测模型对驾驶员换道行为进行预测。最后根据预测结果和转向灯的开关情况，进行转向灯自动控制。

所述驾驶员换道行为预测模型建立：本发明建立驾驶员换道行为预测模型包括：左换道行为预测模型(LLC_HMM)，车道保持行为模型(LK_HMM)、为右换道行为预测模型(RLC_HMM)。

所述驾驶员换道行为预测模型离线训练：如图5所示，为本发明所述离线训练流程图，包括如下步骤：

(1)模型参数初始化。主要是对HMM模型中的π、A、B进行初始化。

(2)选取前向-后向算法，用当前样本，计算前向频率α_t(i)和后向概率β_t(j)；

(3)利用Baum-Welch算法，计算当前新的模型估计值

(4)计算似然概率

(5)如果是递增的，则用步骤(3)计算出来的新的估计值重新对该样本进行下一次的估计，返回步骤(2)，逐步迭代，直到不再明显增大，即收敛，此时的模型即为所求模型。

下面以左换道行为预测模型(LLC_HMM)为例，说明本发明左换道行为预测模型训练过程。

(1)训练样本的选取

本发明选取的左换道行为预测模型的观察序列包括：车辆纵向加速度、车辆横向加速度、方向盘转角、驾驶员头部朝向车辆正前方区域占空比、驾驶员头部朝向左侧后视镜区域占空比、驾驶员头部朝向左侧后视镜区域占空比6个参数。

HMM的观察序列以向量的形式进行描述，如下式所示：

O(t)＝{v₁ v₂ v₃ v₄ v₅ v₆}

其中，v₁为车辆纵向加速度，v₂为车辆横向加速度，v₃为方向盘转角，v₄为驾驶员头部朝向车辆正前方区域占空比，v₅为驾驶员头部朝向左侧后视镜区域占空比，v₆为驾驶员头部朝向左侧后视镜区域占空比。

样本数量100组。

(2)模型参数初始化

本发明采用均值法得到π和A的初始值。

本发明根据不同换到行为的先验特性来确定输出概率矩阵B初始概率分布。

(3)左换道行为预测模型

按照图5所示离线训练流程，将左转向驾驶行为训练样本送入初始化后的左转向驾驶行为预测模型中进行训练，最终得到左转向驾驶行为预测模型。

驾驶员换道行为预测过程：预测过程如图6所示。将原始参数进行特征提取，形成一组观察序列O。应用前向-后向算法计算每个模型产生当前观察序列的概率P(O/λ)，概率值最大的模型便是当前驾驶行为。

所述转向灯自动控制算法：如图7所示，本发明转向灯自动控制算法如下：

(1)信息采集：包括车辆纵向加速度、车辆横向加速度、方向盘转角、转向灯开关信号及驾驶员的头部运动图像；

(2)数据处理：对驾驶员头部移动图像进行分析，得出在固定时间窗内驾驶员头部朝向车辆正前方区域、左侧后视镜区域以及右侧后视镜区域的时间占空比。

(3)驾驶员换道行为预测：根据离线训练好的驾驶员换道行为预测模型，对驾驶员换道行为进行预测；

(4)转向灯自动控制：根据预测结果和转向灯的开关情况，设计转向灯自动控制；

(a)当驾驶员具有左换道行为时，如果此时左转向灯未开，则系统自动打开左转向灯；

(b)当驾驶员具有右换道行为时，如果此时右转向灯未开，则系统自动打开右转向灯；

(c)当驾驶员具有车道保持行为时，如果此时转向灯处于打开状态，则系统自动关闭转向灯。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。