具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

图1为本申请实施例中提供的技术方案的应用示意图。请参考图1，本防撞预警控制方法应用于车辆的车载系统终端，雷达检测区域为图中阴影部分，摄像头检测区域包括车正后方及两侧阴影部分。根据雷达检测区域内的目标物(车辆、行人或是静止物体)的不同状态，来执行防撞预警控制。

图2为本申请实施例中提供的预警控制的方法流程图。如图2所示，本申请提供的防撞预警控制方法包括：

S201：获取目标区域在当前时刻的第一雷达回波信号和目标区域在当前时刻的第一图像。

在一种可能的实施方式中，当车速传感器检测到自车车速连续低于5km/h且该时间段内出现车辆连续制动的动作时，则启动车辆的车载系统终端中的防撞预警系统，车辆进入防撞预警状态。在车速连续低于5km/h时开启防撞预警系统的原因是完成开门动作所需时间非常短，所以提前打开系统，完成系统的初始化，避免系统错过防撞预警时间。

请参考图1，防撞预警系统启动，系统发出数据采集指令，由毫米波雷达和摄像头同时开始采样，采样区域为图1所示的车辆正后方以及阴影部分，a、b、c表征纵向距离，d表征横向距离，其中，纵向距离a示例为15m，纵向距离b示例为5m，纵向距离c示例为30m，横向距离d为自车车门完全打开时的车门长度的1.3倍。

在毫米波雷达工作时，毫米波雷达通过收发天线发送线性调频连续波探测多个可能的目标物，接收目标物返回的第一雷达回波信号。

S202：根据所述第一雷达回波信号和所述第一图像确定若干目标物对应在像素坐标系中的第一坐标。

第一雷达回波信号获取到若干目标物，将获取到的目标物记录在像素坐标系中，确定目标物在像素坐标系中的第一坐标。

具体的，将第一雷达回波信号进行小波变换，得到雷达小波，对雷达小波进行小波逆变换操作重构信号得到第二雷达信号，根据所述第二雷达信号和所述第一图像确定若干目标物对应在像素坐标系中的第一坐标。

由于噪声等原因，毫米波雷达探测到物体中除了包含可能对自身车辆产生威胁的目标物信号，还可能存在大量的虚假目标信号。虚假目标信号的存在会加重系统信号处理的负担，导致防撞预警系统不能及时预警，危及行车安全，造成事故的发生。所以对于毫米波雷达漏检或误检的目标，通过结合连续的多帧数据来进行有效检测和剔除。

在一种可能的实施方式中，毫米波雷达的采样频率和摄像头的采样频率不相同。假设毫米波雷达的采样频率是A帧/秒，摄像头的采样频率是B帧/秒，其中A<B，选择以采样频率较低的毫米波雷达采集数据为依据，对摄像头采集的数据进行抽帧处理，在空间上和时间上的这两种不同的传感器采集的数据进行融合，保证在相同时刻和空间上两种传感器检测和识别到的是同一帧目标图像，为后续实现对同一目标物的匹配及得到目标物的精确位置和运行状态信息提供精度保证。

具体地，通过摄像头拍摄目标区域在当前时刻的第一图像，摄像头为单目相机摄像头。

在一个较为具体的实施例中，第一雷达回波信号为差拍信号，所述差拍信号包括雷达回波信号与雷达发射信号混频得到的信号。

在一个更为具体的实施例中，雷达发射信号为安装于后视镜下侧的毫米波雷达发出的雷达信号。具体的，请参考图1，标号1和标号2为安装于后视镜下侧的毫米波雷达，雷达发射信号为图示标号1和标号2所对应的毫米波雷达发出的雷达信号。

所述获取目标区域在当前时刻的第一雷达回波信号，并根据所述第一雷达回波信号确定若干目标物对应在像素坐标系中的第一坐标包括：

S2021：获取目标区域在当前时刻的第一雷达差拍信号，将所述差拍信号进行小波变换，得到差拍小波。

具体地，将输入的差拍信号通过公式进行小波变换，公式表示为：

式中，S(t)表征差拍信号，K表征调频斜率，exp表征以自然常数e为底的指数函数，j表征复指数信号，v表征相对速度，c表征光速，f₀表征物体静止时的频率，τ(t)表征回波信号相对于发射信号的延时，B表征扫频带宽，T表征调制周期，e(t)回波信号中的白噪声。

S2022：选择小波函数对所述差拍小波的第一小波系数进行多尺度分解，对分解得到的各个小波系数进行阈值量化处理，得到第二小波系数。

具体地，选择Symmlet小波基函数对S(t)进行多尺度分解。由于在小波领域中高频信号表示为噪声，对应的小波系数一般低于信号的小波系数，所以对各尺度下高频部分的小波系数进行阈值量化处理。由于理想的毫米波雷达的回波信号与其噪声函数之间仅相差一个具体的数值，所以直接采用硬阈值作为阈值收缩函数，阈值函数的取值计算公式采用统一阈值法。

阈值通过下面的公式进行计算：

式中，δ表征阈值，σ表征噪声的标准差，N表征雷达回波信号取样点数量。

进一步地，通过上述公式计算出阈值后，对各个尺度的小波系数进行硬阈值处理，即(-δ,δ)范围内的小波系数置0处理，高于此阈值的小波系数则保留，以保留图像的边缘轮廓信息。

S2023：对所述第二小波系数进行小波逆变换操作重构信号得到第二雷达差拍信号。

由于第二小波系数是去噪后的小波系数，因此对第二小波系数进行小波逆变换可以得到去噪后的雷达差拍信号，即第二雷达差拍信号是去噪后的雷达差拍信号。

S2024：根据所述第二雷达差拍信号确定若干目标物对应在像素坐标系中的第一坐标。

用坐标系Or-XrYrZr表征毫米波雷达坐标系，坐标系Ow-XwYwZw表征世界坐标系，坐标系Oc-XcYcZc表征摄像机坐标系。在一种可能的实施方式中，根据第二雷达差拍信号确定若干目标物对应在像素坐标系中的第一坐标包括：

确定若干目标物对应在毫米波雷达坐标系中的坐标，将毫米波雷达坐标系转换为世界坐标系。

具体地，若标号为1的毫米波雷达检测到的一个目标物P与当前毫米波雷达的关系记为P(R，α)，其中，R表征毫米波雷达到检测到目标物P的直线距离，α表征毫米波雷达的垂线与目标物P连线的夹角角度，通过R和α进行三角变换，可以得到目标物P在世界坐标系的横向距离和纵向距离。该目标物P在世界坐标系中的坐标记为：

式中，Xr、Zr表征目标物P在雷达坐标系中的坐标，Z_H表征Zr与Zw的距离，H表征Yr与Yw的距离，X_H表征Xr与Xw的距离。

进一步地，将世界坐标系转换为相机坐标系。

具体地，目标物P在世界坐标系的坐标记为P_w，在相机坐标系下为P_c，两者之间存在以下关系：

P_c＝T_cwP_w

式中，T_cw表征世界坐标系与相机坐标系间的变换矩阵，具体表现形式为其中，R表征旋转矩阵，t表征平移矩阵，O^T表征转置矩阵。

进一步地，将相机坐标系转换为图像坐标系。

具体地，目标物P在相机坐标系上的坐标为[Xc，Yc，Zc]，在图像坐标系上的坐标为[X，Y]，在像素坐标系上的坐标为[u，v]，将相机坐标系转换为图像坐标系的公式为：式中f表征焦距。

进一步地，将图像坐标系转换为像素坐标系，公式为：式中，fx表征X轴方向的焦距，fy表征Y轴方向的焦距，c_xc_y表征相机光轴在像素坐标系中的偏移量。可以理解的是，物理成像平面实质上是由一个个的像素单元组成的，在像素单元不是正方形的情况下，X轴方向的焦距fx和Y轴方向的焦距fy的值不同，在像素单元是正方形的亲情况下，X轴方向的焦距fx和Y轴方向的焦距fy的值相同。

S203：利用区域生长法对所述第一图像进行分割，获取第二图像；其中，所述区域生长法的种子点为所述第一坐标。

其中，获取第二图像过程包括：

S2031：获取所述第一图像灰度直方图。

S2032：使用最大类间方差法获取图像分割的最佳阈值T。

具体地，设T为图像分割的阈值，将不大于阈值T的像素点视为前景点，将大于阈值T的像素点视为背景点。最大类间方差法公式为：

g＝w₀×(u₀-u)²+w₁×(u₁-u)²

式中，g表征前景图和背景图之间的方差，u表征图像的平均灰度值，u₀表征前景图的平均灰度值，u₁表征背景图的平均灰度值，w₀表征前景点占整个图像像素点的比例，w₁表征背景点占整个图像像素点的比例。

通过不断的迭代遍历整幅图像，寻找最佳阈值T使得g取得最大值。在一个更为具体的实施方式中，初始阈值T设定为127。

S2033：利用区域生长法对第一图像进行分割，获取第二图像。

具体地，将毫米波雷达返回的目标物记录在像素坐标系的第一坐标作为区域生长法的生长点。

鉴于车辆与背景图的边界区域具有较强的相似性，其中，边界区域为梯度表示图像变化比较大的区域。因此仅靠种子点和其领域的像素差小于某个阈值来判断是否相似是不足够的，本技术方案不仅判断种子点的领域点的像素是否小于最大类间方差法分割得出的阈值T，还需要判断种子点和其领域点的梯度差是否小于阈值t。当两者都满足时确定两者相似。梯度差计算公式表示如下：

式中，I_i表征要检测像素点的灰度值，I_a表征I_i的领域像素点，表征二元函数求偏导。在一个更为具体的示例中，种子点和其领域点的梯度差的阈值t设置为44。

当该生长点的八个领域不满足生长准则时，停止生长，获得第二图像。

区域生长法的部分代码如下：

S204：利用遗传算法对所述第一图像进行图像识别，确定所述若干目标物在所述目标区域中的位姿信息；其中，所述遗传算法的输入包括所述第二图像。

在一种可能的实施方式中，利用遗传算法对所述第一图像进行图像识别，确定所述若干目标物在所述目标区域中的位姿信息包括：

S2041：将第一图像灰度化，得到第三图像。

具体地，将第一图像根据灰度化公式Gray＝0.114B+0.587G+0.299R将图像灰度化，获取图像的灰度直方图，式中，Gray表征得到的灰度值，RGB表征原图的红绿蓝色值。将灰度化后的图像进行滤波去噪处理，得到第三图像。

S2042：将所述第二图像和所述第三图像作为遗传算法的输入，利用遗传算法对所述第三图像进行分割，得到第四图像；所述遗传算法的适应度函数通过Kmeans聚类算法来确定

具体地，第三图像是一个灰度化图像，将第三图像作为遗传算法的输入，初始化种群信息。

将第二图像和第三图像作为遗传算法的输入，初始化种群信息。在一个更为具体的示例中，初始化种群数量为10，染色体条数为8，最大迭代次数为200。进一步地，通过Kmeans聚类算法来确定适应度函数。其中，K值选取为种子点个数，即选择种子点数个随机点作为聚类中心。对于由第三图像的像素点组成的数据集中的每个数据点，计算其距离K个中心点的欧式距离，将其与距离最近的中心点关联起来，与同一中心点关联的所有点聚为一类。计算每一组的均值，将该组所关联的聚类中心移动到平均值的位置。重复此步骤，直至聚类中心不再变化。

KMeans聚类算法的目标函数为最小化对象到其所属簇的质心的距离平方和，公式为：

式中，dist表征欧式距离函数，x表征图像中的像素点，c_i表征质心，g_a表征目标函数。

应用遗传算法进行聚类和分割时,每个个体以上式所示为目标函数,若平方和越小,个体的适应值就越高,因此适应度函数设为1/g_a。

进一步地，利用轮盘赌诸法选择适应度高的个体。轮盘赌诸法是一种回放式随机采样方法，每个个体进入下一代的概率等于它的适应度值与整个种群中个体适应度值和的比例。

进一步地，选择两个个体作为父代个体，将两个父代个体的部分结构加以替换，重组，生成新的个体，此过程在遗传算法中称作交叉。在交叉初期，为了防止轮盘赌注法淘汰过多种类群体陷入局部最优，所以交叉概率较高，后期加快了算法收敛，可以适当降低交叉概率。交叉概率与迭代次数的关系表示为：

式中，P_c表征交叉概率，gen表征迭代次数。

进一步地，将个体染色体编码串中的某些基因座上的基因值用该基因座上的其它等位基因来替换，从而形成新的个体，此过程在遗传算法中称作变异。变异概率与迭代次数的关系表示为：

式中，P_m表征变异概率，gen表征迭代次数。

进一步地，输出适应度最优的群体。若迭代次数等于200，则输出进化过程中的具有最大适应度的个体，并终止程序。对适应度最优的群体解码，获得第四图像。

本技术方案中设定K聚类中心为种子点数。传统的KMeans方法中采用的是随机初始化聚类中心，但是聚类中心的选择会影响图像的聚类结果，所以本发明将聚类中心设置为每个区域的质心，不仅能消除传统KMeans的弊端，同时可以提高算法的速度。

S2043：对第四图像进行图像识别，确定若干目标物以及其所在目标区域中的位姿信息。

具体地，对第四图像进行图像识别，确定目标物目标物是行人、车辆或是静止目标，以及确定目标物的位姿信息。

具体地，利用Canny算子增强第四图像的边缘和进行图像形态滤波，快速生成目标感兴趣(region of interest，ROI)区域，加快收敛速度。利用训练好的模型对目标物进行图像识别，输出识别结果。

由于雷达具有在一个方向上发射的电磁波只能接受此方向的回波信号的特点，所以可以实现定位并获取到目标物相对于自车的相对距离、角度以及目标物的速度和坐标信息，即目标物的位姿信息。目标物的位姿信息可以包括目标物的位置信息和姿态信息，位置信息包括目标物相对于自车的相对距离，姿态信息包括目标物相对自车的速度信息和目标物的方向信息。根据目标物相对于自车的相对距离信息和目标物的速度信息，可以得到目标物到达自车车门的时间信息。

由于道路环境复杂、移动目标可能被遮挡等原因，会造成目标物短暂性缺失现象，所以在毫米波雷达和摄像头完成采样工作后，需要对目标物进行持续跟踪定位。本申请采用无迹卡尔曼滤波对目标物进行跟踪。

S205：根据所述若干目标物的位姿信息进行防撞预警。

在一种可能的实施方式中，根据所述若干目标物的位姿信息进行防撞预警包括：

当存在目标物的位置处于所述目标区域，根据所述目标物的位姿信息判断所述目标物到达自车车门的时间不大于安全阈值，进行一级防撞预警。

或存在目标物的位置处于所述目标区域，根据所述目标物的位姿信息判断所述目标物到达自车车门的时间大于安全阈值，进行二级防撞预警。

表1为预警机制表，表2为预警等级划分表。具体地，请参考图1、表1与表2，鉴于行人的行走速度一般不超过3m/s，因此，定义a＝15m为行人预警区域，定义a+b＝20m为危险报警区域，c＝30m为行车预警区域。安全时间阈值设置为Ts，定义为人反应时间和打开车门的时间之和，取人反应时间为0.5s，打开车门时间为2.5s，所以Ts设置为3。

预警指令的执行包括蜂鸣器、控制车门锁和不同颜色灯光警示器。

灯光警示器，即LED灯，加装在汽车左右尾侧的保险杠处，根据不同的预警指令，使其以一定频率闪烁，以提醒车外人员和过往车辆。同时根据危险等级将蜂鸣器的频率划分为三类，若是三级危险表示识别到的是静止物体，则将蜂鸣器频率设为400Hz；若是二级危险表示识别到的是行人或可能存在危险的汽车，将蜂鸣器频率设为600Hz，同时LED灯警示行人或行车；若是一级危险表示距离很近或行驶速度较快的汽车，在该种情况下打开车门造成事故的概率较高，所以将蜂鸣器频率设为800Hz，闪烁LED灯并开启车门锁。

当判断目标物为行人时，判断横向距离x是否不大于自车车门全部开启的1.3倍，若是，则判断目标行人到达自车车门的时间是否不大于安全时间阈值Ts，若是，则发出二级预警指令。

当判断目标物为车辆时，判断横向距离x是否不大于自车车门全部开启的1.3倍，若是，则判断目标车辆的纵向距离k是处于危险报警区域还是处于行车预警区域。

当判断目标车辆处于危险报警区域时，判断目标车辆到达自车车门的时间是否不大于安全时间阈值Ts，若是，则发出一级预警指令；若不是，则发出二级预警指令。

当判断目标车辆处于行车预警区域时，判断目标车辆到达自车车门的时间是否不大于安全时间阈值Ts，若是，则发出一级预警指令；若不是，则发出三级预警指令。

当判断目标物为静止目标时，则只需判断静止目标的横向距离是否不大于自车车门全部开启的1.3倍，若是，则发出三级预警指令。

表1

表2

图3为本申请实施例中提供的预警控制的系统示意图。如图3所示，一种预警防撞系统，包括：

雷达信号获取模块301，用于获取目标区域在当前时刻的第一雷达回波信号。

摄像头数据获取模块302，用于获取目标区域在当前时刻的第一图像。

系统控制模块303，用于根据所述第一雷达回波信号和所述第一图像确定若干目标物对应在像素坐标系中的第一坐标，包括：将第一雷达回波信号进行小波变换，得到雷达小波；对所述雷达小波进行小波逆变换操作重构信号得到第二雷达信号；根据所述第二雷达信号和所述第一图像确定若干目标物对应在像素坐标系中的第一坐标；利用区域生长法对所述第一图像进行分割，获取第二图像；其中，所述区域生长法的种子点为所述第一坐标；利用遗传算法对所述第一图像进行图像识别，确定所述若干目标物在所述目标区域中的位姿信息；其中，所述遗传算法的输入包括所述第二图像。在一种可能的实施方式中，

第一雷达回波信号为差拍信号，所述差拍信号包括雷达回波信号与雷达发射信号混频得到的信号；

所述根据所述第一雷达回波信号和所述第一图像确定若干目标物对应在像素坐标系中的第一坐标具体包括：

获取目标区域在当前时刻的第一雷达差拍信号，将所述差拍信号进行小波变换，得到差拍小波；

选择小波函数对所述差拍小波的第一小波系数进行多尺度分解，对分解得到的各个小波系数进行阈值量化处理，得到第二小波系数；

对所述第二小波系数进行小波逆变换操作重构信号得到第二雷达差拍信号；

根据所述第二雷达差拍信号和所述第一图像确定若干目标物对应在像素坐标系中的第一坐标。

在一种可能的实施方式中，所述雷达发射信号为安装于后视镜下侧的毫米波雷达发出的发射信号。

在一种可能的实施方式中，

所述利用遗传算法对所述第一图像进行图像识别，确定所述若干目标物在所述目标区域中的位姿信息包括：

将第一图像灰度化，得到第三图像；

将所述第二图像和所述第三图像作为遗传算法的输入，利用遗传算法对所述第三图像进行分割，得到第四图像；所述遗传算法的适应度函数通过Kmeans聚类算法来确定；

对所述第四图像进行图像识别，确定若干目标物以及其所在目标区域中的位姿信息。

预警执行模块304，用于根据所述若干目标物的位姿信息进行防撞预警。

在一种可能的实施方式中，若干目标物的位姿信息包括所述目标物的位置信息和姿态信息，所述位置信息包括所述目标物相对于自车的相对距离，所述姿态信息包括所述目标物相对自车的速度信息和所述目标物的方向信息。

所述根据所述若干目标物的位姿信息进行防撞预警包括：

当判断目标物为行人时，判断横向距离x是否不大于自车车门全部开启的1.3倍，若是，则判断目标行人到达自车车门的时间是否不大于安全时间阈值Ts，若是，则发出二级预警指令。

当判断目标物为车辆时，判断横向距离x是否不大于自车车门全部开启的1.3倍，若是，则判断目标车辆的纵向距离k是处于危险报警区域还是处于行车预警区域。

当判断目标车辆处于危险报警区域时，判断目标车辆到达自车车门的时间是否不大于安全时间阈值Ts，若是，则发出一级预警指令；若不是，则发出二级预警指令。

当判断目标车辆处于行车预警区域时，判断目标车辆到达自车车门的时间是否不大于安全时间阈值Ts，若是，则发出一级预警指令；若不是，则发出三级预警指令。

当判断目标物为静止目标时，则只需判断静止目标的横向距离是否不大于自车车门全部开启的1.3倍，若是，则发出三级预警指令。

需要说明的是，在突发紧急情况下，系统可能会出现误判从而使执行器出现误操作，影响开门过程，耽误车内人员下车逃生的时间。为防止这类情况的出现，车门作动模块还设计了紧急开关。应急开关可以控制控制模块的开启或者关闭。应急开关正常工作时处于常闭状态，控制模块可正常供电；遇到紧急情况后，车内人员触发应急开关，使应急开关处于断开状态，切断控制模块的供电，使控制模块失效。应急开关可防止出现紧急情况时，控制模块误操作而耽误车内人员的逃生(下车)时间。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。