一种颠簸路况下的传感器融合目标检测方法
阅读说明：本技术 一种颠簸路况下的传感器融合目标检测方法 (Sensor fusion target detection method under bumpy road condition ) 是由 王展 王春燕 吴刚 刘晓强 秦亚娟 刘利峰 张自宇 王一松 于 2020-12-16 设计创作，主要内容包括：本发明公开了一种颠簸路况下的传感器融合目标检测方法,步骤如下：对激光雷达和两个全局快门相机所检测的数据进行处理校正；对上述校正后的激光雷达和两个全局快门相机数据进行特征提取；利用空间同步,将特征提取后的激光雷达点云数据从激光雷达坐标系转移变换到图像的像素坐标系中；利用时间同步,得到相同时刻特征提取后的激光雷达点云数据和全局快门相机数据；由当前时刻激光雷达与全局快门相机检测结果、惯性测量单元检测颠簸程度和前n个时刻所检测结果对当前时刻的预测结果共同作用得到障碍物信息输出结果。本发明考虑颠簸路面下的点云和图像数据修正,保证无人车在颠簸路况下依然能够具备较好的准确性。(The invention discloses a method for detecting a sensor fusion target under bumpy road conditions, which comprises the following steps: processing and correcting data detected by the laser radar and the two global shutter cameras; carrying out feature extraction on the corrected laser radar and the two global shutter camera data; transferring and transforming the laser radar point cloud data after the characteristic extraction from a laser radar coordinate system into a pixel coordinate system of an image by utilizing space synchronization; obtaining laser radar point cloud data and global shutter camera data after feature extraction at the same time by utilizing time synchronization; and obtaining an obstacle information output result by the combined action of the detection results of the laser radar and the global shutter camera at the current moment, the detection bumping degree of the inertia measurement unit and the prediction result of the detection results of the previous n moments on the current moment. The invention considers the point cloud and image data correction under the bumpy road surface, and ensures that the unmanned vehicle still has better accuracy under the bumpy road condition.)
技术领域
本发明属于无人驾驶技术的目标检测与环境感知领域，具体指代一种颠簸路况下的传感器融合目标检测方法。
背景技术
随着科技水平的不断发展，我国车辆行业也逐渐的走进了智能化的时代。在智能车辆的不断发展中，目标检测、智能决策和底层控制成为了智能化水平发展重点与难点。其中，关于目标检测，在当前的发展过程中，大多都侧重于城市结构化道路的目标检测。然而，在面临野外颠簸路面时，采用当前的算法都难以提供较好的鲁棒性。
不同传感器在颠簸环境中都会面临着不同的问题，对于雷达数据，在野外颠簸环境中，所采集的数据都面临着抖动、失真、数据缺失等问题。对与视觉传感器所采集的数据也面临因为抖动所产生的障碍物拖影问题。因此，对于颠簸路况下的目标检测，需要采用的特殊的数据处理方法和设备来实现稳定检测。在当前的研究中，对于颠簸路面目标检测的研究还较少，并多以单一雷达传感器为主，不能较好的实现各种情况下的鲁棒性检测。例如中国专利申请号CN201510634012.4，名称为“一种颠簸路面车辆雷达目标位置的追踪装置及追踪方法”，其中考虑了颠簸路面下的跟踪失败问题，利用陀螺仪感知当前情况下的路面的颠簸情况，当路面状况良好时或路面颠簸但可以检测到前方目标信号时，实时输出检测到的雷达数据，例如相对位置、相对速度，跟车角度等。当路面颠簸且无法良好的检测到前方车辆目标时，采用上一时刻数据，此类方法没有对数据进行修正且过于依赖上一时刻数据，在路面情况差，连续帧检测失败时，易因相对信息检测错误和信息滞后产生交通事故。中国专利申请号CN202010207660.2，名称为“一种考虑车辆颠簸的障碍物检测方法及系统”，其中着重对激光雷达信号进行处理，包括单帧姿态修正，单帧纵向畸变修正，基于IMU和基于背景的多帧修正。然而，在检测过程忽略了因颠簸而引起的目标丢失现象。同时也忽略了激光雷达在雨雾天气的局限性和检测精度低的问题。
因此，在现有的障碍物检测系统中，对于颠簸路况下的研究相对较少，已有的研究也大都侧重于单一传感器的利用，并且不能较好的在障碍物检测失败的情况下对当前时刻相对信息进行预测以保证车辆行驶的安全性。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种颠簸路况下的传感器融合目标检测方法，以解决现有技术中颠簸路况数据失真和数据丢失问题；本发明方法采用激光雷达和两个全局快门相机进行融合，利用立体视觉视差法处理图像数据，探测前方一定距离内是否存在障碍物，并且利用IMU对图像数据进行修正搜索到障碍物所在的感兴趣区域，然后利用IMU单帧修正、帧间修正、聚类分析的方法对激光雷达进行处理并提取特征，最后将两者特征数据融合后与前n时刻加权融合，并考虑各类传感器信息丢失下的检测方法。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种颠簸路况下的传感器融合目标检测方法，步骤如下：
步骤1)：对激光雷达和两个全局快门相机所检测的数据进行处理校正；
步骤2)：对上述步骤1)中校正后的激光雷达和两个全局快门相机数据进行特征提取；
步骤3)：利用空间同步，将特征提取后的激光雷达点云数据从激光雷达坐标系转移变换到图像的像素坐标系中；
步骤4)：利用时间同步，得到相同时刻特征提取后的激光雷达点云数据和全局快门相机数据；
步骤5)由当前时刻激光雷达与全局快门相机检测结果、惯性测量单元检测颠簸程度和前n个时刻所检测结果对当前时刻的预测结果共同作用得到障碍物信息输出结果。
进一步地，所述激光雷达布置于车辆顶部中心位置，所述两个全局快门相机分别布置与车辆前档底端两侧。
进一步地，所述步骤1)具体包括：
步骤11)：利用惯性测量单元和全球定位系统对激光雷达进行数据校正，利用全球定位系统的时间同步为单帧内的每个激光点提供时间戳；利用高频惯性测量单元提供航向角、横摆角、俯仰角、车速和加速度信息；对单帧点云内包含的多帧连续加速度与车速数据插值求出随时间变化函数，并通过时间戳与加速度、车速数据进行逆运算对点云进行坐标变换，以避免单帧点云离散变形；
步骤12)：结合步骤11)中的修正点云信息和全局快门相机采集的图像信息，以前一帧数据为基础，利用惯性测量单元所得数据对两帧的图像数据和点云数据进行修正和匹配。
进一步地，所述步骤2)具体包括：
步骤21)：利用多特征多层栅格地图对修正后的点云数据进行划分，并利用基于深度值的聚类方法对栅格地图进行聚类，得到障碍物边缘信息，并保留障碍物中心点信息和距离信息；
步骤22)：利用立体视觉视差法和基于深度学习的yolo3算法对图像数据进行处理，输出障碍物距离信息和障碍物中心在图像的位置。
进一步地，所述步骤1)中采用激光雷达和全局快门相机分别为Velodyne公司的HDL-64E机械雷达和illunis家族的CMV-50；采用全局快门相机可以有效的避免由于颠簸而引起的像素失真。
进一步地，所述步骤11)中所述的逆运算过程具体为：利用当前点云的坐标位置和初始点云时间戳到当前点云时间戳车辆本身的姿态差异进行校正，车辆姿态变化体现在航向角、横摆角、俯仰角和纵向位移；设高频惯性测量单元扫描检测一次的周期为Timu，初始点云时间戳到当前点云时间戳经过的时间为tlidar，高频惯性测量单元测量数据经过插值后得的航向角、横摆角、俯仰角速度为纵向位移加速度为δzi则姿态变换矩阵[ΔαΔβΔγ]与纵向位移为ΔZ：
根据姿态变换矩阵求得点云的坐标修正方程R：
修正后坐标为：
[x' y' z']T＝R[x y z]T+[0 0 ΔZ]T
式中，[x' y' z']T为修正后点云坐标，R为点云的坐标修正方程，[x y z]T为修正前点云坐标，[0 0 ΔZ]T为纵向修正矩阵。
进一步地，所述步骤12)中提到的帧间修正，即记录高频惯性测量单元所测得的实时数据，并对两帧激光雷达和图像中间的多组加速度与车速数据进行插值，利用积分运算求解角度变化和纵向位移变化；然后利用矩阵计算对两帧进行联合修正并标定对应关系。
进一步地，所述步骤21)中提到的栅格划分即利用高度特征和强度特征将栅格分为地面栅格、障碍物栅格和悬挂物栅格三类；所提到的基于深度值的聚类方式，即将聚类的距离阈值随深度值的改变而改变，改善远处物体难以聚类，近处物体过分割问题。
进一步地，所述步骤21)中利用基于深度值的聚类方法对栅格地图进行聚类，聚类阈值设定为NT，由公式NT＝[DT/G]求解，G为栅格大小；利用栅格聚类阈值对连通的区域进一步扩展使其大小为(2NT-1)×(2NT-1)，然后将连通区域内的栅格判定为同一个障碍物；在距离阈值DT求解中，利用公式求解，式中σr代表激光雷达的测量误差，Δφ为水平角分辨率，rn-1为障碍栅格中心点的深度值，λ为阈值参数；根据深度值rn来确定距离阈值，避免距离近产生过分割，距离远产生欠分割。
进一步地，所述步骤3)中提到的从雷达坐标系转移至像素坐标系所需要经历的过程为：由雷达坐标系转化至世界坐标系，再由世界坐标转化至相机坐标系，最后由相机坐标系转换至像素坐标系，完成所检测数据的坐标统一。
进一步地，所述步骤4)中利用的时间同步工具为全球定位系统自带的脉冲发生器，同步方式为根据激光雷达扫描频率设置触发频率，每次触发获取当前帧的激光雷达和全局快门相机数据，若图像在此刻无数据，则利用前后时刻数据进行插值计算。
进一步地，所述步骤5)中障碍物信息输出结果依据当前激光雷达与全局快门相机是否均检测到障碍物信息，并将其分为三类：
(1)激光雷达与全局快门相机均检测到障碍物信息；
利用障碍物中心点和障碍物距离信息联合设定判定函数对检测结果进行融合：
F＝wu|uc-ur|+wr|vc-vr|+wdis|dc-dr|
式中，uc，vc，ur，vr分别代表像素坐标系下的摄像头和雷达检测障碍物中心点坐标，dc，dr代表激光雷达与全局快门相机和障碍物的距离，wu,wr,wdis代表权重；权重分配由俯仰角、横摆角、航向角和纵向加速度所确定的颠簸程度决定；
设定判定阈值为Fu当F小于Fu时则认为激光雷达与全局快门相机检测为同一障碍物，当大于Fu时则认为属于不同障碍物信息；
将融合后的数据和前n时刻对当前时刻的预测值加权平均修正，建立数学模型：
式中，值为1，X0为当前时刻数据，X1～Xn为前n时刻数据；权值分配由车辆姿态是否突变进行分配；若当前时刻车辆姿态突变，则赋予当前时刻和前n时刻中发生突变时刻对当前时刻的预测小的权值，给予前n时刻中未发生突变时刻对当前时刻的预测大的权值，且越靠近当前时刻给予越大的权值；若当前时刻未发生突变时，则给予当前时刻最大的权值，其他时刻则根据距离当前时刻的时间和是否突变进行分配权值；最终将融合修正后的数据输出给决策机构以便道路规划和智能转向；
(2)激光雷达与全局快门相机因颠簸只有一个检测到障碍物目标；
当激光雷达与全局快门相机只有一个正常工作时则采用当前工作正常的设备检测结果与前n个时刻检测结果加权修正，修正过程与融合后的激光雷达与全局快门相机数据修正方式一致；
(3)激光雷达与全局快门相机均因颠簸失去检测目标；
当激光雷达与全局快门相机均因颠簸失去检测目标时，则对前n时刻对当前时刻的预测值进行加权平均以判断当前时刻障碍物信息；即X1～Xn为前n时刻数据；权值分配由是否突变和距离当前时刻的时间进行综合分配；
利用前n时刻对当前时刻的预测方式即利用第i时刻的障碍物信息和第i时刻到当前时刻的垂直加速度、车速、航向角速度、横摆角速度和俯仰角速度积分运算求得。
本发明的有益效果：
本发明考虑颠簸路面下的点云和图像数据修正，保证无人车在颠簸路况下依然能够具备较好的准确性；同时，利用激光雷达和全局快门相机进行冗余检测，确保检测的高鲁棒性。最后，利用前n时刻对当前时刻的修正，以及对激光雷达和全局快门相机失效下数据预测方法考虑，确保任意时刻下的目标检测的稳定性。
附图说明
图1是激光雷达与全局快门相机分布式布置示意图；
图2是车辆颠簸姿态变化示意图；
图3是单帧点云修正流程图；
图4是脉冲发生器工作示意图数据融合流程图；
图5是数据融合流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
本发明的一种颠簸路况下的传感器融合目标检测方法，步骤如下：
步骤1)：对激光雷达和两个全局快门相机所检测的数据进行处理校正；激光雷达与两个全局快门相机布置方式参照图1所示，所述激光雷达布置于车辆顶部中心位置，所述两个全局快门相机分别布置与车辆前档底端两侧。
所述步骤1)具体包括：
步骤11)：参照图3所示，利用惯性测量单元和全球定位系统对激光雷达单帧数据进行数据校正，利用全球定位系统的时间同步为单帧内的每个激光点提供时间戳；利用高频惯性测量单元提供航向角、横摆角、俯仰角、车速和加速度信息；对单帧点云内包含的多帧连续加速度与车速数据插值求出随时间变化函数，并通过时间戳与加速度、车速数据进行逆运算对点云进行坐标变换，以避免单帧点云离散变形；
步骤12)：结合步骤11)中的修正点云信息和全局快门相机采集的图像信息，以前一帧数据为基础，利用惯性测量单元所得数据对两帧的图像数据和点云数据进行修正和匹配。
所述步骤1)中采用激光雷达和全局快门相机分别为Velodyne公司的HDL-64E机械雷达和illunis家族的CMV-50；采用全局快门相机可以有效的避免由于颠簸而引起的像素失真。
所述步骤11)中所述的逆运算参照图2所示，过程具体为：利用当前点云的坐标位置和初始点云时间戳到当前点云时间戳车辆本身的姿态差异进行校正，车辆姿态变化体现在航向角、横摆角、俯仰角和纵向位移；设高频惯性测量单元扫描检测一次的周期为Timu，初始点云时间戳到当前点云时间戳经过的时间为tlidar，高频惯性测量单元测量数据经过插值后得的航向角、横摆角、俯仰角速度为纵向位移加速度为δzi则姿态变换矩阵[Δα Δβ Δγ]与纵向位移为ΔZ：
根据姿态变换矩阵求得点云的坐标修正方程R：
修正后坐标为：
[x' y' z']T＝R[x y z]T+[0 0 ΔZ]T
式中，[x' y' z']T为修正后点云坐标，R为点云的坐标修正方程，[x y z]T为修正前点云坐标，[0 0 ΔZ]T为纵向修正矩阵。
其中，所述步骤12)中提到的帧间修正，即记录高频惯性测量单元所测得的实时数据，并对两帧激光雷达和图像中间的多组加速度与车速数据进行插值，利用积分运算求解角度变化和纵向位移变化；然后利用矩阵计算对两帧进行联合修正并标定对应关系。
步骤2)：对上述步骤1)中校正后的激光雷达和两个全局快门相机数据进行特征提取；
步骤21)：利用多特征多层栅格地图对修正后的点云数据进行划分，并利用基于深度值的聚类方法对栅格地图进行聚类，得到障碍物边缘信息，并保留障碍物中心点信息和距离信息；
步骤22)：利用立体视觉视差法和基于深度学习的yolo3算法对图像数据进行处理，输出障碍物距离信息和障碍物中心在图像的位置。
所述步骤21)中提到的栅格划分即利用高度特征和强度特征将栅格分为地面栅格、障碍物栅格和悬挂物栅格三类；所提到的基于深度值的聚类方式，即将聚类的距离阈值随深度值的改变而改变，改善远处物体难以聚类，近处物体过分割问题。
所述步骤21)中利用基于深度值的聚类方法对栅格地图进行聚类，聚类阈值设定为NT，由公式NT＝[DT/G]求解，G为栅格大小；利用栅格聚类阈值对连通的区域进一步扩展使其大小为(2NT-1)×(2NT-1)，然后将连通区域内的栅格判定为同一个障碍物；在距离阈值DT求解中，利用公式求解，式中σr代表激光雷达的测量误差，Δφ为水平角分辨率，rn-1为障碍栅格中心点的深度值，λ为阈值参数；根据深度值rn来确定距离阈值，避免距离近产生过分割，距离远产生欠分割。
步骤3)：利用空间同步，将特征提取后的激光雷达点云数据从激光雷达坐标系转移变换到图像的像素坐标系中；
所述步骤3)中提到的从雷达坐标系转移至像素坐标系所需要经历的过程为：由雷达坐标系转化至世界坐标系，再由世界坐标转化至相机坐标系，最后由相机坐标系转换至像素坐标系，完成所检测数据的坐标统一。
步骤4)：利用时间同步，得到相同时刻特征提取后的激光雷达点云数据和全局快门相机数据；
参照图4所示，时间同步工具为全球定位系统自带的脉冲发生器，同步方式为根据激光雷达扫描频率设置触发频率，每次触发获取当前帧的激光雷达和全局快门相机数据，若图像在此刻无数据，则利用前后时刻数据进行插值计算。
步骤5)由当前时刻激光雷达与全局快门相机检测结果、惯性测量单元检测颠簸程度和前n个时刻所检测结果对当前时刻的预测结果共同作用得到障碍物信息输出结果；其中，颠簸程度由惯性测量单元检测的各方向上的加速度突变情况确定；
参照图5所示，障碍物信息输出结果依据当前激光雷达与全局快门相机是否均检测到障碍物信息，并将其分为三类：
(1)激光雷达与全局快门相机均检测到障碍物信息；
利用障碍物中心点和障碍物距离信息联合设定判定函数对检测结果进行融合：
F＝wu|uc-ur|+wr|vc-vr|+wdis|dc-dr|
式中，uc，vc，ur，vr分别代表像素坐标系下的摄像头和雷达检测障碍物中心点坐标，dc，dr代表激光雷达与全局快门相机和障碍物的距离，wu,wr,wdis代表权重；权重分配由俯仰角、横摆角、航向角和纵向加速度所确定的颠簸程度决定；
设定判定阈值为Fu当F小于Fu时则认为激光雷达与全局快门相机检测为同一障碍物，当大于Fu时则认为属于不同障碍物信息；
将融合后的数据和前n时刻对当前时刻的预测值加权平均修正，建立数学模型：
式中，值为1，X0为当前时刻数据，X1～Xn为前n时刻数据；权值分配由车辆姿态是否突变进行分配；若当前时刻车辆姿态突变，则赋予当前时刻和前n时刻中发生突变时刻对当前时刻的预测小的权值，给予前n时刻中未发生突变时刻对当前时刻的预测大的权值，且越靠近当前时刻给予越大的权值；若当前时刻未发生突变时，则给予当前时刻最大的权值，其他时刻则根据距离当前时刻的时间和是否突变进行分配权值；最终将融合修正后的数据输出给决策机构以便道路规划和智能转向；
(2)激光雷达与全局快门相机因颠簸只有一个检测到障碍物目标；
当激光雷达与全局快门相机只有一个正常工作时则采用当前工作正常的设备检测结果与前n个时刻检测结果加权修正，修正过程与融合后的激光雷达与全局快门相机数据修正方式一致；
(3)激光雷达与全局快门相机均因颠簸失去检测目标；
当激光雷达与全局快门相机均因颠簸失去检测目标时，则对前n时刻对当前时刻的预测值进行加权平均以判断当前时刻障碍物信息；即X1～Xn为前n时刻数据；权值分配由是否突变和距离当前时刻的时间进行综合分配；
利用前n时刻对当前时刻的预测方式即利用第i时刻的障碍物信息和第i时刻到当前时刻的垂直加速度、车速、航向角速度、横摆角速度和俯仰角速度积分运算求得。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。