阅读说明：本技术 路侧相机与4d毫米波融合的目标检测方法、设备及介质 (Target detection method, device and medium with road side camera and 4D millimeter wave integrated ) 是由 张宇超 秦超 林新雨 王凤军 于 2021-07-27 设计创作，主要内容包括：本发明涉及一种路侧相机与4D毫米波融合的目标检测方法、设备及介质,所述目标检测方法包括以下步骤：获取路侧相机的第一图像与4D毫米波雷达的第一点云；将所述第一点云投影到所述第一图像上,在所述第一图像上添加距离信息,获取第二图像；将所述第二图像作为深度补全卷积网络的输入,获取第三图像,该第三图像为稠密深度图；将所述第三图像转换为第二点云,并编码生成第四图像；将所述第四图像输入卷积神经网络进行目标检测,获得目标框；将所述目标框映射为相机坐标系下的3D框,并基于所述第一点云,在所述3D框上添加速度信息。与现有技术相比,本发明具有感知距离远、目标定位准确等优点。(The invention relates to a target detection method, equipment and a medium for fusing a road side camera and 4D millimeter waves, wherein the target detection method comprises the following steps: acquiring a first image of a road side camera and a first point cloud of a 4D millimeter wave radar; projecting the first point cloud onto the first image, adding distance information on the first image, and acquiring a second image; taking the second image as the input of a depth completion convolution network to obtain a third image, wherein the third image is a dense depth image; converting the third image into a second point cloud, and encoding to generate a fourth image; inputting the fourth image into a convolutional neural network for target detection to obtain a target frame; and mapping the target frame into a 3D frame under a camera coordinate system, and adding speed information on the 3D frame based on the first point cloud. Compared with the prior art, the method has the advantages of long sensing distance, accurate target positioning and the like.)

路侧相机与4D毫米波融合的目标检测方法、设备及介质

技术领域

本发明涉及智能车联网技术领域，尤其是涉及一种路侧相机与4D毫米波融合的目标检测方法、设备及介质。

背景技术

目前，自动驾驶与路侧感知以基于激光雷达的3D检测算法为主。根据激光雷达的特点，常用的目标检测方法可分为基于BEV、基于camera view、基于point-wise feature、基于融合特征四类。激光雷达具有不受光照影响的特点，此外该技术也能够直接获得准确三维信息。

但激光雷达还存在以下不足：

(1)激光雷达成本较高，一定程度上阻碍了市场的大规模应用。

(2)激光雷达易受天气影响。激光一般在晴朗的天气里衰减较小，传播距离较远。而在大雨、浓烟、浓雾等坏天气里，衰减急剧加大，传播距离大受影响，而且，大气环流还会使激光光束发生畸变、抖动，直接影响激光雷达的测量精度。因此在雨天、雾天、雪天、扬尘大等情况下激光雷达原始数据会被干扰，同时影响检测算法，造成无法准确定位目标物体。

因此，有必要研发一种新的检测方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种感知距离远、目标定位准确的路侧相机与4D毫米波融合的目标检测方法、设备及介质。

本发明的目的可以通过以下技术方案来实现：

第一方面，本发明提供一种路侧相机与4D毫米波融合的目标检测方法，包括以下步骤：

获取路侧相机的第一图像与4D毫米波雷达的第一点云；

将所述第一点云投影到所述第一图像上，在所述第一图像上添加距离信息，获取第二图像；

将所述第二图像作为深度补全卷积网络的输入，获取第三图像，该第三图像为稠密深度图；

将所述第三图像转换为第二点云，并编码生成第四图像；

将所述第四图像输入卷积神经网络进行目标检测，获得目标框；

将所述目标框映射为相机坐标系下的3D框，并基于所述第一点云，在所述3D框上添加速度信息。

进一步地，所述路侧相机和4D毫米波雷达预先进行标定，存储相机雷达标定信息。

进一步地，基于所述相机雷达标定信息将所述第一点云投影到所述第一图像上。

进一步地，基于所述相机雷达标定信息获得相机标定参数，通过所述相机标定参数将所述第三图像转换为第二点云。

进一步地，所述第二点云通过BEV编码生成第四图像。

进一步地，所述速度信息基于4D毫米波雷达获取的对应目标的多个采集速度拟合获得。

进一步地，基于所述多个采集速度通过神经网络拟合获得所述速度信息。

进一步地，所述深度补全卷积网络为多视角融合的深度补全卷积网络。

第二方面，本发明提供一种电子设备，包括：

一个或多个处理器；

存储器；和

被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述路侧相机与4D毫米波融合的目标检测方法的指令。

第三方面，本发明提供一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上所述路侧相机与4D毫米波融合的目标检测方法的指令。

与现有技术相比，本发明具有以下有益效果：

1、本发明采用4D毫米波雷达，具有波段特性，可以在雨雾雪冰雹等恶劣天气提供有效的路侧3D目标物感知；

2、由于毫米波雷达可直接获取目标的速度，因此本发明可直接通过神经网络拟合目标速度，目标速度获取方便；

3、可减少算力需求，省略通过目标追踪获取去速度的过程；

4、由于毫米波可直接获取速度，针对后处理的目标追踪部分可降低目标丢失率；

5、获取维度信息多：激光雷达只有坐标值，毫米波除了坐标值还有速度；

6、感知距离远：4D毫米波数据有效距离为300米，配合相机可提供250米有效感知，激光只有150m；

7、目标定位准确：4D毫米波原始数据数量远大于传统毫米波(大约11倍)，测距精度略差于激光雷达，但完全满足工程需求；由于使用深度补全技术，可将相机等效为激光雷达使用(720p图像等效为720线激光)，越是稠密定位优势越显著；

8、硬件成本降低：毫米波雷达成本低，相对于激光低很多。

附图说明

图1为本发明的流程示意图；

图2为本实施例采用的深度补全卷积网络结构示意图；

图3为本实施例采用的卷积神经网络。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供一种路侧相机与4D毫米波融合的目标检测方法，包括以下步骤：

S1、路侧相机和4D毫米波雷达预先进行标定，存储相机雷达标定信息。

S2、获取路侧相机采集的图像数据，称为第一图像，以及4D毫米波雷达采集的点云数据，称为第一点云。

S3、基于所述相机雷达标定信息将所述第一点云投影到所述第一图像上，在所述第一图像上添加距离信息，获取第二图像，具体是：

将相机与4D毫米波时空同步并进行像素级融合，并利用数据分析算法标注深度图与候选框。

添加距离信息具体为：初始化一个rbgd矩阵，在d通道添加投影的点的距离。

S4、将所述第二图像作为深度补全卷积网络的输入，获取第三图像，该第三图像为稠密深度图。

深度补全卷积网络可为多视角融合的深度补全卷积网络，本实施例采用的深度补全卷积网络结构如图2所示。

S5、基于所述相机雷达标定信息获得相机标定参数，通过所述相机标定参数将所述第三图像转换为第二点云，并通过BEV编码生成第四图像，即深度BEV图，将所述第四图像输入卷积神经网络进行目标检测，获得目标框。

本实施例采用的卷积神经网络如图3所示，输入的第四图像依次经编码器和解码器获得热图和对应的目标检测结果。

S6、将所述目标框映射为相机坐标系下的3D框，并基于所述第一点云，在所述3D框上添加速度信息，具体地，速度信息基于4D毫米波雷达获取的对应目标的多个采集速度拟合获得。本实施例通过神经网络拟合获得所述速度信息。

通过上述方法能够以较低的成本实现准确的目标检测。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。