具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

高级辅助驾驶技术首先要解决即是感知问题，感知必然会利用不同的传感器，例如相机，毫米波雷达，激光雷达等。一个车上装了多个/多种传感器，而它们之间的坐标关系是需要确定的，因此传感器标定是自动驾驶的基本需求，也是决定感知系统是否正确的重要基础。另外通过传感器标定可以确定传感器输入与输出之间的关系。因为高级无人驾驶汽车在道路上行驶时，需要通过识别周围环境来规划出一条安全，快速的可行驶路径，因此传感器标定是高级辅助驾驶以及高等级自动驾驶的基础。

由此，本发明开发一种单目相机和毫米波雷达的联合标定方法，将毫米波雷达和相机进行时间同步以及空间数据融合，确定无人驾驶汽车上安装的相机和毫米波雷达之间的坐标关系，进而进行多传感器的联合标定，提高相机和毫米波雷达的标定精度。以下将结合附图通过多个实施例进行展开说明和介绍。

传感器标定可分成两部分：内参标定和外参标定，内参是决定传感器内部的映射关系，比如摄像头的焦距，偏心和像素横纵比(畸变系数)，而外参是决定传感器和外部某个坐标系的转换关系，比如姿态参数(旋转和平移)。

本发明解决不同传感器之间的外参标定，具体解决毫米波雷达和单目相机之间的标定，即毫米波雷达与单目相机时间上的数据融合，以及空间上的数据融合问题，进而达到标定目的。本申请中的“相机”即是“单目相机”。

图1为本发明实施例提供的单目相机和毫米波雷达的联合标定方法流程示意图，如图1所示，本发明实施例提供的单目相机和毫米波雷达的联合标定方法包括但不限于以下步骤：

S1，将毫米波雷达和相机进行时间同步以及空间数据融合；

S2，基于空间数据融合结果，调整毫米波雷达和相机的安装角度以及安装位置，使得检测同一个检测点时，毫米波雷达检测到的检测点坐标与相机检测到的检测点坐标一致。

具体地，本发明对毫米波雷达和相机进行时间上的数据同步，由于毫米波雷达，单目相机等不同传感器的采集通道不同，例如毫米波雷达通过Can总线采集，相机通过Can接口或者USB接口。另外，不同传感器的采集周期也不同，毫米波雷达的采集周期可以是60ms，相机的采集周期可以是50ms，因此，不同传感器需要在时间上进行同步处理。本发明采用GPS授时方式，通过GPS给毫米波雷达和相机统一授时。以GPS为标准时间，给毫米波雷达和相机打时间戳，达到时间同步的目的。进一步的，设计一定大小内存作为缓存池，缓存当前毫米波雷达和相机的数据，解决数据滞后问题，保证待处理的数据是当前同步后的最新数据。

进一步的，步骤S1中，将毫米波雷达和单目相机进行空间数据融合，包括：建立毫米波雷达坐标系与相机坐标系，利用毫米波雷达数据点与相机图像的空间约束关系，建立毫米波雷达和相机的像素级数据融合方程；求解像素级数据融合方程得到毫米波雷达坐标系与相机坐标系之间的空间变换关系，完成毫米波雷达与相机的空间数据融合。

毫米波雷达坐标系和相机安装时，毫米波雷达与车辆为刚性连接，在不考虑汽车震动情况，毫米波雷达与车辆的相对姿态和位移固定不变，因此毫米波雷达返回的数据点，在世界坐标系中有唯一的位置坐标对应。同理，单目相机与汽车也是刚性连接，单目相机与汽车的相对姿态与位移同样固定不变，针对世界坐标中的每一点，同样只存在唯一的一个图像像素与之对应，因此，在同一空间内，每个毫米波雷达的数据点都在图像空间中存在唯一的一个对应点。

因此，通过建立合理的毫米波雷达坐标系与相机坐标系，利用毫米波雷达数据点与相机图像的空间约束关系，可以求出毫米波雷达坐标系与相机坐标系之间的空间变换关系，从而完成毫米波雷达与相机的空间融合，因此，毫米波雷达与相机的空间融合问题，就转化为雷达和图像对应点的函数拟合问题。

相机的外部参数通过像素级数据融合方程求解后，毫米波雷达，和相机的相对环境坐标系关系就完全确定，因此毫米波雷达数据点可以通过相机模型投影到图像像素坐标系上，像素级数据融合方程包括：

其中，u，v是相机图像像素中的像点，Kc为摄像机的内部参数矩阵，(u₀，v₀)为图像像素中心坐标，(f_x，f_y)是x，y方向的等效焦距；为3×3的旋转矩阵，为1×3的坐标平移矩阵，和分别表示相机对于车辆的安装角度和安装位置，也称为相机的外部参数；

相机和毫米波雷达的安装角度由航向角俯仰角δ，以及横滚角ξ确定，公式如下：

其中，t₁，t₂，t₃表示相机的安装位置。

相机和毫米波雷达的标定，需要将相机和毫米波雷达同时检测到一个检测点按以上方式计算出来，并投影到像素平面即可。图2为本发明实施例提供的相机与毫米波雷达的安装示意图，参照图2，本实施例中，毫米波雷达安装在车辆前保险杠，相机安装在挡风玻璃内，有一个高度差。只需要找多个雷达的观测点和相机的像素点重合就可以认为标定成功。

基于上述实施例的内容，步骤S2具体包括：

S21，将相机安装到车辆的挡风玻璃下，将毫米波雷达安装到车前保险杠；参照图2所示。

S22，根据相机和毫米波雷达的安装位置，在车前设置标定支架，标定支架包括固定在支架上的棋盘格标定板和雷达角反射器；图3为本发明实施例提供的标定支架结构示意图。相机和毫米波雷达的安装位置高度相差H，则标定支架上棋盘格标定板和雷达角反射器的高度差设置为H。

S23，调整毫米波雷达和相机的安装角度以及安装位置，使得毫米波雷达与相机检测标定支架上的同一检测点时，通过像素级数据融合方程计算得到雷达检测到的检测点坐标与相机检测到的检测点坐标一致。

参照图2和图3，标定支架包括棋盘格标定板和雷达角反射器，棋盘格标定板用来标定相机，根据像素级数据融合方程，找到棋盘格标定板上相机检测点到相机像素平面的投影，同时找到雷达角反射器反射点到相机像素平面的投影，由于要找多个雷达角反射器的反射点，雷达角反射器要有四个以上的反射点，此处的反射点即是毫米波雷达检测点。本实施例中，棋盘格标定板上相机检测点与雷达角反射器上毫米波雷达检测点，和实际相机和雷达在车辆上安装的高度差一致，因此，棋盘格标定板上相机检测点与雷达角反射器上毫米波雷达检测点的高度差为H。这样设置能够提高标定精度，减少计算难度。本实施例中，调整相机和毫米波雷达的安装角度以及安装位置，使得同一检测点在相机的像素平面重合，由于雷达角反射器和棋盘格标定板在支架上有H的高度差，投影时需要将高度H差减去，使得换算后的雷达像素点和相机的像素点重合。

进一步地，移动标定支架，从车前1m间隔0.5m移动一次，重复步骤S2，按照上述方式对毫米波雷达和相机进行多次标定，以提高标定精度。通过多次标定试验可知，标定4次以上能够显著提高标定精度。

本发明实施例提供的单目相机和毫米波雷达的联合标定方法，与现有技术相比，具有以下有益效果：

1)将毫米波雷达和相机进行时间同步以及空间数据融合，确定无人驾驶汽车上安装的相机和毫米波雷达之间的坐标关系，进而进行相机和毫米波雷达的联合标定，提高了相机和毫米波雷达的标定精度。

2)由于提高了相机和毫米波雷达的标定精度，进而能够提高相机和毫米波雷达的障碍物融合检测的精度

3)本发明使用的标定支架由固定在支架上的棋盘格标定板和雷达角反射器构成，其制作简易，成本低。

本发明的各实施方式可以任意进行组合，以实现不同的技术效果。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。