具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的基于点云配准的相机与激光雷达位姿标定方法的流程示意图，如图1所示，该方法包括：

步骤110，基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，多个相机之间刚性固定；

步骤120，基于图像序列进行稀疏重建，得到预设场景的稀疏三维点云数据；

步骤130，将激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与多个相机中的参考相机间的位姿标定信息，并基于多个相机之间的相对位姿信息，确定激光雷达与其他相机间的位姿标定信息。

具体地，利用多个相机以及激光雷达进行数据采集，其中多个相机用于采集预设场景的图像序列，激光雷达用于采集预设场景的激光点云数据。此处，为何提高标定方法的准确性，可以选择具有较丰富的纹理和几何结构的场景进行数据采集，例如路口，从而提供丰富的场景结构，可以为图像的特征提取提供丰富的纹理信息。

需要说明的是，多个相机之间刚性固定。此处，本发明实施例使用广义相机模型。其中，广义相机模型是指相机与相机之间刚性固定，因此相机之间的相对位姿不发生改变。图2为本发明实施例提供的广义相机模型的示意图，如图2所示，从多个相机中选取某个相机为参考相机，如图2中的C_i1为参考相机，其他相机为C_ij，j＝2,3,4表示相机序号。误差函数采用重投影误差函数，相机C_ij的位姿可以通过参考相机C_i1的位姿和两者之间的相对位姿参数得到。上述优化模型设置可以确保在后续稀疏重建的优化过程中相机之间的相对位姿不变，符合客观物理模型。

数据采集完毕后，可以基于多个相机采集的图像序列进行稀疏重建，得到预设场景的稀疏三维点云数据。其中，可以采用增量式稀疏重建方式进行稀疏重建，若存在较好的全局初始位姿，也可以选择全局式稀疏重建方式。

随后，将激光点云数据与稀疏三维点云数据进行配准，获得激光雷达在稀疏三维点云数据中的位姿，并据此计算多个相机中的参考相机和激光雷达之间的相对位姿，得到激光雷达与多个相机中的参考相机间的位姿标定信息。由于多个相机之间的相对位姿固定不变，因此可以基于激光雷达与多个相机中的参考相机间的位姿标定信息，以及多个相机之间的相对位姿信息，确定激光雷达与其他相机间的位姿标定信息。其中，激光雷达与任一相机的位姿标定信息中包含激光雷达与该相机的位姿之间的相对关系。

本发明实施例提供的方法，通过对多个相机采集的图像序列进行稀疏重建，得到稀疏三维点云数据，并将激光点云数据与稀疏三维点云数据进行点云配准，得到激光雷达与相机之间的位姿标定信息，可以得到更高精度的相机-激光雷达相对位姿标定结果以及相机内参标定结果，且不依赖于标定物，具有更高的鲁棒性。

基于上述实施例，步骤110具体包括：

车辆在预设场景中绕8字环绕，在环绕过程中间隔停车，并在停车时刻基于多个相机以及激光雷达进行数据采集，得到图像序列和激光点云数据；

其中，多个相机和激光雷达固定于车辆上。

具体地，由于多相机系统中每个相机的朝向不同，在数据采集过程中多相机的视角之间没有重叠区域。为了提高稀疏重建的准确性，本发明实施例将多相机采集设备和激光雷达安装于车辆，例如无人车上，并设置车辆按照“8”字环绕方式在预设场景中采集数据，使得多相机的视角之间存在重叠区域，从而在优化时增加不同相机之间的约束，将多个相机捆绑到一起优化，进而获取更加稳定准确的相机参数。

图3为本发明实施例提供的8字环绕运动的示意图，如图3所示，车辆携带多相机采集设备从开始位置处出发，此时相机1可以采集到右侧“+”区域，随着多相机统采集设备位置的变化，相机2采集“+”区域，陆续采集的过程中相机3和相机4也将采集到“+”区域的数据。因此，当车辆携带多相机系统按照绕“8”的方式进行数据采集，可以获得多相机的重叠区域，提高稀疏重建的准确性。

其次，车辆在采集数据过程中可以间隔停车，在停车时刻基于多个相机以及激光雷达进行数据采集，得到图像序列和激光点云数据。间隔停车的方式可以确保不同传感器采集数据时空间位姿不发生改变，不会因非同步触发存在多传感器之间位姿改变，此时多传感器之间为固定(刚性)的相位位置关系。

此外，由于绕“8”字也是惯导设备进行校准时常用的车辆行驶方式，因此一次数据采集可以同时实现多种传感器的标定，不会额外增加过多数据采集工作量，且数据采集在较小的场景下进行，数据量少的同时减少了稀疏重建的计算量。

基于上述任一实施例，将激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与多个相机中的参考相机间的位姿标定信息，具体包括：

基于激光雷达与参考相机在每一停车时刻的单次位姿标定信息，确定激光雷达与参考相机间的位姿标定信息；

其中，激光雷达与参考相机在任一停车时刻的单次位姿标定信息是将激光雷达在该停车时刻采集的激光点云数据与稀疏三维点云数据进行配准得到的。

具体地，数据采集过程中，车辆会间隔停车，并在每一个停车时刻多传感器进行数据采集。因此，针对任一停车时刻，可以将激光雷达在该停车时刻采集的激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与参考相机在该停车时刻的单次位姿标定信息。其中，单次位姿标定信息包括激光雷达与对应相机之间的相对位姿，包括旋转矩阵和平移向量。配准时，可以根据最近邻得到激光点云数据p与稀疏三维点云数据p’之间初始点对的对应关系，假设此时激光点云数据p的第i点p_i，在稀疏三维点云数据p’中对应的点为p_i’。则两组点云之间的变换关系，即单次位姿标定信息，可以通过最小化以下公式求解：

其中，(R,t)为单次位姿标定信息，R为旋转矩阵，t为平移向量。

利用同样的配准方式，可以得到每一停车时刻对应的单次位姿标定信息。由于不同停车时刻计算出的单次位姿标定信息不会严格相等，并且由于匹配误差等因素影响，某些停车时刻的单次位姿标定信息可能包含较大偏差。因此，为了获取稳定一致的标定结果，可以对每一停车时刻对应的单次位姿标定信息求平均值，将平均值作为激光雷达与参考相机间的位姿标定信息。

基于上述任一实施例，基于激光雷达与参考相机在每一停车时刻的单次位姿标定信息，确定激光雷达与参考相机间的位姿标定信息，具体包括：

将上一轮次计算的位姿标定平均值作为初始值，确定当前轮次激光雷达与参考相机在每一停车时刻的单次位姿标定信息，并计算当前轮次的位姿标定平均值，直至当前确定的每一停车时刻的单次位姿标定信息的方差不大于预设阈值或达到最大迭代次数；

位姿标定平均值为对应轮次每一停车时刻的单次位姿标定信息的平均值。

具体地，在存在较大配准误差时(比如初始激光雷达位置误差较大等)，每一停车时刻的单次位姿标定信息之间的波动会比较大，因此可以利用每一停车时刻的单次位姿标定信息的方差衡量当前解的稳定程度。若上一轮次每一停车时刻的单次位姿标定信息的方差较大，可以将上一轮次计算的位姿标定平均值作为初始值更新所有激光雷达位姿，并迭代确定当前轮次激光雷达与参考相机在每一停车时刻的单次位姿标定信息，以及计算当前轮次的位姿标定平均值，直到当前确定的每一停车时刻的单次位姿标定信息的方差不大于预设阈值(例如10^-6)或达到最大迭代次数，通常3-5次即可收敛。

其中，位姿标定平均值为对应轮次每一停车时刻的单次位姿标定信息的平均值。由于单次位姿标定信息包括旋转矩阵和平移向量，因此可以分别求取旋转矩阵的平均值和平移向量的平均值。为了对旋转矩阵R求平均值，可以将旋转矩阵转换为轴-角形式，之后再对所有旋转矩阵的轴-角表示求平均值。得到轴-角形式的均值之后，再将其通过罗格里格斯公式转换成旋转矩阵形式，得到旋转矩阵的平均值。对于平移向量t，则可以直接对所有的平移向量求平均值。

基于上述任一实施例，激光雷达与参考相机在任一停车时刻的单次位姿标定信息是基于如下步骤确定的：

基于该停车时刻采集的激光点云数据中的各个激光三维点，确定稀疏三维点云数据中与该停车时刻采集的激光点云数据中的各个激光三维点相匹配的图像三维点；

基于各个激光三维点及其匹配的图像三维点进行相对位姿估计，得到该停车时刻的单次位姿标定信息。

具体地，可以利用迭代最近点算法(Iterative Closest Point，ICP)进行点云配准。具体而言，对于该停车时刻采集的激光点云数据中的某一激光三维点，计算其与稀疏三维点云数据中所有图像三维点之间的欧氏距离，取欧式距离最近的图像三维点作为该激光三维点的匹配点。重复上述步骤，得到稀疏三维点云数据中与该激光点云数据中各个激光三维点相匹配的图像三维点，形成两组匹配点云。

基于各个激光三维点及其匹配的图像三维点进行相对位姿估计，得到该停车时刻的单次位姿标定信息。其中，相对位姿估计方法可以采用基于RANSAC的相对位姿估计方法。利用RANSAC算法求解该停车时刻激光雷达与参考相机位姿之间的旋转矩阵R和平移向量t，进行激光点空间位姿变换，并重建计算两组点云的误差。

如果相对于上一次迭代误差减少较大或者超过最大迭代次数，则结束迭代，否则以本次迭代的计算结果为初值继续迭代执行上述三维点匹配和相对位姿估计步骤。

基于上述任一实施例，步骤120具体包括：

分别对图像序列中的每一图像进行特征提取，并对每两个图像进行特征匹配，得到每两个图像之间的匹配点对；

基于每两个图像之间的匹配点对构造匹配点轨迹，对匹配点轨迹进行三角化处理，并进行捆绑调整，重建稀疏三维点云数据。

具体地，可以采用SfM(Structured From Motion)算法进行稀疏重建。具体而言，可以对图像序列中的每个图像进行特征提取，寻找图像中具有稳定性质的关键点作为特征点，并对每两个图像进行特征匹配，得到每两个图像之间的匹配点对。随后，基于每两个图像之间的匹配点对构造匹配点轨迹，对匹配点轨迹进行三角化处理，并进行捆绑调整，重建稀疏三维点云数据。

基于上述任一实施例，捆绑调整过程中采用的重投影误差函数为：

E₁＝E_1,1+E_1,2

其中，E_1,1为参考相机C_i1的重投影误差函数，E_1,2为其他相机C_ij，j＝2,3,4的重投影误差函数；

其中，k表示图像三维点的序号，j表示图像的序号，i表示辅相机的序号，x_j,k为图像特征点，K_j为相机内参，R_j和t_j空间中图像三维点到参考相机的变换矩阵，和为参考相机到其他相机的变换矩阵，X_k为图像三维点，r表示投影过程。

基于上述任一实施例，图4为本发明实施例提供的相机与激光雷达位姿标定方法的示意图，如图4所示，该方法包括：SfM稀疏重建步骤和ICP配准步骤。其中，SfM稀疏重建步骤包括特征提取、特征匹配、匹配点轨迹三角化和捆绑调整步骤，从而得到多相机系统中各个相机的内参和位姿，以及重建的三维点云。ICP配准步骤包括针对各个停车时刻的图像与激光点云ICP，即将各个停车时刻的激光点云与重建的三维点云进行ICP配准，得到各个停车时刻对应的外参标定结果，外参标定结果即对应时刻激光雷达与参考相机间的位姿标定信息，以及多个外参标定结果求均值，并进行迭代求解直至收敛。

基于上述任一实施例，图5为本发明实施例提供的基于点云配准的相机与激光雷达位姿标定装置的结构示意图，如图5所示，该装置包括：数据采集单元510、稀疏重建单元520和点云配准单元530。

其中，数据采集单元510用于基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，多个相机之间刚性固定；

稀疏重建单元520用于基于图像序列进行稀疏重建，得到预设场景的稀疏三维点云数据；

点云配准单元530用于将激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与多个相机中的参考相机间的位姿标定信息，并基于多个相机之间的相对位姿信息，确定激光雷达与其他相机间的位姿标定信息。

本发明实施例提供的装置，通过对多个相机采集的图像序列进行稀疏重建，得到稀疏三维点云数据，并将激光点云数据与稀疏三维点云数据进行点云配准，得到激光雷达与相机之间的位姿标定信息，可以得到更高精度的相机-激光雷达相对位姿标定结果以及相机内参标定结果，且不依赖于标定物，具有更高的鲁棒性。

基于上述任一实施例，数据采集单元510具体用于：

车辆在预设场景中绕8字环绕，在环绕过程中间隔停车，并在停车时刻基于多个相机以及激光雷达进行数据采集，得到图像序列和激光点云数据；

其中，多个相机和激光雷达固定于车辆上。

基于上述任一实施例，将激光点云数据与稀疏三维点云数据进行配准，得到激光雷达与多个相机中的参考相机间的位姿标定信息，具体包括：

基于激光雷达与参考相机在每一停车时刻的单次位姿标定信息，确定激光雷达与参考相机间的位姿标定信息；

其中，激光雷达与参考相机在任一停车时刻的单次位姿标定信息是将激光雷达在该停车时刻采集的激光点云数据与稀疏三维点云数据进行配准得到的。

基于上述任一实施例，基于激光雷达与参考相机在每一停车时刻的单次位姿标定信息，确定激光雷达与参考相机间的位姿标定信息，具体包括：

将上一轮次计算的位姿标定平均值作为初始值，确定当前轮次激光雷达与参考相机在每一停车时刻的单次位姿标定信息，并计算当前轮次的位姿标定平均值，直至当前确定的每一停车时刻的单次位姿标定信息的方差不大于预设阈值或达到最大迭代次数；

位姿标定平均值为对应轮次每一停车时刻的单次位姿标定信息的平均值。

基于上述任一实施例，激光雷达与参考相机在任一停车时刻的单次位姿标定信息是基于如下步骤确定的：

基于该停车时刻采集的激光点云数据中的各个激光三维点，确定稀疏三维点云数据中与该停车时刻采集的激光点云数据中的各个激光三维点相匹配的图像三维点；

基于各个激光三维点及其匹配的图像三维点进行相对位姿估计，得到该停车时刻的单次位姿标定信息。

基于上述任一实施例，稀疏重建单元520具体用于：

分别对图像序列中的每一图像进行特征提取，并对每两个图像进行特征匹配，得到每两个图像之间的匹配点对；

基于每两个图像之间的匹配点对构造匹配点轨迹，对匹配点轨迹进行三角化处理，并进行捆绑调整，重建稀疏三维点云数据。

基于上述任一实施例，捆绑调整过程中采用的重投影误差函数为：

E₁＝E_1,1+E_1,2

其中，E_1,1为参考相机C_i1的重投影误差函数，E_1,2为其他相机C_ij，j＝2,3,4的重投影误差函数；

其中，k表示图像三维点的序号，j表示图像的序号，i表示辅相机的序号，x_j,k为图像特征点，K_j为相机内参，R_j和t_j空间中图像三维点到参考相机的变换矩阵，和为参考相机到其他相机的变换矩阵，X_k为图像三维点，r表示投影过程。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于点云配准的相机与激光雷达位姿标定方法，该方法包括：基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于点云配准的相机与激光雷达位姿标定方法，该方法包括：基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于点云配准的相机与激光雷达位姿标定方法，该方法包括：基于多个相机以及激光雷达，分别采集预设场景的图像序列和激光点云数据；其中，所述多个相机之间刚性固定；基于所述图像序列进行稀疏重建，得到所述预设场景的稀疏三维点云数据；将所述激光点云数据与所述稀疏三维点云数据进行配准，得到所述激光雷达与所述多个相机中的参考相机间的位姿标定信息，并基于所述多个相机之间的相对位姿信息，确定所述激光雷达与其他相机间的位姿标定信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。