具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请提供的传感器联合标定方法的流程示意图，如图1所示，该方法包括：

步骤110，获取包含多个圆形标定孔的三维点云和二维图像；三维点云是基于车载激光雷达获取的，二维图像是基于车载相机获取的。

具体地，本申请中的传感器包括车载激光雷达和车载相机。可以根据圆形标定孔，对车载激光雷达和车载相机进行联合标定。相对于其他几何形状的标定孔，圆形标定孔具有形状特征明显且易于提取的优点。为了确保取得良好的标定效果，可以选择一定数量的圆形标定孔进行联合标定。

在进行联合标定之前，将多个圆形标定孔布置于车辆前进方向的同一视野，通过安装在车辆上的车载激光雷达得到包含多个圆形标定孔的三维点云，通过安装在车辆上的车载相机得到包含多个圆形标定孔的二维图像。

圆形标定孔的大小可以根据实际需要进行设置，例如，可以将圆形标定孔的直径大小设置为15厘米。

步骤120，确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标。

具体地，对得到的三维点云进行特征提取，可以得到每一圆形标定孔对应的点云，进而拟合得到每一圆形标定孔的圆心及其三维坐标。例如，可以基于PCL(Point CloudLibrary，点云库)实现三维点云的特征提取，得到每一圆形标定孔的圆心及其三维坐标。

对得到的二维图像进行圆检测，可以得到二维图像中的圆形标定孔，以及每一圆形标定孔的圆心及其二维坐标。例如，可以对二维图像进行霍夫圆检测、轮廓跟踪和最小二乘拟合中的至少一种操作，得到圆形标定孔。

步骤130，基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。

具体地，本申请中联合标定的目的是获取三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。例如，三维点云所在的点云坐标系可以为以车载激光雷达所在位置为原点建立的空间直角坐标系。二维图像所在的图像坐标系可以为以车载相机所在位置为原点建立的平面直角坐标系。

三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系可以用旋转矩阵和平移向量来表示。例如，旋转矩阵可以是一个维度大小为3×3的矩阵，平移向量可以是一个维度大小为3×1的向量。旋转矩阵用于表征点云坐标系的坐标轴相对于图像坐标系的坐标轴的方向，平移向量用于表征在点云坐标系的空间原点在图像坐标系中的位置。旋转矩阵和平移向量共同描述了如何将点云坐标系中的点云转换为图像坐标系中对应的像素。

可以根据每一圆形标定孔的圆心的三维坐标和二维坐标，利用PnP(pespective-n-point)算法，求解旋转矩阵和平移向量，得到三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。

本申请提供的传感器联合标定方法，通过获取包含多个圆形标定孔的三维点云和二维图像，根据每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，从而实现联合标定车载激光雷达和车载相机，由于圆形标定孔形状特征明显并且容易检测，降低了标定难度，同时，采用多个圆形标定孔进行标定，提高了标定结果的准确性。

基于上述任一实施例，多个圆形标定孔分布在至少两个标定板上。

具体地，可以将多个圆形标定孔布置在标定板上，将标定板置于车载激光雷达和车载相机的视野中，便于采集包含多个圆形标定孔的三维点云和二维图像。标定板的大小和形状可以根据需要进行设置，例如，标定板可以设置为长方形，长为1.5米，宽为1米。

将多个圆形标定孔布置在标定板上，还可以利用标定板上各个圆形标定孔之间的位置关系在三维点云和二维图像中进行圆检测。例如，若将4个圆形标定孔布置在1个标定板上，将4个圆形标定孔的位置关系设置为沿正方形的4个顶点分布，正方形的边长设置为24厘米，即圆形标定孔的圆心距离为24厘米，则在三维点云和二维图像中可以利用该位置关系迅速找到对应的区域进行圆检测。

可以将多个圆形标定孔分别布置在至少两个标定板上，使得可以通过分开布置标定板，实现移动圆形标定孔的位置。每一标定板上圆形标定孔的数量和布置位置可以根据实际情况进行设置，例如，可以将12个圆形标定孔分别布置在3个标定板上，每个标定板上的圆形标定孔按照正方形分布，也可以将12个圆形标定孔分别布置在4个标定板上，每个标定板上的圆形标定孔按照等边三角形分布。

基于上述任一实施例，至少两个标定板布置在车载相机的视野中的不同位置。

具体地，在获取包含多个圆形标定孔的三维点云和二维图像之前，可以将标定板布置在车载相机的视野中的不同位置。

此处，车载激光雷达通常安装在车辆的顶部上，能够用多束激光脉冲绕轴旋转360度对周围环境进行距离检测。车载相机通常固定安装，用于获取车辆在前进方向的图像。进行联合标定时，车载相机的视野同时也是车载相机和车载激光雷达的共同视野。

例如，当标定板数量为2时，可以将标定板分别布置在同一视野的左侧和右侧，当标定板数量为4时，可以将标定板分别布置在同一视野的左上侧、左下侧、右上侧和右下侧。

本申请提供的传感器联合标定方法，通过分开布置标定板，使得圆形标定孔分散在三维点云和二维图像对应的共同视野中的不同位置，避免多个圆形标定孔都集中分布于车载激光雷达和车载相机的视野中的某一区域，从而实现分散测量，减小误差。

基于上述任一实施例，图2为本申请提供的三维坐标确定方法的流程示意图，如图2所示，步骤120包括：

步骤1201，确定每一标定板所在的点云平面。

具体地，可以采用RANSAC(Random Sample Consensus，随机采样一致性)算法、SVD(Singular Value Decomposition，奇异值分解)算法等，在每一标定板对应的三维点云中提取特征点，计算得到每一标定板所在平面。

例如，采用RANSAC算法确定每一标定板所在平面的方法为：

(1)在三维点云中确定该标定板的大致区域，从该大致区域中随机选取3个点组成拟合平面；

(2)设定预设拟合阈值，计算其他点到该拟合平面的距离，若距离超过预设拟合阈值，则将该点判定为无效数据，若距离小于预设拟合阈值，则将该点判定为有效数据，认为该点位于拟合平面内；

(3)若处于该拟合平面的点超过预设数量，则保存该拟合平面，并将位于该拟合平面内的点都标记为已匹配；

(4)将已匹配的点最多的拟合平面作为该标定板的所在平面。

步骤1202，基于每一标定板所在的点云平面，确定每一标定板上的圆形标定孔对应的点云。

具体地，根据标定板的形状特征，对每一标定板所在的点云平面进行分割，去除标定板之外的无效点云，确定每一标定板上的圆形标定孔对应的点云。

步骤1203，对每一标定板上的圆形标定孔对应的点云进行最小二乘拟合，确定每一圆形标定孔的圆心在三维点云中的三维坐标。

具体地，采用最小二乘法，对每一标定板上的圆形标定孔对应的点云进行拟合，得到每一圆形标定孔的圆心在三维点云中的三维坐标，以及半径等参数。

本申请提供的传感器联合标定方法，根据每一标定板所在的点云平面确定标定板上每一圆形标定孔的圆心在三维点云中的三维坐标，操作简单，容易实现，降低了传感器联合标定的难度。

基于上述任一实施例，步骤120还包括：

基于霍夫变换对二维图像进行圆检测，确定每一圆形标定孔的圆心在二维图像中的二维坐标。

具体地，霍夫变换(Hough Transform)的原理，是利用图像全局特征将边缘像素连接起来组成区域封闭边界，它将图像空间转换到参数空间，在参数空间对点进行描述，达到检测图像边缘的目的。该方法把所有可能落在边缘上的点进行统计计算，根据统计计算结果确定这些点属于边缘的程度。霍夫变换的实质就是对图像进行坐标变换，把平面坐标变换为参数坐标，使变换的结果更易识别和检测。

采用霍夫变换对二维图像进行圆检测的步骤包括：

(1)将二维图像的像素点从二维空间坐标转换到极坐标空间；

(2)在极坐标空间中对各个像素点的强度进行归一化，使强度的范围在0～255之间；

(3)根据极坐标的半径值与输入参数相等，寻找二维图像的像素点，此处，输入参数为圆形标定孔的半径；

(4)对找到的二维图像的像素进行标记；

(5)返回找到的所有二维图像的像素。

本申请提供的传感器联合标定方法，根据霍夫变换对二维图像进行圆检测，操作简单，容易实现。

基于上述实施例，圆形标定孔的数量不少于9。

具体地，通过一个圆形标定孔的圆心，可以获取一个用于求解旋转矩阵和平移向量的点。为了确保取得良好的标定效果，可以选择一定数量的圆形标定孔进行联合标定。对于维度大小为3×3的旋转矩阵和维度大小为3×1的平移向量，可以选取至少9个点，也即圆形标定孔的数量不少于9，例如，可以将圆形标定孔的数量设置为12，即采用12个圆形标定孔的圆心进行传感器联合标定，以提高标定的准确性。

基于上述任一实施例，步骤130包括：

基于EPnP算法、UPnP算法、DLT算法和P3P算法中的至少一种，以及每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。

具体地，根据每一圆形标定孔的圆心的三维坐标和二维坐标，可以采用PnP(pespective-n-point)算法，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。

PnP问题有很多种求解方法，例如EPnP算法、UPnP算法、DLT算法和P3P算法等。

本申请提供的传感器联合标定方法，利用PnP算法求解三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，操作简单，容易实现，降低了算法的时间复杂度。

基于上述任一实施例，本申请提供一种传感器联合标定方法，该方法用于标定车载激光雷达和车载相机。

图3为本申请提供的标定板的结构示意图，如图3所示，该标定板为长方形，长L为1.5米，宽W为1米。该标定板包括4个相同大小的圆形标定孔，其直径D1为15厘米，4个圆形标定孔的位置关系为沿正方形的4个顶点分布，正方形的边长D2设置为24厘米，即圆形标定孔的圆心距离为24厘米。

首先，将3个标定板布置在车辆前进方向的同一视野中的不同位置，通过安装在车辆上的车载激光雷达得到包含12个圆形标定孔的三维点云，通过安装在车辆上的车载相机得到包含12个圆形标定孔的二维图像。

其次，确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标。

再次，基于EPnP算法以及每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，坐标变换关系可以表示为旋转矩阵和平移向量。旋转矩阵为一个维度大小为3×3的矩阵，平移向量为一个维度大小为3×1的向量。

下面对本申请提供的传感器联合标定装置进行描述，下文描述的传感器联合标定装置与上文描述的传感器联合标定方法可相互对应参照。

基于上述任一实施例，图4为本申请提供的传感器联合标定装置的结构示意图，如图4所示，该装置包括：

获取单元410，用于获取包含多个圆形标定孔的三维点云和二维图像；三维点云是基于车载激光雷达获取的，二维图像是基于车载相机获取的；

确定单元420，用于确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；

标定单元430，用于基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。

具体地，获取单元410用于获取包含多个圆形标定孔的三维点云和二维图像，确定单元420用于确定每一圆形标定孔的圆心分别在三维点云中的三维坐标以及在二维图像中的二维坐标。标定单元430用于确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。

本申请提供的传感器联合标定装置，通过获取包含多个圆形标定孔的三维点云和二维图像，根据每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系，从而实现联合标定车载激光雷达和车载相机，由于圆形标定孔形状特征明显并且容易检测，降低了标定难度，同时，采用多个圆形标定孔进行标定，提高了标定结果的准确性。

基于上述任一实施例，多个圆形标定孔分布在至少两个标定板上。

基于上述任一实施例，至少两个标定板布置在车载相机的视野中的不同位置。

基于上述任一实施例，图5为本申请提供的三维坐标确定子单元的结构示意图，如图5所示，确定单元420包括三维坐标确定子单元4201，三维坐标确定子单元4201包括：

平面确定模块42011，用于确定每一标定板所在的点云平面；

点云确定模块42012，用于基于每一标定板所在的点云平面，确定每一标定板上的圆形标定孔对应的点云；

三维坐标确定模块42013，用于对每一标定板上的圆形标定孔对应的点云进行最小二乘拟合，确定每一圆形标定孔的圆心在三维点云中的三维坐标。

基于上述任一实施例，确定单元420还包括：

二维坐标确定子单元，用于基于霍夫变换对所述二维图像进行圆检测，确定每一圆形标定孔的圆心在二维图像中的二维坐标。

基于上述任一实施例，圆形标定孔的数量不少于9。

基于上述任一实施例，标定单元430具体用于：

基于EPnP算法、UPnP算法、DLT算法和P3P算法中的至少一种，以及每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。

本申请实施例提供的传感器联合标定装置用于执行上述传感器联合标定方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

基于上述任一实施例，图6为本申请提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630和通信总线(Communications Bus)640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑命令，以执行上述各实施例提供的方法，该方法包括：

获取包含多个圆形标定孔的三维点云和二维图像；三维点云是基于车载激光雷达获取的，二维图像是基于车载相机获取的；确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。

此外，上述的存储器630中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述传感器联合标定方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的传感器联合标定方法可相互对应参照。

本申请实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，该方法包括：

获取包含多个圆形标定孔的三维点云和二维图像；三维点云是基于车载激光雷达获取的，二维图像是基于车载相机获取的；确定每一圆形标定孔的圆心在三维点云中的三维坐标，以及确定每一圆形标定孔的圆心在二维图像中的二维坐标；基于每一圆形标定孔的圆心的三维坐标和二维坐标，确定三维点云所在的点云坐标系和二维图像所在的图像坐标系之间的坐标变换关系。

本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述传感器联合标定方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。