一种汽车鸟瞰全景图生成方法
阅读说明：本技术 一种汽车鸟瞰全景图生成方法 (Method for generating automobile aerial view panoramic image ) 是由 赵杰 于 2021-02-07 设计创作，主要内容包括：本发明公开了一种汽车鸟瞰全景图生成方法,具体为：选择标定区域,在标定区域内用线激光器打上标记线,组成矩形激光器区域；在汽车的左前、右前、左后、右后、车前、车后、车左和车右八个位置安装相机,8个相机总的视野范围覆盖车身周围360度,相邻两个相机的视野范围存在重叠；将汽车移动到激光器区域中心,建立车辆坐标系；在相机的视野范围内摆放棋盘格,采集相机视野范围内的棋盘格图像,计算棋盘格上角点在车辆坐标系下的坐标；计算图像坐标系下角点的坐标；计算棋盘格图像对应的投影变换矩阵,将棋盘格图像转换为鸟瞰图像；将所有的鸟瞰图像拼接得到汽车鸟瞰全景图。本发明克服传统方法中存在盲区的问题,同时大大提高计算速度。(The invention discloses a method for generating an aerial view panorama of an automobile, which comprises the following steps: selecting a calibration area, and marking a marking line in the calibration area by using a line laser to form a rectangular laser area; the method comprises the following steps that cameras are mounted at eight positions of the left front position, the right front position, the left rear position, the right rear position, the front position, the rear position, the left position and the right position of an automobile, the total visual field range of 8 cameras covers 360 degrees around the automobile body, and the visual field ranges of two adjacent cameras are overlapped; moving the automobile to the center of the laser area, and establishing an automobile coordinate system; placing a checkerboard in the visual field range of the camera, collecting checkerboard images in the visual field range of the camera, and calculating coordinates of angular points on the checkerboard under a vehicle coordinate system; calculating coordinates of angular points under an image coordinate system; calculating a projection transformation matrix corresponding to the checkerboard image, and converting the checkerboard image into a bird's-eye view image; and splicing all the aerial view images to obtain the aerial view panoramic image of the automobile. The invention overcomes the problem of blind areas in the traditional method and greatly improves the calculation speed at the same time.)
技术领域
本发明涉及一种汽车鸟瞰全景图生成方法，属于智能驾驶技术领域。
背景技术
传统的全景拼接图一般都是通过测量地平面上棋盘格的坐标和相机图像上棋盘格的坐标，由矩阵直接求解法得到H单映性矩阵。这种直接求解的方式不可逆，即不能由H矩阵得到相机间的R和t。
发明内容
本发明所要解决的技术问题是：提供一种汽车鸟瞰全景图生成方法，采用将相机图像投影到地面的方法，大大提高了计算速度和精度。
本发明为解决上述技术问题采用以下技术方案：
一种汽车鸟瞰全景图生成方法，包括如下步骤：
步骤1，选择一标定区域，在该标定区域内用多个线激光器打上5条标记线，其中4条组成一矩形激光器区域，另外1条为该矩形激光器区域长边的中心线；
步骤2，在汽车的左前、右前、左后、右后、车前、车后、车左和车右八个位置，每个位置安装1个相机，8个相机总的视野范围覆盖车身周围360度，且相邻两个相机的视野范围存在重叠部分；
步骤3，将汽车移动到矩形激光器区域的中心，建立车辆坐标系，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标；
步骤4，在每个相机的视野范围内摆放棋盘格，并采集各相机视野范围内的棋盘格图像，计算棋盘格上各角点在车辆坐标系下的坐标；
步骤5，根据采集的棋盘格图像，计算图像坐标系下各角点的坐标；
步骤6，计算各棋盘格图像对应的投影变换矩阵，根据投影变换矩阵将棋盘格图像转换为鸟瞰图像；
步骤7，将所有的鸟瞰图像拼接起来得到汽车鸟瞰全景图。
作为本发明的一种优选方案，所述步骤3的具体过程如下：
步骤3.1，将汽车移动到矩形激光器区域的中心，并确保车头中心与矩形激光器区域其中一条长边的中点对齐，车尾中心与矩形激光器区域另一条长边的中点对齐；
步骤3.2，以汽车中心点为车辆坐标系的中心，汽车中心点往右为X轴正方向，汽车中心点往上为Y轴正方向，建立车辆坐标系；
步骤3.3，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标。
作为本发明的一种优选方案，所述步骤4的具体过程如下：
步骤4.1，在每个相机的视野范围内摆放一3*4的棋盘格，并确保棋盘格的长边与矩形激光器区域的长边平行；
步骤4.2，采集每个相机视野范围内的棋盘格图像，并测量各棋盘格图像左上角在车辆坐标系下的坐标；
步骤4.3，根据棋盘格的实际尺寸，推算得到棋盘格各角点在车辆坐标系下的坐标。
作为本发明的一种优选方案，所述步骤5的具体过程如下：
步骤5.1，对采集的棋盘格图像进行畸变矫正；
步骤5.2，利用开源视觉算法库opencv中的findChessboardCorners()和cornerSubPix()，提取畸变矫正后的图像中的棋盘格角点坐标。
作为本发明的一种优选方案，所述步骤6的具体过程如下：
步骤6.1，在汽车正上方设置一虚拟相机，其光轴垂直于地平面π，通过虚拟相机拍摄得到车身周围的虚拟鸟瞰图，设定虚拟相机满足针孔投影模型，则其内参矩阵K1如下：
其中，u0＝(W-1)*0.5，v0＝(H-1)*0.5，fx＝(w0*d)/W，fy＝(w1*d)/H，u0、v0分别为X、Y方向平移的距离，fx、fy分别为焦距f在X、Y方向的投影，W、H分别为虚拟鸟瞰图的宽度、长度，w0、w1分别为相机物理平面的宽度、长度，d为虚拟相机距地平面的高度；
步骤6.2，计算各棋盘格图像对应的投影变换矩阵，根据投影变换矩阵将棋盘格图像转换为鸟瞰图像；具体为：
Step1，当棋盘格图像为安装在汽车右前位置的相机所采集的图像时，通过pnp算法计算地平面π相对于虚拟相机的旋转矩阵R1和平移向量t1，以及地平面π相对于右前相机的旋转矩阵R2和平移向量t2；
Step2，计算虚拟相机与右前相机的转换关系：
X1＝R1*Xw+t1
X2＝R2*Xw+t2
则X2＝R2*R1 -1*X1+t2-R2*R1 -1*t1，其中，X1、X2分别为虚拟相机、右前相机坐标系下的棋盘格角点坐标，Xw为车辆坐标系下的棋盘格角点坐标；
Step3，设定地平面π在虚拟相机坐标系下的单位法向量为N，则
已知X2＝RX1+T，R＝R2*R1 -1，T＝t2-R2*R1 -1*t1，则地平面π在虚拟相机和右前相机坐标系下的位置关系为：
其中，
Step4，已知x1＝K1X1，x2＝K2X2，其中，K2为右前相机内参矩阵，x1、x2分别为虚拟相机、右前相机图像坐标系下的棋盘格角点坐标，则
则投影变换矩阵为根据投影变换矩阵将棋盘格图像转换为鸟瞰图像Pr＝HPL，其中，Pr为鸟瞰图像坐标系下的棋盘格角点坐标，PL为右前相机图像坐标系下的棋盘格角点坐标。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、为了感知汽车周围360°场景问题，本发明提出一种适用于汽车平台的鸟瞰全景图生成方法，可作为智能汽车环境感知的有效手段。将8个相机安装于汽车车身，可获得近距离道路环境的图像；采用一种相机图像投影到地面的方法，克服传统方法中存在盲区的问题，同时大大提高计算速度。
2、自动驾驶算法中经常用到相机之间的关系，相机之间的位姿关系在自动驾驶中很重要。本发明采用打激光线的方法测量地平面的棋盘格坐标，简单快捷，由相机之间的R和t计算H矩阵的方法，更加满足自动驾驶场景的需要。
附图说明
图1是本发明一种汽车鸟瞰全景图生成方法的流程图。
图2是建立车辆坐标系示意图。
图3是在矩形激光器区域内摆放棋盘格示意图。
图4是经畸变矫正后的棋盘格图像。
图5是虚拟相机成像模型图。
图6是虚拟鸟瞰示意图。
图7是安装在车辆右前位置的相机与虚拟相机间的示意图。
图8是同一平面在两个相机间的原理图。
图9是拼接效果图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
如图1所示，为本发明一种汽车鸟瞰全景图生成方法的流程图，具体步骤如下：
步骤1：选择标定区域
选择一块比较平整的尺寸大小约为10m*10m的标定区域，在标定区域内用多个线激光器打上标记线①③,③⑥,④⑥,①④,②⑤，使得②⑤为矩形①③⑥④的中心线，如图2所示。
步骤2：相机安装位置
将相机安装在汽车的左前、车前、右前、车右、右后、车后、左后、车左八个位置，8个相机可以全覆盖车身周围360度即可。
步骤3：移动车辆到矩形中心
3.1确保前车中心与②点对齐，后车中心与⑤点对齐；
3.2建立车辆坐标系，以车辆中心点为车辆坐标系的中心，中心点往右为X轴正方向，中心点往上为Y轴正方向；
3.3测量①②③④⑤⑥在车辆坐标系下的坐标。
步骤4：在激光区域摆放棋盘格
4.1将棋盘格摆放在激光区域内，确保棋盘格的边平行于矩形区域的边，并且在相机的可视视野内，如图3所示；
4.2采集每个相机视野内的棋盘格图像；
4.3测量此时棋盘格图像左上角在车辆坐标系下的坐标p1-p8；
4.4已知每个棋盘格的实际尺寸，推算出棋盘格上每个角点在车辆坐标系下的坐标。
步骤5：计算棋盘格图像坐标系下的角点坐标
5.1先对棋盘格图像进行畸变矫正，图4为畸变矫正后的棋盘格图像；
5.2提取图像中的角点坐标
采用开源视觉算法库opencv中的findChessboardCorners()和cornerSubPix()提取图像中的棋盘格角点坐标。
步骤6：计算投影变换矩阵
本发明提出一种图像投影到地面的方法，克服了传统方法采用畸变矫正和单应映射造成的图像视角的损失。
6.1虚拟相机内参矩阵
假设汽车正上方有一个虚拟相机，其光轴垂直于地平面π，拍摄得到车身周围的鸟瞰图。根据摄像机视野范围等参数，可以得出此虚拟摄像机的内参数。图5是虚拟相机成像模型图。图6是虚拟鸟瞰示意图。
设虚拟相机满足针孔投影模型，则其内参矩阵如下：
其中，
u0＝(W-1)*0.5
v0＝(H-1)*0.5
则fx＝(w0*d)/W，fy＝(w1*d)/H；给定一个d就有给定的fx和fy，u0、v0分别为X、Y方向平移的距离，fx、fy分别为焦距f在X、Y方向的投影，W、H分别为虚拟鸟瞰图的宽度、长度，w0、w1分别为相机物理平面的宽度、长度，d为虚拟相机距地平面的高度。
6.2相机图像到虚拟相机图像的变换
Step1.通过pnp算法计算平面相对于斜视相机和虚拟相机的位姿，包括计算地平面π相对于虚拟相机的旋转矩阵R1和平移向量t1，以及地平面π相对于右前相机的旋转矩阵R2和平移向量t2。
Step2.计算两个相机的转换关系，图7为安装在车辆右前位置的相机与虚拟相机间的示意图。
X1＝R1*Xw+t1
X2＝R2*Xw+t2
则X2＝R2*R1 -1*X1+t2-R2*R1 -1*t1
Step3.计算投影矩阵，图8为同一平面在两个相机间的原理图。
设地平面π在虚拟相机坐标系下的单位法向量为N，其到虚拟相机中心(坐标原点)的距离为d，则地平面π可表示为：
已知两个相机坐标的变换关系：
X2＝RX1+T
则有同一平面在两个不同相机坐标系下的位置关系
Step4.计算同一平面在两个相机图像坐标下的位置关系
x1＝K1X1，x2＝K2X2
设鸟瞰图像坐标系Pr上坐标为(u,v,1)，相机图像坐标系PL上坐标为(x,y,1)，则
Pr＝HPL
步骤7：获取拼接效果图，如图9所示。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：确定显示偏移信息的方法、装置及电子设备