阅读说明：本技术 一种融合单目视觉和差分gnss的智能车地图地标定位方法 (A kind of intelligent vehicle map terrestrial reference localization method merging monocular vision and difference GNSS ) 是由 程洪 詹惠琴 王杨 李航 田环根 于 2019-07-26 设计创作，主要内容包括：本发明公开了一种融合单目视觉和差分GNSS的智能车地图地标定位方法,包括传感器同步、数据预处理、地标检测和地标特征点提取、地标跟踪和定位和地标描述子计算五个步骤。本发明利用传感器同步得到图像对应的车辆和相机的空间坐标；通过数据处理对图像地标进行检测和提取地标特征点；利用光流法对图像特征点跟踪；通过对同一个地标提取多个特征点进行跟踪,最终取平均值来计算此地标的位置。地标定位成功后对最后检测到的地标提取特征对此地标进行唯一性描述,并把地标位置、类型及特征描述放入数据库中保存。(The invention discloses a kind of intelligent vehicle map terrestrial reference localization methods for merging monocular vision and difference GNSS, including sensor synchronization, data prediction, terrestrial reference detection and terrestrial reference feature point extraction, terrestrial reference tracking and positioning and terrestrial reference description to calculate five steps.The present invention synchronizes to obtain the space coordinate of image corresponding vehicle and camera using sensor；Image terrestrial reference is detected and is extracted terrestrial reference characteristic point by data processing；Image characteristic point is tracked using optical flow method；It is tracked, is finally averaged to calculate this place target position by extracting multiple characteristic points to the same terrestrial reference.Terrestrial reference extracts feature to finally detected terrestrial reference after positioning successfully and carries out uniqueness description to this terrestrial reference, and the description of landmark locations, type and feature is put into database and is saved.)

一种融合单目视觉和差分GNSS的智能车地图地标定位方法

技术领域

本发明涉及无人驾驶地图定位领域，尤其涉及一种融合单目视觉和差分GNSS的智能车地图地标定位方法。

背景技术

随着位置服务的蓬勃发展与大型建筑的日益增多，人们对位置服务的需求不断增加，进行快速精准的定位成为了迫切需要。

目前，智能车地图主要分为激光雷达建图和视觉建图两种方式。基于激光雷达建图，利用点云坐标得到地标空间位置，该方法计算量大，对硬件有一定要求，实时性低；基于视觉的智能车地图地标定位，采用双目相机，通过双目匹配可以直接得到地标空间位置，但该方法鲁棒性低、误差大。

发明内容

本发明的目的在于，针对上述问题，提出一种融合单目视觉和差分GNSS的智能车地图地标定位方法。

一种融合单目视觉和差分GNSS的智能车地图地标定位方法，包括如下步骤：

S1：传感器同步得到图像对应的车辆和相机空间坐标；

S2：数据处理对图像地标进行检测和提取地标特征点；

S3：利用光流法对图像特征点跟踪；

S4：计算获取地标位置并描述子计算。

一种融合单目视觉和差分GNSS的智能车地图地标定位方法，S1包括如下子步骤：

S11：搭建采集系统，在车顶安装相机和差分GNSS双定位天线，使相机和GNSS天线在同一平面，相机方向和双天线方向相同，相机和定位天线距离为d；

S12：利用不同传感器数据的时间戳进行时间最近邻同步，每一帧图像得到一组标准化数据，需要满足：

e_i＝(p_i，V_i)

其中，P_i表示每帧图像对应的车辆位置和姿态，即(x_i，y_i，z_i，α_i，β_i，γ_i)，其中(x_i，y_i，z_i)为车辆上相机坐标，(α_i，β_i，γ_i)是车辆上相机姿态的三个角度，V_i表示当前位姿对应的图像；

S13：利用相机畸变参数矫正图像得到矫正后图像，通过GNSS得到的位置利用传感器间相对位置变换得到相机位置。

S2包括如下子步骤：

S21：利用深度学习算法检测图像中的地标，检测结果为地标类型(ID)及在图像中的二维位置；

S22：对检测到地标的图像区域提取ORB特征；

所述步骤S3包括如下子步骤：

S31：判断出现在连续两帧图像I、J中某一局部区域是否为同一目标，需要满足：

I(x,y,t)＝J(x′,y′,t+Δ)

其中，所有(x,y)都向一个方向移动了(d_x，d_y)，从而得到(x′，y′)。

S32：t时刻的(x，y)点在t+τ时刻为(x+d_x，y+d_y)，所以寻求匹配的问题可化为对下式寻求最小值，需要满足：

其中，w_x和w_y分别表示W窗口的1/2，u_x和u_y分别表示待匹配点的图像坐标。为了得到最佳匹配，使得ε最小，令上式导数为0，求取极小值，解得的d即为跟踪的偏移量。

所述步骤S4还包括如下子步骤：

S41：获取地标定位时从t时刻到t+N续(N+1)中的成像点；

S42：利用坐标系变换关系，得到图像地标位置，变换关系满足：

z₀＝Z*cosθ₁

其中，(x0，y0，z0)为利用多个图像帧(位置已知)观测到的同一个地标点即可计算出此地标点的位置；

S43：对同一个地标提取多个特征点进行跟踪，最终取平均值来计算此地标的位置。

附图说明

图1：地标定位系统框架图；

图2：地标点在不同时刻图像中成像图；

图3：地标定位原理图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

本实施例中，一种融合单目视觉和差分GNSS的智能车地图地标定位方法，包括如下步骤：

S1：传感器同步得到图像对应的车辆和相机空间坐标；

S2：数据处理对图像地标进行检测和提取地标特征点；

S3：利用光流法对图像特征点跟踪；

S4：计算获取地标位置并描述子计算。

一种融合单目视觉和差分GNSS的智能车地图地标定位方法，S1包括如下子步骤：

S11：搭建采集系统，在车顶安装相机和差分GNSS双定位天线，使相机和GNSS天线在同一平面，相机方向和双天线方向相同，相机和定位天线距离为d；

S12：利用不同传感器数据的时间戳进行时间最近邻同步，每一帧图像得到一组标准化数据，需要满足：

e_i＝(P_i，V_i)

其中，P_i表示每帧图像对应的车辆位置和姿态，即(x_i，y_i，z_i，α_i，β_i，γ_i)，其中(x_i，y_i，z_i)为车辆上相机坐标，(α_i，β_i，γ_i)是车辆上相机姿态的三个角度，V_i表示当前位姿对应的图像；

S13：利用相机畸变参数矫正图像得到矫正后图像，通过GNSS得到的位置利用传感器间相对位置变换得到相机位置。

一种融合单目视觉和差分GNSS的智能车地图地标定位方法，S2包括如下子步骤：

S21：使用深度学习算法检测图像中的地标(如交通灯，交通标志，地面标志等)，检测结果为地标类型(ID)及在图像中的二维位置，用两个像素点表达地标在图像的位置Rect(T₁,T₂,B₁,B₂)。

S22：对检测到地标的图像区域提取ORB特征；

一种融合单目视觉和差分GNSS的智能车地图地标定位方法，所述步骤S3包括如下子步骤：

S31：利用光流法进行帧间特征点跟踪，如有特征点在某一帧中出现在地标检测框外，则删除该特征点，光流法的实现基于目标在视频流中，只产生一致性的小位移，亮度恒定且相邻帧有相似运动的假设。判断出现在连续两帧图像I、J中某一局部区域是否为同一目标，需要满足：

I(x，y，t)＝J(x′，y′，t+Δ)

其中所有(x,y)都向一个方向移动了(d_x，d_y)，从而得到(x′，y′)。

S32：t时刻的(x，y)点在t+τ时刻为(x+d_x，y+d_y)，所以寻求匹配的问题可化为对下式寻求最小值，需要满足：

其中w_x和w_y分别表示W窗口的1/2，u_x和u_y分别表示待匹配点的图像坐标。为了得到最佳匹配，使得ε最小，令上式导数为0，求取极小值，解得的d即为跟踪的偏移量。

所述步骤S4还包括如下子步骤：

S41：如图2所示，地标定位时从t时刻到t+N时刻连续(N+1)张图像中相同三维地标点在不同图像中的成像点，O为每时刻相机中心，Z表示三维地标点与不同时刻相机的距离(Z未知) S42：图3为地标定位原理图，根据相机小孔成像原理从图像可知地标点到相机中心向量的两个角度根据坐标系变换关系：

z₀＝Z*cosθ₁

其中(x₀，y₀，z₀)，利用多个图像帧(位置已知)观测到的同一个地标点即可计算出此地标点的位置；

S43：对同一个地标提取多个特征点进行跟踪，最终取平均值来计算此地标的位置。

本发明提出了一种融合单目视觉和差分GNSS的智能车地图地标定位方法，能实现快速，高精度的地标定位。以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。