阅读说明：本技术 一种基于高精度地图的360度全景影像增强系统 (360-degree panoramic image enhancement system based on high-precision map ) 是由 翁明 别韦苇 李乂 边宁 赖锋 于 2020-04-26 设计创作，主要内容包括：本发明公开了一种基于高精度地图的360度全景影像增强系统。它包括组合惯导系统,用于获取车辆定位信息和姿态信息发送至高精度地图系统；高精度地图系统,用于定位信息和姿态信息获取车辆周边的道路信息和POI信息发送至360度全景影像系统；360度全景影像系统,用于获取车辆周边的原始全景影像图像,从原始全景影像图像中提取车道线信息；根据道路信息和车道线信息将高精度地图系统和360度全景影像系统的坐标进行统一标定,将道路信息和POI信息叠加到原始全景影像图像中形成增强全景影像图像。本发明增强了360度全景影像系统的功能,提供更多的驾驶员交互以及更丰富的信息,使驾驶员对于周边环境信息有进一步的了解,为驾驶员驾驶决策提供参考意见。(The invention discloses a 360-degree panoramic image enhancement system based on a high-precision map. The system comprises a combined inertial navigation system, a high-precision map system and a navigation system, wherein the combined inertial navigation system is used for acquiring vehicle positioning information and attitude information and sending the information to the high-precision map system; the high-precision map system is used for acquiring road information and POI (point of interest) information around the vehicle by positioning information and posture information and sending the road information and the POI information to the 360-degree panoramic image system; the 360-degree panoramic image system is used for acquiring an original panoramic image around the vehicle and extracting lane line information from the original panoramic image; and uniformly calibrating the coordinates of the high-precision map system and the 360-degree panoramic image system according to the road information and the lane line information, and superposing the road information and the POI information to the original panoramic image to form an enhanced panoramic image. The invention enhances the function of the 360-degree panoramic image system, provides more driver interaction and richer information, enables the driver to further know the information of the surrounding environment, and provides reference opinions for the driving decision of the driver.)

一种基于高精度地图的360度全景影像增强系统

技术领域

本发明属于汽车技术领域，具体涉及一种基于高精度地图的360度全景影像增强系统。

背景技术

随着传感器技术的不断突破，汽车上先进的配置越来越普及。对于倒车而言，从只能看左右后视镜，到有倒车影像的辅助，到先进360度全景影像的全方位辅助，人们驾驶汽车变得越来越得心应手。目前360度全景影像系统由四颗鱼眼摄像头组成，通过鱼眼摄像头的拼接并进行畸变矫正，从而获得鸟瞰般的全景视图。随着自动驾驶行业的火热，高精度地图成为L3级别自动驾驶不可或缺的一环。高精度地图相较于导航地图而言，具有更高的精度和更丰富的信息。高精度地图中包含许多几何信息和属性信息，可实现车道级别的规划控制。搭配高精度定位组合惯导设备，自动驾驶车辆便能了解自车所处的位置。

目前360度全景影像系统由四颗鱼眼摄像头图像拼接而成，但介于摄像头传感器的局限，驾驶员往往只能了解自车周围有些什么，却无法详细了解周边物体的详细信息，例如距离、被遮挡的物体以及摄像头视距之外的物体。对于智能汽车而言，只让驾驶员看到周边的景色并让驾驶员主动去辨识这是不够“智能”的。

发明内容

本发明的目的就是为了解决上述背景技术存在的不足，提供一种基于高精度地图的360度全景影像增强系统。

本发明采用的技术方案是：一种基于高精度地图的360度全景影像增强系统，包括

组合惯导系统，用于获取车辆定位信息和姿态信息发送至高精度地图系统；

高精度地图系统，用于定位信息和姿态信息获取车辆周边的道路信息和POI信息发送至360度全景影像系统；

360度全景影像系统，用于获取车辆周边的原始全景影像图像，从原始全景影像图像中提取车道线信息；根据道路信息和车道线信息将高精度地图系统和360度全景影像系统的坐标进行统一标定，标定完成后将道路信息和POI信息叠加到原始全景影像图像中并标注相对距离形成增强全景影像图像。

进一步地，所述道路信息包括车道宽度、车道材质、车道数、车道坡度、曲率、高程、坐标信息，所述POI信息包括红绿灯、指示牌息和建筑物的名称和坐标。

进一步地，从原始全景影像图像中提取车道线信息的过程为：将多个摄像头采集的多个图像进行拼接和畸变矫正，对矫正后的图像进行二值化处理获得灰度图像；对灰度图像进行滤波、腐蚀和膨胀处理，再采用Canny算法检测边缘图像，对检测到的边缘图像进行Hough算法计算，检测图中的直线，从而提取出车道线信息。

进一步地，将高精度地图系统发送的车道线信息与从原始全景影像图像中提取车道线信息进行匹配，获得原始全景影像图像的各个分区的绝对坐标位置，实现高精度地图系统和360度全景影像系统的坐标标定。

更进一步地，还360度全景影像系统设有人机交互界面，驾驶员通过人机交互界面设置360度全景影像系统中显示的叠加信息种类及数量。

本发明增强了360度全景影像系统的功能，提供了更多的驾驶员交互以及更丰富的信息，使驾驶员对于周边环境信息有进一步的了解，为驾驶员驾驶决策提供参考意见。

附图说明

图1为本发明的系统原理图。

图2为本发明360度全景影像增强系统的显示界面示意图。

图3为本发明高精度地图系统和360度全景影像系统的坐标标定的示意图。

图4为本发明道路信息和POI信息叠加到原始全景影像图像中的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以互相结合。

如图1-4所示，本发明提供一种基于高精度地图的360度全景影像增强系统，包括在车辆上搭载的组合惯导系统1、高精度地图系统2、由4颗鱼眼摄像头组成的360度全景影像系统3，组合惯导系统提供厘米级的定位。

将4颗鱼眼摄像头获取的图像进行拼接，并且畸变矫正；从校正后的图像中提取周围的车道线，同时高精度地图系统中提取相应车道线的坐标信息，将两者车道线进行重合，从而将360度影像系统与高精度地图系统标定到同一坐标下。

从高精度地图系统中获取需要的几何、属性和POI信息。将高精度地图中提取的车辆周围的车道线、标识牌、车道拓扑信息在360度全景系统中叠加，并标注相对距离，实现即使周围有物体遮挡，也可以让驾驶员对周围的全景有整体的认知。根据组合惯导输出的车辆姿态信息，获取周边环境中POI对于车辆的相对方位，在360度全景影像系统中进行标注。上述从高精度地图中提取的信息可叠加至360度全景影像中，使驾驶员对于周边环境有更详细的了解，驾驶员可在设置中手动添加和取消相关几何、属性和POI信息，提高了人机交互的体验。

以下说明本发明整个系统详细组成过程：

第一步：360度全景影像系统提供4颗鱼眼摄像头得到的画面，并且拼接和畸变矫正，得到360度全景影像系统底图。高精度地图系统提供车辆周边环境几何、属性以及POI信息。高精度定位系统由组合惯导设备提供厘米级的定位精度，确定车辆位置。

第二步：将高精度地图系统和360度全景影像系统进行标定。系统先提取鱼眼摄像头获取到的车道线信息，从高精度地图几何属性信息中获取对应车道线的信息，两个信息标定至重合叠加，此时高精度地图系统和360度全景影像系统就在统一坐标系下。

第三步：车辆从组合惯导设备中获取自车精确位置及姿态信息。车辆从高精度地图系统中获取周边车道线信息，叠加到360度全景影像系统中并且获取车道线的几何属性信息，获取车辆和车道线间的相对距离并且实时显示在360度全景影像中。车辆可从高精度地图系统中获取周边的POI信息，例如饭店、指示牌、路灯、红绿灯等信息，并且根据组合惯导输出的车辆姿态信息获得车辆与POI之间的相对位置关系，将其标注在360度全景影像上。

第四步：为了减少信息的复杂度，并提高驾驶员的人机交互感受。360度全景影像增强系统中可对显示内容进行定制化设置，可添加和取消几何属性及POI的显示。

图3显示了标定高精度地图和360度全景影像系统的过程：

第一步：将车辆搭载360度全景系统和高精度地图系统，并且置于有车道线的标定场中。360度全景影像系统传感器由四颗鱼眼摄像头组成。系统接收四颗鱼眼摄像头获得的图像，并进行拼接和图像畸变矫正。

第二步：对拼接后的图像进行二值化处理，获得灰度图像。对灰度图像进行滤波，对图像进行腐蚀和膨胀，消除图像噪声。再采用Canny算法检测图像边缘。

第三步：对检测到的边缘图像进行Hough算法计算，检测图中的直线，进而提取出车道线并标注。

第四步：高精度地图系统中提取车道线的要素信息，并且获取其经度、纬度和高程信息。将高精度地图系统中的车道线信息与360度全景影像系统中的车道线进行匹配，从而获得360度全景影像的各个分区的绝对坐标位置。

第五步：至此标定完成。标定完成后360度全景影像系统得到的图像中的地物都带有绝对坐标值。

图4是基于叠加了高精度地图的360度全景影像增强系统运行过程：

第一步：标定完成后的360度全景影像增强系统得到的图像都带有绝对坐标信息。在车辆行驶过程中鱼眼摄像头不断获取周边的信息并且拼接得到图像畸变矫正后的图像。

第二步：车辆获取自车定位信息，并且在高精度地图系统中提取车辆周边的POI信息，例如饭店、红绿灯、指示牌等。获取的POI信息包含各个地物的绝对坐标值。同时提取高精度地图系统中的车道线信息，获取车道线的绝对坐标值。

第三步：在360度全景系统得到的图像中相应坐标上进行叠加绘制。饭店、红绿灯、指示牌等POI信息可绘制内置的图例进行表示，同时计算POI坐标与自车定位坐标的差值，体现在全景系统中，使驾驶员了解车辆周边的POI信息相较于车辆的距离。计算车道线坐标和自车定位坐标的差值，主要计算车辆坐标系Y向上的距离，使驾驶员在使用360度全景系统时，知道车辆距离周边车道线的确切距离，增强驾驶员的驾驶判断能力。

以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。