阅读说明：本技术 一种基于激光slam和视觉slam地图融合方法 (Map fusion method based on laser SLAM and visual SLAM ) 是由 李郑慧 王煜聪 孙玲玲 胡莉英 刘新宇 于 2019-09-09 设计创作，主要内容包括：本发明提出了一种基于激光SLAM和视觉SLAM地图融合方法。本发明使用多种传感器采集数据,再进行原数据处理,之后将数据分别传入对应的SLAM算法,两种SLAM算法分别计算位姿与构建地图,将视觉SLAM构建完成的地图转换为2D栅格概率图,最后将两种2D栅格图通过栅格占用法则进行融合。本发明克服了单种SLAM具有的缺陷,使得融合后的地图更加精准,更加适用于导航。(The invention provides a map fusion method based on laser SLAM and visual SLAM. The method comprises the steps of collecting data by using various sensors, processing the original data, then respectively transmitting the data into corresponding SLAM algorithms, respectively calculating poses and constructing a map by using the two SLAM algorithms, converting the map constructed by the visual SLAM into a 2D grid probability map, and finally fusing the two 2D grid maps by using a grid occupation rule. The invention overcomes the defects of single SLAM, so that the fused map is more accurate and is more suitable for navigation.)

一种基于激光SLAM和视觉SLAM地图融合方法

技术领域

本发明属于图像融合方法，具体涉及一种基于激光SLAM和视觉SLAM地图融合方法。

背景技术

同时定位和地图创建(simultaneous localization and mapping，SLAM)是移动机器人在解决未知环境中的探索、侦查、导航等各项问题的基础和关键。机器人根据自身携带的传感器获取观测信息创建环境地图，同时根据部分已创建地图估计机器人的位姿。

多传感器数据融合已经运用于机器人的许多方面，如地图创建、定位、路径规划、探险。一旦创建了环境地图，分层架构的移动机器人将会应用定位、路径规划、避障和控制等模块完成相应的功能，实现机器人的完全自主化运动。

由于环境复杂，单纯只靠一种传感器利用SLAM建立的地图存在各自的缺陷。纯VSLAM存在建立地图精度低，传感器受光线影响等问题，但是语义信息丰富；纯激光SLAM存在缺少语义信息，且多线激光雷达价格昂贵等问题。

发明内容

本发明针对单种SLAM有诸多缺陷，提出了利用栅格占用规则将两种SLAM所建立的地图进行融合，使得地图更加精准，能够让机器人更加准确的定位与导航。

本发明技术方案实现如下：

步骤一，数据采集与读取

通过IMU采集机器人的加速度和角速度；机器人的双目摄像头进行左右图像采集，二维激光雷达360°采集距离值，编码器采集机器人的速度，工控机实时读取上述传感器的数据；

步骤二，数据处理

将每个编码器采集的脉冲值转换为每个轮子相对应的速度值，再经过运动解算算法计算机器人整体移动速度，并计算位移；将IMU采集的加速度进行积分，计算速度与位移，利用扩展卡尔曼滤波将上述两种传感器产生速度与位移进行融合，产生位姿。

步骤三，激光SLAM与视觉SLAM建图

将二维激光雷达数据和步骤二得到的机器人位姿信息传入激光SLAM，建立2D栅格图。将双目摄像头采集的图像信息和IMU采集的加速度及角速度传入视觉SLAM，产生三维稀疏点云图。

步骤四，视觉SLAM地图转换

将视觉SLAM产生的位姿与三维稀疏点云图转换为用跳表树表示的三维地图，再将其投影于一个平面，形成2D栅格图；

步骤五，地图融合

利用地图融合算法实时将激光SLAM产生的局部栅格图和视觉SLAM经过转换后的局部栅格图进行融合，产生局部融合地图，并实时存储，一直反复循环上述过程，形成全局融合地图；其中地图融合算法具体为：将激光SLAM产生的局部栅格图和视觉SLAM产生的局部栅格图的每个栅格都用0～1概率表示，设定激光SLAM产生的局部栅格图的阈值T1和视觉SLAM经过转换后的局部栅格图的阈值T2，之后将占有率与预先分别设定的阈值进行比较，若大于阈值则为占有，小于阈值则为空，保存显示时，1表示占据，0表示空，-1表示不确定；再将两种概率按照栅格占有规则进行判别，其中两者都为空时则判定为空，两者都不确定时判定为不确定，其余则判定为占有，进而产生局部融合地图。

本发明的有益效果

1)本发明克服了纯视觉SLAM存在建立地图精度低，传感器受光线影响，纯2D激光SLAM存在缺少语义信息等问题。实验表明有效提升了地图创建的观测区域、鲁棒性、容错性。

2)本发明所提出将两种SLAM相结合产生的地图，使得机器人在导航时，拥有更精准的定位以及更好的避障能力。

3)本发明针对两种SLAM都可以产生2D栅格图的特点，利用栅格占有规则将两种概率栅格地图进行融合，充分融合两种地图信息。

附图说明

图1为本发明的整体流程图；

图2为本发明中视觉SLAM的整体框图；

图3为本发明中激光SLAM的整体框图；

图4(A)为激光SLAM的2D栅格图；

图4(B)为视觉SLAM的三维稀疏点云图；

图4(C)为本发明的融合图像。

具体实施方式

如图1所示，本发明采用2D激光SLAM和视觉SLAM分别计算出机器人实时移动位姿并建立地图，再利用栅格占有规则进行融合。

步骤一，数据采集与读取

工控机通过USB接口实时读取IMU采集的加速度及角速度，双目摄像头采集的左右图像，二维激光雷达360°采集的距离值，编码器采集的机器人运动速度。

步骤二，数据处理

将所有传感器采集的数据转换到同一坐标系下，并进行时间戳的标注。利用线速度模型将每个编码器采集的脉冲值转换为每个轮子相对应的速度值，再经过运动解算算法计算机器人整体移动速度，并计算位移；将IMU采集的加速度进行积分，计算速度与位移，利用扩展卡尔曼滤波将上述两种传感器产生速度与位移进行融合，产生位姿。

步骤三，激光SLAM与视觉SLAM建图

将激光雷达数据、处理完的IMU数据和里程计数据传入激光SLAM，建立运动模型，再利用粒子滤波进行位姿估计及建立2D栅格图。将图像以20HZ和IMU数据以200HZ速度传入视觉SLAM，经过VIO前端视觉里程计位姿估计，计算出位姿；后端(Bundle Adjustment)将前端计算的位姿进行非线性优化；回环检测进行回环判别；最后将特征点建立三维稀疏点云图，如图2、图3所示；

步骤四，视觉SLAM地图转换

接收稀疏点云图的关键帧姿态和地图点，并利用图像数据对场景进行基于颜色的视觉分割，将其划分为地面和非地面区域，然后经过本地和全局计数器优化点云数据到栅格图中空闲单元的映射。通过斜率阈值算法确立障碍物，Canny边界检测算法消除边缘虚假障碍，形成2D栅格图，方便与激光SLAM所建立的地图进行融合。

步骤五，地图融合

利用栅格占有规则将两种概率栅格地图进行融合，由于激光SLAM精度较高，设定阈值为T＝0.5，视觉SLAM精度较低，设定阈值为T＝0.6。接收同坐标系下两种SLAM产生的概率地图，之后将占有率与预先分别设定的阈值进行比较，若大于阈值则为占有，小于阈值则为空。再将两种概率按照栅格占有规则进行判别，占有规则如表1所示。进而产生局部融合地图，并实时存储，一直反复循环上述过程，形成全局融合地图。最后结果如图4所示(A～C)。

表1。