一种可创建大规模地图的单眼slam方法
阅读说明：本技术 一种可创建大规模地图的单眼slam方法 (Monocular SLAM method capable of creating large-scale map ) 是由 段苏洋 苗芷萱 姜天奇 宁馨 吴雨薇 于 2021-09-24 设计创作，主要内容包括：本发明公开了一种可创建大规模地图的单眼SLAM方法,包括通过图像采集装置获取所需建图的空间的上端图像信息,通过3D激光雷达获取所需建图的空间的非上端的图像信息,环境图像进行数据处理,构建初始环境图和识别图像采集装置的位姿。本发明通过3d激光雷达实现广角旋转扫描和定点探测,避免探测过程出现较大距离的盲区,保证了探测数据的全面性和高分辨率,优化了单眼SLAM的定位精度,且创建更加丰富的地图信息,通过两个图像采集装置分别拍摄得到两个初始图像,利用初始图像中相互匹配的特征点构建出初始的SLAM地图,在初始化成功之后,利用图像采集装置拍摄图像,以进行单眼SLAM的建图,提高建图的成功率,减少地图中的信息缺失。(The invention discloses a monocular SLAM method capable of creating a large-scale map, which comprises the steps of acquiring upper-end image information of a space needing to be mapped through an image acquisition device, acquiring non-upper-end image information of the space needing to be mapped through a 3D laser radar, carrying out data processing on an environment image, constructing an initial environment map and identifying the pose of the image acquisition device. According to the invention, wide-angle rotation scanning and fixed-point detection are realized through the 3d laser radar, a blind area with a larger distance in the detection process is avoided, the comprehensiveness and high resolution of detection data are ensured, the positioning accuracy of the monocular SLAM is optimized, richer map information is created, two initial images are obtained through respective shooting of two image acquisition devices, an initial SLAM map is constructed by utilizing mutually matched characteristic points in the initial images, after the initialization is successful, the images are shot by utilizing the image acquisition devices, so that the construction of the monocular SLAM is carried out, the success rate of the construction is improved, and the information loss in the map is reduced.)
技术领域
本发明涉及地图创建领域，特别涉及一种可创建大规模地图的单眼SLAM方法。
背景技术
近年来，随着计算机技术、数字图像处理技术及图像处理硬件的进一步发展，计算机视觉在机器人领域中开始得到广泛关注。SLAM是同步定位与地图构建的简称，这一概念最早由Smith、Self和Cheeseman于1988年提出。这种方法描述了机器人从未知环境的未知地点出发，然后对未知环境进行探索的情境：机器人在运动过程中重复地观测环境，然后根据传感器感知的环境特征定位自身位姿和姿态，再根据自身位姿增量式的构建地图。实时的单眼SLAM已日益成为流行的研究课题。单眼SLAM的一个主要优势，同时也是最大的挑战之一，一方面，自带的内在尺度模糊：该尺度不能随着时间被观察和漂移，成为一个主要的错误源。但是它的优势是允许不同规模的环境间进行无缝的切换，比如室内的桌面环境和大规模的户外环境。另一方面，缩放传感器，比如深度或立体摄像机，有一定的局限性，它们可以提供可靠的测量但不能保证其灵活性。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种可创建大规模地图的单眼SLAM方法。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种可创建大规模地图的单眼SLAM方法，具体包括如下步骤：
a.通过图像采集装置获取所需建图的空间的上端图像信息，得到一级环境图像；
b.通过3D激光雷达获取所需建图的空间的非上端的图像信息，得到二级环境图像；
c.对一级环境图像进行数据处理，构建初始环境图和识别图像采集装置的位姿；
d.使用图像采集装置与3D激光雷达之间的固有位姿变换关系，对图像采集装置的位姿进行变换，得到3D激光雷达的位姿；
e.使用3D激光雷达的位姿，对二级环境图像进行变换，得到位姿匹配的二级环境图像；
f.将位姿匹配的二级环境图像与初始的SLAM地图为基础，结合图像采集装置得到的一级环境图像进行单眼SLAM的建图，得到最终的环境图像。
作为本发明的一种优选技术方案，所述图像采集装置包括TOF深度相机、双目立体相机、结构光深度相机和避障相机。
作为本发明的一种优选技术方案，所述一级环境图像为可见光图像，所述二级环境图像为深度图像和可见光图像。
作为本发明的一种优选技术方案，所述初始环境图与图像采集装置的位姿的构建主要包括如下步骤：
g.获取任意两个图像采集装置分别拍摄得到的两个初始图像，所述两个图像采集装置的取景范围至少存在部分重叠；
h.根据两个图像采集装置预先标定的内部参数和外部参数以及相互匹配的特征点在两个初始图像中的视差，确定相互匹配的特征点的三维空间位置，以得到相互匹配的特征点对应的地图点，构建出初始的SLAM地图，以完成初始化。
作为本发明的一种优选技术方案，所述获取任意两个图像采集装置分别拍摄得到的两个初始图像包括：获取两个图像采集装置分别进行拍摄得到的图像A和图像B；其中，两个图像采集装置的焦距不同；按照使用相同焦距拍摄得到的图像效果对图像A和图像B进行处理，以处理后的图像A和图像B作为两个初始图像。
作为本发明的一种优选技术方案，所述单眼SLAM的建图为将基准帧上的一点p投影到当前帧的一条射线上，这条线也叫做极线，在极线上确定p的过程就叫做极线搜索，在使用极线搜索之后，使用三角测量便可以确定出p的深度，使用滤波器更新深度。
作为本发明的一种优选技术方案，所述极线搜索的具体步骤为在种子p(x，y)的深度延长线上，构造两个三维点p1和p2，这两个三维点来源自同一个像素，只是确定它们的深度不同。在深度滤波器中一般是设置为p1(x，y，z-n*sigma)与p2(x，y，z+n*sigma)，其中z是种子的初始深度，sigma是深度的方差，n可以调节成不同的值，比如1，2，3...等，一般取3；
将p1与p2利用帧间位姿，投影到当前帧，投影点为u1和u2，连接u1和u2得到极线。
作为本发明的一种优选技术方案，所述滤波器为深度滤波器、统计滤波器和体素滤波器。
与现有技术相比，本发明的有益效果如下：
1：本发明通过3d激光雷达实现广角旋转扫描和定点探测，避免探测过程出现较大距离的盲区，同时能够获取某一物体详实的探测信息，探测出网状障碍物和机器人侧面环境信息，保证了探测数据的全面性和高分辨率。
2：本发明优化了单眼SLAM的定位精度，且创建更加丰富的地图信息。通过采集到的图像基于SLAM计算出当前的位姿信息和地图，新增加一个水平放置的深度传感器来采集深度信息，不仅可实现实时运作，而且可以提供更为精确的位姿，并创建出更加丰富的地图信息，更加发挥出SLAM在定位导航、自动避障中的优势。
3：本发明通过两个图像采集装置分别拍摄得到两个初始图像，利用初始图像中相互匹配的特征点构建出初始的SLAM地图，在初始化成功之后，利用图像采集装置拍摄图像，以进行单眼SLAM的建图，提高建图的成功率，减少地图中的信息缺失。
具体实施方式
以下本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本发明提供一种可创建大规模地图的单眼SLAM方法，具体包括如下步骤：
a.通过TOF深度相机、结构光深度相机和避障相机获取所需建图的空间的上端图像信息，得到一级环境图像；
b.通过3D激光雷达获取所需建图的空间的非上端的图像信息，得到二级环境图像；
c.对一级环境图像进行数据处理，构建初始环境图和识别TOF深度相机、结构光深度相机和避障相机的位姿；
d.使用TOF深度相机、结构光深度相机和避障相机与3D激光雷达之间的固有位姿变换关系，对TOF深度相机、结构光深度相机和避障相机的位姿进行变换，得到3D激光雷达的位姿；
e.使用3D激光雷达的位姿，对二级环境图像进行变换，得到位姿匹配的二级环境图像；
f.将位姿匹配的二级环境图像与初始的SLAM地图为基础，结合TOF深度相机、结构光深度相机和避障相机得到的一级环境图像进行单眼SLAM的建图，得到最终的环境图像。
具体的，初始环境图与TOF深度相机、结构光深度相机和避障相机的位姿的构建主要包括如下步骤：
g.获取任意两个TOF深度相机、结构光深度相机或避障相机分别拍摄得到的两个初始图像，获取任意两个TOF深度相机、结构光深度相机或避障相机分别拍摄得到的两个初始图像包括：获取两个TOF深度相机、结构光深度相机或避障相机分别进行拍摄得到的图像A和图像B；其中，两个TOF深度相机、结构光深度相机或避障相机的焦距不同；按照使用相同焦距拍摄得到的图像效果对图像A和图像B进行处理，以处理后的图像A和图像B作为两个初始图像，所述两个TOF深度相机、结构光深度相机或避障相机的取景范围至少存在部分重叠；
h.根据两个TOF深度相机、结构光深度相机或避障相机预先标定的内部参数和外部参数以及相互匹配的特征点在两个初始图像中的视差，确定相互匹配的特征点的三维空间位置，以得到相互匹配的特征点对应的地图点，构建出初始的SLAM地图，以完成初始化。
实施例2
本发明提供一种可创建大规模地图的单眼SLAM方法，具体包括如下步骤：
a.通过TOF深度相机和避障相机获取所需建图的空间的上端图像信息，得到一级环境图像；
b.通过3D激光雷达获取所需建图的空间的非上端的图像信息，得到二级环境图像；
c.对一级环境图像进行数据处理，构建初始环境图和识别TOF深度相机和避障相机的位姿；
d.使用TOF深度相机和避障相机与3D激光雷达之间的固有位姿变换关系，对TOF深度相机和避障相机的位姿进行变换，得到3D激光雷达的位姿；
e.使用3D激光雷达的位姿，对二级环境图像进行变换，得到位姿匹配的二级环境图像；
f.将位姿匹配的二级环境图像与初始的SLAM地图为基础，结合TOF深度相机和避障相机得到的一级环境图像进行单眼SLAM的建图，得到最终的环境图像。
具体的，初始环境图与TOF深度相机和避障相机的位姿的构建主要包括如下步骤：
g.获取任意两个TOF深度相机或避障相机分别拍摄得到的两个初始图像，获取任意两个TOF深度相机或避障相机分别拍摄得到的两个初始图像包括：获取两个TOF深度相机或避障相机分别进行拍摄得到的图像A和图像B；其中，两个TOF深度相机或避障相机的焦距不同；按照使用相同焦距拍摄得到的图像效果对图像A和图像B进行处理，以处理后的图像A和图像B作为两个初始图像，所述两个TOF深度相机或避障相机的取景范围至少存在部分重叠；
h.根据两个TOF深度相机或避障相机预先标定的内部参数和外部参数以及相互匹配的特征点在两个初始图像中的视差，确定相互匹配的特征点的三维空间位置，以得到相互匹配的特征点对应的地图点，构建出初始的SLAM地图，以完成初始化。
实施例3
本发明提供一种可创建大规模地图的单眼SLAM方法，具体包括如下步骤：
a.通过双目立体相机、结构光深度相机和避障相机获取所需建图的空间的上端图像信息，得到一级环境图像；
b.通过3D激光雷达获取所需建图的空间的非上端的图像信息，得到二级环境图像；
c.对一级环境图像进行数据处理，构建初始环境图和识别双目立体相机、结构光深度相机和避障相机的位姿；
d.使用双目立体相机、结构光深度相机和避障相机与3D激光雷达之间的固有位姿变换关系，对双目立体相机、结构光深度相机和避障相机的位姿进行变换，得到3D激光雷达的位姿；
e.使用3D激光雷达的位姿，对二级环境图像进行变换，得到位姿匹配的二级环境图像；
f.将位姿匹配的二级环境图像与初始的SLAM地图为基础，结合双目立体相机、结构光深度相机和避障相机得到的一级环境图像进行单眼SLAM的建图，得到最终的环境图像。
具体的，初始环境图与双目立体相机、结构光深度相机和避障相机的位姿的构建主要包括如下步骤：
g.获取任意两个双目立体相机、结构光深度相机和或避障相机分别拍摄得到的两个初始图像，获取任意两个双目立体相机、结构光深度相机和或避障相机分别拍摄得到的两个初始图像包括：获取两个双目立体相机、结构光深度相机和或避障相机分别进行拍摄得到的图像A和图像B；其中，两个双目立体相机、结构光深度相机和或避障相机的焦距不同；按照使用相同焦距拍摄得到的图像效果对图像A和图像B进行处理，以处理后的图像A和图像B作为两个初始图像，所述两个双目立体相机、结构光深度相机和或避障相机的取景范围至少存在部分重叠；
h.根据两个双目立体相机、结构光深度相机和或避障相机预先标定的内部参数和外部参数以及相互匹配的特征点在两个初始图像中的视差，确定相互匹配的特征点的三维空间位置，以得到相互匹配的特征点对应的地图点，构建出初始的SLAM地图，以完成初始化。
实施例4
本发明提供一种可创建大规模地图的单眼SLAM方法，具体包括如下步骤：
a.通过TOF深度相机、双目立体相机和避障相机获取所需建图的空间的上端图像信息，得到一级环境图像；
b.通过3D激光雷达获取所需建图的空间的非上端的图像信息，得到二级环境图像；
c.对一级环境图像进行数据处理，构建初始环境图和识别TOF深度相机、双目立体相机和避障相机的位姿；
d.使用TOF深度相机、双目立体相机和避障相机与3D激光雷达之间的固有位姿变换关系，对TOF深度相机、双目立体相机和避障相机的位姿进行变换，得到3D激光雷达的位姿；
e.使用3D激光雷达的位姿，对二级环境图像进行变换，得到位姿匹配的二级环境图像；
f.将位姿匹配的二级环境图像与初始的SLAM地图为基础，结合TOF深度相机、双目立体相机和避障相机得到的一级环境图像进行单眼SLAM的建图，得到最终的环境图像。
具体的，初始环境图与TOF深度相机、双目立体相机和避障相机的位姿的构建主要包括如下步骤：
g.获取任意两个TOF深度相机、双目立体相机或避障相机分别拍摄得到的两个初始图像，获取任意两个TOF深度相机、双目立体相机或避障相机分别拍摄得到的两个初始图像包括：获取两个TOF深度相机、双目立体相机或避障相机分别进行拍摄得到的图像A和图像B；其中，两个TOF深度相机、双目立体相机或避障相机的焦距不同；按照使用相同焦距拍摄得到的图像效果对图像A和图像B进行处理，以处理后的图像A和图像B作为两个初始图像，所述两个TOF深度相机、双目立体相机或避障相机的取景范围至少存在部分重叠；
h.根据两个TOF深度相机、双目立体相机或避障相机预先标定的内部参数和外部参数以及相互匹配的特征点在两个初始图像中的视差，确定相互匹配的特征点的三维空间位置，以得到相互匹配的特征点对应的地图点，构建出初始的SLAM地图，以完成初始化.
实施例5
本发明提供一种可创建大规模地图的单眼SLAM方法，具体包括如下步骤：
a.通过TOF深度相机、双目立体相机、结构光深度相机和避障相机获取所需建图的空间的上端图像信息，得到一级环境图像；
b.通过3D激光雷达获取所需建图的空间的非上端的图像信息，得到二级环境图像；
c.对一级环境图像进行数据处理，构建初始环境图和识别TOF深度相机、双目立体相机、结构光深度相机和避障相机的位姿；
d.使用TOF深度相机、双目立体相机、结构光深度相机和避障相机与3D激光雷达之间的固有位姿变换关系，对TOF深度相机、双目立体相机、结构光深度相机和避障相机的位姿进行变换，得到3D激光雷达的位姿；
e.使用3D激光雷达的位姿，对二级环境图像进行变换，得到位姿匹配的二级环境图像；
f.将位姿匹配的二级环境图像与初始的SLAM地图为基础，结合TOF深度相机、双目立体相机、结构光深度相机和避障相机得到的一级环境图像进行单眼SLAM的建图，得到最终的环境图像。
具体的，初始环境图与TOF深度相机、双目立体相机、结构光深度相机和避障相机的位姿的构建主要包括如下步骤：
g.获取任意两个TOF深度相机、双目立体相机、结构光深度相机或避障相机分别拍摄得到的两个初始图像，获取任意两个TOF深度相机、双目立体相机、结构光深度相机或避障相机分别拍摄得到的两个初始图像包括：获取两个TOF深度相机、双目立体相机、结构光深度相机或避障相机分别进行拍摄得到的图像A和图像B；其中，两个TOF深度相机、双目立体相机、结构光深度相机或避障相机的焦距不同；按照使用相同焦距拍摄得到的图像效果对图像A和图像B进行处理，以处理后的图像A和图像B作为两个初始图像，所述两个TOF深度相机、双目立体相机、结构光深度相机和避障相机的取景范围至少存在部分重叠；
h.根据两个TOF深度相机、双目立体相机、结构光深度相机或避障相机预先标定的内部参数和外部参数以及相互匹配的特征点在两个初始图像中的视差，确定相互匹配的特征点的三维空间位置，以得到相互匹配的特征点对应的地图点，构建出初始的SLAM地图，以完成初始化。
本发明通过3d激光雷达实现广角旋转扫描和定点探测，避免探测过程出现较大距离的盲区，同时能够获取某一物体详实的探测信息，探测出网状障碍物和机器人侧面环境信息，保证了探测数据的全面性和高分辨率，优化了单眼SLAM的定位精度，且创建更加丰富的地图信息，通过采集到的图像基于SLAM计算出当前的位姿信息和地图，新增加一个水平放置的深度传感器来采集深度信息，不仅可实现实时运作，而且可以提供更为精确的位姿，并创建出更加丰富的地图信息，更加发挥出SLAM在定位导航、自动避障中的优势，通过两个图像采集装置分别拍摄得到两个初始图像，利用初始图像中相互匹配的特征点构建出初始的SLAM地图，在初始化成功之后，利用图像采集装置拍摄图像，以进行单眼SLAM的建图，提高建图的成功率，减少地图中的信息缺失。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：基于线性几何体拟合的建筑物三维模型简化算法