基于视觉slam的多传感器地图构建的方法、装置及芯片
阅读说明：本技术 基于视觉slam的多传感器地图构建的方法、装置及芯片 (Multi-sensor map construction method, device and chip based on visual SLAM ) 是由 肖刚军 于 2019-10-29 设计创作，主要内容包括：本发明涉及一种基于视觉SLAM的多传感器地图构建的方法、装置及芯片,根据激光雷达传感器的初始探测信号发射时间与回波探测信号接收时间得到与目标物体的距离,根据所述初始探测信号与所述回波探测信号得到所述目标物体的方位,根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息,基于与所述目标物体的距离及所述目标物体的方位对所述第一点云信息及初始点云信息进行信息匹配,根据匹配结果将所述第一点云信息与所述初始点云信息融合构建点云地图,以使获取的点云信息与原有点云信息融合,所形成的地图精度高,以便于机器人实现自主避障与路线规划。(The invention relates to a method, a device and a chip for constructing a multi-sensor map based on visual SLAM, obtaining the distance between the laser radar sensor and the target object according to the initial detection signal transmitting time and the echo detection signal receiving time of the laser radar sensor, obtaining the orientation of the target object according to the initial detection signal and the echo detection signal, acquiring first point cloud information according to the distance to the target object and the orientation of the target object, performing information matching on the first point cloud information and the initial point cloud information based on the distance to the target object and the orientation of the target object, fusing the first point cloud information and the initial point cloud information according to a matching result to construct a point cloud map, the acquired point cloud information is fused with the original point cloud information, and the formed map is high in precision, so that the robot can realize autonomous obstacle avoidance and route planning.)
技术领域
本发明涉及智能机器人技术领域，尤其涉及一种基于视觉SLAM的多传感器地图构建的方法、装置和芯片。
背景技术
一般是特征点地图所构建的直接地图虽然数据量少，方便数据存储与提取使用，但是它往往不能反应所在环境的一些必须的信息，比如环境中障碍物的位置，因此这类地图基本只能用于定位问题，且无法让机器人进行自主壁障和路径规划。并且现有机器人构建地图时大多单独采用视觉传感器或者激光传感器，所获取的数据有效，地图精度较低。
发明内容
本发明提供一种基于视觉SLAM的多传感器地图构建的方法、装置和芯片，其主要目的在于提高机器人构建地图的精度，解决在机器人的定位问题并实现自主避障与路线规划。
为实现上述目的，本发明提供一种基于视觉SLAM的多传感器地图构建的方法，所述基于视觉SLAM的多传感器地图构建的方法包括：控制激光雷达传感器向目标物体的初始探测信号，并记录所述初始探测信号发射时间；实时接收从所述目标物体发射的回波探测信号及所述回波探测信号接收时间；根据所述初始探测信号发射时间与所述回波探测信号接收时间得到与目标物体的距离；根据所述初始探测信号与所述回波探测信号得到所述目标物体的方位；根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息；基于与所述目标物体的距离及所述目标物体的方位对所述第一点云信息及初始点云信息进行信息匹配，根据匹配结果将所述第一点云信息与所述初始点云信息融合构建点云地图。
可选地，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤之前还包括：控制视觉采集传感器获取当前位置的初始图像信息，及获取目标物体的第一图像信息；提取所述初始图像信息与所述第一图像信息中的图像特征，根据所述图像特征获取与所述目标物体的距离及所述目标物体的方位。
可选地，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤之前包括：控制飞行时间测距传感器向目标物体发出初始激光信号，并记录所述初始激光信号发射时间；实时接收从所述目标物体反射的反射激光信号及所述反射激光信号接收时间；根据所述初始激光信号发射时间与所述发射激光信号接收时间得到与目标物体的距离；根据所述初始激光信号与所述发射激光信号得到所述目标物体的方位。
可选地，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤包括：控制超声波传感器向目标物体发出初始超声波信号，并记录所述初始超声波信号发射时间；实时接收从所述目标物体反射的反射超声波信号及所述反射超声波信号接收时间；根据所述初始超声波信号发射时间与所述发射超声波信号接收时间得到与目标物体的距离；根据所述初始超声波信号与所述发射超声波信号得到所述目标物体的方位。
可选地，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤包括：控制三角测距激光雷达向目标物体发出初始光斑信号，并记录所述初始超声波信号发射时间；实时接收从所述目标物体反射的第一光斑信号及所述第一光斑信号接收时间；根据所述初始光斑信号发射时间与所述第一光斑信号接收时间得到与目标物体的距离；根据所述初始光斑信号与所述第一光斑信号得到所述目标物体的方位。
可选地，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤之后包括：预处理获取的第一点云信息。
可选地，所述基于与所述目标物体的距离及所述目标物体的方位对所述第一点云信息及初始点云信息进行信息匹配，根据匹配结果将所述第一点云信息与所述初始点云信息融合构建点云地图的步骤之后包括：根据点云地图上所述目标物体的具***置预设行走路线；根据预设行走路线控制机器人移动至所述目标物体处。
可选地，所述根据点云地图上所述目标物体的具***置预设行走路线的步骤之后还包括：接收行走障碍信号；调整行走路线。
此外，为实现上述目的，本发明还提出一种多传感器地图构建装置，所述多传感器地图构建装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于视觉SLAM的多传感器地图构建程序，所述基于视觉SLAM的多传感器地图构建程序被所述处理器执行时实现如以上所述的基于视觉SLAM的多传感器地图构建的方法的步骤。
此外，为实现上述目的，本申请还提出一种芯片，所述芯片上存储有基于视觉SLAM的多传感器地图构建程序，所述基于视觉SLAM的多传感器地图构建程序被处理器执行时实现如上所述的基于视觉SLAM的多传感器地图构建的方法的步骤。
本发明提出的基于视觉SLAM的多传感器地图构建的方法、装置和芯片，控制激光雷达传感器向目标物体的初始探测信号，并记录所述初始探测信号发射时间，实时接收从所述目标物体发射的回波探测信号及所述回波探测信号接收时间，根据所述初始探测信号发射时间与所述回波探测信号接收时间得到与目标物体的距离，根据所述初始探测信号与所述回波探测信号得到所述目标物体的方位，根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息，基于与所述目标物体的距离及所述目标物体的方位对所述第一点云信息及初始点云信息进行信息匹配，根据匹配结果将所述第一点云信息与所述初始点云信息融合构建点云地图，以使获取的点云信息与原有点云信息融合，所形成的地图精度高，以便于机器人实现自主避障与路线规划。
附图说明
为了更清楚地说明本发明实施例或示例性中的技术方案，下面将对实施例或示例性描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以按照这些附图示出的获得其他的附图。
图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明多传感器地图构建的方法第一实施例的流程示意图；
图3为本发明多传感器地图构建的方法第二实施例的流程示意图；
图4为本发明多传感器地图构建的方法第三实施例的流程示意图。
图5为本发明多传感器地图构建的方法第四实施例的流程示意图。
图6为本发明多传感器地图构建的方法第五实施例的流程示意图。
图7为本发明多传感器地图构建的方法第六实施例的流程示意图。
图8为本发明多传感器地图构建的方法第七实施例的流程示意图。
图9为本发明三角测量法的原理示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取目标的距离，根据目标的距离获取的点云信息，将获取的点云信息与原有点云信息进行匹配，以使获取的点云信息与原有点云信息融合，所形成的地图精度高，以便于机器人实现自主避障与路线规划。
由于现有技术中一般是特征点地图所构建的直接地图虽然数据量少，方便数据存储与提取使用，但是它往往不能反应所在环境的一些必须的信息，比如环境中障碍物的位置，因此这类地图基本只能用于定位问题，且无法让机器人进行自主壁障和路径规划。
本发明提供一种解决方案，获取目标的距离，根据目标的距离获取的点云信息，将获取的点云信息与原有点云信息进行匹配，以使获取的点云信息与原有点云信息融合，以便于机器人实现自主避障与路线规划。
如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard）、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端的结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多传感器地图构建程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的多传感器地图构建程序，并执行基于视觉SLAM的多传感器地图构建的方法的步骤。
进一步地，处理器1001可以调用存储器1005中存储的网络操作控制应用程序，还执行基于视觉SLAM的多传感器地图构建的方法的步骤。
本发明提供一种基于视觉SLAM的多传感器地图构建的方法。
参照图2，图2为本发明基于视觉SLAM的多传感器地图构建的方法的步骤第一实施例的流程示意图。
本实施例提出一种基于视觉SLAM的多传感器地图构建的方法，所述基于视觉SLAM的多传感器地图构建的方法包括：步骤S100，控制激光雷达传感器向目标物体的初始探测信号，并记录所述初始探测信号发射时间；步骤S200，实时接收从所述目标物体发射的回波探测信号及所述回波探测信号接收时间；步骤S300，根据所述初始探测信号发射时间与所述回波探测信号接收时间得到与目标物体的距离；步骤S400，根据所述初始探测信号与所述回波探测信号得到所述目标物体的方位；步骤S500，根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息；步骤S600，基于与所述目标物体的距离及所述目标物体的方位对所述第一点云信息及初始点云信息进行信息匹配，根据匹配结果将所述第一点云信息与所述初始点云信息融合构建点云地图。
点云为某一个时刻只能获取它所在未知的环境信息，可以看到它只是所在环境中的一个部分，要通过它获取地图，就是配套SLAM算法所要进行的核心过程了，一个完整SLAM和导航系统的主要构架中SLAM核心步骤包括：第一个部分称为预处理，也就是对激光雷达原始数据所优化，剔除一些有问题的数据，或者进行滤波；随后，要进行匹配，也就是说把当前这一个局部环境的点云数据在已经建立地图上寻找到对应的位置，这个步骤的好坏，直接影响了SLAM构建地图的精度；将激光雷达当前点云信息匹配拼接到原有地图中，如果不进行匹配过程，所构建的地图可能就乱成一团，在这个部分完毕以后，就进行地图融合，也就是将这一轮来自测量新数据拼接到原始地图当中。
激光雷达传感器一般配合一个接收器。激光器产生并发射一束光脉冲，打在目标上并反射回来，最终被接收器所接收。接收器准确地测量光脉冲从发射到被反射回的传播时间，因为光脉冲以光速传播，所以接收器总会在下一个脉冲发出之前收到前一个被反射回的脉冲，鉴于光速是已知的，传播时间即可被转换为对距离的测量，结合激光器的高度，激光扫描角度，从GPS得到的激光器的位置和从INS得到的激光发射方向，就可以准确地计算出每一个地面光斑的坐标X，Y，Z，激光束发射的频率可以从每秒几个脉冲到每秒几万个脉冲，举例而言，一个频率为每秒一万次脉冲的系统，接收器将会在一分钟内记录六十万个点，一般而言，激光雷达传感器的地面光斑间距在2-4m不等。
激光雷达的工作原理与雷达非常相近，以激光作为信号源，由激光器发射出的脉冲激光，打到地面的树木、道路、桥梁和建筑物上，引起散射，一部分光波会反射到激光雷达的接收器上，根据激光测距原理计算，就得到从激光雷达到目标点的距离，脉冲激光不断地扫描目标物，就可以得到目标上全部目标点的数据，用此数据进行成像处理后，就可得到精确的三维立体图像。
本实施例使获取的点云信息与原有点云信息融合，以便于机器人实现自主避障与路线规划。
进一步地，参照图3，基于第一实施例提出本发明第二实施例，在本实施例中，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤之前还包括：步骤S700，控制视觉采集传感器获取当前位置的初始图像信息，及获取目标物体的第一图像信息；步骤S800，提取所述初始图像信息与所述第一图像信息中的图像特征，根据所述图像特征获取与所述目标物体的距离及所述目标物体的方位。
本实施例使获取的点云信息与原有点云信息融合，以便于机器人实现自主避障与路线规划。
进一步地，参照图4，基于上述实施例提出本发明第三实施例，在本实施例中，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤之前还包括：步骤S900，控制飞行时间测距传感器向目标物体发出初始激光信号，并记录所述初始激光信号发射时间；步骤S1000，实时接收从所述目标物体反射的反射激光信号及所述反射激光信号接收时间；步骤S1100，根据所述初始激光信号发射时间与所述发射激光信号接收时间得到与目标物体的距离；步骤S1200，根据所述初始激光信号与所述发射激光信号得到所述目标物体的方位。
飞行时间测距传感器又称ToF，ToF测距方法属于双向测距技术，它主要利用信号在两个异步收发机(Transceiver)（或被反射面）之间往返的飞行时间来测量节点间的距离，传统的测距技术分为双向测距技术和单向测距技术。在信号电平比较好调制或在非视距视线环境下，基于RSSI(Received Signal Strength Indication，接收的信号强度指示)测距方法估算的结果比较理想；在视距视线环境下，基于ToF距离估算方法能够弥补基于RSSI距离估算方法的不足。
ToF测距方法有两个关键的约束：一是发送设备和接收设备必须始终同步;二是接收设备提供信号的传输时间的长短。为了实现时钟同步，ToF测距方法采用了时钟偏移量来解决时钟同步问题。Intersil最新的ToF信号处理IC-ISL29501方案就是典型的ToF方案，可用于所有光照条件，并且实现了小型化和电池应用的低功耗，因为Intersil专利的信号处理器技术使用了基于相位的ToF来应对检测物体周围的环境光的影响。
进一步地，参照图5，基于上述实施例提出本发明第四实施例，在本实施例中，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤之前还包括：步骤S1300，控制超声波传感器向目标物体发出初始超声波信号，并记录所述初始超声波信号发射时间；步骤S1400，实时接收从所述目标物体反射的反射超声波信号及所述反射超声波信号接收时间；步骤S1500，根据所述初始超声波信号发射时间与所述发射超声波信号接收时间得到与目标物体的距离；步骤S1600，根据所述初始超声波信号与所述发射超声波信号得到所述目标物体的方位。
超声波传感器主要采用直接反射式的检测模式，位于传感器前面的目标通过将发射的声波部分地发射回传感器的接收器，从而使传感器检测到被测物，还有部分超声波传感器采用对射式的检测模式，一套对射式超声波传感器包括一个发射器和一个接收器，两者之间持续保持“收听”，位于接收器和发射器之间的目标将会阻断接收器接收发射的声波，从而超声波传感器将产生开关信号。
进一步地，参照图6，基于上述实施例提出本发明第五实施例，在本实施例中，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤之前还包括：步骤S1700，控制三角测距激光雷达向目标物体发出初始光斑信号，并记录所述初始超声波信号发射时间；步骤S1800，实时接收从所述目标物体反射的第一光斑信号及所述第一光斑信号接收时间；步骤S1900，根据所述初始光斑信号发射时间与所述第一光斑信号接收时间得到与目标物体的距离；步骤S2000，根据所述初始光斑信号与所述第一光斑信号得到所述目标物体的方位。
激光器Laser以一定的角度beta射出一束激光，沿激光方向距离为d的物体反射激光。接受激光的一般是个长条的CMOS（可以看成是一个长条形的摄像头），被物体反射的激光经过“小孔成像”被Imager（即CMOS）拍摄到。焦距是f，物体离平面的垂直距离是q，激光器和焦点间的距离是s，过焦点平行于激光方向的虚线，它跟Imager的交点位置一般是预先知道的（确定好beta就知道了），物体激光反射后成像在Imager上的点位置离该处的距离为X。
从图9中可得，q,d,beta组成的三角形跟X,f组成的三角形是相似三角形，于是有：
f/X = q/s, 则 q = f*s/x；
又由于 sin(beta) = q/d,于是 d = q/(sin(beta))；
最后得到：d = f*s/(X*sin(beta))因为f,s,beta都是预先可以已知的量，唯一需要测量的就是X，因此，测出X就测出了d，即得到物体离激光器的距离了。
从图9中可得，如果d的距离变短了，则X就会变大，d变大了，X就变小。从Imager测出X只要计算出得到的光斑的中心即可获得距离X。
进一步地，参照图7，基于上述实施例提出本发明第六实施例，在本实施例中，所述根据与所述目标物体的距离及所述目标物体的方位获取第一点云信息的步骤之后包括：步骤S2100，预处理获取的第一点云信息。预处理，也就是对激光雷达原始数据所优化，剔除一些有问题的数据，或者进行滤波，使得获取的点云信息更为准确。
进一步地，参照图8，基于上述实施例提出本发明第七实施例，在本实施例中，所述基于与所述目标物体的距离及所述目标物体的方位对所述第一点云信息及初始点云信息进行信息匹配，根据匹配结果将所述第一点云信息与所述初始点云信息融合构建点云地图的步骤之后包括：步骤S2200，根据点云地图上所述目标物体的具***置预设行走路线；步骤S2300，根据预设行走路线控制机器人移动至所述目标物体处。
根据点云信息与原有点云信息融合后构建地图，根据当前机器人的位置及目标位置，在地图上预设规划一条行走路线，就是说把当前行走路线的点云数据在已经建立地图上寻找到对应的位置。
本实施例在于规划机器人的全局路径，具体根据设定的目标地点位置以及获取到的机器人的地理位置信息，实时确定机器人在网络地图中的位置坐标，并在网络地图中规划确定机器人达到目标地点位置的城市道路导航路径。
所述根据点云地图上所述目标物体的具***置预设行走路线的步骤之后还包括：接收行走障碍信号；调整行走路线。
为了使机器人实现自主壁障和路径规划，只需识别障碍物，并调整预设行走路线，以增加机器人的反应效率，加强机器人的避让能力，增强用户体验。
本实施例在于规划机器人的全局路径，具体对三维场景重建模块处理得到的区域三维场景地图进行平面二维化处理，得到对应的用以呈现机器人所处位置区域的环境物体二维平面占据情况的区域二维场景地图，进而确定机器人在所述区域二维场景地图中的位置状态信息，并根据机器人在网络地图中的位置坐标，建立机器人在网络地图和区域二维场景地图中的位置坐标对应关系，从而根据二维场景地图中机器人所处位置区域的环境物体二维平面占据情况，对网络地图中机器人达到目标地点位置的城市道路导航路径进行局部避障路径优化处理。
本发明还提出一种多传感器地图构建装置，所述多传感器地图构建装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于视觉SLAM的多传感器地图构建程序，所述基于视觉SLAM的多传感器地图构建程序被所述处理器执行时实现如以上所述的基于视觉SLAM的多传感器地图构建的方法的步骤。
本申请还提出一种芯片，所述芯片上存储有基于视觉SLAM的多传感器地图构建程序，所述基于视觉SLAM的多传感器地图构建程序被处理器执行时实现如上所述的基于视觉SLAM的多传感器地图构建的方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，云端服务器，空调，或者网络设备等）执行本发明各个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。