一种极地冰层地图构建系统及其工作方法

文档序号:447697 发布日期:2021-12-28 浏览:1次 >En<

阅读说明:本技术 一种极地冰层地图构建系统及其工作方法 (Polar region ice layer map construction system and working method thereof ) 是由 周利 刘浩 丁仕风 闯振菊 赵晓杰 高俊亮 郑思洁 于 2021-09-23 设计创作,主要内容包括:本发明涉及一种极地冰层地图的构建系统,包括激光SLAM模块、视觉SLAM模块、中央处理器以及语义模块。在某一时刻t,激光SLAM模块用来实时采集当前空间地理位置的冰层环境地图以及捕捉当前空间地理位置坐标信息。在时刻t,视觉SLAM模块用来实时采集当前空间地理位置的冰层环境地图以及捕捉当前空间地理位置坐标信息。中央处理器与激光SLAM模块和视觉SLAM模块均进行电连接。协同语义模块,中央处理器根据语义指令对位于船舶四周的冰层进行分类,以实时地生成具有语义信息的、高精度、且附带语义信息的全局冰层代价地图。另外,本发明还公开了一种极地冰层地图构建系统的工作方法。(The invention relates to a polar region ice layer map construction system which comprises a laser SLAM module, a visual SLAM module, a central processing unit and a semantic module. At a certain time t, the laser SLAM module is used for acquiring an ice layer environment map of the current space geographic position in real time and capturing coordinate information of the current space geographic position. At time t, the visual SLAM module is used for acquiring an ice layer environment map of the current spatial geographic position in real time and capturing coordinate information of the current spatial geographic position. The central processing unit is electrically connected with the laser SLAM module and the vision SLAM module. And the central processing unit is used for classifying the ice layers around the ship according to the semantic instruction so as to generate a global ice layer cost map with semantic information, high precision and attached semantic information in real time. In addition, the invention also discloses a working method of the polar region ice layer map construction system.)

一种极地冰层地图构建系统及其工作方法

本发明涉及导航技术领域,尤其是一种极地冰层地图构建系统及其工作方法。

背景技术

随着全球气候变暖,北极冰层逐渐消融,通过北极海域的船舶逐年增加。极地航道相对传统苏伊士运河航道航程大为缩短,其商业价值不断为航运行业所发掘。开发适合极地航行的船舶日益重要。极地海域环境恶劣,海面上漂浮的冰层对船舶的安全造成严重的威胁。

目前航海中所应用到的电子海图时效性较差,难以体现出船舶周围所存有的冰情。随着科学技术的发展,SLAM技术已经被广泛地应用于导航地图绘制中,其包括视觉SLAM和激光SLAM,其中,激光SLAM技术一直处于主导地位。激光SLAM具有精度高、速度快、能够快速响应动态环境下环境变化的特点,因此激光SLAM技术的可靠性和安全性均优于视觉SLAM。激光SLAM技术主要内容包括定位和周围的环境地图构建。视觉SLAM已经可以感知物体的语义信息,但是精度较差,且环境光对其工作效果影响较大。中国发明专利CN110726409B公开了一种基于激光SLAM和视觉SLAM地图融合方法,基于激光SLAM和视觉SLAM地图融合方法,其包括以下步骤:

步骤一,数据采集与读取

通过IMU采集机器人的加速度和角速度;机器人的双目摄像头进行左右图像采集,二维激光雷达360°采集距离值,编码器采集机器人的速度,工控机实时读取传感器的数据;

步骤二,数据处理

将每个编码器采集的脉冲值转换为每个轮子相对应的速度值,再经过运动解算算法计算机器人整体移动速度,并计算位移;将IMU采集的加速度进行积分,计算速度与位移,利用扩展卡尔曼滤波将步骤一采集的加速度与角速度与位移进行融合,产生位姿;

步骤三,激光SLAM与视觉SLAM建图

将二维激光雷达数据和步骤二得到的机器人位姿信息传入激光SLAM,建立2D栅格图;将双目摄像头采集的图像信息和IMU采集的加速度及角速度传入视觉SLAM,产生三维稀疏点云图;

步骤四,视觉SLAM地图转换

将视觉SLAM产生的位姿与三维稀疏点云图转换为用跳表树表示的三维地图,再将其投影于一个平面,形成2D栅格图;

步骤五,地图融合

利用地图融合算法实时将激光SLAM产生的局部栅格图和视觉SLAM经过转换后的局部栅格图进行融合,产生局部融合地图,并实时存储,一直反复循环上述过程,形成全局融合地图。其中地图融合算法具体为:将激光SLAM产生的局部栅格图和视觉SLAM产生的局部栅格图的每个栅格都用0~1概率表示,设定激光SLAM产生的局部栅格图的阈值T1和视觉SLAM经过转换后的局部栅格图的阈值T2,之后将占有率与预先分别设定的阈值进行比较,若大于阈值则为占有,小于阈值则为空,保存显示时,1表示占据,0表示空,-1表示不确定;再将两种概率按照栅格占有规则进行判别,其中两者都为空时则判定为空,两者都不确定时判定为不确定,其余则判定为占有,进而产生局部融合地图。

虽说采用上述技术方案克服了单种SLAM具有的缺陷,使得融合后的地图更加精准,更加适用于导航。然而,上述地图融合方法并不适合于船舶极地航行情形,究其原因在于以下几方面:1)当船舶在极地海域航行时,极地冰区海冰冰情复杂,船舶在极地航行时面对不同大小、不同类型的海冰所耗费的资源数量不同,情况尤为复杂;2)激光SLAM、视觉SLAM各自所采集到的图像信息缺少地理位置坐标对应关系,在上述申请文件中首先对激光SLAM、视觉SLAM所采集的地图进行投影转换以形成2D栅格图,而后将占有率与设定阈值进行数据比对,最终所得到的全局融合地图的精度受到具体设定阈值影响较大,然而,极地冰情复杂且多变,阈值数值难以精准设定,且船舶在极地航行中对融合地图的基准度提出更高的要求。因而,有必要在上述全局融合地图构建的方法基础上作进一步适应性的优化。

发明内容

故,本发明课题组鉴于上述现有的问题以及缺陷,乃搜集相关资料,经由多方的评估及考量,并经过课题组人员不断探讨以及实物造景模拟极地海面冰情,最终导致该极地冰层地图构建系统的出现。

为了解决上述技术问题,本发明涉及了一种极地冰层地图的构建系统,其包括至少一激光SLAM模块、至少一视觉SLAM模块、一中央处理器以及语义模块。其中,激光SLAM模块包括有第一计算单元、激光雷达、第一环境地图信息采集单元、第一定位单元以及第一数据传输单元。在某一时刻t,第一环境地图信息采集单元协同激光雷达以实时采集当前空间地理位置的冰层环境地图,与此同时,第一定位单元用来实时地捕捉当前空间地理位置坐标信息。第一环境地图信息采集单元、第一定位单元均经由第一数据传输单元将数据传递至第一计算单元。视觉SLAM模块包括有第二计算单元、视觉传感器、第二环境地图信息采集单元、第二定位单元以及第二数据传输单元。在时刻t,第二环境地图信息采集单元协同视觉传感器以实时采集当前空间地理位置的冰层环境地图,与此同时,第二定位单元用来实时地捕捉当前空间地理位置坐标信息。第二环境地图信息采集单元、第二定位单元均经由第二数据传输单元将数据传递至第二计算单元。中央处理器用来接收到、处理数据,且与第一计算单元和第二计算单元均进行电连接。协同语义模块,中央处理器根据语义指令对位于船舶四周的冰层进行分类,以生成全局冰层代价地图。

作为本发明技术方案的进一步改进,第一定位单元和第二定位单元均优选由GNSS定位单元和GPS定位单元构成。

作为本发明技术方案的进一步改进,中央处理器包括有信息修正模块。

作为本发明技术方案的进一步改进,中央处理器优选为台式计算机或笔记本式计算机。

作为本发明技术方案的进一步改进,第一数据传输单元和第二数据传输单元均优选为光纤传输单元。

作为本发明技术方案的进一步改进,极地冰层地图的构建系统还包括后端优化模块。后端优化模块配套于中央处理器。对具有相同空间地理位置坐标信息的经由第一环境地图信息而采集到的当前空间地理位置的冰层环境地图以及经由第二环境地图信息而采集到的当前空间地理位置的冰层环境地图进行回环数据矫正。

另外,本发明还公开了一种极地冰层地图的构建系统的工作方法,其包括有以下步骤:

a)在某一时刻t,激光SLAM模块扑捉当前空间地理位置的坐标信息Ω1以及冰层环境地图β1;

b)在相同时刻t,视觉SLAM模块扑捉当前空间地理位置的坐标信息Ω2以及冰层环境地图β2。空间地理位置的坐标信息Ω1和空间地理位置的坐标信息Ω2完全相同,且冰层环境地图β1和冰层环境地图β2具有相同时间戳;

c)空间地理位置的坐标信息Ω1、冰层环境地图β1、空间地理位置的坐标信息Ω2、冰层环境地图β2数据统一被输送至中央处理器;

d)经由中央处理器对冰层环境地图β1和冰层环境地图β2进行融合,以生成实时全局环境地图;

e)辅以所述语义模块,对全局环境地图上存有的冰层进行障碍物分类;

f)根据不同类型的障碍物的破冰损耗不同,生成实时的、具有语义信息的全局代价地图。

作为本发明技术方案的进一步改进,中央处理器根据激光SLAM模块和视觉SLAM模块各自空间地理位置信息确定出所有相同时间戳的局部冰层环境地图之间的相对位置关系之前,需对接收到的冰层环境地图β1以及冰层环境地图β2的空间地理位置信息进行修正。

作为本发明技术方案的更进一步改进,采取最小二乘拟合公式对冰层环境地图β1以及冰层环境地图β2的空间地理位置信息进行修正。

作为本发明技术方案的更进一步改进,借由中央处理器将修正后的空间地理位置信息与激光SLAM模块和视觉SLAM模块所获取到的冰层障碍物语义信息相匹配。

通过采用上述技术方案进行设置,极地冰层地图构建系统在实际应用中至少取得了以下几方面的有益效果,具体如下:

1)完美地解决了激光SLAM无法感知语义信息和视觉SLAM精度较差、较为依赖光照环境的问题,实时地生成具有语义信息的、高精度、且附带语义信息的全局环境地图,利于驾驶员在航行过程中需要根据船舶周围冰情及时地调整舵角,降低驾驶员的操控难度;

2)可形成了全局的、高精度的、实时的语义地图,且后续可根据语义地图的相关信息对激光SLAM地图中的障碍物进行标注,最后,根据不同类型的障碍物的破冰损耗不同,生成实时的、具有语义信息的全局代价地图,从而为船舶在极地执行航行任务时保持于相对较小破冰损耗量作了良好的铺垫;

3)将激光SLAM技术和视觉SLAM技术完美地融合于一体,且确保两者所采集到的冰层环境地图具有地理位置坐标以及时间对应关系,利于确保所生成的全局冰层代价地图与船舶周围的现实冰情完全吻合。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明极地冰层地图的构建系统中激光SLAM模块和视觉SLAM模块在船舶上的布局示意图。

图2是本发明极地冰层地图的构建系统生成冰层环境地图时的工作原理图。

图3是本发明极地冰层地图的构建系统生成全局冰层代价地图时的工作原理图。

具体实施方式

下面结合具体实施例,对本发明的内容做进一步的详细说明,极地冰层地图的构建系统包括多个激光SLAM模块、多个视觉SLAM模块、一中央处理器以及语义模块。如图1中所示,激光SLAM模块优选布置于船楼上,以争取视较好的视角;而视觉SLAM模块围绕船殼进行周向均布,以尽可能地接近浮冰位置,确保所采集到的浮冰图像具有较好的清晰度。激光SLAM模块包括有第一计算单元、激光雷达、第一环境地图信息采集单元、第一定位单元以及第一数据传输单元。在某一时刻t,第一环境地图信息采集单元协同激光雷达以实时采集当前空间地理位置的冰层环境地图,与此同时,第一定位单元用来实时地捕捉当前空间地理位置坐标信息。第一环境地图信息采集单元、第一定位单元均经由第一数据传输单元将数据传递至第一计算单元。视觉SLAM模块包括有第二计算单元、视觉传感器、第二环境地图信息采集单元、第二定位单元以及第二数据传输单元。在时刻t,第二环境地图信息采集单元协同视觉传感器以实时采集当前空间地理位置的冰层环境地图,与此同时,第二定位单元用来实时地捕捉当前空间地理位置坐标信息(如图2中所示)。第二环境地图信息采集单元、第二定位单元均经由第二数据传输单元将数据传递至第二计算单元。中央处理器优选为台式计算机或笔记本式计算机,其用来接收到、处理数据,且与第一计算单元和第二计算单元均进行电连接。协同语义模块,中央处理器根据语义指令对位于船舶四周的冰层进行分类,以生成全局冰层代价地图(如图3中所示)。

出于确保所捕捉到的当前空间地理位置坐标信息具有较高的精度,利于后期进行地图融合方面考虑,第一定位单元和第二定位单元均优选由GNSS定位单元和GPS定位单元构成。

光纤的基本成分为石英,只传光,而不导电,不受电磁场作用,且在传输光信号进程中亦不会受到电磁场的影响。另外,光纤传输的损耗率极低,且损耗几乎不随环境温度而变,适用于极地低温环境,利于避免干线电平现象的发生。鉴于此,上述的第一数据传输单元和第二数据传输单元均宜优选为光纤传输单元。

中央处理器包括有信息修正模块,其实时地收集来自于激光SLAM模块以及视觉SLAM模块的传感器数据,并利用GNSS定位单元和GPS定位单元进行回环检测,同时,中央处理器还采用最小二乘拟合的方式对不同的SLAM模块之间(包括激光SLAM模块和激光SLAM模块之间、激光SLAM模块和视觉模块SLAM之间以及视觉模块SLAM和视觉模块SLAM之间)的位置进行修正。

由图2中所示还可知,极地冰层地图的构建系统还配套有后端优化模块。后端优化模块配套于中央处理器。对具有相同空间地理位置坐标信息的经由第一环境地图信息而采集到的当前空间地理位置的冰层环境地图以及经由第二环境地图信息而采集到的当前空间地理位置的冰层环境地图进行回环数据矫正。

通过采用上述技术方案进行设置,极地冰层地图构建系统在实际应用中至少取得了以下几方面的有益效果,具体如下:

1)完美地解决了激光SLAM无法感知语义信息和视觉SLAM精度较差、较为依赖光照环境的问题,实时地生成具有语义信息的、高精度、且附带语义信息的全局环境地图,利于驾驶员在航行过程中需要根据船舶周围冰情及时地调整舵角,降低驾驶员的操控难度;

2)可形成了全局的、高精度的、实时的语义地图,且后续可根据语义地图的相关信息对激光SLAM地图中的障碍物进行标注,最后,根据不同类型的障碍物的破冰损耗不同,生成实时的、具有语义信息的全局代价地图,从而为船舶在极地执行航行任务时保持于相对较小破冰损耗量作了良好的铺垫;

3)将激光SLAM技术和视觉SLAM技术完美地融合于一体,且确保两者所采集到的冰层环境地图具有地理位置坐标以及时间对应关系,利于确保所生成的全局冰层代价地图与船舶周围的现实冰情完全吻合。

另外,本发明还公开了一种极地冰层地图的构建系统的工作方法,如图2、3中所示,其包括有以下步骤:

a)在某一时刻t,激光SLAM模块扑捉当前空间地理位置的坐标信息Ω1以及冰层环境地图β1;

b)在相同时刻t,视觉SLAM模块扑捉当前空间地理位置的坐标信息Ω2以及冰层环境地图β2。空间地理位置的坐标信息Ω1和空间地理位置的坐标信息Ω2完全相同,且冰层环境地图β1和冰层环境地图β2具有相同时间戳;

c)空间地理位置的坐标信息Ω1、冰层环境地图β1、空间地理位置的坐标信息Ω2、冰层环境地图β2数据统一被输送至中央处理器;

d)经由中央处理器对冰层环境地图β1和冰层环境地图β2进行融合,以生成实时全局环境地图;

e)辅以所述语义模块,对全局环境地图上存有的冰层进行障碍物分类;

f)根据不同类型的障碍物的破冰损耗不同,生成实时的、具有语义信息的全局代价地图。

中央处理器根据激光SLAM模块和视觉SLAM模块各自空间地理位置信息确定出所有相同时间戳的局部冰层环境地图之间的相对位置关系之前,需对接收到的冰层环境地图β1以及冰层环境地图β2的空间地理位置信息进行修正。

采取最小二乘拟合公式对冰层环境地图β1以及冰层环境地图β2的空间地理位置信息进行修正。

借由中央处理器将修正后的空间地理位置信息与激光SLAM模块和视觉SLAM模块所获取到的冰层障碍物语义信息相匹配。

为保证局部地图的一致性,所有激光SLAM模块和视觉SLAM模块需同步地采集相应空间地理位置的冰层环境地图。

设环境中的描述为si=(xi,yi,zi,vi),其中(xi,yi,zi)表示环境中第i个点相对于传感器原点的位置坐标,v表示该点的语义信息。设从第j个视觉SLAM模块传来的数据为Mk={si,s∈R4,i=0·····n},式中n表示视觉传感器每个周期采集的数据量,激光SLAM模块传来的数据为LM={si,s∈R4,i=0·····N},式中N表示激光传感器每个周期采集的数据量。

理想情况下,测得第j个视觉SLAM模块在世界坐标系下的位置为lj=(xj,yj,zj,0),则由m个视觉SLAM模块构成的位置矩阵为Lj={li,l∈R4,i=0·····m}。

假设各视觉SLAM模块的水平方向均保持一致,且有一个极小的方向误差δθ,则根据位置矩阵计算可得到全局地图表示为

其中R表示δθ对应的拓展旋转矩阵,可以表示为

同理,激光SLAM模块得到的全局地图即为LM。

CM与各点语义信息v传入中央处理器后,形成具备语义信息的CM1。

通过CM1与LM的匹配,赋予LM各部分相应的语义信息,形成具备语义信息的实时全局环境地图LM1。

设LM1共分为k个不同的部分,根据语义,把LM1中的各部分进行分类,得到该部分的破冰损耗wi,则全局损耗向量W={wi,i=0·····k}。

把W与LM1相匹配,即形成实时的、且具有语义信息的全局代价地图LM2。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

12页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于定位导航实现设备智能化控制的方法与系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!