阅读说明：本技术 一种移动机器人地磁感知导航方法 (Geomagnetic perception navigation method for mobile robot ) 是由 李红 屈军锁 吴青 江祥奎 王之仓 张立银 侯银龙 于 2019-09-25 设计创作，主要内容包括：本发明公开了一种移动机器人地磁感知导航方法,涉及移动机器人地磁导航技术领域,本发明通过地磁传感器获取移动机器人所在位置处的地磁数据,与目标位置处的地磁数据进行比较,经强化学习算法的导航解算给出移动机器人下一步运动的执行运动参数,移动机器人在运动过程中依据地磁趋势性搜索到达指定的目标位置。本发明是一种不用于地磁匹配方式的导航新方法,采用强化学习方法,根据地磁环境反馈信号进行机器学习,以实现移动机器人导航的目的。(The invention discloses a geomagnetic perception navigation method for a mobile robot, and relates to the technical field of geomagnetic navigation of mobile robots. The invention relates to a new navigation method which is not used for a geomagnetic matching mode, and a reinforcement learning method is adopted to carry out machine learning according to a geomagnetic environment feedback signal so as to realize the purpose of mobile robot navigation.)

一种移动机器人地磁感知导航方法

技术领域

本发明涉及移动机器人地磁导航技术领域，特别涉及一种移动机器人地磁感知导航方法。

背景技术

导航是移动机器人研究中存在的基本问题，对于借助地磁特征参量的匹配导航技术，表征为移动机器人利用实时测量的地磁数据与先验地磁数据图进行相关匹配，以得到位置信息。地磁匹配的导航技术具有自主性高、隐蔽性强的特点，但是其导航定位精度受限于先验数据图的获取，已然成为该导航技术的研究瓶颈。

而现有的地磁导航技术存在一定的应用弊端，即导航的定位精度和导航适用范围受先验数据图的完整性、精确度限制，难以在未知环境中应用；同时就目前环境探测技术而言，建立先验数据库往往比较困难或昂贵，受到诸多局限，所以就需要一种移动机器人地磁感知导航方法。

发明内容

本发明实施例提供了一种移动机器人地磁感知导航方法，用以解决现有技术中存在的问题。

一种移动机器人地磁感知导航方法，包括如下步骤：

S1、初始设定运动时刻k＝0，并获得移动机器人当前时刻所处位置以及目标位置的地磁参量；

S2、当k＝k+1时，从环境中观察当前状态<s_k>，即该点位置的地磁参量且判断移动机器人当前时刻所处位置的地磁参量的目标函数与所述目标位置的地磁参量的目标函数值是否在预设范围内；若是，则表示到达目标位置，完成此次导航；否则跳转到S3；

S3、确定移动机器人在选择一个执行运动参数θk后收到一个立即回报r_k，即：

其中，r_k＝1表示移动机器人执行θ^k后得到的奖励，即将该方向保留，增加该方向上后续被选取的转移概率；r_k＝-1表示移动机器人执行θ^k后得到的惩罚，即执行该方向后所需的代价较高，偏离目标位置，从而将该方向摒弃掉；

S4、确定移动机器人在当前时刻对应的运动方向，将移动机器人沿所述运动方向行驶预设步长，重复上述S2和S3，直到完成导航。

优选地，在所述S2中，所述目标函数通过以下方法构建，包括：

S201、对于任意一个点，其磁场参量环境B可描述为：

B＝{B₁,B₂,…,B_n} (2)

其中，B₁,B₂,…,B_n为地球磁场的参量元素；

S202：将目标位置处的地磁参量与该点位置的地磁参量中对应的任意一个参量元素之间的差作为目标函数，即：

其中，表示目标位置处第i个地磁参量的值，表示当前时刻所处位置的第i个地磁参量的值，g_i表示第i个地磁参量的子目标函数；

S203、获取目标位置处的地磁参量与该点位置的地磁参量中每个参量元素对应的目标函数，对所述目标函数进行如下的归一化处理，即：

其中，为起始位置处的地磁参量值，G为目标函数。

优选地，在所述S4中，移动机器人每运动预设步长后到达一个位置点对应一个时刻。

优选地，在所述S4中，

确定移动机器人在当前时刻对应的运动方向，包括：

样本空间中的运动方向θ由下式中的元素组成：

θ＝{θ₁,θ₂,…,θ_m,m＝2π/Δθ,θ_i＝Δθ×i,i∈[1,m]} (5)

其中，m为个体集合中的元素个数，Δθ为预设航向间隔。

更优选地，所述样本空间Q由个体中的多个元素组成，即：

Q＝{θ_j|j＝1,2,…,SP} (6)

式中，θ_j为样本中的第j个元素，SP表示样本空间大小；

从样本空间中随机地选取一个个体航向角元素θ_i，作为移动机器人当前时刻的进行方向，初始阶段，每一个被选择的样本个体概率为：

当迭代执行k步后，被选择个体θ_i的概率为：

优选地，所述磁场参量元素包括磁场总强度、磁偏角、磁倾角、磁场水平分量以及磁场三分量中的部分或全部。

本发明有益效果：本发明提供的地磁仿生导航方法，摆脱了现有的对先验地磁图的依赖，将地磁参量导航归结为对地磁特征的多参量多目标搜索问题，导航行为的依据是使得地磁多参量同时同地收敛于目标值，从而达到利用地磁参量进行归航的目的，其中在导航过程中通过计算目标函数值不断的调整导航方向，选择最佳的行驶方向，提高了导航效率。

附图说明

图1为本发明实施例提供的一种移动机器人地磁感知导航方法的导航方法流程图；

图2为本发明实施例提供的一种移动机器人地磁感知导航方法的运动方向样本空间示意图；

图3为本发明实施例提供的一种移动机器人地磁感知导航方法的运动方向样本空间示意图的实施例；

图4为本发明实施例提供的一种移动机器人地磁感知导航方法的自主归航的导航路径示意图；

图5为本发明实施例提供的一种移动机器人地磁感知导航方法的目标函数的收敛曲线图；

图6为本发明实施例提供的一种移动机器人地磁感知导航方法的所选取地磁参量子目标函数的收敛曲线图。

具体实施方式

下面结合发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

参照图1-6，本发明提供了一种移动机器人地磁感知导航方法，

本发明的移动机器人地磁导航是一种完全不同于常规导航方式的新概念导航技术，其根本特点是不依赖先验数据匹配，而是通过地磁环境反馈信号进行机器学习，以实现移动机器人自主导航的目的。

本发明采用强化学习的方法，实现未知环境下移动机器人地磁感知导航。强化学习的过程是一个不断尝试、试错并优化的过程，以环境给予的奖励和惩罚作为反馈，用以调整移动机器人的执行动作。该过程是一个典型的马尔科夫决策过程，即根据每个时刻观测到的状态，从可用的动作集合中选取一个执行动作作为决策，下一时刻的状态是随机的，并且其状态转移概率具有马尔可夫性，决策者根据新观察到的状态，再作出新的动作决策，依次反复地进行。

从传感器磁场感知的角度看，地磁场是由多种参量构成的混合体，参量环境B可描述为：

B＝{B₁,B₂,…,B_n} (1)

其中，B₁,B₂,…,B_n为磁场的参量元素，它们可以是磁场总强度、磁偏角、磁倾角、磁场水平分量等参量中的部分或全部。

本发明从仿生角度出发，生物磁趋势性行为可以归结为参量规律未知情况下，在时间取值于上的多参量向各自目标收敛问题：

其中，表示时间变量，(B₁,B₂,…,B_n)是n个地磁场参量，g为子目标函数，G为目标函数。

针对地磁场特性，将目标位置处的地磁参量与当前时刻所在位置处的地磁参量之间的差作为导航搜索的激励，其中第i个地磁参量的目标搜索函数为：

考虑地磁参量间的量级和单位，故此对多个目标函数进行如下的归一化处理，

其中，为起始位置处的地磁参量值，G为目标函数。

参照图1，移动机器人的初始阶段以随机游走模型进行搜索区域的探索，即将移动机器人视为一个质点，建立简化的运动学方程为：

其中，(X,Y)表征移动机器人的位置，L₁表征移动机器人的运动步长，θ表征移动机器人的运动方向。

确定所述移动机器人在当前时刻对应的运动方向，包括：

参照图2，样本空间中的运动方向是如下式中的元素：

θ＝{θ₁,θ₂,…,θ_m,m＝2π/Δθ,θ_i＝Δθ×i,i∈[1,m]} (6)

其中，m为个体集合中的元素个数，Δθ为预设航向间隔。

参照图3，当Δθ＝30°时，即m＝12，也就是说θ₁＝30°,θ₂＝60°,θ₃＝90°,θ₄＝120°,…其中样本空间Q中的元素是由θ_i随机组成的。

样本空间Q由个体中的多个元素组成，且可表示为

Q＝{θ_j|j＝1,2,…,SP} (7)

其中，θ_j为样本中的第j个元素，SP表示样本空间大小。

例如：如果SP＝30时，即样本空间大小为30，样本空间中的元素由个体随机产生，即

Q³⁰＝rand{θ_i} (8)

从样本空间中随机地选取一个个体航向角元素θ_i，作为移动机器人当前时刻的进行方向，初始阶段，每一个被选择的样本个体概率为

当迭代执行k步后，被选择个体θ_i的概率为

确定所述移动机器人在选择一个执行运动参数θ^k后收到一个立即回报r_k，如下公式：

其中，G(k)≤G(k-1)表示当前时刻的移动机器人位置处与目标位置处的目标函数值小于或等于上一个时刻移动机器人位置处与目标位置处的目标函数值，说明运行的方向逼近目标位置，且当前位置地磁参量在向目标位置处的地磁参量收敛，θ^k表示在k时刻对移动机器人进行的目标方向的调整，r_k＝1表示移动机器人执行θ^k后得到的奖励，即将该方向保留，增加该方向上后续被选取的转移概率；r_k＝-1表示移动机器人执行θ_k后得到的惩罚，即执行该方向后所需的代价较高，偏离目标位置，因此，该方向应尽量被摒弃掉。

以下结合具体的实施例对本申请方法进行说明。

本实施例选取磁场的三个独立分量，即X方向分量(East)、Y方向分量(North)、以及Z方向分量(Vertical)作为导航搜索的地磁参量元素。算法的参数设置：起始位置于(1.5，3.5)，目标位置(3.5,1.5)，设定运动步长L₁＝0.15m，SP＝30，m＝12，Δθ＝30°，ε＝0.01。

参照图4，由导航搜索的路径轨迹可以看出，该算法能够通过环境奖励不断学习进而实现移动机器人的自主导航任务，仿真验证了本发明的有效性，其中，起始位置到终点位置的距离为2.82m，导航误差为0.127m。

参照图5，表示目标函数G(k)的收敛曲线图，其中的收敛曲线对应于路径曲线，当偏离目标位置时，曲线段为非收敛状态；当运动趋近目标时，曲线段为收敛状态。

参照图6，表示所选地磁参量子目标函数个g(k)的收敛曲线图，在仿真环境中七个地磁参量，仅选择其中三个参量，即X方向分量(East)、Y方向分量(North)、以及Z方向分量(Vertical)作为导航搜索的地磁参量元素，从初始位置到目标位置处的地磁参量的子目标函数的变化曲线。

综上所述，本发明提供的地磁仿生导航方法，摆脱了现有的对先验地磁图的依赖，将地磁参量导航归结为对地磁特征的多参量多目标搜索问题，导航行为的依据是使得地磁多参量同时同地收敛于目标值，从而达到利用地磁参量进行归航的目的，其中在导航过程中通过计算目标函数值不断的调整导航方向，选择最佳的行驶方向，提高了导航效率。

以上公开的仅为本发明的一个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。