阅读说明：本技术 一种基于rbf网络的无人机视觉导航定位方法 (Unmanned aerial vehicle visual navigation positioning method based on RBF network ) 是由 贾海涛 吴婕 于 2019-09-23 设计创作，主要内容包括：本发明公开了一种基于RBF网络的无人机视觉导航定位方法。本发明的方案为：在GNSS信号未丢失时,通过相机采集图像,并从相机中提取图像帧,对每张图像检测特征点,提取描述子,保留图像的特征点信息；重复对提取的各图像帧的描述子的处理,将描述子信息与定位信息存储到视觉数据库中；在GNSS信号丢失情况下,提取相机拍摄图像,同样进行描述子提取,并利用视觉数据库信息,训练RBF网络分类器：然后根据RBF网络分类器对生成的描述子进行邻域搜索,估计最优匹配位置并基于其记录的定位信息得到当前定位信息。本发明在GNSS信号丢失情况下,基于其所构建的视觉数据库能实现对无人机的定位导航处理,且视觉数据库只存储图像的特征点描述子信息,内存占用空间小。(The invention discloses an unmanned aerial vehicle visual navigation positioning method based on a RBF network. The scheme of the invention is as follows: when the GNSS signal is not lost, acquiring an image through a camera, extracting an image frame from the camera, detecting a feature point of each image, extracting a descriptor, and keeping the feature point information of the image; repeating the processing of the descriptors of the extracted image frames, and storing descriptor information and positioning information into a visual database; under the condition that GNSS signals are lost, images shot by a camera are extracted, descriptor extraction is also carried out, and the RBF network classifier is trained by utilizing visual database information: and then performing neighborhood search on the generated descriptors according to the RBF network classifier, estimating the optimal matching position and obtaining the current positioning information based on the positioning information recorded by the optimal matching position. According to the invention, under the condition that GNSS signals are lost, positioning and navigation processing of the unmanned aerial vehicle can be realized based on the visual database constructed by the GNSS signals, and the visual database only stores characteristic point descriptor information of images, so that the occupied space of a memory is small.)

一种基于RBF网络的无人机视觉导航定位方法

技术领域

本发明属于无人机导航定位技术领域，具体涉及一种基于RBF(Radial BasisFunction) 网络的无人机视觉导航定位方法。

背景技术

无人机综合定位系统对其稳定性和完整性起着至关重要的作用。用于定位的最常用的解决方案包括将全球导航卫星系统(GNSS)和惯性导航系统(INS)组合在多传感器融合框架内。在这种情况下，GNSS被用作一种简洁、经济的方法来约束INS传感器在定位过程中产生的无界误差。但事实上，INS在不断地从多个传感器获取数据的迭代过程中对时间进行积分，得到近似的无人机位置，在此过程中，传感器产生的测量误差会迅速积累，并无限制地增长。因此，大多数无人机都利用扩展卡尔曼滤波(EKF)框架对来自INS和GNSS的数据进行融合，该方法将惯导系统的短期精度与全球导航卫星系统的长期精度结合起来，从而有效地抑制了定位误差。因此，全球导航卫星系统被广泛用于各种无人机。

尽管全球导航卫星系统具有优势，但是在多个记录在案的实例中已被证明是不可靠的。在户外场景，如城市峡谷、森林、丛林以及多雨地区也证明很容易受到故意的攻击和无意的环境干扰。除此之外，使用全球导航卫星系统的无人机已被证明容易在多个场合受到信号欺骗，这种攻击如今已成为现实。在无人机导航中使用全球导航卫星系统的缺点在于获取定位数据所必需的无线电通信，无线电通信系统一般容易出现可用性问题、干扰和信号改变。而使用GNSS/INS融合的根本原因在于依赖于从GNSS获得的全局信息来解决局部定位问题。为了解决这些问题，引入合适的导航传感器和新的导航算法来解决受到无线通信干扰以及 GNSS/INS短期或者长期故障时无人机的导航定位问题。

在全球导航卫星系统拒绝/全球导航卫星系统退化的室外环境中可靠地确定无人机定位的一种流行方法是使用单目2D摄像机和基于视觉的技术相结合。这些技术分为两类：一类是使用环境先验知识的技术和不使用环境先验知识的技术。在使用先验知识视觉导航领域，基于地图的导航技术似乎很先进，这种方法将无人机拍摄的图像与以前飞行的高分辨率地标卫星图像或地标图像进行匹配，这种解决方案的局限性包括需要有一个大型的地理图像数据库，可以通过网络连接机载设备进行数据库访问，另一个重要的限制是需要事先了解起点或预定义的边界。因此，基于地图的解决方案存在严重的局限性，阻碍了其在实际场景中的应用。第二类基于视觉的技术没有这种限制，因为它们不需要事先了解环境。这一类解决方案包括视觉测量和同时定位与映射(SLAM)等。在视觉测量中，无人机的运动是通过从单目摄像机获得的连续图像之间的特征或像素来跟踪估计的。但是，即使是最先进的单目视觉测量也会随着时间的推移而受到影响，这是因为当前的定位估计是基于以前的定位估计，导致了错误的积累。相对于视觉测量，SLAM在建立环境地图的同时解决了本地化的问题。地图构建需要多个步骤，例如跟踪、重新定位和循环关闭，这种解决方案却总是伴随着繁重的计算和内存占用。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于RBF网络的无人机视觉导航定位方法，其通过采集无人机航行过程中的地面图像特征描述子，用特征描述子数据集训练好的RBF网络分类器对当前采集图像的特征点描述子进行邻域搜索，求得当前图像的最优匹配位置，从而估计无人机所在地较准确的定位信息。

本发明的基于RBF网络的无人机视觉导航定位方法，包括下列步骤：

步骤S1：设置用于图像的特征点描述子匹配的RBF神经网络，并进行神经网络训练；

其中，训练样本为：无人机航行过程中，通过机载摄像头采集的图像；训练样本的特征向量为：通过ORB特征点检测处理得到的图像的特征点描述子；

步骤S2：构建无人机航行时的视觉数据库：

在无人机航行过程中，通过机载摄像头采集图像，并对采集的图像进行ORB特征点检测处理，提取每个特征点的描述符，得到当前图像的特征点描述子；将图像的特征点描述子连同图像采集时的定位信息一并存入视觉数据库中；

步骤S3：基于视觉数据库的无人机视觉导航定位：

基于固定间隔周期，提取机载摄像头采集的图像，作为待匹配图像；

对待匹配图像进行ORB特征点检测处理，提取每个特征点的描述符，得到待匹配图像的特征点描述子；

将待匹配图像的特征点描述子输入到训练好的RBF神经网络，进行邻域搜索，得到待匹配图像在视觉数据库中的最优匹配特征点描述子；

并基于最优匹配特征点描述子在数据库中记录的定位信息，得到无人机的当前视觉导航定位结果。

进一步的，步骤S3还包括：检测最优匹配特征点描述子与待匹配图像的特征点描述子之间的相似度是否小于预设的相似度阈值；若是，基于最优匹配特征点描述子在数据库中记录的定位信息，得到无人机的当前视觉导航定位结果；否则，则基于最近得到的视觉导航定位结果继续航行。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

(1)视觉数据库只存储图像的特征点描述子信息，降低内存占用空间；

(2)可以在无基准图库情况下，直接访问视觉数据库对无人机拍摄的图像进行匹配；

(3)基于所训练得到的RBF网络实现特征描述子邻域搜索，得到最佳匹配位置，估计定位信息。

附图说明

图1为视觉定位整体系统框架；

图2为ORB特征点检测的流程图；

图3为ORB特征点提取时，特征点粗提取的示意图；

图4为RBF网络结构示意图；

图5为RBF网络匹配定位流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明的一种基于视觉的无人机导航定位方法，通过采集无人机当前所在区域的地面图像特征描述子，用特征描述子数据集训练好的RBF网络分类器对采集图像的特征点描述子进行邻域搜索，求得该图像的最优匹配位置，从而估计无人机所在地较准确的定位信息。

参见图1，本发明的基于视觉的无人机导航定位方法主要包括两部分：一是出航时的数据采集，二是返航时的定位估计；

在数据采集部分，通过相机采集图像，并从相机中提取图像帧，对每张图像检测特征点，提取描述子，此过程丢弃图像数据，保留图像的特征点信息；重复对提取的各图像帧的描述子的处理，将描述子信息与定位信息存储到视觉数据库中；

在定位估计处理时，在GNSS信号丢失情况下，提取相机拍摄图像，同样进行描述子提取，并利用视觉数据库信息，训练RBF网络分类器：然后根据RBF网络分类器对生成的描述子进行邻域搜索，估计最优匹配位置；最后，根据最优匹配位置存储在视觉数据库的定位信息估计当前图像的定位信息。

本发明的具体实现步骤如下：

(1)数据收集。

从机载摄像头采集图像，然后对每帧图像进行ORB(ORiented Brief)特征点检测，并提取每个特征点的描述符，接着创建和存储数据库条目，其中数据库条目由先前提取的特征点描述符集和相应的定位信息组成。定位信息根据无人机机载设备应用程序提供的姿态信息和位置信息组成，这部分信息格式或性质高度依赖于所采用的具体应用程序。

(2)特征提取。

ORB特征点检测采用FAST(features from accelerated segment test)算法来检测尺度金字塔每一层上的特征点。基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大(即灰度值之差大于预设阈值)，则认为该候选点为一个特征点。

具体步骤如下：

1)ORB特征点检测。

参见图2，ORB特征点检测处理时，首先对输入图像采用FAST角点检测；然后利用Harris 角点度量方法，从已选的FAST特征点中计算Harris角点响应值；再根据角点响应值排序结果，挑出响应值最大的N个特征点；接着，采用灰度质心法来计算ORB特征点的方向，采用 BRIEF作为特征点描述方法；最后，每个特征点生成256bit的二进制点对。

即ORB特征利用FAST特征点检测方法检测出FAST特征点，然后利用Harris角点度量方法，从己选的FAST特征点中计算Harris角点响应值，挑出响应值最大的前N个特征点。

其中，FAST特征点的角点响应函数f_CRF，定义为：

其中，ε_d是阂值，I(x)是待测点邻域内像素点的像素值，I(p)是当前待测点的像素值。

待测点和对应的所有周围点的角点响应函数值的和记作N，当N大于设定的阈值值时，待测点就是FAST特征点，通常阈值取12。

ORB特征点提取具体处理流程为：

第一步：特征点粗提取。选取图像中一点记为p，以p为圆心，3像素为半径，检测圆周上位置编号为1、5、9、13位置对应点的像素值(如图3所示，其一共包括16个位置，粗提取时，即检测圆周上位于圆心p上下左右四个方向上的四个点)，若这4个点中至少3个点的像素值大于或小于p点的像素值，那认为p点是特征点。

第二步：去除局部密集点。采用非极大抑制算法计算，保留极大值位置的特征点，删除其余特征点。

第三步：特征点的尺度不变性。建立金字塔，来实现特征点的多尺度不变性。设置一个比例因子scale(例如1.2)和金字塔的层数nlevels(例如8层)。将原图像按比例因子降采样成nlevels层图像，降采样后的每层图像I’与原始图像I的关系为：

I’＝I/scale^k(k＝1,2,…,8)

第四步：特征点的旋转不变性。采用灰度质心法来计算特征点方向，特征点半径r范围内的矩为质心，特征点到质心之间构成的向量即特征点方向。

特征点与质心C的向量角度θ就是特征点的主方向：

θ＝arctan(C_x,C_y)

其中，(C_x,C_y)表示质心C的坐标。

2)特征点描述子生成。

ORB特征采用描述子BRIEF作为特征点描述方法。BRIEF描述子由长度为n的二进制串构成，本具体实施方式中，n取256。描述子中的某一位二进制值τ(p:x,y)的计算公式如下：

其中，p(x)和p(y)是一对点中两个点各自的灰度，n对点对构成的特征描述子f_n(p)可以表示为：

f_n(p)＝∑_1≤i≤n2^i-1τ(p:x,y)

构建仿射变换矩阵R_θ使描述子具有旋转不变性，得到生成矩阵S的旋转校正版本S_θ：

S_θ＝R_θS

其中生成矩阵S为n个点对(x_i,y_i)，i＝1,2,...,2n组成的，

θ为特征点主方向。

最终得到的特征点描述子g_n(p,θ)＝f_n(p)|x_i,y_i∈S_θ，构成特征点256位的描述符。

(3)基于RBF神经网络的匹配定位。

当无人机GNSS/INS信号不可用时，系统提示无人机返航操作。利用特征数据库存储的无人机运动信息，将返程提取的图像描述符与先前***数据库中的描述符进行匹配，得到定位信息。基于RBF神经网络的匹配定位系统由网络模式训练和模式定位组成。具体方式为：

1)设定训练模式。

设定训练模式，对训练样本进行学习，提供分类决策。

RBF网路只含有一个隐含层，采用输入值与中心向量的距离作为函数的自变量，并使用径向基函数作为激活函数。局部逼进方式可以简化计算量，因为对于一个输入X，只有部分神经元有响应，其他的神经元近似为0，那么响应的w就调整参数。

参见图4，RBF神经网络由输入层、隐含层和输出层构成，其中

输入层，从输入空间到隐层空间的变换为非线性的；

隐含层，使用径向基函数作为激活函数的神经元，隐含层到输出层空间的变换为线性的；

输出层，采用线性函数的神经元，是对隐含层神经元输出的线性组合；

RBF网络采用RBF作为隐单元的“基”构成隐含层空间，将输入矢量直接映射到隐空间。当中心点确定之后，就能确定映射关系。网络由输入到输出的映射是非线性的，而网络输出对可调参数而言却又是线性的，连接权值就可由线性方程组直接解出，从而大大加快学习速度并避免局部极小问题。

本具体实施方式中，RBF神经网络的输入层到隐含层之间的权值固定为1，隐含层单元的传递函数采用径向基函数，隐含层神经元将该层权值向量w_i与输入向量X_i之间的矢量距离与偏差b_i相乘后作为该神经元激活函数的输入。取径向基函数为高斯函数，神经元的输出为：

其中，x表述输入数据，即输入向量，x_i为基函数的中心，σ为函数宽度参数，用来确定每一个径向基层神经元对其输入矢量。

2)RBF神经网络学习。

RBF网络要学习的参数有三个：基函数的中心x_i和方差σ以及隐含层与输出层之间的权值 w。

i.确定基函数中心x_i。

由摄像头采集图像的特征描述子向量生成特征数据库，采用k-均值聚类算法确定核函数的中心x_i，从训练样本中随机选择I个不同样本作为初始中心x_i(0)，随机输入训练样本X_k，确定训练样本离哪个中心最近，找到使其满足：

i(X_k)＝argmin||X_k-x_i(n)||

其中i＝1,2,...,I，x_i(n)表示在第n次迭代时径向基函数的第i个中心，设置迭代步数 n＝0。通过下面公式调整基函数中心：

其中，γ是学习步长，0<γ<1。

即通过迭代训练不断的迭代更新基函数中心，更新公式为：x_i(n+1)＝x_i(n)+γ[X_k(n)- x_i(n)]，当最近两次迭代更新的处理结果的变化不超过预设阈值时，则停止更新(学习结束)，此时认为x_i(n+1)约等于x_i(n)，并将最后一次的更新后的基函数中心作为最终的迭代训练输出结果x_i(i＝1,2,…,I)。否则，n＝n+1。

ii.确定基函数方差σ。

确定RBF神经网络中心之后，其宽度表示为：

其中，M为隐含层单元个数，d_max为所选中心之间的最大距离。

iii.确定隐含层到输出层权值w。

隐含层至输出层单元连接权值采用最小二乘法计算，即

式中，g_qi表示第q个输入样本的向量与基函数中心的权值，X_q是第q个输入样本的向量， q＝1,2,...,N，i＝1,2,...,I，N表示样本数。

3)匹配定位。

鉴于无人机拍摄图像的时序性，在返航时，可以间隔固定帧提取一次摄像机所拍摄的图像并提取特征，例如每十帧提取一次图像提取特征，生成特征描述子向量，用训练好的RBF 网络分类器进行邻域搜索，求得最优匹配位置，即基于训练好的RBF网络分类器得到当前提取的特征描述子与在数据库中保存的出航过程(从出发点到目的地航程)中是拍摄的图片的特征描述子的最优匹配结果，并检测当前提取的描述子与最优匹配结果之间的相似度是否不超过预设的相似度阈值，若是，则将当前最优匹配结果的位置作为无人机在返航时的当前位置估计结果，获得定位信息。

进一步的，还可以对得到的位置估计结果进行导航系统的误差补偿，获得定位信息。若与最优匹配位置的相似度低于预定义的相似度阈值，则可以将位置定义为未知，继续采集无人机所在区域的地面图像，进一步根据无人机速度和姿态信息以及最近一次获得的定位结果进行导航。

导航系统的误差公式为：

其中，符号

表示位置估计结果(当前最优匹配结果的位置)，

表示最近的前n次的最终位置估计结果(也可以是位置估计结果

)的平均标准误差，j＝1,2,...,n，n 为预设值。即，将已获得的最近多次定位结果的平均标准误差作为当前补偿量，对当前的位置估计结果进行误差补偿后作为当前的最终位置估计结果

参见图5，本发明的RBF网络匹配定位处理过程为：

首先，对视觉数据库存储的特征描述子信息进行随机采样；并对采样得到的特征描述子二级制数据进行训练(训练RBF网络)：设定训练模式，采用K-均值聚类，确定RBF中心；根据得到的中心确定RBF宽度d；根据RBF中心以及宽度，采用最小二乘法确定隐含层到输出层的连接权值，最终确定RBF网络结构；

根据训练得到RBF网络结构，对返航时采集图像生成的特征点描述子进行邻域匹配，判断最优匹配位置，最后根据其存储的定位信息对当前图像进行返航时的定位估计。

综上，本发明在数据收集过程从摄像机获取图像开始，采用ORB特征点提取技术对图像执行特征点检测，并为每个关键点提取描述符。创建和存储数据库条目，数据库条目由先前提取的描述符和定位信息组成。其中定位信息包括无人机的姿态信息与位置信息。而在RBF 网络中需要求解的参数主要为3个：包括基函数的中心、方差以及隐含层到输出层的权值。本发明采用自组织选取中心学习方法，第一步使用无监督学习过程求解隐含层基函数的中心与方差；第二步使用有监督学习过程，最后利用最小二乘法直接求得隐含层到输出层之间的权值。在视觉匹配定位过程也从无人机返航运行状态中捕获图像开始，为了降低相邻图像的相似性，每间隔固定帧提取一张图像，然后检测关键点，并使用与数据收集过程相同的特征点提取方法为每个关键点提取描述符。利用RBF网络，得到当前图像与先前***数据库描述子的最近距离，找到最优匹配位置。根据最优匹配位置估计当前图像的定位信息。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。