基于gps姿态估计的无人机实时计算机视觉处理方法
阅读说明：本技术 基于gps姿态估计的无人机实时计算机视觉处理方法 (Unmanned aerial vehicle real-time computer vision processing method based on GPS attitude estimation ) 是由 刘贞报 邢轶超 江飞鸿 严月浩 张超 于 2019-11-19 设计创作，主要内容包括：本发明提供的基于GPS姿态估计的无人机实时计算机视觉处理加速方法,包括安装在无人机上的固定位置的多个GPS接收器,以及一个计算机处理器,计算机处理器从每个GPS卫星接收原始GPS测量值,进而确定每个GPS接收器与卫星之间的距离,并基于该距离确定无人机的姿态,进一步确定相机姿态旋转矩阵,根据相机的相机姿态旋转矩阵并结合上一时刻图像中的目标位置,采用计算机视觉算法预测下一时刻图像中的目标预测位置,并以该目标预测位置为起点,进行目标搜索,因此减小了搜索空间中数量级的,加快了搜索速度,通过减少计算机视觉搜索空间,计算复杂性大大降低。(The invention provides an unmanned aerial vehicle real-time computer vision processing acceleration method based on GPS attitude estimation, which comprises a plurality of GPS receivers and a computer processor, wherein the GPS receivers are arranged at fixed positions on an unmanned aerial vehicle, the computer processor receives an original GPS measured value from each GPS satellite, further determines the distance between each GPS receiver and the satellite, determines the attitude of the unmanned aerial vehicle based on the distance, further determines a camera attitude rotation matrix, predicts a target prediction position in an image at the next moment by adopting a computer vision algorithm according to the camera attitude rotation matrix of a camera and combining a target position in the image at the previous moment, and performs target search by taking the target prediction position as a starting point, so that the magnitude order in a search space is reduced, the search speed is accelerated, and the calculation complexity is greatly reduced by reducing the computer vision search space.)
技术领域
本发明涉及无人机的计算机视觉处理领域，具体为基于GPS姿态估计的无人机实时计算机视觉处理方法，通过GPS姿态估计加速无人机实时计算机视觉处理。
背景技术
无人机技术近年来有很多重大的创新，取得了很大的进展，但是仍然存在一些重大的技术挑战。其中最重要的是能使无人机能够适应任何环境，解决这一问题的最好办法就是进行实时的计算机视觉处理，利用计算机视觉，可以使无人机在未知环境中飞行时，快速发现或跟踪目标，对多机合作等也具有重要意义。
鉴于这些需求，在无人机平台上实现实时计算机视觉处理功能是十分必要的。由于这些功能通常需要较好的实时性，因此一般不会将计算设备安装在功能强大的后端云计算系统，无人机在计算能力方面必须自给自足。
因此，计算平台的重量大小和能耗受到了很大限制，因此需要采取相应的方法，减少视觉处理过程中的计算量。
发明内容
针对无人机在进行实时的计算机视觉处理时，设备的大小功耗等受到限制导致运算能力受到限制的问题，提出了一种通过GPS姿态估计来加速计算机视觉处理的方法，通过在无人机上的不同位置安装的多个GPS接收器来实现。
本发明是通过以下技术方案来实现：
基于GPS姿态估计的无人机实时计算机视觉处理方法，包括以下步骤：
步骤1、获取无人机在n时刻和n+1时刻的姿态，并且获取无人机在n时刻和n+1时刻对应姿态下拍摄的图像，n≥1；
步骤2、根据无人机在n时刻的姿态和n+1时刻的姿态，确定n时刻到n+1时刻相机的姿态旋转矩阵；
步骤3、根据n时刻到n+1时刻相机的姿态旋转矩阵，并结合n时刻图像中的目标位置，计算n+1时刻图像中目标的预测位置，并以目标的预测位置为起点，执行目标搜索，获得n+1时刻图像中目标的位置；
步骤4、在n+2时刻，转至步骤1，直至目标搜索完成为止，完成基于GPS姿态估计的无人机实时计算机视觉处理。
优选的，步骤1中获取无人机姿态的具体方法如下：在无人机上安装多个GPS接收器，获取每个GPS接收器至卫星的距离，根据每个GPS接收器至卫星的距离确定无人机的姿态。
优选的，获取卫星与GPS接收器的距离的方法如下：
GPS接收器获取GPS接收器与卫星之间的原始GPS测量值，原始GPS测量值包括伪距和载波相位数据，通过载波相位与伪距组合测量方法确定每个GPS接收器与卫星之间的距离。
优选的，步骤2中相机的姿态旋转矩阵R的方法如下：
R×A＝B
其中，A为n时刻无人机姿态的测量矩阵，B为n+1时刻无人机姿态的测量矩阵，R为n时刻到n+1时刻相机的姿态旋转矩阵。
优选的，所述无人机姿态的测量矩阵为3×3的矩阵。
优选的，步骤3中，将n时刻的相机姿态旋转矩阵和n-1时刻图像中的目标位置，输入计算机视觉算法中，得到将n时刻的图像中的目标预测位置。
优选的，步骤3中，当n＝1，将n时刻获得的照片输入至计算机视觉算法中，得到该时刻图像中的目标位置。
与现有技术相比，本发明具有以下有益的技术效果：
本发明提供的基于GPS姿态估计的无人机实时计算机视觉处理方法，通过获取相邻两个时刻的无人机的姿态，以及在该姿态下拍摄的图像，并根据相邻时刻无人机的姿态，确定相机的旋转矩阵，根据相机的旋转矩阵并结合上一时刻图像中目标位置，采用计算机视觉算法预测下一时刻图像中的目标预测位置，并以该目标预测位置为起点，进行目标搜索，因此减小了搜索空间中数量级的，加快了搜索速度，通过减少计算机视觉搜索空间，计算复杂性大大降低。
附图说明
图1是本发明基于GPS姿态估计的无人机实时计算机视觉处理方法流程图；
图2是本发明GPS接收机在无人机上的配置图；
图3是本发明基于GPS姿态估计的无人机实时计算机视觉处理方法效果图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
如图1所示，一种基于GPS姿态估计的无人机实时计算机视觉处理方法，包括以下步骤：
步骤1：获取n时刻卫星与无人机的距离；
具体方法为，将多个GPS接收器安装在无人机上，并使相邻两个GPS接收器的在无人机上的距离达到最大值。
如图2所示，在无人机上安装多个GPS接收器，优选为四个，四个GPS接收器1分别安装到无人机的四个臂2上，并且都连接到无人机主体3。GPS接收器采用物理方法固定在无人机的臂上，每个GPS接收器之间的距离需要被精确地测量，GPS接收器之间的距离尽可能做到最大，以增加计算基线的长度，并最终增强了姿态估计的准确性。
通过GPS接收器获取无人机与卫星的原始GPS测量值，再通过USB、无线RF或其它通信机制从GPS接收器传送给的搭载在无人机上的机载数据处理计算机，原始GPS测量值包括伪距和载波相位数据，通过载波相位与伪距组合测量方法确定每个GPS接收器与卫星之间的距离。
步骤2：根据卫星与无人机的距离确定n时刻无人机的姿态，并获取在该姿态下无人机搭载相机获取的图像。
具体为，根据安装在无人机上不同位置的多个GPS接收器接收的距离，确定该时刻无人机的姿态，由于相机固定在无人机上，因此，该无人机的姿态即为相机的姿态。利用GPS来确定航天器的姿态是GPS在航天器上的应用的一个重要方面，基于GPS的航天器姿态确定有多种方法和算法，典型的有矢量观测法和递推算法等。
步骤3：重复步骤1和2，获取n+1时刻无人机的姿态，以及在该姿态下相机拍摄的图像。
步骤4：根据无人机在n时刻的姿态和n+1时刻的姿态，确定n时刻到n+1时刻相机的姿态旋转矩阵；
具体为，在n时刻无人机的姿态为第一姿态，在n+1时刻无人机的姿态为第二姿态，无人机姿态的姿态矩阵为3×3矩阵，将第一姿态的姿态矩阵乘以第二姿态的姿态矩阵的倒数，作为第一姿态至第二姿态相机的姿态旋转矩阵，表示n时刻和n+1时刻之间的相机旋转量。
当相机在不同时刻拍摄多个视频帧或多个静止图像时，对应不同时刻的姿态可提供精确的旋转量度。
每个时刻的姿态矩阵表示为3×3矩阵，两个连续时刻图像之间具有帧间旋转，旋转是三维的，包括偏航，俯仰和滚转；考虑两个姿态矩阵A和B，还考虑在A和B之间发生的姿态旋转矩阵R，使得R*A＝B.因此，R＝B*A-1。可以可选地修改姿态旋转矩阵R的表达形式，以用于计算机视觉中。例如，可以通过标准公式将R转换为3D旋转的任何其他表示形式，例如四元数。
步骤5：根据n时刻到n+1时刻相机的姿态旋转矩阵，并结合n时刻图像中的目标位置，计算n+1时刻图像中目标的预测位置，以目标的预测位置为起点，执行目标搜索，获得n+1时刻图像中目标的位置。
具体为，将n+1时刻相机的姿态旋转矩阵和n时刻图像中的目标位置，输入计算机视觉算法中，得到将n+1时刻的图像中的目标预测位置。
当n＝1，将n时刻获得的照片输入至计算机视觉算法中，得到该时刻图像中的目标位置。
通过计算的相机的姿态旋转矩阵，可以预测n+1时刻图像中的目标在n+2时刻图像中的位置，以该位置作为搜索的起点，在n+2时刻图像中搜索在n+1时刻中检测到的相应目标。首先搜索预测的位置，从那里开始扩展搜索边界(例如，在同心圆或逐渐变大的边界框中搜索)，而不是在整个第二图像中任意搜索，通过这种方式，搜索速度会大大加快。
步骤6、在n+2时刻，转至步骤1，直至目标搜索完成为止，完成基于GPS姿态估计的无人机实时计算机视觉处理。
本发明提供的基于GPS姿态估计的无人机实时计算机视觉处理方法，包括安装在无人机上的固定位置的多个GPS接收器，以及一个或多个计算机处理器，使计算机系统执行从每个GPS卫星接收原始GPS测量值的步骤。原始GPS测量值包括伪距和载波相位数据，通过载波相位与伪距组合测量方法确定每个GPS接收器与卫星之间的距离。基于相对距离测量确定无人机的姿态，基于无人机的姿态确定相机姿态旋转矩阵，根据相机的相机姿态旋转矩阵并结合上一时刻图像中的目标位置，采用计算机视觉算法预测下一时刻图像中的目标预测位置，并以该目标预测位置为起点，进行目标搜索，因此减小了搜索空间中数量级的，加快了搜索速度，通过减少计算机视觉搜索空间，计算复杂性大大降低。
本发明使用多个GPS接收器估计无人机姿态，并且应用于计算机视觉处理，在空间计算机视觉启发法的搜索空间中实现了数量级的减小。例如，系统找出了图像A中的几个特征点，这些特征点与图像B中的相同点相对应，如果已知图像A到B的旋转角度，系统就可以基于该角度重新投影A，确定图像B中特征的搜索起点，使得处理加快。
如图3所示，第一图像7中含有某一特征点4，如未经GPS姿态加速，第二图像8中对于特征的搜索的起点5一般取中心点，搜索速度较慢，经过GPS姿态加速后，第二图像9中对于特征的搜索的起点5取第一图像中特征点的位置经过旋转矩阵计算后所得的位置，可以大大减少搜索的时间。
相机的姿态旋转矩阵被用作基本计算机视觉算法的输入，通过减少计算机视觉搜索空间，计算复杂性大大降低。计算机视觉算法的应用包括但不限于：1、关键点检测；2、关键点匹配；3运动结构；4运动跟踪，如光流；5、斑点检测和跟踪。相机姿态用于视觉特征匹配，图像中的2D点与第二图像中的另一个2D点匹配，使得两个2D点表示3D空间中的相同真实点。可以通过常用的SIFT特征检测器输出的特征来跟踪这些点。
计算机视觉算法可以通过传感器测量值输入进行加速。因此，问题主要在于如何估计一系列图像中的相对相机姿态。当然，无人机可以配备多种空间和惯性传感器，如指南针，气压计，加速度计和陀螺仪等，虽然也可以进行应用，但精度达不到需求。
相机的姿态可以分为两个部分：位置和方向，来自同一相机的两个图像之间的相对姿态，包括旋转和平移。无人机通常在开放的室外环境飞行，为GPS提供了一个良好的工作条件。
对于平移的测量，目前已有使用差分GPS来估计厘米级的相对运动的应用(使用地面上的辅助GPS基站来补偿电离层中的传输延迟)，考虑到无人机的飞行范围很大，几厘米的误差将转化为所得图像中的非常小的误差，因此，可以使用差分GPS测量相机位置的平移量。
然而无人机精确的旋转测量却很困难，由于无人机一般采用小型高扭矩直流电动机驱动，可以快速改变方向。速度计和陀螺仪也受到这些惯性力的作用，并且可以跟踪相对旋转位置，但精度却不能满足要求。在计算机视觉的应用上，绝对测量比惯性推算更可靠。
目前在某些应用中，GPS已被用于估算绝对方位(姿态)，在飞行器轮船等设备上，GPS接收器可以以已知的远距离进行安装，每个接收器和卫星之间的相对距离就可以被用于推断角度位置，基于载波相位测量的复杂的GPS计算可以使这些相对测量非常精确。
本发明使用多个GPS接收器估计无人机姿态，并且应用于计算机视觉处理，在空间计算机视觉启发法的搜索空间中实现了数量级的减小。例如，系统找出了图像A中的几个特征点，这些特征点与图像B中的相同点相对应，如果已知图像A到B的旋转角度，系统就可以基于该角度重新投影A，确定图像B中特征的搜索起点，使得处理加快。
虽然本发明的内容主要描述了无人机的应用，但该方法同样适用于其他智能设备如自动驾驶汽车等。计算机系统仅是处理系统的一个示例，并不对本文描述的方法的使用范围或功能做出任何限制。除此之外，处理系统还可以与许多其他通用或专用计算系统协同工作，包括但不限于个人计算机系统，服务器计算机系统，手持设备，多处理器系统，可编程消费电子产品，网络PC，小型计算机系统，以及任何包括上述系统或设备等的分布式云计算环境。
计算机系统的组件可以包括一个或多个处理器或处理单元，系统存储器，各种系统组件耦合到处理器总线。处理器可以执行程序模块，实现本文描述的方法。计算机系统还包括各种可读存储介质，此介质可以是计算机系统可访问的任何可用媒体，包括可移动和不可移动媒体。
计算机系统还可以与一个或多个外部设备通信，例如键盘，指示设备，显示器等，并且允许一个或多个用户使用与计算机系统交互的设备；计算机系统还能够与一个或多个其他计算设备的通信设备(例如，网卡等)连接。连接的方式包括通过局域网、广域网或公共网络(例如，因特网)连接等方式。
用于执行本发明的方法的计算机可读程序指令可以是汇编指令，指令集架构指令，机器指令，机器相关指令，微代码，固件指令等。以一种或多种编程语言的任意组合编写代码或目标代码，包括诸如C++等的面向对象的编程语言，以及诸如“C”编程语言或类似的面向过程的编程语言。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。