基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
阅读说明：本技术 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法 (Control method for vehicle-mounted tethered unmanned aerial vehicle to track moving vehicle in real time based on visual navigation positioning ) 是由 严晓明 岳野 陈明 马倩如 于 2021-11-09 设计创作，主要内容包括：本发明提供一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法,包括：根据测距传感器对被追踪车辆进行视觉测距,并将视觉测距信息反馈至云端；根据云端存储的视觉测距信息,对被追踪车辆的位姿进行估计,并确定被追踪车辆的位姿；根据被追踪车辆的位姿,进行障碍物检测,根据障碍物检测结果,规划局部路径；在局部路径中确定追踪航点,利用航点进行引导无人机的飞行状态。本发明用以实现能够自动定位被追踪物体,进一步在定位后能够实现随着被追踪物体的移动进行位移。(The invention provides a control method for tracking a mobile vehicle in real time by a vehicle-mounted tethered unmanned aerial vehicle based on visual navigation positioning, which comprises the following steps: performing visual ranging on the tracked vehicle according to the ranging sensor, and feeding back visual ranging information to the cloud; estimating the pose of the tracked vehicle according to the visual ranging information stored in the cloud, and determining the pose of the tracked vehicle; detecting an obstacle according to the pose of the tracked vehicle, and planning a local path according to the obstacle detection result; and determining a tracking waypoint in the local path, and guiding the flight state of the unmanned aerial vehicle by using the waypoint. The invention is used for automatically positioning the tracked object and further realizing displacement along with the movement of the tracked object after positioning.)
技术领域
本发明涉及无人机实时跟踪技术领域，特别涉及一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法。
背景技术
目前，无人机的应用越来越广泛，现有的无人机为人工远程操作，使其进行飞行，并进一步在飞行过程中进行信息采集，最终将采集到的信息回传至终端；
但是当多个无人机同时工作时，一个终端难以顾及多个无人机的同时操控，因此缺少一种能够自动定位被追踪物体，进一步在定位后能够实现随着被追踪物体的移动进行位移的无人机控制方法。
发明内容
本发明提供一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法，用以实现能够自动定位被追踪物体，进一步在定位后能够实现随着被追踪物体的移动进行位移。
本发明提供一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法，包括：
根据测距传感器对被追踪车辆进行视觉测距，并将视觉测距信息反馈至云端；
根据云端存储的视觉测距信息，对被追踪车辆的位姿进行估计，并确定被追踪车辆的位姿；
根据被追踪车辆的位姿，进行障碍物检测，根据障碍物检测结果，规划局部路径；
在局部路径中确定追踪航点，利用所述追踪对无人机的飞行进行引导。
优选地，所述根据测距传感器对被追踪车辆进行视觉测距，并将视觉测距信息反馈至云端包括：
获取无人机多个相机的图像信息，将图像信息的内部参数和相机的外部参数进行提取，
对多个相机的图像信息进行反转失真，获得初校准图像信息；
对多个初校准图像信息进行特征提取，并对提取的相同特征进行匹配，获得二次矫正图像信息；
将多个二次矫正图像信息投影到位于进行矫正的多个矫正图像的同一水平面，并通过单应矩阵变形对多个二次矫正图像信息进行三次矫正；
利用三次矫正图像信息进行距离测算，获得视觉测距信息。
优选地，所述无人机相机的内部参数包括：焦距和像素信息；
所述无人机相机的外部参数为世界坐标系中的相机位置和相机旋转方向。
优选地，所述三次矫正图像信息中包含第一图像组和第二图像组；
所述利用三次矫正图像信息进行距离测算，获得视觉测距信息包括：
将第一图像组和第二图像组中的当前时刻t和上一时刻t-1中对应的图像分别进行提取，获得四组图像组；
获取四组图像组的特征对应关系中的特征匹配信息；
根据特征匹配信息，构建第一图像组和第二图像组的重建场景特征中的重建位置；
根据重建位置利用公式（1）进行坐标变换：
；
其中，n为重建位置中存在的点的总和；为上一时刻t-1时点q位于重建位置中的位置；为当前时刻t时点q位于重建位置中的位置；X为重建位置的坐标变换中的旋转动作后的坐标，s为重建位置的坐标变换中的平移动作后的坐标；
若在其中任意一组图像组的中心定义坐标系，且各组图像组被矫正，则获得特征匹配信息的重建位置坐标，如公式（2）所示
；
其中，（d 1 ，d 2 ）分别为其中一个图像组的特征平面坐标，f为相机焦距，J为多个相机的基线，c为各图像组上的特征视差，Z为重建位置坐标。
优选地，根据云端存储的视觉测距信息，对被追踪车辆的位姿进行估计，并确定被追踪车辆的位姿还包括：
对重建坐标设定已知的起点，并根据该起点累积帧的变换；若第一帧的位姿为世界坐标系的（0，0，0），则被追踪车辆在当前时刻t的位姿为公式（3）：
；
其中，O t-1 为3*3矩阵记录在上一时刻t-1的被追踪车辆方向；q t-1 为3*1矢量记录在上一时刻t-1的被追踪车辆位姿坐标；O t 为3*3矩阵记录在t时刻的被追踪车辆方向；q t 为3*1矢量记录在t时刻的被追踪车辆位姿坐标；X t为t时刻中重建位置的坐标变换中的旋转参数；S t 为t时刻中重建位置的坐标变换中的平移参数。
优选地，所述根据被追踪车辆的位姿，进行障碍物检测，根据障碍物检测结果，规划局部路径；还包括：
对所述被追踪车辆的位姿和无人机的位姿进行立体匹配，获得实时运行路径；
根据被追踪车辆的实时运行路径进行障碍物检测；
若无障碍物，则规划无人机飞行路径中存在的多个局部路径。
优选地，若存在障碍物，则匹配临时路径点m，并计算临时路径点m与当前时刻t的无人机位置的距离；
对该距离进行网格化，获得多个子网格单元；
将多个子网格单元以外的区域定义为无障碍；
获取无障碍边界，并将无人机移至无障碍区域。
优选地，所述在局部路径中确定追踪航点，利用所述追踪航点对无人机的飞行进行引导，包括：
将局部路径进行分段，并将每个段中的子局部路径进行提取特征，将多个特征信息定义为航点；
将多个航点以时间顺序进行连线，获得航点线路；
将航点线路作为无人机飞行状态的引导线路。
本发明中，通过利用视觉测距，实现无人机对被追踪车辆的距离进行监测，进一步利用视觉测距信息对被追踪车辆的位姿进行估计，接着再对无人机位姿进行确定和预估，使得无人机能够随着被追踪车辆的移动进行适应性的移动；同时，在对被追踪车辆的追踪过程中，还能实现对障碍物的检测，使得无人机在追踪目标的过程中能够避开障碍物，提高了无人机在执行飞行任务过程中的安全性和稳定性。实现了多个无人机能同时分别进行工作的目的，实现能够自动定位被追踪物体，进一步在定位后能够实现随着被追踪物体的移动进行位移。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书中所特别指出的结构来实现和获得。
下面通过实施例，对本发明的技术方案做进一步的详细描述。
具体实施方式
以下结合本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法，包括：
根据测距传感器对被追踪车辆进行视觉测距，并将视觉测距信息反馈至云端；
根据云端存储的视觉测距信息，对被追踪车辆的位姿进行估计，并确定被追踪车辆的位姿；
根据被追踪车辆的位姿，进行障碍物检测，根据障碍物检测结果，规划局部路径；
在局部路径中确定追踪航点，利用所述追踪航点对无人机的飞行进行引导。
本发明中，通过利用视觉测距，实现无人机对被追踪车辆的距离进行监测，进一步利用视觉测距信息对被追踪车辆的位姿进行估计，接着再对无人机位姿进行确定和预估，使得无人机能够随着被追踪车辆的移动进行适应性的移动；同时，在对被追踪车辆的追踪过程中，还能实现对障碍物的检测，使得无人机在追踪目标的过程中能够避开障碍物，提高了无人机在执行飞行任务过程中的安全性和稳定性。实现了多个无人机能同时分别进行工作的目的，实现能够自动定位被追踪物体，进一步在定位后能够实现随着被追踪物体的移动进行位移。
在一个实施例中，所述根据测距传感器对被追踪车辆进行视觉测距，并将视觉测距信息反馈至云端包括：
获取无人机多个相机的图像信息，将图像信息的内部参数和相机的外部参数进行提取，
对多个相机的图像信息进行反转失真，获得初校准图像信息；
对多个初校准图像信息进行特征提取，并对提取的相同特征进行匹配，获得二次矫正图像信息；
将多个二次矫正图像信息投影到位于进行矫正的多个矫正图像的同一水平面，并通过单应矩阵变形对多个二次矫正图像信息进行三次矫正；
利用三次矫正图像信息进行距离测算，获得视觉测距信息。
所述无人机相机的内部参数包括：焦距和像素信息；
所述无人机相机的外部参数为世界坐标系中的相机位置和相机旋转方向。
所述三次矫正图像信息中包含第一图像组和第二图像组；
所述利用三次矫正图像信息进行距离测算，获得视觉测距信息包括：
将第一图像组和第二图像组中的当前时刻t和上一时刻t-1中对应的图像分别进行提取，获得四组图像组；
获取四组图像组的特征对应关系中的特征匹配信息；
根据特征匹配信息，构建第一图像组和第二图像组的重建场景特征中的重建位置；
根据重建位置利用公式（1）进行坐标变换：
；
其中，n为重建位置中存在的点的总和；为上一时刻t-1时点q位于重建位置中的位置；为当前时刻t时点q位于重建位置中的位置；X为重建位置的坐标变换中的旋转动作后的坐标，s为重建位置的坐标变换中的平移动作后的坐标；
若在其中任意一组图像组的中心定义坐标系，且各组图像组被矫正，则获得特征匹配信息的重建位置坐标，如公式（2）所示
其中，（d 1 ，d 2 ）分别为其中一个图像组的特征平面坐标，f为相机焦距，J为多个相机的基线，c为各图像组上的特征视差，Z为重建位置坐标。
根据云端存储的视觉测距信息，对被追踪车辆的位姿进行估计，并确定被追踪车辆的位姿还包括：
对重建坐标设定已知的起点，并根据该起点累积帧的变换；若第一帧的位姿为世界坐标系的（0，0，0），则被追踪车辆在当前时刻的位姿为公式（3）：
；
其中，O t-1 为3*3矩阵记录在上一时刻t-1的被追踪车辆方向；q t-1 为3*1矢量记录在上一时刻t-1的被追踪车辆位姿坐标；O t 为3*3矩阵记录在t时刻的被追踪车辆方向；q t 为3*1矢量记录在t时刻的被追踪车辆位姿坐标；X t为t时刻中重建位置的坐标变换中的旋转参数；S t 为t时刻中重建位置的坐标变换中的平移参数。
该实施例中，在广角图像信息中，广角图像四周的图像信息存在失真，而失真的图像信息则会导致数据的不准确性，通过对失真进行矫正，使得广角图像信息能够更加符合真实的图像信息，减少因图像失真导致无人机定位出现较大偏差的情况；进一步的，对矫正后的图像信息进行特征提取以及坐标变换，使得提取的特征信息能够生成被追踪车辆的位姿坐标；利用被追踪车辆的位姿坐标和无人机的位姿坐标进行相匹配，获得无人机的追踪路径。由此实现无人机自动追踪的目的。
在一个实施例中，所述根据被追踪车辆的位姿，进行障碍物检测，根据障碍物检测结果，规划局部路径；还包括：
对所述被追踪车辆的位姿和无人机的位姿进行立体匹配，获得实时运行路径；
根据被追踪车辆的实时运行路径进行障碍物检测；
若无障碍物，则规划无人机飞行路径中存在的多个局部路径。
若存在障碍物，则匹配临时路径点m，并计算临时路径点m与当前时刻t的无人机位置的距离；
对该距离进行网格化，获得多个子网格单元；
将多个子网格单元以外的区域定义为无障碍；
获取无障碍边界，并将无人机移至无障碍区域。
所述在局部路径中确定追踪航点，利用所述追踪航点对无人机的飞行进行引导，包括：，还包括：
将局部路径进行分段，并将每个段中的子局部路径进行提取特征，将多个特征信息定义为航点；
将多个航点以时间顺序进行连线，获得航点线路；
将航点线路作为无人机飞行状态的引导线路。
该实施例中，通过对图像信息中进行障碍物的检测，使得无人机在执行飞行任务过程中能有效的避开障碍物，减少无人机因触碰到障碍物导致毁机的情况；进一步利用避开障碍物的路径重新规划无人机飞行状态的引导路线，即使得该方法在预判到存在障碍物时，即对无人机的下一时刻飞行状态或飞行姿态进行调整，并引导无人机避开障碍物的目的。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种全局地图和局部地图结合的火星车视觉导航方法