具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种基于二维标签的目标追踪系统，用于对一运动目标物体1进行追踪，运动目标物体1上设有一二维标签；

如图1所示，目标追踪系统包括：

飞行器2，飞行器2上设有一摄像头21，用于在飞行器2的飞行过程中实时拍摄连续多帧运动目标物体1的目标图像并输出；

目标追踪模块3，分别连接摄像头21和飞行器2，目标追踪模块3包括：

图像处理子模块31，用于依次针对每帧目标图像进行识别，并根据包含有二维标签的目标图像处理得到飞行器与运动目标物体之间的相对位置信息；

追踪控制子模块32，连接图像处理子模块31，用于根据相对位置信息处理得到一追踪信号，以控制飞行器追踪运动目标物体飞行，使得拍摄得到的目标图像中，二维标签处于目标图像的中心位置。

具体地，本实施例中，二维标签为AprilTag标签，如图2所示，该AprilTag标签包括但不限于TAG36H11-0。在进行目标追踪之前，可以将生成的AprilTag标签打印后粘贴于运动目标物体1的表面，优选粘贴于运动目标物体1的上表面，以便在目标追踪过程中，飞行于运动目标物体1上方的飞行器2上的摄像头21能够准确拍摄得到包含该二维标签的目标图像。

在实际跟踪过程中，在进行目标追踪时，由于运动目标物体1和飞行器2都是快速运动的，为保持追踪初始状态的稳定性和追踪的成功率，系统启动追踪模式时尽量让运动目标物体1在飞行器2视野的中心位置。在系统运行过程中，通过调整飞行器的姿态使运动目标物体1一直保持在摄像头视野的中心位置，这也是追踪的实现方案。更为优选的，可以将摄像头设置为竖直向下使得摄像头坐标系的Z轴正方向和机体坐标系的Z轴正方向相反。

目标追踪过程中，飞行器2飞行于运动目标物体1的上方，并控制摄像头21实时拍摄目标图像，随后将目标图像发送至目标追踪模块3进行处理，优选的，目标追踪模块3可以是设置于本地的上位机，也可以是设置在远端的服务器，也可以集成于飞行器2的控制芯片中。其中，目标追踪模块3集成于飞行器2的控制芯片中时，优选将处理得到的位置信息通过串口发送至飞行器2的控制器中，该控制器中优选预先配置有64字节大小的环形队列空间，在串口接收到位置信息后将该位置信息搬移至环形队列空间。同时为保证位置信息的正确性，为每一帧位置信息数据设置了检验位，校验位位于每帧位置信息数据的最后，为各数据位的和。在接收到位置信息数据后也会对每一位位置信息数据再次求和，只有当校验位验证完毕后才会将获取的位置信息数据作为正确数据使用，保证了安全性。

在接收到目标图像后，首先需要对目标图像进行图像识别，在识别到二维标签时，表示对应的运动目标物体为跟踪目标，随后可以对目标图像进行图像处理以获取飞行器与运动目标物体之间的相对位置信息，进而根据相对位置信息控制飞行器追踪运动目标物体飞行，使得拍摄得到的目标图像中，二维标签处于目标图像的中心位置，换言之，使得飞行器2飞行于运动目标物体的正上方，实现对运动目标物体的自主跟踪。

本发明的较佳的实施例中，图像处理子模块31包括：

第一处理单元311，用于依次针对每帧目标图像，处理得到目标图像中每个像素的梯度方向和幅度，并对各梯度方向和幅度进行聚类分析得到目标图像中包含的多个线段；

第二处理单元312，连接第一处理单元311，用于遍历各线段进行四边形识别，并在首次识别到四边形时输出表示当前帧目标图像中包含二维标签的识别结果；

第三处理单元313，连接第二处理单元312，用于根据识别结果开启追踪模式，随后依次对当前帧目标图像及其之后的各帧目标图像分别进行处理并持续输出处理得到的飞行器与运动目标物体之间的相对位置信息。

具体地，本实施例中，在开启追踪模式之前，运动目标物体的二维标签可能不在摄像头的视野范围内，需要进行搜寻过程，即在飞行过程中连续拍摄多帧目标图像进行识别，开始拍摄的一张或多张目标图像中可能不存在包含二维标签，此时，需要对飞行器的位置进行调整，直至首次识别到目标图像中的二维标签，即可开启追踪模式。

在对目标图像进行图像识别时，首先对目标图像中的线段进行识别，包括：获取目标图像中每个像素的梯度方向和幅度，将具有相似梯度方向和幅度分量的像素聚集成线段。第一处理单元311使用的聚类分析的算法类似于Felzenszwalb的基于图的方法，具体为：摄像头21捕获的目标图像中的每个点代表一个像素，在相邻像素之间添加边缘，边缘的权重等于相邻像素在梯度方向上的差异。然后根据这些边缘权重对像素进行排序处理，判断是否要将这些像素分为一类(线段)。进一步具体地，将像素分量用n表示，这是一个矢量值；像素的梯度方向用函数D(n)表示，梯度方向是一个标量值，代表像素变化最快的方向；像素的幅度用函数M(m)表示，代表某个像素点变化的最大值和最小值之间的差值。基于此，当存在两个像素点他们满足以下两个条件，就将它们连接在一起形成线段：

在上述公式中：min(D(n),D(m))和min(M(n),M(m))分别用于表示梯度方向和像素幅度较小的值，K_D和K_M用于表示调节参数，优选选择K_D＝100、K_M＝1200。

实际对像素进行排序的过程中优选使用线性时间计数排序的方法，排序的同时会保存梯度方向和幅度的上下限信息。这种基于梯度的聚类方法对图像中的噪声是比较敏感的，即使在存在较少噪声的情况下也会导致局部梯度方向变化，我们通过对图像进行低通滤波来解决这个问题。同时使用的AprilTag标签具有边缘本质的大规模特征，所以在使用低通滤波时不会使有效信息模糊，这是和其他问题域不同的地方，在具体设计中我们选取σ＝0.8的滤波器。聚类操作完成后，可以使用传统的最小二乘法将线段拟合连接，同时根据线段两侧图像的明暗对线段分类，这也方便了下一个处理阶段四边形的提取工作。这部分工作也是检测方案中最慢的阶段，实际开发中优选将目标图像的分辨率降低到原来的一半后进行这部分的工作，实验表明识别速度提高了4倍。

对目标图像中的线段进行识别完成后，随后识别目标图像中的四边形，在这之前的工作中已经获得了一些有向线段，这为寻找具有四边形状的线段序列即矩形的任务提供了便利。本系统使用了一个深度为4的递归深度优先搜索算法作为矩形识别方案，递归深度优先搜索算法的每一个深度层将为四边形获取一个边。在第一个深度层将检索所有选段，并将每条线段作为矩形的起始线段。第二深度层至第四深度层，以第一层的线段作为起始点去检索与该线段相邻的线段，直至获得一个封闭的四边形，整个搜获过程服从逆时针缠绕顺序。同时可以通过选取合适的阈值用于判断线段是否属于同一个四边形，来增加识别的准确度和在遮挡情况下的成功率。检测过程中对所有线段的搜索是一个庞大的工作量，对MCU的资源消耗较大，设计中优选采用二维查找表来加速查询。通过这种优化方式以及逆时针搜索方式，同时限制了每条直线的检测次数，将四边形检测占用的运行时间大大减少。

本发明的较佳的实施例中，第三处理单元313包括：

第一处理子单元3131，用于根据预先获取的摄像头的焦距、二维标签的尺寸和目标图像处理得到表征二维标签在标签坐标系与图像坐标系之间的位置映射关系的一单应性矩阵，标签坐标系以二维标签的中心为原点，以二维标签所在平面为XOY平面；

第二处理子单元3132，连接第一处理子单元3131，用于根据预先标定得到的摄像头的内参矩阵和单应性矩阵处理得到二维标签在图像坐标系中的位置信息作为飞行器与运动目标物体之间的相对位置信息。

具体地，本实施例中，标签坐标系根据摄像头的成像原理，在获取摄像头的焦距以及二维标签的尺寸后，可以处理得到二维标签在相机坐标系下的三维坐标，进而结合目标图像采用直接线性变换算法处理得到单应性矩阵。

本发明的较佳的实施例中，第二处理子单元3132采用如下公式处理得到位置信息：

其中，H用于表示单应性矩阵；s用于表示比例因子；P用于表示内参矩阵；R_ij(i＝0,1,2；j＝0,1)用于表示二维标签在图像坐标系中的旋转分量；T_x,T_y,T_z用于表示二维标签在图像坐标系中的距离分量；

位置信息包括距离分量中的T_x和T_y，T_x表示飞行器与运动目标物体之间的在标签坐标系中x轴方向的一第一相对距离，T_y表示飞行器与运动目标物体之间的在标签坐标系中y轴方向的一第二相对距离，相对位置信息包括第一相对距离和第二相对距离。

具体地，本实施例中，上述H为3*3的矩阵，P为3*4的矩阵，具体表示为：其中，f_x和f_y为摄像头的焦距。代入上述公式后，将上述公式转化为一组同等方程，如下：

求解该方程组即可得到位置信息包括距离分量中的T_x和T_y，即二维标签在图像坐标系中的位置信息。

由于上述位置信息是以图像坐标系为参考的，选择目标图像的中心位置为图像坐标系的原点，在图像平面中选定从原点往右为X轴的正方向、从原点往上为Y轴的正方向，输出的位置信息即为与图像中心点的偏差。这样设计之后则位置信息可以直接作为飞行器和运动目标物体之间的相对位置信息，进而可以根据该相对位置信息通过调整飞行器姿态实现飞行器跟着运动目标物体飞行从而达到运动目标物体一直处在目标图像的中心位置来实现追踪效果。

进一步地，由于飞行器的飞行过程是动态的且摄像头和飞行器是相对静止的，导致摄像头的视角会随着机体姿态改变。在变化过程中摄像头的视角无法保持时刻与地面保持垂直，另外飞行过程中摄像头捕获的图像会存在畸变。所以需要对位置信息进行矫正，而上述位置信息完全通过计算图像像素获得，因此剔除位置信息中的姿态干扰保证位置数据的正确性。基于此，图像处理子模块31还包括一位置矫正单元314，连接第三处理单元313，位置矫正单元314包括：

第一矫正子单元3141，用于实时获取飞行器的欧拉角和飞行高度，并根据欧拉角和飞行高度分别处理得到飞行器与运动目标物体之间的在标签坐标系中x轴方向的第一位置偏差，以及飞行器与运动目标物体之间的在标签坐标系中y轴方向的第二位置偏差；

第二矫正子单元3142，连接第一矫正子单元3141，用于根据第一位置偏差和第二位置偏差分别对第一相对距离和第二相对距离进行矫正得到矫正后的相对位置信息；

追踪控制子模块32根据矫正后的相对位置信息处理得到追踪信号，以控制飞行器追踪运动目标物体飞行。

具体地，本实施例中，以飞行器的横滚角Roll为例描述位置矫正的原理和方法，如图3所示，其中直线L1代表地平面，运动目标物体1在地平面上；O点为飞行器，直线L2为飞行器机体平面，直线L3为飞行器搭载的摄像头的视线，直线L4为经过O点和地平线平行的直线；虚线经过运动目标物体1与地平线垂直、经过点N与直线L4垂直；机体的横滚角度为θ。此时由于机体倾角的存在，飞行器不在运动目标物体1的正上方，但摄像头捕获的图像中运动目标物体1在中心即从目标位置数据看来飞行器的跟踪处于无偏差状态。这时候需要对位置数据进行矫正，在运动目标物体1、机体和点N组成的三角形中虚线为预先获取的飞行器的高度，根据勾股定理：

tan(π-θ)＝h/L

则实际偏差为L＝h*tanθ。

其中，h表示飞行高度；θ表示飞行器的横滚角时，L表示第一位置偏差；θ表示飞行器的偏航角时，L表示第二位置偏差。第二位置偏差的计算方式以此类推，此处不再赘述。

本发明还提供一种基于二维标签的目标追踪方法，应用于上述的目标追踪系统，如图4所示，目标追踪方法包括：

步骤S1，目标追踪系统在一飞行器的飞行过程中，控制飞行器上设置的一摄像头实时拍摄连续多帧设有一二维标签的一运动目标物体的目标图像；

步骤S2，目标追踪系统接收目标图像，依次针对每帧目标图像进行识别，并根据包含有二维标签的目标图像处理得到飞行器与运动目标物体之间的相对位置信息；

步骤S3，目标追踪系统根据相对位置信息处理得到一追踪信号，以控制飞行器追踪运动目标物体飞行，使得拍摄得到的目标图像中，二维标签处于目标图像的中心位置。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。