具体实施方式

下面通过附图和实施例对本发明进一步详细说明。通过这 些说明，本发明的特点和优点将变得更为清楚明确。

在这里专用的词“示例性”意为“用作例子、实施例或说 明性”。这里作为“示例性”所说明的任何实施例不必解释为优 于或好于其它实施例。尽管在附图中示出了实施例的各种方面， 但是除非特别指出，不必按比例绘制附图。

根据本发明提供的应用于反低慢小目标的基于机器视觉的 云台控制方法，如图1中所示，该方法包括如下步骤：

步骤1，搭载有云台的无人机到达预定位置悬停，控制云台 及云台上的相机搜索目标，进入搜索模式；所述预定位置可以 是无人机起飞前灌装到无人机中的坐标点，也可以是地面控制 站实时传输给无人机的坐标点，通过设置该预定位置即可划定 无人机的巡视区域，确保巡视检测该区域中的低慢小目标。

步骤2，在搜索模式中，相机实时读取拍摄获得的图像，判 断图像中是否包含目标，当所述图像中包含目标时，判断是否 进入到跟踪模式；在搜索模式中，相机按照预设频率实时拍摄 照片，如25Hz，通过图像识别的方式在每帧图像中寻找目标， 所述目标可能的外形通过机器学习的方式灌装到图像识别系统 中。

步骤3，在进入到跟踪模式后，实时根据目标在图像中的像 素偏差生成控制指令来调整云台的旋转角速度，

在跟踪模式中，若短时间内丢失目标，则继续保持跟踪模 式，若长时间丢失目标，则终止跟踪模式，控制云台恢复到初 始角度状态，控制无人机回复到预定位置。刚刚丢失目标的时 候，认为目标在短时间内有一定可能被重新识别，因此对于云 台来说，此刻保持目标丢失前一刻的控制指令才能最大程度的 保证云台的运动方向与目标的运动方向保持一致，也为能够重 新识别到目标提供条件；当目标丢失时间较长还未能被重新识 别，那么以防无人机发生未知的危险，以及为重新进行任务做 好准备，就将目标当作完全丢失处理。

在一个优选的实施方式中，在步骤2中，当图像中的目标深 度小于设定值，且连续多帧图像中都包含目标时进入到跟踪模 式。

优选地，所述设定值为30米，所述多帧图像为5帧或5帧以 上图像。设置上述进入跟踪模式的条件，能够确保进入到跟踪 模式后目标不会因为距离过远而导致图像模糊，也不会因为目 标偏离视场中心而频繁丢失。

在一个优选的实施方式中，在步骤3中，在进入到跟踪模 式后，首先以较小的速度调整云台的旋转角速度，一定时间后 再以较大的速度调整云台的旋转角速度。在云台刚开始运动时， 由于目标很有可能会处在视场中的边缘位置，此时会给云台一 个较大的控制指令，会导致云台运动过快，使得图像产生运动 模糊，造成目标虽然处于视场中，但是仍无法被识别的情况， 因此在这第一阶段所给控制指令不宜过大；当云台跟踪超过一 定时间后，若仍是保持较小的控制指令，目标在云台前大机动 运动时，会造成云台因机动能力不足而导致目标丢失，因此这 一阶段需增大云台的机动能力，增大控制指令。

优选地，在进入到跟踪模式后通过下式(一)解算期望的 云台旋转角速度，并据此控制云台转动；

其中，表示期望的云台旋转角速度，k_pmax表示像素偏差 项权重最大值，k_pmin表示像素偏差项权重最小值，t表示时间， 具体来说是进入到跟踪模式后的时间，即在进入到跟踪模式后 开始计时，err表示像素偏差，k_dmax表示像素偏差变化率权重 最大值，k_dmin表示像素偏差变化率权重最小值，表示素偏 差变化率，即err的导数。

在一个优选的实施方式中，在步骤3中，在跟踪模式中，丢 失目标后，继续通过目标丢失前一帧图像对应的控制指令控制 云台，即在目标丢失的200ms内认为目标仍然可以找回；

在丢失目标200ms后未能捕捉到目标，则终止跟踪模式， 控制云台恢复到初始角度状态，即认为此时目标已经不可找回。

通过设置该时间条件，能够最大程度上地提高无人机及其 上摄像机的巡查效率，降低巡视区域有低慢小目标渗透的可能 性。

优选地，在丢失目标1s后，控制无人机回复到预定位置， 待无人机回复到预定位置后即可开始下一次的巡航作业。

优选地，在进入到跟踪模式时，实时解算获得目标的状态 估计，并据此控制无人机跟踪或者追逐目标。无人机上可以携 带攻击或者捕捉目标的设备，所以目标在被击落或者捕捉后也 会从视场域中消失。

在一个优选的实施方式中，在进入到跟踪模式时，无人机 携带云台及摄像机跟踪或者追逐发现的低慢小目标，可以预先 根据设置指令来选择追踪、击落或者捕捉等具体操作。所述无 人机的图像识别系统从每帧图像中的目标上提取出至少4个特 征点，并据此解算出目标的状态估计，所述状态估计包括目标 的位置、姿态和速度。所述特征点是目标上的特异点，便于识 别，可以根据目标的种类及外形选择设定，如四旋翼无人机的 四个电机位置。具体来说包括如下步骤：

步骤A，通过目标特征点的像素坐标获得旋转矩阵，

步骤B，通过旋转矩阵获得目标的姿态，

步骤C，通过目标的姿态获得目标的加速度，

步骤D，通过目标的加速度获得目标的实际位置和速度。

优选地，在所述步骤A中，通过下式(二)获得目标的旋 转参数：

其中，R表示旋转矩阵，即用于从正交坐标系O_aX_aY_aZ_a到 相机坐标系O_cX_cY_cZ_c做转换的3×3旋转矩阵，旋转矩阵中的9个 参数也称之为旋转参数；

R′表示任意旋转矩阵，其第三列[r₇ r₈ r₉]^T等于旋转轴Za， 且R′满足旋转矩阵的正交约束；

旋转轴 表示点P_i0指向点P_j0的向量， ||P_i0P_j0||表示点P_i0指向点P_j0的向量的模；

通过从每帧图像中的目标上提取出4个特征点的像素坐标 后可以求解出其中两个点P_i0和点P_j0的深度，从而确定式(二) 中的旋转轴Za，即[r₇ r₈ r₉]^T；

rot(Z,α)表示目标绕Z轴的旋转角度为α；

c＝cosα，s＝sinα；

r₁到r₉分别表示任意3×3旋转矩阵R′中的每个元素，第三 列[r₇ r₈ r₉]^T等于旋转轴Za。

在所述步骤B中，通过下式(三)获得目标的姿态：

其中，θ₁表示目标的俯仰角，其取值范围为

θ₂表示目标的俯仰角，当θ₁大于90°或小于-90度时无人机 俯仰角通过θ₂表示，

ψ₁表示俯仰角为θ₁时对应求解得到的目标的偏航角，

ψ₂表示俯仰角为θ₂时对应求解得到的目标的偏航角，

φ₁表示俯仰角为θ₁时对应求解得到的目标的滚转角，

φ₂表示俯仰角为θ₂时对应求解得到的目标的滚转角， R₃₁、R₃₂、R₃₃表示式(二)中求解得到的旋转矩阵R中第 三行的三个元素，

R₂₁表示式(二)中求解得到的旋转矩阵R中第二行的第一 个元素，

R₁₁表示式(二)中求解得到的旋转矩阵R中第一行的第一 个元素；

a sin表示反正弦函数，a tan2表示反正切函数。

目标姿态包括目标机体坐标系与惯性坐标的三个夹角，即 滚转角、俯仰角和偏航角，通过上述式(三)即可以获得。

在所述步骤C中，通过下式(四)获得目标无人机的加速 度：

a＝[a_x,a_y,a_z]^T (四)

其中，a表示目标的加速度，

a_x表示惯性坐标系中X轴方向的加速度分量，

a_y表示惯性坐标系中Y轴方向的加速度分量，

a_z表示竖直方向的加速度分量，a_z＝0

其中，g表示重力加速度；

θ表示式(三)中求解所得目标无人机的俯仰角，

表示式(三)中求解所得目标无人机的滚转角，

ψ表示式(三)中求解所得目标无人机的偏航角。

本申请中优选地，无人机在追踪目标时，控制其自身处于 与目标平行的水平面内，并设定目标在水平平面内保持稳定飞 行。

在所述步骤D中，通过下式(五)获得目标的实际位置和 速度，

其中，K_k代表卡尔曼增益，γ_k表示用于模拟间歇测量的二 进制随机变量，如果目标在第k帧图像中被检测出，则γ_k＝1， 如果目标无人机在第k帧图像中未被检测出，则γ_k＝0；

w_k表示第k帧图像对应的过程噪声，w_k-1表示第k-1帧图像 对应的过程噪声，

表示基于k-1帧图像估计出的第k帧图像对应的状态 量，

表示估计得到的最优的第k-1帧图像对应的状态量， 即X，

表示估计得到的最优的第k帧图像对应的状态量，即X；

Z_k表示第k帧图像对应的量测量，即Z；

A表示过程矩阵，H表示观测矩阵；

P表示目标的位置，v表示目标的速度，a表示目标的加 速度，h表示图像的采样周期，优选为25Hz，I₃表示三维单位 矩阵。

通过上述方法，在获得每一帧图像时都能够获得该图像对 应的目标状态估计，就可以据此控制无人机自身的速度，在确 保目标和无人机之间的距离保持在一定范围内，如30米以内， 逐渐接近目标或者保持与目标之间的距离恒定，都有助于云台 及摄像机更为清晰地捕捉目标。

实施例

选取低慢小目标以12米/秒的速度做在平面上移动，其运动 轨迹如图4中实线所示，通过无人机搭载云台及摄像机对该低 慢小目标进行追踪，无人机进入搜索模式后发现目标，通过连 续5帧带有目标的图像判断得知目标深度为23米，从而进入到 跟踪模式，即为无人机在0时刻进入到跟踪模式，跟踪模式持 续6秒以上，跟踪模式下通过下式(一)控制云台转动，期间目 标丢失200ms以内，则在丢失期间继续通过目标丢失前一帧图 像对应的控制指令控制云台；

其中，表示期望的云台旋转角速度，k_pmax表示像素偏差 项权重最大值，k_pmin表示像素偏差项权重最小值，t表示进入 跟踪模式后的时间，err表示像素偏差，k_dmax表示像素偏差变 化率权重最大值，k_dmin表示像素偏差变化率权重最小值，表 示素偏差变化率。

在跟踪模式下，无人机控制其自身跟随目标，且保持固定 距离，该距离为进入跟踪模式时无人机与目标之间的距离，即 23米。具体来说，无人机通过下述步骤实时获得目标的位置和 速度信息：

步骤A，从每帧图像中的目标上提取4个特征点，并根据其 像素坐标获得旋转矩阵，

步骤B，通过旋转矩阵获得目标的姿态，

步骤C，通过目标的姿态获得目标的加速度，

步骤D，通过目标的加速度获得目标的实际位置和速度。

其中，通过下式(二)获得目标的旋转参数：

其中，R表示旋转矩阵，即用于从正交坐标系O_aX_aY_aZ_a到 相机坐标系O_cX_cY_cZ_c做转换的3×3旋转矩阵，旋转矩阵中的9个 参数也称之为旋转参数；

R′表示任意旋转矩阵，其第三列[r₇ r₈ r₉]^T等于旋转轴Za， 且R′满足旋转矩阵的正交约束；

旋转轴 表示点P_i0指向点P_j0的向量， ||P_i0P_j0||表示点P_i0指向点P_j0的向量的模；

通过从每帧图像中的目标上提取出4个特征点的像素坐标 后可以求解出其中两个点P_i0和点P_j0的深度，从而确定式(二) 中的旋转轴Za，即[r₇ r₈ r₉]^T；

rot(Z,α)表示目标绕Z轴的旋转角度为α；

c＝cosα，s＝sinα；

r₁到r₉分别表示任意3×3旋转矩阵R′中的每个元素，第三 列[r₇ r₈ r₉]^T等于旋转轴Za。

在所述步骤B中，通过下式(三)获得目标的姿态：

其中，θ₁表示目标的俯仰角，其取值范围为

θ₂表示目标的俯仰角，当θ₁大于90°或小于-90度时无人机 俯仰角通过θ₂表示，

ψ₁表示俯仰角为θ₁时对应求解得到的目标的偏航角，

ψ₂表示俯仰角为θ₂时对应求解得到的目标的偏航角，

φ₁表示俯仰角为θ₁时对应求解得到的目标的滚转角，

φ₂表示俯仰角为θ₂时对应求解得到的目标的滚转角，

R₃₁、R₃₂、R₃₃表示式(二)中求解得到的旋转矩阵R中第 三行的三个元素，

R₂₁表示式(二)中求解得到的旋转矩阵R中第二行的第一 个元素，

R₁₁表示式(二)中求解得到的旋转矩阵R中第一行的第一 个元素；

asin表示反正弦函数，atan2表示反正切函数。

目标姿态包括目标机体坐标系与惯性坐标的三个夹角，即 滚转角、俯仰角和偏航角，通过上述式(三)即可以获得。

在所述步骤C中，通过下式(四)获得目标无人机的加速 度：

a＝[a_x,a_y,a_z]^T (四)

其中，a表示目标的加速度，

a_x表示惯性坐标系中X轴方向的加速度分量，

a_y表示惯性坐标系中Y轴方向的加速度分量，

a_z表示竖直方向的加速度分量，a_z＝0

其中，g表示重力加速度；

θ表示式(三)中求解所得目标无人机的俯仰角，

表示式(三)中求解所得目标无人机的滚转角，

ψ表示式(三)中求解所得目标无人机的偏航角。

本申请中优选地，无人机在追踪目标时，控制其自身处于 与目标平行的水平面内，并设定目标在水平平面内保持稳定飞 行。

在所述步骤D中，通过下式(五)获得目标的实际位置和 速度，

其中，K_k代表卡尔曼增益，γ_k表示用于模拟间歇测量的二 进制随机变量，如果目标在第k帧图像中被检测出，则γ_k＝1， 如果目标无人机在第k帧图像中未被检测出，则γ_k＝0；

w_k表示第k帧图像对应的过程噪声，w_k-1表示第k-1帧图像 对应的过程噪声，

表示基于k-1帧图像估计出的第k帧图像对应的状态 量，

表示估计得到的最优的第k-1帧图像对应的状态量， 即X，

表示估计得到的最优的第k帧图像对应的状态量，即X；

Z_k表示第k帧图像对应的量测量，即Z；

A表示过程矩阵，H表示观测矩阵；

P表示目标的位置，v表示目标的速度，a表示目标的加 速度，h表示图像的采样周期，优选为25Hz，I₃表示三维单位 矩阵。

选取跟踪模式下前5秒内通过上述方法获得的目标轨迹，将 该轨迹与目标真实轨迹对比，得到的轨迹偏移情况如图2和图3 中所示，得到的观测目标位置轨迹如图4中虚线所示。

从图2和图3中可知，云台和相机在进入到跟踪模式后大约 1s左右时就能基本使得目标在0.1误差范围以内(上下误差总的 为-1～1)，且没有出现过运动模糊使得目标无法识别的情况(即 像素偏差为0)；另外，在跟踪模式下，中途有丢失目标的情况， 由于继续通过目标丢失前一帧图像对应的控制指令控制云台， 200ms内再次捕获到目标，还能继续跟踪。

从图4可知，观测到的目标轨迹基本与真实的目标轨迹基 本重合，两条轨迹偏差较小，观测到的轨迹能够用以表征真实 轨迹。

以上结合了优选的实施方式对本发明进行了说明，不过这 些实施方式仅是范例性的，仅起到说明性的作用。在此基础上， 可以对本发明进行多种替换和改进，这些均落入本发明的保护 范围内。