阅读说明：本技术 一种星载动目标检测及速度估计方法 (Satellite-borne moving target detection and speed estimation method ) 是由 刘宇宸 徐卿 赵春晖 刘鲁 朱琦 瞿涵 张聪 谢鸣宇 雷拥军 于 2019-07-26 设计创作，主要内容包括：一种星载动目标检测及速度估计方法,包括步骤：首先,对于连续拍摄的多帧图像的每一帧分别进行：(1)对原始星图处理,得到去背景图像；(2)利用自适应阈值法对去背景图像进行阈值分割,存储高于阈值的所有像元坐标和灰度；(3)对保存的像元进行四连通域目标提取潜在目标；(4)利用连通域面积和长宽比阈值剔除假目标并计算各剩余连通域质心；(5)利用星载计算机提供的坐标系转换阵,及相机姿态信息将各连通域质心投影到GPS坐标系中。对各帧提取出的连通域,剔除假目标,并计算真实动目标在GPS坐标系下的运动速度大小及运动方向。该方法能够有效的消除背景干扰,实现星载实时检测动目标并提供目标的地理坐标及运动速度。(A satellite-borne moving target detection and speed estimation method comprises the following steps: first, for each of a plurality of frame images continuously captured, respectively: (1) processing the original star map to obtain a background-removed image; (2) performing threshold segmentation on the background-removed image by using a self-adaptive threshold method, and storing all pixel coordinates and gray levels which are higher than the threshold; (3) carrying out four-connected domain target extraction on the stored pixels to extract potential targets; (4) removing false targets by using the area of the connected domain and the aspect ratio threshold value and calculating the mass center of each residual connected domain; (5) and projecting the centroid of each connected domain into a GPS coordinate system by using a coordinate system conversion array provided by the spaceborne computer and camera attitude information. And eliminating false targets from the connected domain extracted from each frame, and calculating the movement speed and the movement direction of the real moving target in the GPS coordinate system. The method can effectively eliminate background interference, realize satellite-borne real-time detection of the moving target and provide the geographic coordinate and the movement speed of the target.)

一种星载动目标检测及速度估计方法

技术领域

本发明涉及一种运动目标多帧检测的图像处理方法，特别是一种星载预警相机在轨实时动目标检测及速度估计方法,术语动目标图像处理技术领域。

背景技术

在轨实时对大气内感兴趣动目标进行检测跟踪是对地观测、遥感卫星的重要任务之一，流程是在星载相机对地连续拍摄的过程中，利用多帧连续图像完成对感兴趣动目标进行提取，计算该目标对应位置及相应的运动速度大小及方向，再利用计算结果对目标进行长时间跟踪拍摄，完成对目标的分析且及时向地面报告目标信息，达到快速检测跟踪的作用。

由于成像距离远，目标在图像上所占面积从几个到十几个像元，内部无纹理特征，外部形状信息较少，背景及噪声对于目标的影响较大，通常目标信噪比较低，算法虚警率普遍较高。算法通常先对单帧图像进行预处理，提高可疑目标的信噪比，再对图像进行阈值分割并提取连通域；再利用多帧图像的处理结果进行运动目标的检测。

传统的动目标处理算法的设计都是在理想条件下，忽略卫星的运动及相机姿态变化，对预处理后的图像直接进行相面坐标的多帧匹配，该种方法无法应用在真实星载环境下。同时，多数方法如双边滤波，小波变换等算法计算量大，无法在轨实时计算。

由于直接利用相面坐标进行多帧目标检测，传统方法对于速度大小及速度方向阈值的设置都不准确：大部分方法直接使用多帧之间相同连通域在相面上位移完成速度大小的估计，利用位移方向向量完成速度方向的估计，该方法单纯使用了相机理论上的像元分辨率，但忽视了相机的光轴方向、卫星的姿态对于相机对地拍摄角度的影响以及对像元分辨率的影响，因此传统方法的检测虚警率普遍较高。

发明内容

本发明解决的技术问题为：克服现有技术不足，提供一种星载动目标检测及速度估计方法，解决了星载相机无法实时检测地面运动目标及提供目标运动速度大小、速度的问题。

本发明解决的技术方案为：一种星载动目标检测及速度估计方法，步骤如下：

(1)对连续拍摄的多帧星载对地观测图像进行背景抑制处理，得到去背景图像；

(2)对步骤(1)的去背景图像，进行阈值分割，再进行连通域提取，剔除部分假目标连通域，得到有效连通域；

具体地，利用自适应阈值法对去背景图像进行阈值分割，保存高于阈值的所有像元的坐标及灰度值；对保存的像元基于四连通域法提取连通域，并根据提取的连通域的面积和长宽比阈值剔除部分假目标连通域，得到有效连通域。

(3)对步骤(2)的有效连通域进行质心提取，求取有效连通域的质心在拍摄相机的相面上的精确坐标。

(4)利用坐标转换矩阵以及相机光轴指向参数，完成质心在拍摄相机的相面上的精确坐标到GPS坐标系的坐标转换，得到GPS坐标系下的有效连通域质心坐标；

(5)根据GPS坐标系下的有效连通域质心坐标，得到对应有效连通域质心对应的地理位置，并计算其对应的运动速度大小和方向，使用多帧图像连通域比对提取真实目标方法，提取真实动目标对应的连通域，最终实现动目标检测，并实现其速度估计。

优选的，步骤(1)中连续拍摄的多帧星载对地观测图像，为：安装于轨道高度500km的在轨卫星上的预警相机，其视场角度为4°。

优选的，步骤(1)对连续拍摄的多帧星载对地观测图像进行背景抑制处理，得到去背景图像，具体为：对每一帧图像分别进行基于模板的形态学Top-Hat算法，得到去背景图像。

优选的，连通域提取，具体为：基于四连通域法粗提取全部潜在目标连通域，并计算各连通域面积及连通域最大长宽比与设定的固定阈值进行比较，剔除不符合要求的假目标连通域，得到剩余连通域为有效连通域。

优选的，联通域质心相面坐标转换GPS坐标系坐标，具体为：利用相机本体坐标系到GPS坐标系的转换矩阵C、卫星在该时刻与地心的位移在GPS坐标系下的表示，对应位置地球半径R；根据连通域在相面的精确坐标对应的光路方向在相机本体坐标系的方向向量通过如下公式计算：

式中为像元对应光路在GPS坐标系下的方向向量；通过如下公式计算：

式中为连通域所对应物体在GPS坐标系下相对地心的方向向量，h是目标所处高度，r是卫星到连通域对应物体的距离。根据上式可解出r及方向向量在GPS坐标系下的表示

优选的，多帧图像连通域比对提取真实目标方法，具体为：

(1)对每一帧图像提取出的联通域，按照联通域的面积及能量排序。具体地，先按照联通域的面积进行排序，面积最大的置于队列最前面，对于面积相同的连通域则比较其像元灰度值的和，按照大小排序；

(2)从第二帧开始，逐帧逐个连通域进行与之前所有帧中的连通域匹配，将匹配成功的连通域组合存放于当前帧对应联通域中；

优选的，连通域匹配，具体为：在当前帧中逐个提取连通域并逐个与被匹配连通域(即当前帧之前的全部结果连通域)进行联通性检测，具体地，包括：

(1)当被匹配连通域长度为1时，利用两者在GPS坐标系下的位移及当前连通域所在帧与被匹配连通域所在帧的差值共同计算对应目标的运动速度大小，并与速度阈值进行对比，若不在阈值范围内则匹配失败，则进行下一次连通域检测；若速度在阈值范围中，则将两个连通域合并，存储在当前连通域所在位置，连通域长度加1，存储对应运动速度大小，利用两者在GPS坐标系下的位移，计算运动方向向量并存储，删除被匹配连通域在原始位置的数据。

(2)当被匹配连通域长度大于1时，利用类似(1)的方法求当前连通域与被匹配连通域中最后一帧连通域的对应运动速度大小及运动方向向量，并检测速度大小是否满足阈值条件，利用速度方向阈值检测确定速度方向是否满足阈值条件，若不同时满足，则进行下一次连通域检测；若同时满足，对运动速度大小、运动方向向量进行基于被匹配连通域长度的加权计算，并存储在当前连通域信息中，并将两个连通域合并，存储在当前连通域所在位置，联通域长度变为被匹配连通域长度加1，删除被匹配连通域在原始位置的数据。

优选的，速度方向阈值检测，为：利用当前帧与被匹配连通域的速度方向向量与被匹配连通域内部存储的对应速度方向向量进行点乘运算，若计算结果大于阈值，则阈值检测通过；否则为失败。

本发明与现有技术相比的优点在于：

(1)本发明基于运动目标在相面上的尺寸对模板进行了针对性设计，算法精度较高；

(2)本发明通过星载计算机提供的相机本体坐标系到GPS坐标系的转换矩阵及卫星相对地球的矢量，将连通域质心的相面坐标转换到了GPS坐标系下，能够更精确的计算出目标运动速度大小及方向；

(3)本发明利用速度大小及速度方向两种阈值进行连通域匹配，根据连通域长度切换匹配方法，能够大量降低虚警率；

(4)本发明中使用的全部算法的计算量较小，能够在星载相机的硬件条件下完成实时处理，具有很高的实用价值；

(5)本发明在小计算量的条件下准确提取可疑目标区域，能够提供更精确的速度大小、方向的计算结果，从而降低虚警率，提高检测成功率。

附图说明

图1为一种星载动目标检测及速度估计方法流程图；

图2为Top-Hat算法的特定模板；

图3为求解对应连通域相对地心的方向矢量的示意图；

图4为连通域的连通性判断原理示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述。

本发明一种星载动目标检测及速度估计方法，包括步骤：首先，对于连续拍摄的多帧图像的每一帧分别进行：(1)对原始星图(即原始图像，连续拍摄的多帧星载对地观测图像)进行处理，得到去背景图像；(2)利用自适应阈值法对去背景图像进行阈值分割，存储高于阈值的所有像元坐标和灰度；(3)对保存的像元进行四连通域目标提取潜在目标；(4)利用连通域面积和长宽比阈值剔除假目标并计算各剩余连通域质心；(5)利用星载计算机提供的坐标系转换阵，及相机姿态信息将各连通域质心投影到GPS坐标系中。其次，对各帧提取出的连通域，基于运动速度及运动方向进行多帧比对剔除假目标，并计算真实动目标在GPS坐标系下的运动速度大小及运动方向。该方法能够有效的消除背景干扰，实现星载实时检测动目标并提供目标的地理坐标及运动速度。

本发明可使用在星载预警相机中，实现在轨实时动目标检测及速度估计，实时向卫星提供的可疑目标信息。本发明针对现有的侦查遥感卫星的载荷相机所拍摄的图像数据量较大，无法实现在轨的实时处理，因此无法实时提供其拍摄到的可疑动目标，而数据传输到地面处理通常已经无法获取该动目标当时的行动及目的。而本发明可实现在轨检测动目标，提供具备时效性信息，增强了侦查卫星的预警能力。本发明的具体操作步骤如下：

(1)对连续拍摄的多帧星载对地观测图像(即原始图像)进行背景抑制处理，得到去背景图像，为：在相机持续对地面拍摄过程中，对当前帧图像优选进行抑制背景及噪声且提高目标对比度，对连续拍摄的多帧星载对地观测图像进行背景抑制处理；

如图2所示，优选利用进行背景抑制处理，得到去背景图像，式中TH(f)是结果图像(即去背景图像)矩阵，f是原始图像矩阵。

具体如下：

第一步：求最大图像：对原始图像进行基于环形结构元A的形态学膨胀运算，为膨胀运算符号，具体地，膨胀运算包括：将对应像元的灰度值替换为以该像元为中心，结构元A对应环形区域内的像元的最大灰度值。

结构元A确定的优选方案为，设内部结构元Bi为3*3的平结构元(即3*3矩阵，矩阵中每一元素为1)，外部结构元B₀为5*5的平结构元(即5*5矩阵，矩阵中每一元素为1)，以两者的中心为原点，进行矩阵的伪减法，得到的结果A＝B₀-B_i，结果A为环形结构元，则A的结构如图2所示，尺寸为5*5，内部3*3区域为空，呈环形状。

第二步：求最小图像：对第一步得到的最大图像进行基于平结构元B_i的形态学腐蚀运算，Θ为腐蚀运算符合，具体地，腐蚀运算包括：将对应像元的灰度值替换为以该像元为中心，结构元B_i对应3*3区域内的像元的最小灰度值。

第三步：求结果图像(即去背景图像)：将原始图像与第二步得到的最小图像做差，即对两者的每一个对应像元进行灰度值相减操作。

第四部：求去背景图像：将第三步得到的结果图像中灰度小于0的像元的灰度值置0，即得到去背景图像；

(2)对去背景图像进行阈值分割，再进行连通域提取。具体如下：

对去背景图像利用自适应阈值法进行阈值分割，保存图像中灰度值高于阈值的像元的相面坐标及灰度值。自适应阈值法包括：计算全局阈值，其计算公式为V_th＝μ+α·σ，式中μ为去背景图像的灰度均值，σ为全局灰度标准差，α为设定的固定系数，决定了提取目标的灵敏程度(即检测率)，综合考虑灵敏度和虚警率要求，优选取2～5，优选取α＝3，提高平衡检测率及虚警率。

对通过阈值法的像元利用聚类法进行四连通域提取，优选保存面积大于2且小于10的全部连通域(由于拍摄距离远，认为动目标与点目标无异，由于微离焦的作用，目标大小如设置的阈值，使用者可根据相机光学系统参数自行设置)，即有效连通域。

(3)对有效连通域进行质心提取，求取其在拍摄相机相面上的精确坐标。具体如下：

本发明中相机优选安装于距离地面500km轨道高度的卫星上，与卫星通过云台连接，云台可相对卫星进行三轴转动，因此有相机本体坐标系到卫星本体坐标系的转换矩阵C_cs，相机视场角为θ，优选值为4°，质心在相面的坐标为(x_i,y_i)，即拍摄相机相面上的精确坐标，其中x_i为图像列方向坐标，y_i为图像行方向坐标。

(4)利用多个坐标系的转换矩阵以及相机光轴光路方向向量，完成质心在拍摄相机相面上的坐标到GPS坐标系的坐标转换，得到GPS坐标系下的有效连通域质心坐标。具体如下：

相机本体坐标系到GPS坐标系的转换矩阵C以及(3)中求出的各连通域的质心在相面的坐标(x_i,y_i)，求解各连通域在GPS坐标系下的坐标。其中相机本体坐标系到GPS坐标系的转换矩阵C由三个转换矩阵组成：从地心惯性坐标系到GPS坐标系的转换矩阵C_Ie、从卫星本体坐标系到地心惯性坐标系的转换矩阵C_sI、从相机本体坐标系到卫星本体坐标系C_cs。其中相机光轴指向为相机本体坐标系z轴正向，像平面行方向与相机本体坐标系x轴平行，像平面列方向与相机本体坐标系y轴平行，相机视场角为θ，相机总分辨率u*v，进一步地，优选的坐标转换方法如下：

第一步：利用卫星姿态敏感器系统得到的多个转换矩阵求取最终需求的从相机本体坐标系到GPS坐标系的优选转换矩阵C＝C_Ie·C_sI·C_cs；

第二步：利用对应连通域的相面坐标及相机视场角计算对应连通域所对应的相机光路方向向量在相机本体坐标系下的坐标优选的计算公式如下：

式中θ_x为光路方向向量在XoZ平面上的投影与z轴的夹角，计算公式为θ_x＝(x_i-u/2)/u；类似地，θ_y为光路方向向量在YoZ平面的投影与z轴的夹角，计算公式为：θ_y＝(y_i-v/2)/v；

第三步：利用第二步中计算的光路方向向量及第一步中计算的转换矩阵，得到光路方向向量在GPS坐标系下的坐标

第四步：利用第三步的结果以及卫星提供的卫星质心到地心的矢量在GPS坐标系下的坐标解方程：其中R+h为动目标所在位置到地心的距离，R为对应地点地球半径，h为目标海拔高度，为预设值，根据目标的不同可自行设定不同的高度，未知数为相机到目标的距离r以及目标到地心的方向向量在GPS坐标系下的向量具体实际问题见图3，图中对应变量与文中涉及变量相同。具体的，利用三角形余弦定理公式：

(R+h)²＝r²+l²-2rlcos(α_i)

式中α_i为相机到目标的反向矢量与卫星质心到地心的矢量的夹角，由于上述两个量均为已知量，因此可直接求出。再利用公式可求出目标到地心的方向向量在GPS坐标系下的向量最后可得到目标在GPS坐标系下的坐标矢量：l_i＝(R+h)·l_to。

(5)基于目标速度大小及方向阈值，提取真实动目标连通域，并利用其GPS坐标计算动目标的地理位置，计算动目标运动速度大小和方向，设定动目标速度大小及方向阈值，判定计算出的满足阈值条件的有效连通域为动目标，否则剔除不满足条件的连通域，实现动目标检测，并实现其速度估计。具体如下：

第一步：完成每一帧的有效连通域质心在GPS坐标系下的坐标计算后，对当前帧图像提取出的联通域，按照联通域的面积及能量排序。先按照联通域的面积进行排序，面积最大的置于队列最前面，对于面积相同的连通域则比较其像元灰度值的和，按照大小排序；如果都相同，则维持当前排序，并将各连通域的坐标、面积、能量等存储于各自的连通域编号下。(根据存储空间的大小，滚动存储固定帧数N帧图像的连通域的信息，超过该帧数后覆盖最初帧的信息，以此类推)从第二帧开始，执行第二步～第五步；

第二步：基于当前帧拍摄的图像的连通域信息，逐个连通域(当前连通域)与之前存储的连通域信息进行逐帧逐个连通域(被检测连通域)的连通性检测。根据被检测联通域的长度分别执行第三步和第四步。

若被检测连通域的长度为1，则执行第三步：仅基于两个连通域之间的运动速度进行判断；若被检测连通域的长度大于1，则执行第四步：基于两个连通域之间的运动速度及运动方向进行判断；

第三步：被检测连通域的长度仅为1时，仅有两个连通域之间的运动速度这一个判据能够判定两个连通域的连通性。利用两者记录的在GPS坐标系下的坐标做差，可得到两者之间的位移，再利用被检测连通域所在帧数，与当前帧做差，并利用曝光间隔时间T可得到两帧之间的时间间隔，并计算两个连通域的对应运动速度。将计算出的运动速度与设定的目标运动速度阈值进行比对。(例如，飞机的运动速度区间优选为200m/s～800m/s，并引入一定的误差容忍度，优选设定在90％～110％，则最终目标的运动速度阈值上限优选为880m/s，下限优选为180m/s)当运动速度不在阈值区间内时，跳回第二步继续执行循环；当运动速度符合区间时，优选当前连通域长度加1，将被检测连通域的全部信息转存于当前连通域所在位置且删除被检测连通域存储的全部内容，保存计算出的运动速度，计算两个连通域对应的运动方向向量并存储。跳回第二步，将当前连通域更改为下一个连通域，进入新的循环。

第四步：被检测连通域的长度大于1时，可根据连通域的运动速度及方向判断两个连通域的连通性。提取被检测连通域中最新帧的连通域信息，与被检测连通域信息按照第三步共同计算出对应的运动速度及运动方向向量。将计算出的运动速度与设定的目标运动速度阈值进行对比，当运动速度在阈值区间内时：将计算出的运动方向向量与被检测连通域存储的运动方向向量进行点乘运算，可求出两个运动方向向量夹角的余弦值，并与设定的余弦阈值进行对比。(例如设定运动目标短时间内运动方向的变化不会很大，因此认为运动方向夹角在多帧之间优选不应超过20°，则对应的余弦值优选为0.94，即余弦阈值设置优选为0.94，当两个运动方向向量的点乘结果小于该阈值时，认为当前连通域不是被检测连通域所对应的目标，判断两者不连通)当对比结果为两者不连通时，跳回第二步继续执行循环；当对比结果为两者联通时，当前连通域长度变为被检测连通域长度加1，将被检测连通域的全部信息转存于当前连通域所在位置且删除被检测连通域存储的全部内容，将计算出的运动速度及运动方向基于被检测连通域长度与被检测连通域自身存储的运动速度及运动方向进行加权计算，并存储于当前联通域中。跳回第二步，将当前更改为下一连通域，进入新的循环。连通性判断原理见图4，图中的u_ij，其中i,j的数字分别代表第i帧图像中的第j各连通域，u代表其是对应连通域质心在相面上的x轴坐标，v代表其是对应连通域质心在相面上的y轴坐标。

第五步：第二步运行完毕后，对当前帧中存储的所有连通域进行考察，优选当连通域长度大于2时，向星载计算机发送检测成功数据包。数据包括检测成功标志，检测到的目标的运动速度、其在GPS坐标系下的运动方向向量、目标在GPS坐标系下的位置坐标等信息，供星载计算机判断。

本发明通过样机进行了拍摄，并实现了算法的实时运行，结果表明，本方法能够实时准确地提取图像中的可疑动目标并计算该目标的运动速度大小及方向。

本发明未详细说明部分属本领域技术人员公知常识。