基于单目摄像机的多目标侦察测距方法
阅读说明：本技术 基于单目摄像机的多目标侦察测距方法 (Multi-target reconnaissance and ranging method based on monocular camera ) 是由 姜雨彤 纪超 陈海虹 杨忠琳 朱梦琪 姜哲 任雪冰 赵博 马志扬 傅慧妮 于 2020-12-29 设计创作，主要内容包括：本发明属于数字图像处理技术领域,具体涉及一种基于单目摄像机的多目标侦察测距方法。所述方法包括：开展多目标识别；选择标定目标,对一个标定目标进行激光测距,获取目标高程基准差值与目标实际高度,作为其他待被动测距目标的参数输入；计算多目标距离,通过标定目标的属性、标定目标框中心点像素位置与所占高度像素数,计算目标的第一距离与第二距离,再为第一距离与第二距离分配权重,以此加权计算获取最终多目标距离。本发明建立了基于单目摄像机的多目标侦察测距方法,实现对多目标的实时、被动、准确距离测量,可被应用于光电侦察系统。(The invention belongs to the technical field of digital image processing, and particularly relates to a multi-target reconnaissance distance measurement method based on a monocular camera. The method comprises the following steps: developing multi-target identification; selecting a calibration target, performing laser ranging on one calibration target, acquiring a target elevation reference difference value and a target actual height, and inputting the target elevation reference difference value and the target actual height as parameters of other targets to be passively ranging; calculating the multi-target distance, calculating a first distance and a second distance of the target according to the attribute of the calibration target, the pixel position of the center point of the calibration target frame and the number of the occupied height pixels, and then distributing weights for the first distance and the second distance so as to obtain the final multi-target distance through weighting calculation. The invention establishes the multi-target reconnaissance distance measurement method based on the monocular camera, realizes real-time, passive and accurate distance measurement of multiple targets, and can be applied to a photoelectric reconnaissance system.)
技术领域
本发明属于数字图像处理技术领域，具体涉及一种基于单目摄像机的多目标侦察测距方法。
背景技术
目前，现有光电侦察系统主要具备可见光、红外探测器与激光测距仪三光一体结构。现有光电侦察系统主要采用激光脉冲的主动测距方式对远距离目标进行距离测量与定位，隐蔽性差、易受干扰，而且激光只能单点测距，无法对视场内的多目标同时且实时测距。而现有光电侦察系统并不具备实时被动获取多目标位置信息及距离的功能，有必要提出基于单目摄像机的多目标侦察测距方法，通过单目可见光相机或单个红外相机对远距离场景的侦察与多目标识别，获取多目标框信息，采用基于单目摄像机的多目标侦察测距方法，可同时计算多目标的实时距离信息。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：针对远距离场景目标，如何实现光电侦察系统具备同时、实时、被动对多个目标进行测距的功能。
(二)技术方案
为解决上述技术问题，本发明提供一种基于单目摄像机的多目标侦察测距方法，所述方法包括：
步骤1：采用光电侦察系统的单目摄像系统，对多目标进行识别，获取目标框的中心点像素位置与目标框所占高度像素数信息；
步骤2：将距离视场中心最近的识别目标作为标定目标，通过光电侦察系统的激光测距仪对其进行测距标定，获取标定目标距离并推导出标定目标的高程基准；
步骤3：假设在远距离场景下进入同一视场的多目标在同一高程基准上，即与标定目标具备与单目摄像机的同一高程基准差值，通过标定过的高程基准、单目摄像机俯仰角、焦距以及目标框中心点像素位置与像元尺寸计算其他待测距目标的第一距离；
步骤4：通过标定目标距离、标定目标框所占高度像素数以及焦距与像元尺寸，推算出标定目标高度，与目标的先验高度进行比值，再通过其他待测距目标的先验高度与目标框像素高度，计算出其他待测距目标的第二距离；
步骤5：为第一距离与第二距离分配权重，以此加权计算获取最终多目标距离；权重获取方式是在执行实地侦察多目标侦察测距任务之前，采用光电侦察系统通过以上方法获取目标的第一距离与第二距离，并采用激光测距方式获取目标距离真值，分别计算第一距离与第二距离的误差参数，通过决定系数占比大小分配权重。
其中，所述步骤1中，光电侦察系统的单目摄像系统启动目标识别功能，对视场中的多目标进行识别并标记目标框，获取每个目标的属性类别、目标框中心点像素坐标以及目标框所占高度像素数信息。
其中，所述步骤2中，将距离视场中心最近的识别目标作为标定目标，通过光电侦察系统的激光测距仪对标定目标进行测距标定，获取标定目标的距离、结合标定目标框中心点像素坐标、单目摄像系统俯仰角度、焦距，推导出标定目标的高程基准。
其中，所述步骤3中，只需要对标定目标激光测距一次，其他待测目标的距离可通过被动测距获取，多目标的第一距离包括：通过所述步骤2获取到标定目标的高程基准，假设在远距离场景下进入同一视场的多目标在同一高程基准上，即待被动测距目标与标定目标具备与单目摄像机的同一高程基准差值，通过标定过的高程基准差值、以及单目摄像机俯仰角度、焦距以及目标中心点像素位置与像元尺寸计算其他待测距目标的第一距离。
其中，所述步骤4中，已知标定目标的常识性先验高度，通过标定目标的激光测距的距离、标定目标框所占高度像素数以及焦距与像元尺寸，推算出标定目标的实际高度，标定目标的实际高度与其常识性先验高度会因为光电系统与成像系统因素产生一定误差，将标定目标的实际高度与其常识性先验高度进行比值，作为误差补偿；
通过其他待测距目标的识别结果获取到目标属性，根据目标属性，可获知待测目标的常识性先验高度，与误差补偿相乘，获取到待测目标的实际高度，再通过目标框像素高度与焦距，计算出其他待测距目标的第二距离。
其中，所述待测目标的常识性先验高度为：
对目标属性为人的目标，其常识性先验高度为1.8米；
对目标属性为小轿车的目标，其常识性先验高度为1.5米；
对目标属性为越野车的目标，其常识性先验高度为1.8米；
对目标属性为坦克的目标，其常识性先验高度为3米；
对目标属性为卡车的目标，其常识性先验高度为3米。
其中，所述步骤5，基于单目摄像系统的多目标距离是通过第一距离与第二距离与对应的权重相乘再求和来获得的；第一距离与第二距离分配权重的方式，决定加权计算获取到最终多目标距离的准确程度。
其中，所述权重获取方式是在执行实地侦察多目标侦察测距任务之前，采用光电侦察系统通过以上方法获取目标的第一距离与第二距离，并采用激光测距方式获取目标距离真值，分别计算第一距离与第二距离与真值的误差统计参数，通过距离的决定系数大小分配权重。
其中，所述误差统计是通过决定系数R2进行度量的；在统计学中，R2表示模型预测值和实验值之间的相关系数的平方值；因此，其取值范围从0到1，表达为：
其中：
其中，n是总观测点数，εi是第i个测量点的实验真值gi与预测值之间的误差，是gi的总平均值；SSE是误差的平方和，RSS是回归平方和，而TSS是总平方和；
预测值与实验真值之间的误差越小，R2越大；分别统计计算第一距离与第二距离的R2，进行归一化处理，作为权重值。
其中，所述方法的原理在于分为三个阶段：
第一阶段是开展多目标识别，获取多目标识别信息包括目标类别属性、目标框中心点像素坐标以及目标框所占高度像素数；
第二阶段是选择标定目标，对一个标定目标进行激光测距，获取目标高程基准差值与目标实际高度，作为其他待被动测距目标的参数输入；
第三阶段是计算多目标距离，通过标定目标的属性、标定目标框中心点像素位置与所占高度像素数、以及标定目标的距离、高程基准差值，结合单目摄像机俯仰角、焦距、像元尺寸、目标的常识性先验高度，计算目标的第一距离与第二距离，再为第一距离与第二距离分配权重，以此加权计算获取最终多目标距离。
(三)有益效果
与现有技术相比较，本发明具备如下有益效果：
(1)该基于单目摄像机的多目标侦察测距方法只需发射一次激光信号对标定目标测距，其他多个待测量目标均可利用标定参数进行被动测距，大幅度减少对外发射信号的频率，提高隐蔽性，提升生存能力。
(2)该基于单目摄像机的多目标侦察测距方法是通过图像的多目标识别信息进行计算处理，不需要逐个测距，使得对出现在同一视场中的多个目标同时进行被动测距的方式成为可能，实时性好。
(3)本发明是在现有常见的光电侦察单目摄像系统的基础上实现的，不需要硬件的改动，即可在增加软件算法层面，实现多目标被动实时测距功能，获取到的目标距离可作为多目标威胁评估的重要支撑因素，在军事上具有很高的应用前景。
附图说明
图1为基于单目摄像机的多目标侦察测距方法流程图。
图2为目标的第一距离计算模型。
图3(a)及图3(b)为目标的第二距离计算模型。
图4为基于单目摄像机的多目标侦察测距结果示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
为解决上述技术问题，本发明提供一种基于单目摄像机的多目标侦察测距方法，如图1所示，所述方法包括：
步骤1：采用光电侦察系统的单目摄像系统，对多目标进行识别，获取目标框的中心点像素位置与目标框所占高度像素数信息；
步骤2：将距离视场中心最近的识别目标作为标定目标，通过光电侦察系统的激光测距仪对其进行测距标定，获取标定目标距离并推导出标定目标的高程基准；
步骤3：假设在远距离场景下进入同一视场的多目标在同一高程基准上，即与标定目标具备与单目摄像机的同一高程基准差值，通过标定过的高程基准、单目摄像机俯仰角、焦距以及目标框中心点像素位置与像元尺寸计算其他待测距目标的第一距离；
步骤4：通过标定目标距离、标定目标框所占高度像素数以及焦距与像元尺寸，推算出标定目标高度，与目标的先验高度进行比值，再通过其他待测距目标的先验高度与目标框像素高度，计算出其他待测距目标的第二距离；
步骤5：为第一距离与第二距离分配权重，以此加权计算获取最终多目标距离；权重获取方式是在执行实地侦察多目标侦察测距任务之前，采用光电侦察系统通过以上方法获取目标的第一距离与第二距离，并采用激光测距方式获取目标距离真值，分别计算第一距离与第二距离的误差参数，通过决定系数占比大小分配权重。
建立基于单目摄像机的多目标侦察测距方法，实现对多目标的实时、被动、准确距离测量，可被应用于光电侦察系统。
其中，所述步骤1中，光电侦察系统的单目摄像系统启动目标识别功能，对视场中的多目标进行识别并标记目标框，获取每个目标的属性类别、目标框中心点像素坐标以及目标框所占高度像素数信息。
其中，所述步骤2中，采用一种策略选择视场中识别到的其中一个目标作为标定目标，此方法中将距离视场中心最近的识别目标作为标定目标，通过光电侦察系统的激光测距仪对标定目标进行测距标定，获取标定目标的距离、结合标定目标框中心点像素坐标、单目摄像系统俯仰角度、焦距，推导出标定目标的高程基准。
其中，所述步骤3中，只需要对标定目标激光测距一次，其他待测目标的距离可通过被动测距获取，多目标的第一距离包括：通过所述步骤2获取到标定目标的高程基准，假设在远距离场景下进入同一视场的多目标在同一高程基准上，即待被动测距目标与标定目标具备与单目摄像机的同一高程基准差值，通过标定过的高程基准差值、以及单目摄像机俯仰角度、焦距以及目标中心点像素位置与像元尺寸计算其他待测距目标的第一距离。
其中，所述步骤4中，已知标定目标的常识性先验高度，通过标定目标的激光测距的距离、标定目标框所占高度像素数以及焦距与像元尺寸，推算出标定目标的实际高度，标定目标的实际高度与其常识性先验高度会因为光电系统与成像系统因素产生一定误差，将标定目标的实际高度与其常识性先验高度进行比值，作为误差补偿；
通过其他待测距目标的识别结果获取到目标属性，根据目标属性，可获知待测目标的常识性先验高度，与误差补偿相乘，获取到待测目标的实际高度，再通过目标框像素高度与焦距，计算出其他待测距目标的第二距离。
其中，所述待测目标的常识性先验高度为：
对目标属性为人的目标，其常识性先验高度为1.8米；
对目标属性为小轿车的目标，其常识性先验高度为1.5米；
对目标属性为越野车的目标，其常识性先验高度为1.8米；
对目标属性为坦克的目标，其常识性先验高度为3米；
对目标属性为卡车的目标，其常识性先验高度为3米。
其中，所述步骤5，基于单目摄像系统的多目标距离是通过第一距离与第二距离与对应的权重相乘再求和来获得的；第一距离与第二距离分配权重的方式，决定加权计算获取到最终多目标距离的准确程度。
其中，所述权重获取方式是在执行实地侦察多目标侦察测距任务之前，采用光电侦察系统通过以上方法获取目标的第一距离与第二距离，并采用激光测距方式获取目标距离真值，分别计算第一距离与第二距离与真值的误差统计参数，通过距离的决定系数大小分配权重。
其中，所述误差统计是通过决定系数R2进行度量的；在统计学中，R2表示模型预测值和实验值之间的相关系数的平方值；因此，其取值范围从0到1，表达为：
其中：
其中，n是总观测点数，εi是第i个测量点的实验真值gi与预测值之间的误差，是gi的总平均值；SSE是误差的平方和，RSS是回归平方和，而TSS是总平方和；
预测值与实验真值之间的误差越小，R2越大；分别统计计算第一距离与第二距离的R2，进行归一化处理，作为权重值。
其中，所述方法的原理在于分为三个阶段：
第一阶段是开展多目标识别，获取多目标识别信息包括目标类别属性、目标框中心点像素坐标以及目标框所占高度像素数；
第二阶段是选择标定目标，对一个标定目标进行激光测距，获取目标高程基准差值与目标实际高度，作为其他待被动测距目标的参数输入；
第三阶段是计算多目标距离，通过标定目标的属性、标定目标框中心点像素位置与所占高度像素数、以及标定目标的距离、高程基准差值，结合单目摄像机俯仰角、焦距、像元尺寸、目标的常识性先验高度，计算目标的第一距离与第二距离，再为第一距离与第二距离分配权重，以此加权计算获取最终多目标距离。
实施例1
本实施例提供一种基于单目摄像机的多目标侦察测距方法，如图1所示，所述方法包括如下步骤：
步骤1)光电侦察单目摄像系统对多目标进行识别并获取像素；
步骤2)激光测距标定目标获取高程基准；
步骤3)通过高程基准与识别目标位置，计算待测多目标的第一距离；
步骤4)通过标定目标距离与先验高度，计算待测多目标的第二距离；
步骤5)为第一距离与第二距离分配权重，以此加权计算获取待测多目标的最终距离。
步骤1)光电侦察单目摄像系统对多目标进行识别并获取像素。
光电侦察单目摄像系统启动目标识别功能，对视场中的多目标进行识别并标记目标框，获取每个目标的属性类别、目标框中心点像素坐标以及目标框所占高度像素数信息。
步骤2)激光测距标定目标获取高程基准。
将距离视场中心最近的识别目标作为标定目标，通过光电侦察系统的激光测距仪对标定目标进行一次性测距标定。如图2所示，获取标定目标A的第一距离L1、结合标定目标框中心像素点坐标PA与视场中心坐标PO的差值P以及像元尺寸μ、单目摄像系统俯仰角度α、目标相对于光轴的俯仰角度β、焦距f，可推导出标定目标的高程HA与单目摄像系统光心高程HO的差值H作为高程基准，具体计算公式如下：
步骤3)通过高程基准与识别目标位置，计算待测多目标的第一距离。
假设在远距离场景下进入同一视场的多目标在同一高程基准上，因此获取到标定目标的高程基准差值H之后，可认为待被动测距的目标与标定目标具备与单目摄像机的同一高程基准差值，已知目标的高程基准差值、以及单目摄像机俯仰角度、焦距以及目标中心点像素位置与像元尺寸，即可通过式(2)与式(3)计算其他多个待测距目标的第一距离。
步骤4)通过标定目标距离与先验高度，计算待测多目标的第二距离。
如图3(a)所示，通过标定目标的激光测距的距离L1、已知标定目标的常识性先验高度h10，获取标定目标框所占高度像素数b1以及焦距f与像元尺寸μ，推算出标定目标的实际高度h1，标定目标的实际高度与其常识性先验高度会因为光电系统与成像系统因素产生一定误差，将标定目标的实际高度与其常识性先验高度进行比值，作为误差补偿。如图3(b)所示，通过其他待测距目标的识别结果获取到目标属性，根据目标属性，可获知待测目标的常识性先验高度h0(具体见表1)，与误差补偿相乘，获取到待测目标的实际高度h，再通过目标框像素高度b与焦距f，计算出其他待测距目标的第二距离L2。
步骤5)为第一距离与第二距离分配权重，以此加权计算获取待测多目标的最终距离。
权重获取方式是在执行实地侦察多目标侦察测距任务之前，采用光电侦察系统通过以上方法获取目标的第一距离与第二距离，并采用激光测距方式获取目标距离真值，分别计算第一距离与第二距离与真值的误差统计参数，通过距离的决定系数R2大小分配权重，再对第一距离与第二距离的R2做归一化处理分别获取权重系数ω1和ω2，目标距离计算公式如下：
L＝ω1·L1+ω2·L2
如图4所示，给出了基于单目摄像机的多目标侦察测距结果示意图。标定目标通过激光测距获取到距离，其他多个目标通过以上方法被动获取距离信息。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种配网倾斜摄影高精度点云采集方法