一种无额外控制点的双目协同落点测量方法
阅读说明：本技术 一种无额外控制点的双目协同落点测量方法 (Binocular collaborative drop point measurement method without additional control point ) 是由 谷俊豪 张永栋 赵梓年 田野 陈洪林 高新 于 2021-08-23 设计创作，主要内容包括：本发明属于机器视觉与摄影测量技术领域,提供一种无额外控制点的双目协同落点测量方法,首先提前对靶面进行测量,再通过规划两台相机的布设位置,使每台相机均能观测到目标区域和另一台相机,利用相机的空间位置及相机的图像坐标,建立相机的相对位姿关系模型；然后根据目标点的像素坐标和靶面信息测得目标点的位置；最后可带入目标点的测量值完成相机的标定。本发明无需额外控制点,大幅简化测量准备流程,能适应更多场景；该方法无需迭代优化,计算效率高,结果稳定。(The invention belongs to the technical field of machine vision and photogrammetry, and provides a binocular collaborative drop point measurement method without additional control points.A target surface is measured in advance, then the arrangement positions of two cameras are planned, so that each camera can observe a target area and the other camera, and a relative pose relation model of the cameras is established by utilizing the space positions of the cameras and the image coordinates of the cameras; then, measuring the position of the target point according to the pixel coordinates of the target point and the target surface information; finally, the measured value of the target point can be brought in to finish the calibration of the camera. The method does not need additional control points, greatly simplifies the measurement preparation process, and can adapt to more scenes; the method does not need iterative optimization, and has high calculation efficiency and stable result.)
技术领域
：本发明属于机器视觉与摄影测量技术领域，具体涉及一种基于相机图像的落点测量方法。
背景技术
根据摄影测量原理，要基于双相机图像对落点坐标进行测量，应获取相机的位置及姿态信息。对搭载于无人机或转台的相机而言，相机位置或姿态将随时间变动，无法事前标定。目前主要有标定手段的标定方法可以分为：一类是基于多个控制点的标定方法，利用至少3个控制点的图像及空间坐标解算出相机位置及姿态(Wang P,Xu G,Wang Z,et al.Anefficient solution to the perspective-three-point pose problem[J].ComputerVision and Image Understanding,2018,166:81-87.)，该方法测量精度高，求解内容全面，但需要视场内有足量特征明显的控制点，对环境或测量准备工作有一定要求；另一类是利用POS系统等直接获取相机位置及姿态用于测量(Wang P,Xu G, Wang Z,et al.Anefficient solution to the perspective-three-point pose problem[J]. ComputerVision and Image Understanding,2018,166:81-87.)，在位置测量技术方面，基于RTK原理的小型定位设备已经实现量产，可以安装于无人机等小型平台，且定位精度达厘米量级，但在姿态测量技术方面，当前还无法同时满足小型化、高精度、非静置的要求，无法实现对无人机、小型转台上搭载相机的高精度标定；此外，一些新方法也被陆续提出，通过结合两类方法的优点，将部分易于获取的信息使用GPS、水平仪等设备快速测得，再基于布设的控制点解算剩余不易测量的信息(王向军，邓子贤，曹宇，等.野外大视场单相机空间坐标测量系统的快速标定[J].光学精密工程，2017,25： 1961-1967.)，但水平仪等设备仅适合获取静止相机的姿态信息，且该方法仍需一定数量的控制点进行辅助。
在一些测量环境中，待测点为目标与固定平面的交点(或目标仅在一个固定平面上运动)，我们将该平面称为靶面，该交点称为落点，此时未知量可降低一维，再利用RTK等设备获取相机空间位置信息，则无需使用额外控制点即可完成测量。
发明内容
本发明的目的是提供一种无额外控制点的双目协同落点测量方法，解决现行落点测量方法中必须布设多个控制点或使用昂贵的测量设备来获取相机姿态的技术问题
为达到上述目的，解决上述技术问题，本发明的技术方案如下：
一种无额外控制点的双目协同落点测量方法，记参与测量的两台相机分别为A、B，靶面上待测目标点为X，记X点的空间坐标为PX(xX,yX,zX)，其余目标点为Pi(xi,yi,zi)，相机配备有RTK终端，能够实时输出所在位置的空间坐标，其特征在于，测量方法包括如下步骤：
步骤1、测量靶面方程f靶面(P)＝0
步骤2、相机A和相机B内参数的获取
根据内标定法或相机出厂性能参数得到两台相机的内参数，包括相机A 的镜头焦距f、像元尺寸d、主点坐标(u0,v0)，相机B的镜头焦距f′、像元尺寸d′、主点坐标(u′0,v′0)；
步骤3、目标着靶前，将相机A、B放置于目标区域附近，保证每一台相机都能观测到靶面区域和另一台相机；
步骤4、获取并记录目标运动的影像，从中选取目标着靶时图像，记录着靶时刻RTK显示的相机坐标分别为PA(xA,yA,zA)、PB(xB,yB,zB)，相机B、X点及其余目标点在相机A图像中的像素坐标分别为(uB,vB)、(uX,vX)、(ui,vi)，相机 A、X点及其余目标点在相机B图像中的像素坐标分别为(u′A,v′A)、(u′X,v′X)、 (u′i,v′i)；
步骤5、根据相机位置信息和获取的图像计算目标空间坐标
5.1在相机A的图像坐标系中，相机A位于原点pA(0,0,0)，相机B和X 点的像点对应空间坐标分别为pB(uB-u0,vB-v0,fx)、pX(uX-u0,vX-v0,fx)；在相机B 的图像坐标系中，相机B位于原点p′B(0,0,0)，相机A和X点的像点对应空间坐标分别为p′A(u′A-u′0,v′A-v′0,f′x)、p′X(u′X-u′0,v′X-v′0,f′x)，其中及为相机的等效焦距；
5.2根据小孔成像模型，相机光心、像点、目标点3点共线，建立等式：
5.3根据几何关系，可求得点PX到直线PAPB的距离h为：
且垂点的坐标PC为：
5.4至此，已经得到关于PX的3个方程：
求解方程可得待测目标坐标PX。
本发明的有效收益：
1、本发明提出了一种无额外控制点的双目协同落点测量方法，该方法通过RTK获取相机的位置信息，再利用相机间互相成像的位置和目标点的图像建立相机与目标的位置关系模型，结合靶面信息完成落点测量。本发明无需额外控制点，大幅简化测量准备流程，能适应更多场景，在准备周期短或试验场地不便于布设控制点(如水面上)的情形中都可完成高精度的落点测量工作。
2、本发明无需迭代优化，计算效率高，结果稳定；
2、本发明主要使用相机和RTK设备，技术成熟、价格低廉、体积重量小，可搭载于无人机等小型平台；
3、本发明可在落点测量完成后，将落点和另一台相机看做控制点完成相机标定，继续用于对非靶面上目标点的测量。
附图说明
图1为本发明无额外控制点的双目协同落点测量方法的测量布局示意图；
图2为本发明实施例1相机结果示意图；
2(a)为相机A图像示意图；
2(b)为相机B图像示意图。
具体实施方式
下面结合附图对本发明的实现过程进行详细的解释和说明。
本发明的总体实现思路如下，首先提前对靶面进行测量，再通过规划两台相机的布设位置，使每台相机均能观测到目标区域和另一台相机，利用相机的空间位置及相机的图像坐标，建立相机的相对位姿关系模型；然后根据目标点的像素坐标和靶面信息测得目标点的位置；最后可带入目标点的测量值完成相机的标定。该方法不需要额外控制点，也不需要初始值迭代优化，可测量靶面上目标点的空间位置，同时完成相机的标定，该标定结果可用于测量其它目标点(无需位于靶面上)的空间位置。
一种无额外控制点的双目协同落点测量方法，测量布局如图1所示。
记两台相机分别为A、B，靶面上待测目标为X，记X点的空间坐标为 PX(xX,yX,zX)，其余目标点为Pi(xi,yi,zi)相机配备有RTK终端，可实时输出所在位置的空间坐标。主要测量步骤如下：
步骤1、测量靶面方程
一般可使用3点法来确定任意一个平面，将RTK终端(或带RTK的相机) 依次放置于靶面上任意3个非共线点并分别记录RTK结果为P1(x1,y1,z1)、 P2(x2,y2,z2)、P3(x3,y3,z3)，3个点位可任意选取，无需标记或特殊处理，RTK终端可回收并重复使用，靶面方程如公式(1)所示：
若条件允许，也可使用测绘或读取靶标结构设计等方法获得靶面方程。
步骤2、根据内标定方法或相机出厂性能参数得到两台相机主要内参数，包括相机A的镜头焦距f、像元尺寸d、主点坐标(u0,v0)，相机B的镜头焦距 f′、像元尺寸d′、主点坐标(u′0,v′0)。
步骤3、目标着靶前，将相机A、B布设或航拍无人机悬停于目标区域附近，保证相机可观测到靶面区域和另一台相机；
即布设完成后从相机A中可以观测到靶面区域和相机B，从相机B中也可以观测到靶面区域和相机A。
此外还可以采用将相机放置于航拍无人机中，将无人机悬停于空中适合的位置，达到上述观测效果。采用无人机进行相机位置的选取，不受传统布设位置的限制，相机位置的选取会更多样灵活。
步骤4、获取并记录目标运动的影像，从中选取目标着靶时图像，记录着靶时刻RTK显示的相机坐标分别为PA(xA,yA,zA)、PB(xB,yB,zB)，相机B、X点及其余目标点在相机A图像中的像素坐标分别为(uB,vB)、(uX,vX)、(ui,vi)，相机 A、X点及其余目标点在相机B图像中的像素坐标分别为(u′A,v′A)、(u′X,v′X)、 (u′i,v′i)。
步骤5、根据相机位置信息和获取的图像计算目标空间坐标，计算流程如下：
5.1在相机A的图像坐标系中，相机A位于原点pA(0,0,0)，相机B和X 点的像点对应空间坐标分别为pB(uB-u0,vB-v0,fx)、pX(uX-u0,vX-v0,fx)；在相机B 的图像坐标系中，相机B位于原点p′B(0,0,0)，相机A和X点的像点对应空间坐标分别为p′A(u′A-u′0,v′A-v′0,f′x)、p′X(u′X-u′0,v′X-v′0,f′x)，其中及为相机的等效焦距。
5.2根据小孔成像模型，相机光心、像点、目标点3点共线，可建立等式：
5.3根据几何关系，可求得点PX到直线PAPB的距离h为：
且垂点的坐标PC为：
5.4至此，已经得到关于PX的3个方程：
求解方程可得待测坐标PX。
至此，详细的介绍了本发明的整体实现过程，在本发明的基础上，还可以在无控制点的情况下实现相机外参数的标定，即旋转矩阵R和平移向量T 得标定。对参与测量的每台相机而言，视场内可提取另一台相机及落点的像素坐标，且已知两台相机的空间位置和落点的空间坐标，构成一个可求解的 P2P问题，能够标定得到两台相机的外参数。
旋转矩阵对应世界坐标系到相机坐标系的旋转关系，即旋转前的矢量与旋转后的矢量满足：
相机A旋转前的一组归一正交向量为：
对应于旋转后的向量为：
两者满足(V′A)T＝RAVA T，由于V′A、RA、VA均为酉矩阵，因此：
RA＝(V′A)TVA
则相机A的平移向量为：
TA＝-RA·PA T (9)
同理，可标定出相机B的外参数RB、TB。
在步骤5.4的方程求解时，至多出现两组解，需使用其它约束条件进行筛选。在大部分使用情况下，相机正放且滚转角较小，可作为默认筛选条件；此外，当靶面上存在两个以上目标点时，可使用两次测量相机外参数的一致性作为筛选条件。
此外，当存在靶面外待测点时，使用步骤6获取的标定结果基于传统交会测量方法完成其余点的测量。
根据小孔成像模型，目标点的空间坐标Pi与成像坐标pi、p′i满足映射关系：
其中AA和AB分别为相机A、B的内参矩阵，可表示为：
联立两台相机的方程组，可求解Pi。
实施例1
本发明采用仿真模拟的方式进行了实施验证。在虚拟环境中，靶面方程为2x+y+6z＝90，靶面上存在一目标点(3,18,11)，靶面外存在一目标点(0,-5,50)。
目标区域附近布设有两台相机，分别固定于点(170,-280,176)和 (180,289,191)，相机光轴指向方位角(北偏西)为21°和157°，俯仰角为-11°和-15.5度，滚转角为1°和-2°。两台相机型号相同，且内参数已知，分辨率4000×2000，焦距16mm，像元尺寸4.5μm，不考虑内参数误差且认为畸变已校正。
使用RTK获取靶面上随机三个非共线点的坐标为(0.02，-0.04，15.00)、 (49.93，-10.03，-0.17)、(29.95，89.98，-10.03)，相机A的RTK定位坐标为(169.91，-280.02，175.99)，相机B的RTK定位坐标为(180.01，288.98， 191.02)，上述测量值均已考虑RTK定位带来的厘米级误差。
相机成像结果如图2所示，每台相机均可以同时看到目标点和另一台相机。
两台相机图像中各点位像素坐标真值及测量值如下表所示，当前技术水平下，像素提取精度为亚像素级，因此两者存在一定的误差。
将已知条件代入上述计算过程(步骤1、5、6)，可得到主要过程量：
测得靶面方程为：0.3156x+0.1553y+0.9361z-14.0414＝0；
距离h＝243.9795m；
垂点坐标PC＝(175.0673,10.5244,183.6647)。
最终得到两组解：
第一组解：点X坐标PX＝(2.82,18.14,11.04)
对应相机A外参数矩阵
等效于相机方位角20.99°，俯仰角-11.49°，滚转角度0.99°；
对应相机B外参数矩阵
等效于相机方位角156.98°，俯仰角-15.49°，滚转角-1.97度。
第二组解：点X坐标PX＝(208.37,16.32,-57.96)
对应相机A外参数矩阵
等效于相机方位角-1.98°，俯仰角-24.63°，滚转角63.66度；
对应相机B外参数矩阵
等效于相机方位角177.39°，俯仰角-27.29°，滚转角-57.65度。
基于相机滚转角较小这一约束条件，排除第二组解，根据第一组解对应的外参数矩阵可测量点i坐标Pi＝(-0.11,-4.92,50.03)。
综上，两个目标点坐标均已求解，点X坐标和点i坐标分别为(2.82,18.14,11.04)、(-0.11，-4.92,50.03)，与两点的坐标真值(3,18,11)、 (0,-5,50)对比，误差分别为0.23m和0.14m。在该实施案例350m～400m的长布设距离和58.72°×31.42°的大视场角测量条件下，已达到了较高的精度。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种针对空中声乐成像的测量标靶式交互装置