具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请提供的实景影像测量方法的流程示意图，如图1所示，该方法包括：

步骤110，确定待测量的目标物体上的多个特征点。

具体地，本申请实施例中的目标物体为公路，以及公路上的隧道和桥梁等建筑物。特征点为表征目标物体的形状轮廓的点，例如，隧道横截面上的轮廓点。

步骤120，基于任一特征点分别在两张实景影像中的像素坐标，以及像素坐标系与大地坐标系之间的映射关系，得到该特征点在大地坐标系中的空间坐标。其中，两张实景影像是相机在预设间隔的两个空间位置对目标物体进行采集得到的。

具体地，实景影像为对真实的景象所拍摄得到的影像数据，可以为实景照片等。本申请实施例通过相机拍摄得到的实景影像对目标物体进行空间测量。相机可以为单目工业相机。相机可以安装在车辆上，通过车辆在公路上的移动，实现对公路以及公路上的建筑物进行数据采集和空间测量。

预设间隔为相机先后采集两张实景影像时所处的空间位置之间的距离。为了减小测量误差，可以通过设置预设间隔的大小，来对相机采集实景影像的方式进行设置。例如，在采集工作之前，可以将预设间隔设置为6米。此时，公路路面的高度变化较小，相机在前后采集位置的海拔高度变化可以忽略不计。

像素坐标系为实景影像中像素点所在的二维平面坐标系。像素坐标系的原点可以为实景影像中左上角的像素点，单位为像素(pixel)。

大地坐标系为以地球中心作为参考点建立的三维空间坐标系，单位为米(m)。

根据像素坐标系与大地坐标系之间的映射关系，可以将像素坐标系的点映射到大地坐标系中，即将任一特征点转换在实景影像中的像素坐标转换为该特征点在大地坐标系中的空间坐标。

步骤130，基于多个特征点的空间坐标，确定目标物体的测量结果。

具体地，根据多个特征点的空间坐标，进行空间参数解算，可以计算得到目标物体的测量结果。测量结果为目标物体的长度、面积、角度、坡度和垂直距离等几何参数。

例如，若已得到目标物体上特征点X1和特征点X2的空间坐标，则可以计算得到特征点X1和特征点X2之间的空间距离L_X1,X2，用公式表示为:

式中，特征点X1的空间坐标为(x1，y1，z1)，特征点X2的空间坐标为(x2，y2，z2)。此处，距离L_X1,X2是三维空间中两点间的直线距离，而非两点之间的垂直距离。

本申请实施例提供的实景影像测量方法，通过相机对目标物体进行采集得到实景影像，根据像素坐标系与大地坐标系之间的映射关系，将目标物体的每一特征点在实景影像中的像素坐标进行转换得到每一特征点在大地坐标系中的空间坐标，进而实现对目标物体进行空间参数解算，得到目标物体的测量结果，该方法无需工作人员进行现场测量，实现了公路路产数据的信息化，提高了公路路产信息采集和更新的准确度。

基于上述实施例，步骤120包括：

基于任一特征点在任一实景影像中的像素坐标，以及像素坐标系与大地坐标系之间的映射关系，得到该特征点在该实景影像中的像素坐标映射到空间坐标的定位射线；

基于该特征点在两张实景影像中的像素坐标映射到空间坐标的定位射线的交点，得到该特征点在大地坐标系中的空间坐标。

具体地，根据像素坐标系与大地坐标系之间的映射关系，对任一特征点在任一实景影像中的像素坐标进行转换。由于二维坐标映射到三维坐标，会缺失一维信息，例如深度信息，因此，二维点映射到三维坐标系，得到的是一条定位射线。定位射线上的所有点都有可能为该特征点的空间坐标。

因此，通过求解该特征点的两张实景影像上像素坐标映射到大地坐标系的两条定位射线，两条定位射线的交点即为该特征点在大地坐标系中的坐标点，从而得到该特征点在大地坐标系中的空间坐标。

可以通过数学方法求解三维空间中两条射线交点坐标的问题。

假设通过第一张实景影像得到的定位射线为L1。L1可以根据定位射线上的点P1(x1,y1,z1)和点P2(x2,y2,z2)得到参数表示方程，通过第二张实景影像得到的定位射线为L2。L2可以根据定位射线上的点P3(x3,y3,z3)和点P4(x4,y4,z4)得到参数表示方程。L1和L2的交点为(x,y,z)。

记xij、yij、zij表示定位射线分别在X轴、Y轴和Z轴上的方向向量。方向向量可以根据已知点的坐标确定，例如xij＝xi-xj。t和s分别为参数，可以得到：

L1的方程为x＝x1+x12*t，y＝y1+y12*t，z＝z1+z12*t；

L2的方程为x＝x3+x34*s，y＝y3+y34*s，z＝z3+z34*s；

将L1的方程式代入L2的方程，可以得到：

s＝(x13+x12t)/x34

再代入方程得到t的表达式：

t＝(y13*x34-y34*x13)/(y34*x12-x34*y12)

再代入L1的方程式中，即可得到交点，例如：

x＝x1+x12*((y13*x34-y34*x13)/(y34*x12-x34*y12))

y、z同理可得。

采用上述方法，求解特征点在两张实景影像中的像素坐标映射到空间坐标的定位射线的交点，可以得到该特征点在大地坐标系中的空间坐标。

基于上述任一实施例，像素坐标系与大地坐标系之间的映射关系的确定方法包括：

基于相机的光心在成像平面的投影，以及相机采集的实景影像中每一像素点的物理尺寸，确定像素坐标系与图像坐标系之间的映射关系；

基于相机的焦距，确定图像坐标系与相机坐标系之间的映射关系；

基于相机的外参矩阵，确定相机坐标系与大地坐标系之间的映射关系；

基于像素坐标系与图像坐标系之间的映射关系、图像坐标系与相机坐标系之间的映射关系以及相机坐标系与大地坐标系之间的映射关系，确定像素坐标系与大地坐标系之间的映射关系。

具体地，图像坐标系R为以相机的光心在成像平面的投影为中点，以实景影像为坐标区域得到的平面坐标系，单位为毫米(mm)。

实景影像一般为矩阵图像。图像坐标系R中坐标的原点在矩阵图像的正中间，像素坐标系U的原点在矩形图像的左上角。另外两者的单位不同，图像坐标系的单位是毫米(mm)，像素坐标系的单位是像素(pixel)。

图2为本申请提供的像素坐标系与图像坐标系之间的映射关系示意图，如图2所示，在像素坐标系U中，可以用u，v来记录像素点的列数和行数。在图像坐标系R中，可以用x，y来记录点的列数和行数。则图像坐标系R下坐标系的原点(0，0)，对应地在像素坐标系U下记录为Ou(u₀，v₀)。每个像素在x轴和y轴所代表的物理尺寸表示为dx和dy。需要注意的是，相机的图像传感器尺寸并不是一个正方形，因此dx和dy的大小是不同的。

像素点P11在像素坐标系U下记录为P11(u，v)，在图像坐标系R下记录为P11(x11，y11)。可以得到关系式：

(u-u₀)*dx＝x11

(v-v₀)*dy＝y11

将其进行移项，并转换为齐次的形式，得到：

其中为像素坐标系中点P11的表示方式，为图像坐标系点P11的表示方式，为平移和缩放操作。

相机坐标系C为以相机的光心位置为原点建立的，其中轴指向相机的正前方的三维坐标系。图像坐标系R与相机坐标系C可以通过针孔相机模型对称翻转得到。

图3为本申请提供的图像坐标系与相机坐标系之间的映射关系示意图，如图3所示，P1为相机坐标系C中的点，其坐标为(x1c,y1c,z1c)，P11为P1在图像坐标系R中的对应像素点，其坐标为(x11，y11)。根据图中的相似三角形关系，可以得到：

即

式中，f为相机的焦距，即图像坐标系R所在的成像平面距离相机坐标系C的原点的距离。上式转换为齐次的形式，得到：

其中，为图像坐标系中P1对应的P11的表示方式，为相机坐标系中P1的表示方式。

大地坐标系O和相机坐标系C两者的变换属于刚体的变换，不存在形变，只需要进行旋转操作和平移操作即可。

图4为本申请提供的相机坐标系与大地坐标系之间的映射关系示意图，如图4所示，P1在相机坐标系C中的坐标P1c为(x1c,y1c,z1c)，P1在大地坐标系O中的坐标P1o为(x1o,y1o,z1o)。坐标转换可以表示为：

P1c＝R*P1o+T即

为了统一旋转和平移，将其写为齐次形式,也即其中R为旋转矩阵，T为平移向量。

旋转矩阵R和平移向量T为相机的外参矩阵。

综上可知，需要建立目标物体的特征点(大地坐标系中的点)到实景影像中的像素点(像素坐标系中的点)的映射关系，共需要三步转换，即大地坐标系O转换为相机坐标系C，再转换为图像坐标系R，最后转换为像素坐标系U。

从大地坐标系O转换为相机坐标系C用公式表示为：

式中，R_3x3为旋转矩阵，大小为3*3，T_3x1为平移向量，大小为3*1。为点P1在大地坐标系O中的坐标，还可以表示为[x1o,y1o,z1o,1]^T。为点P1在相机坐标系C中的坐标，还可以表示为[x1c,y1c,z1c,1]^T。

从相机坐标系C转换为图像坐标系R用公式表示为：

式中，为图像坐标系中P1对应的P11的表示方式，f为相机的焦距。

从图像坐标系R转换为像素坐标系U用公式表示为：

式中，为像素坐标系U中点P11的表示方式，(u₀，v₀)为相机的光心在成像平面的投影点的坐标，dx和dy分别为相机采集的实景影像中每一像素点在x轴和y轴所代表的物理尺寸。

由上述等式可以得到：

化简得到：

该公式为相机在理想情况下的成像公式。它建立了从大地坐标系到像素坐标系的唯一映射关系。

在公式推导中，还可以归一化平面，即为图像坐标的等比缩放，也就是设置f＝1。

基于上述任一实施例，相机的内参矩阵是基于像素坐标系与图像坐标系之间的映射关系以及图像坐标系与相机坐标系之间的映射关系确定的。

具体地，根据像素坐标系U与图像坐标系R之间的映射关系，可以得到：

根据图像坐标系R与相机坐标系C之间的映射关系可以得到：

由此，可以得到相机的内参矩阵为：

式中，f_x为相机X轴方向的焦距，f_y为相机Y轴方向的焦距，(u₀，v₀)为相机的光心在成像平面的投影点的坐标。

基于上述任一实施例，相机的内参矩阵的确定方法包括：

根据DLT方法、RAC方法、平面标定法、平面圆标定法和平行圆标定法中的至少一种对相机进行标定，确定相机的内参矩阵。

具体地，相机的内参矩阵可以通过相机标定的方式得到。相机标定的过程是通过使用标准的计量仪器对相机进行检测，求解出相机的内参数的过程。

相机的内参数包括：一是相机的基本参数，即相机光心在成像平面的坐标和相机焦距，可以用内参矩阵表示；二是畸变系数向量，即切向畸变系数和径向畸变系数。

相机的畸变包括切向畸变和径向畸变。相机制造过程中，镜头通常为中间厚、边缘薄，光线在远离透镜中心的地方，会发生更大程度的扭曲。这就是径向畸变的原因。切向畸变是由于相机制造上的缺陷使得图像平面与透镜本身不平行而产生的。

相机的畸变用公式表示为：

式中，x，y为发生畸变后像点的坐标；x’，y’为畸变矫正，也就是去除畸变后的正确像点坐标，k1，k2，k3为径向畸变系数；p1，p2为切向畸变系数，r为曲率半径。

本申请使用的标定方法主要有DLT(Direct Linear Transformation，直接线性变换)方法、RAC(Radial Alignment Constraint，径向排列约束)方法、平面标定法、平面圆标定法、平行圆标定法等。

例如，平面标定法，又称为棋盘标定法，其基本原理是通过三维场景中拍摄同一棋盘模板标定板在不同角度的多张图像，由于每张棋盘图像的角点都是等间隔的，即可以认为其角点的空间三维坐标是已知的，再计算出每张棋盘图像在图像平面的像素坐标。这样，就建立了每张棋盘图的三维空间坐标与像素坐标的映射关系，最后求解出相机的内参数。

可以使用OpenCV包或者使用MATLAB。例如，使用OpenCV提供的calibrateCamera()函数进行标定，利用该函数能解算出相机的内参数，包括相机内参矩阵畸变系数向量D＝(k1,k2,k3,p1,p2)。

基于上述任一实施例，相机的外参矩阵的确定方法包括：

确定相机的内参矩阵；

基于标定点的像素坐标和空间坐标，以及相机的内参矩阵，确定相机的外参矩阵。

具体地，标定点可以选择已知目标物体，已知目标物体在大地坐标系O的空间坐标和像素坐标系U中的像素坐标均为已知。

根据公式：

若P1为标定点，相机的内参矩阵可以通过上述标定方法得到，则外参矩阵[R_3x3 T_3x1]可以通过PnP(Perspective-N-Point)算法来确定。

可以使用OpenCV开发包中的solvePnP和solvePnPRanssac函数来进行求解。求解出的结果为相机对应于已知物体三维空间坐标系的旋转向量R和平移向量T。

本申请实施例提供一种求解空间轴坐标点对应的图像坐标上的坐标点的方法：

步骤一、通过相机标定得出工业相机即视觉传感器的内参矩阵。

步骤二、通过已知目标物体若干关键点三维空间的坐标、该关键点对应的实景影像像素坐标和步骤一中的内参矩阵，求解出相机此时的外参矩阵，即此时的旋转向量和平移向量。

步骤三、根据相机的内参矩阵、外参矩阵以及大地坐标系中的原点(0.0,0.0,0.0)，X轴坐标(x,0.0,0.0)，Y轴坐标(0.0,y,0.0)，Z轴坐标(0.0,0.0,z)，求解出空间坐标系映射的像素坐标点。

上述方法可以使用OpenCV提供的projectPoints函数解算。

基于上述任一实施例，相机的三维姿态角是基于相机的外参矩阵确定的。

具体地，相机的三维姿态角包括偏航角(Yaw)、滚轮角(Roll)和俯仰角(Pitch)。其中，偏航角为绕Z轴转的角度，滚轮角为绕Y轴旋转的角度，俯仰角为绕X轴旋转的角度。

相机的外参矩阵R可以表示为：

其中，R_x(ψ)为绕X轴旋转ψ的矩阵，ψ为俯仰角：

R_y(θ)为绕Y轴旋转θ的矩阵，θ为滚轮角：

为绕Z轴旋转的矩阵，为偏航角：

则外参矩阵R可以表示为：

由上述实施例中的方法可以求解：

则可以求出相机的三维姿态角。

求解相机的三维姿态角可以使用Python、Java、Matlab等语言实现。

下面对本申请提供的实景影像测量装置进行描述，下文描述的实景影像测量装置与上文描述的实景影像测量方法可相互对应参照。

基于上述任一实施例，图5为本申请提供的实景影像测量装置的结构示意图，如图5所示，该装置包括：

特征点确定单元510，用于确定待测量的目标物体上的多个特征点；

坐标确定单元520，用于基于任一特征点分别在两张实景影像中的像素坐标，以及像素坐标系与大地坐标系之间的映射关系，得到该特征点在大地坐标系中的空间坐标；

空间测量单元530，用于基于多个特征点的空间坐标，确定目标物体的测量结果；

其中，两张实景影像是相机在预设间隔的两个空间位置对目标物体进行采集得到的。

具体地，特征点确定单元510用于确定待测量的目标物体上的多个特征点，坐标确定单元520用于基于任一特征点分别在两张实景影像中的像素坐标，以及像素坐标系与大地坐标系之间的映射关系，得到任一特征点在大地坐标系中的空间坐标，空间测量单元530用于基于多个特征点的空间坐标，确定目标物体的测量结果。

本申请实施例提供的实景影像测量装置，通过相机对目标物体进行采集得到实景影像，根据像素坐标系与大地坐标系之间的映射关系，将目标物体的每一特征点在实景影像中的像素坐标进行转换得到每一特征点在大地坐标系中的空间坐标，进而实现对目标物体进行空间参数解算，得到目标物体的测量结果，该装置无需工作人员进行现场测量，实现了公路路产数据的信息化，提高了公路路产信息采集和更新的准确度。

基于上述任一实施例，坐标确定单元520包括：

定位射线确定子单元，用于基于任一特征点在任一实景影像中的像素坐标，以及像素坐标系与大地坐标系之间的映射关系，得到该特征点在该实景影像中的像素坐标映射到空间坐标的定位射线；

空间坐标确定子单元，用于基于该特征点在两张实景影像中的像素坐标映射到空间坐标的定位射线的交点，得到任一特征点在大地坐标系中的空间坐标。

基于上述任一实施例，该装置还包括多坐标系转换单元，多坐标系转换单元包括：

第一坐标转换子单元，用于基于相机的光心在成像平面的投影，以及相机采集的实景影像中每一像素点的物理尺寸，确定像素坐标系与图像坐标系之间的映射关系；

第二坐标转换子单元，用于基于相机的焦距，确定图像坐标系与相机坐标系之间的映射关系；

第三坐标转换子单元，用于基于相机的外参矩阵，确定相机坐标系与大地坐标系之间的映射关系；

多坐标转换子单元，用于基于像素坐标系与图像坐标系之间的映射关系、图像坐标系与相机坐标系之间的映射关系以及相机坐标系与大地坐标系之间的映射关系，确定像素坐标系与大地坐标系之间的映射关系。

基于上述任一实施例，相机的内参矩阵是基于像素坐标系与图像坐标系之间的映射关系以及图像坐标系与相机坐标系之间的映射关系确定的。

基于上述任一实施例，该装置还包括：

内参矩阵确定单元，用于根据DLT方法、RAC方法、平面标定法、平面圆标定法和平行圆标定法中的至少一种对相机进行标定，确定相机的内参矩阵。

基于上述任一实施例，该装置还包括：

外参矩阵确定单元，用于确定相机的内参矩阵，并基于标定点的像素坐标和空间坐标，以及相机的内参矩阵，确定相机的外参矩阵。

基于上述任一实施例，相机的三维姿态角是基于相机的外参矩阵确定的。

基于上述任一实施例，图6为本申请提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630和通信总线(Communications Bus)640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑命令，以执行上述各实施例提供的方法，该方法包括：

确定待测量的目标物体上的多个特征点；基于任一特征点分别在两张实景影像中的像素坐标，以及像素坐标系与大地坐标系之间的映射关系，得到任一特征点在大地坐标系中的空间坐标；基于多个特征点的空间坐标，确定目标物体的测量结果；其中，两张实景影像是相机在预设间隔的两个空间位置对目标物体进行采集得到的。

此外，上述的存储器630中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述实景影像测量方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的实景影像测量方法可相互对应参照。

本申请实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，该方法包括：

确定待测量的目标物体上的多个特征点；基于任一特征点分别在两张实景影像中的像素坐标，以及像素坐标系与大地坐标系之间的映射关系，得到任一特征点在大地坐标系中的空间坐标；基于多个特征点的空间坐标，确定目标物体的测量结果；其中，两张实景影像是相机在预设间隔的两个空间位置对目标物体进行采集得到的。

本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述实景影像测量方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。