阅读说明：本技术 一种铁路无人机视频定位方法 (Video positioning method for railway unmanned aerial vehicle ) 是由 王凯 高文峰 邓继伟 赵海 尹传恒 张英杰 岳亮 高帅 葛玉辉 赵罗明 于 2020-03-26 设计创作，主要内容包括：本发明涉及一种铁路无人机视频定位方法,包括如下步骤：S1建立铁路无人机巡线视频定位基准线位里程-坐标空间索引关系；S2进行巡线视频数据采集以及地理信息编码；S3进行巡线视频数据空间定位,包括构建视频空间定位模型与视频空间定位；S4巡线视频数据里程定位；S5巡线视频与地图场景同步；S6多期次巡线视频同步。本发明将视频定位与铁路线路巡线密切结合,解决了巡线数据快速应用的技术瓶颈；本发明对巡线视频进行汇总和梳理从而实现科学管理；通过构建视频空间定位模型与视频空间定位,将空间、里程位置定位与视频数据建立联系,提高数据的使用效率；本发明还采用巡线视频与地图场景同步与多期次巡线视频同步实现了铁路巡线视频的快速定位。(The invention relates to a video positioning method for a railway unmanned aerial vehicle, which comprises the following steps: s1, establishing a coordinate space index relation between the position mileage of the railway unmanned aerial vehicle line patrol video positioning reference line and the coordinate space index; s2, acquiring line patrol video data and encoding geographic information; s3, performing line patrol video data space positioning, including constructing a video space positioning model and video space positioning; s4, mileage positioning of the inspection video data; s5, synchronizing the line patrol video and the map scene; and S6, performing line patrol video synchronization for multiple periods. The invention closely combines video positioning and railway line patrol, and solves the technical bottleneck of quick application of line patrol data; the invention collects and combs the inspection video so as to realize scientific management; the space and mileage position positioning is linked with the video data by constructing a video space positioning model and video space positioning, so that the use efficiency of the data is improved; the invention also realizes the rapid positioning of the railway line patrol video by adopting the synchronization of the line patrol video and the map scene and the synchronization of the line patrol videos for a plurality of times.)

一种铁路无人机视频定位方法

技术领域

本发明属于无人机技术领域，涉及一种铁路无人机视频定位方法，具体为用无人机平台进行铁路沿线巡线视频空间定位、铁路里程定位、视频场景同步和多期视频同步的方法。

背景技术

随着我国铁路建设的快速发展，铁路里程和覆盖范围不断增加，到2019 年底我国铁路营运里程超过13.9万公里。为了保障铁路干线的正常运行，铁路沿线两侧100范围设置为铁路周边环境保护区，长期以来保护区内存在着围栏破坏，保护区内建设违章建筑、倾倒工业和生活垃圾等现象。这些现象的存在使得铁路的运行受到了极大的威胁，传统的方式是通过人工进行巡线，进行铁路周边环境巡查，近年来，随着无人机技术的飞速发展，传统的人工巡线逐步被取代。但是，由于无人机巡线视频数量量大，无法做到科学管理和空间、里程位置定位，严重影响了数据的使用效率。本研究针对以上现状开展研究，通过无人机飞行位置、姿态还原与视频匹配等技术方法实现了铁路巡线视频的快速定位。

发明内容

本发明为解决公知技术中存在的技术问题提供一种铁路无人机视频定位方法，目的是实现铁路无人机巡线视频数据的快速定位。

本发明包括如下技术方案：一种铁路无人机视频定位方法，包括如下步骤：S1建立铁路无人机巡线视频定位基准线位里程-坐标空间索引关系；S2 进行巡线视频数据采集以及地理信息编码；S3进行巡线视频数据空间定位，包括构建视频空间定位模型与视频空间定位；S4巡线视频数据里程定位；S5 巡线视频与地图场景同步；S6多期次巡线视频同步。

所述S1中包括如下步骤，将铁路干线矢量中线作为无人机定位的基准，通过矢量线按照一定的距离进行离散化，将矢量线位转化为离散的点；将矢量线位转为坐标点，建立里程-坐标索引关系；根据巡线工点里程表和里程- 坐标索引关系构建巡线工点-里程-坐标的对应场景索引数据。

所述S2中，根据无人机视频数据采集的起止时间进行无人机飞行日志数据截取，获取无人机视频录制过程中的空间位置、飞行姿态、飞机云台的角度、相机参数和数据获取日期并将以上信息以该时刻作为基准进行匹配，获取无人机POS数据。

为了获取更好的地表立体效果，所述无人机视频录制过程中,无人机相对地表航高h，100m＝<h＝<150m；所述飞机云台角度α，25°＝<α＝<30°。

所述S3中包括如下步骤，利用无人机POS数据建立无人机视频空间定位模型，通过模型计算获取视频关键帧位置、关键帧投影中心位置坐标和视频覆盖空间范围坐标索引信息；利用视频关键帧投影中心坐标与输入的定位点坐标进行匹配，获取最优匹配视频帧；进一步确认空间点位与匹配视频关键帧的空间位置关系，对应处于视频范围内的位置，即找到视频帧的位置，确定视频播放位置时刻信息。

所述S4中，输入定位的铁路里程位置，通过S1建立起的里程-坐标索引文件，将中线里程信息转化为该位置的空间点位坐标信息，利用定位点坐标信息根据S3的空间坐标定位方法进行视频空间定位。

所述S5中包括以下步骤，首先将根据视频POS数据进行插值加密，确定每一帧位置处的无人机空间位置坐标和姿态信息；通过S3构建的无人机视频空间定位模型计算出视频投影中心对应的空间点坐标和每一视频帧覆盖的空间位置；利用中心坐标和角点坐标进行地图场景定位和地图场景范围确定，以时间序列为基准，依次进行视频的播放与视频帧空间位置信息动态计算；利用计算出的每一视频帧空间位置信息进行地图显示范围更新。

所述每一视频帧覆盖的空间位置以四个角点坐标方式进行描述，便于进行场景定位和视场范围的确定。

所述S6中包括以下步骤，首先将根据无人机POS数据分别对两期视频数据进行插值加密，确定每一帧位置处的无人机空间位置坐标和姿态信息；利用S3构建的无人机视频空间定位模型分别进行两期视频帧中心投影点位坐标计算；以一期视频数据为基准，利用计算出的点位坐标作为定位点坐标对第二期次的视频数据采用欧式距离的方法进行视频帧匹配，获取第二期视频数据匹配帧时刻位置，并对第二期视频进行跳转播放；以时间为序列，进行两期视频的同步播放，动态计算该视频帧位置中心投影坐标间的欧式距离，若满足限差要求则继续播放，对于超过限差的视频进行以第一期视频为基准进行重新定位、匹配。

所述插值加密步骤具体为假设在短时间内无人机的位置和姿态的变化是随时间均匀变化，利用线性插值法对无人机的关键帧POS数据进行插值加密。

本发明具有的优点和积极效果：

1、本发明将视频定位与铁路线路巡线密切结合，解决了巡线数据快速应用的技术瓶颈。

2、本发明通过建立铁路无人机巡线视频定位基准线位里程-坐标空间索引关系、进行巡线视频数据采集以及地理信息编码对无人机巡线视频进行汇总和梳理从而实现科学管理。

3、本发明通过构建视频空间定位模型与视频空间定位，将空间、里程位置定位与视频数据建立联系，提高了数据的使用效率。

4、本发明还采用巡线视频与地图场景同步与多期次巡线视频同步实现了铁路巡线视频的快速定位。

5、本发明所建立的无人机视频定位方法，实现了视频多媒体数据的地理信息化，将其转换为具有地理参考的空间数据，为视频数据的空间大数据分析提供了较好的理论基础。

附图说明

图1是视频空间定位方法架构图；

图2是视频里程定位方法架构图；

图3是视频场景同步方法架构图；

图4是多期视频同步方法架构图；

图5是场景、视频同步展示；

图6是两期视频对比；

图7是矢量线位离散化示意图；

图8是地理坐标-空间坐标-里程转化；

图9是地理坐标-空间坐标-里程转化-工点转化；

图10是线路拍摄示意图；

图11是地理信息编码文件(关键帧POS数据)。

具体实施方式

为能进一步公开本发明的发明内容、特点及功效，特例举以下实例并结合附图详细说明如下。

实施例：

里程-坐标-巡线工点索引数据文件的制作

通过铁路矢量线路按照一定的距离进行离散化，将矢量线位转为坐标点，建立里程-坐标索引关系。根据工点里程表和里程坐标索引关系构建工点-里程 -坐标的对应场景索引表。具体包括以下步骤：首先将矢量线按照一定的距离 (本案例按照0.2的间隔)进行离散化，将矢量线位转化为离散的点如图7所示。

将WGS84空间坐标系下的地理坐标转化为UTM投影坐标系下的平面坐标。利用平面坐标计算离散点位间的距离进行点位铁路里程换算，并根据如图8所示。根据各个工点里程跨越范围，进行里程-工点的匹配如图9所示。

(2)视频数据采集、视频关键帧数据地理信息编码

沿铁路线路进行视频拍摄，均衡视频地表分辨率和飞行安全，采用相对地表航高100-150m仿地飞行拍摄，为了获取更好的地表立体效果，无人云台采用与地面拍摄平面25°-30°夹角进行拍摄，见图10。以100m航高、设备采用大疆精灵4pro为例，以其相机参数进行计算得出其地表覆盖范围为： 120m*150m，单条航带的带幅可以覆盖铁路两侧的范围。无人机相机相对于线路的拍摄角度，根据铁路所处的不同阶段和线路的不同类型采用不同角度进行拍摄。施工期，采用位于线位正上方其拍摄，运维时期采用左、右侧视角进行侧方拍摄，以保证铁路运行的安全。

视频数据采集后，对无人机的飞行日志信息进行提取和分析形成视频地理信息编码文件(POS数据)，具体提取的信息包括：该时间段无人机的地理坐标UAVx、UAVy、UAVZ(WGS84坐标)、飞机的相对行高H、无人机的航偏角UAV_yaw，侧滚角度UAV_roll，俯仰角度UAV_pitch，相机云台的航偏角yaw、俯仰角pitch、侧滚roll，该点位无人机的所处的日期date 和时刻T。飞机和相机作为一个整体而言，其航偏角为YAW,俯仰角为PITCH，侧滚角为ROLL，其值为无人机与相机的姿态之和并进行取整。

YAW＝[UAV_yaw+yaw]

PITCH＝[UAV_pitch+pitch]

ROLL＝[UAV_roll+roll]

无人机视频文件创建的时刻为无人机视频结束采集的时刻T_end，其视频开始采集是时刻为T_start，

视频的长度为T_L，其三者之间的关系为：

T_L＝T_end-T_start

根据视频是起始时刻，获取对应时间段的飞行POS信息，并计算每一点位对应的视频时刻T_fly

T_fly＝T-T_start

整理可得视频数据关键帧的POS数据，如图11所示。

(3)无人机视频空间定位模型构建与视频空间定位

为了保证视频具备较好的视觉效果无人机进行航飞视频拍摄，拍摄时相机的主光轴与地面的夹角α成锐角一般为20-30°，如图10所示。这使得飞机的空间位置与获取视频的视场中心平台坐标存在一定的偏差。为了进行坐标和铁路里程更加精准的匹配，我们建立飞行机位置与相机视角中心的关系。其推导过程如下。定义视频视场投影中心点的地理坐标(WGS84)为video_x、 video_y、viedo_z,对应的UTM投影投影坐标为video_X、video_Y、viedo_Z,获取无人机在空中拍摄点的物方坐标通常为地理坐标(WGS84，单位：度)UAV_x、 UAV_y、UAV_Z，其对应的UTM投影坐标为UAV_X、UAV_Y、UAV_Z(单位：m)，地理坐标与空间坐标转换称之为投影(转换方法为通俗方法，此非本算法重点，不做详细论述)。无人机飞行时的外方位元素(俯仰)，ROOL-ω (侧滚)、Yaw-κ(航偏)。相机参数：相机的焦距为f，其传感器CCD的大小为a,传感器对应的CCD阵列尺寸为C_X*C_Y。首先利用共线方程(公式1、 2)计算视频投影中心点的空间坐标：

式中：

x，y为像点的像平面坐标；

x₀，y₀，f为影像的内方位元素；

X_S，Y_S，Z_S为摄站点的物方空间坐标；

X_A，Y_A，Z_A为物方点的物方空间坐标；

a_i，b_i，c_i(i＝1,2,3)为无人机视频影像的3个外方位角元素组成的旋转矩阵，如公式3。

λ为比例因子：

其中Z_S为无人机飞行的海拔高度UAV_Z，Z_A为拍摄区域地面的平均海拔高度，根据POS信息中飞机的飞行的海拔高度UAV_Z与飞机的相对行高H进行计算：

Z_A＝Z_s-H……………(5)

经过整理得到其反演公式：

对于投影中心而言位于像坐标系的x₀，y₀位置，则视频中心点投影坐标 (video_X,video_Y,viedo_Z)为

其视频视场四个角点坐标为(video_lux,video_luy,video_luz)(左上)， (video_rux,video_ruy,video_ruz)(右上)，(video_ldx,video_ldy,video_ldz)(左下)， (video_rdx,video_rdy,video_rdz)(右下)，其对应的像平面坐标系的坐标分别为(0， 0)，(C_X，0)，(0，C_Y)，(C_X，C_Y)对应的计算公式为：

利用视频关键帧无人机POS数据根据投影中心及视频帧覆盖范围的计算公式计算得到关键的对应的空间位置信息其格式如表1所示。

表1视频关键帧对应空间位置信息表结构

其中X,Y,Z为该视频帧投影中心坐标，LU，RU,LD,RD分别为对应视频帧左上，右上，左下，右下的位置对应的空间坐标，T为该视频关键帧对应的时间。

输入的定位点的地理坐标为(x,y,z)，其对应的平面投影坐标为：(X， Y，Z)，通过遍历的方式分别计算视频关键帧的中心点的投影坐标为 (video_Xi,video_Yi,viedo_Zi),对应一个视频而言，i的取值从0～N。

计算定位点与视频关键帧中心点投影坐标的欧式距离D_i

取距离最小的关键帧作为匹配关键帧，其对应中心坐标为 (video_Xj,video_Yj,viedo_Zj),四个角点坐标为：

(video_luxj,video_luyj,video_luzj)(左上)，(video_ruxj,video_ruyj,video_ruzj)(右上)，(video_ldxj,video_ldyj,video_ldzj)(左下)，(video_rdxj,video_rdyj,video_rdzj)(右下)。计算 (x,y,z)的坐标是否位于图幅范围内即满足一下条件：

Min(video_luxj,video_ldxj)<＝X<＝MAX(video_ruxj,video_rdxj)

Min(video_luyj,video_ldyj)<＝Y<＝MAX(video_ruyj,video_rdyj)

Min(video_luZj,video_ldZj,video_ruZj,video_rdZj,)<＝Z<＝

MAX(video_luZj,video_ldZj,video_ruZj,video_rdZj,)

若满足以上条件则检索到对应视频位置j及对应的视频时间T，将视频跳转到时间T位置。

(4)里程定位

里程定位是利用坐标-里程索引文件匹配与无人机视频空间定位综合进行里程定位。输入定位的里程位置为k，通过对里程-坐标索引文件进行遍历找到距离k点最近的里程为K_i，其对应的点位地理坐标为(x_k,y_k,z_k),通过投影变换计算其对应的平面投影坐标为(X_k,Y_k,Z_k)，对K_i作为空间定位点采用(3)所描述的视频空间定位方法进行定位，检索到视频关键帧对应的时间为T，将视频跳转到时间T位置。

(5)场景-视频同步

假设在短时间内无人机的位置和姿态的变化是随时间均匀变化，利用线性插值法对无人机的关键帧POS数据进行插值加密得到每一帧的视频的POS 数据，具体的插值方法如公式所示。

T_k的取值范围为T_j到T_i，采样间隔为(T_j-T_i)/num；其中，A_j，A_i，A_K分为为T_j,T_i，T_k时刻的空间位置坐标或姿态值，num为视频的帧速率。利用以上插值公式对无人机的空间位置和姿态等数据进行插值得到插值后的POS数据。进行视频播放，根据视频播放的视频帧获取对应视频帧位置的无人机的POS 信息，利无人机在空中拍摄点的物方坐标通常为地理坐标(WGS84，单位：度)UAV_x、UAV_y、UAV_Z，计算其对应的UTM投影坐标为UAV_X、UAV_Y、 UAV_Z,根据无人机该位置的相对高程H、相机的焦距f(相机为固定焦距),人机飞行时的外方位元素(俯仰)，ROOL-ω(侧滚)、Yaw-κ(航偏)，利用无人机视频空间视频定位模型计算出该视频帧位置视场中心投影坐标为 (video_X，video_Y，viedo_Z)和关键帧对应的四个角点的坐标为：四个角点平面坐标为：(video_luXj,video_luYj,video_luZj)(左上)，(video_ruXj,video_ruYj,video_ruZj)(右上)，(video_ldXj,video_ldYj,video_ldZj)(左下)，(video_rdXj,video_rdYj,video_rdZj)(右下), 通过投影反变换获取对应的场景的中心地理坐标(video_x，video_y，viedo_z)与角点坐标(video_luxj,video_luyj,video_luzj)(左上)，(video_ruxj,video_ruyj,video_ruzj)(右上)，(video_ldxj,video_ldyj,video_ldzj)(左下)，(video_rdxj,video_rdyj,video_rdzj)(右下)，根据场景中心坐标和场景的角点坐标进行场景定位和视场范围的确定。依次进行视频帧的播放，根据每一帧无人机pos信息进行动态计算，获取场景中心点和角点坐标并赋值，实现场景与视频的同步。

(6)多期视频同步

假设在短时间内无人机的位置和姿态的变化是随时间均匀变化，利用线性插值法对无人机的关键帧POS数据进行插值加密得到每一帧的视频的POS数据，具体的插值方法如公式所示。

T_k的取值范围为T_j到T_i，采样间隔为(T_j-T_i)/num；其中，A_j，A_i，A_K分为为 T_j,T_i，T_k时刻的空间位置坐标或姿态值，num为视频的帧速率。利用以上插值公式对无人机的空间位置和姿态等数据进行插值得到插值后的POS数据。设定期次A对应视频帧的坐标为(x_A，y_A，z_A)，利用投影转换获取其对应的视频帧的平面投影坐标为(X_A，Y_A，Z_A)，利用无人机视频空间点位模型计算出每一帧视频中心点j空间投影坐标为(X_Aj，Y_Aj，Z_Aj)。以同样的方式计算出期次B对应每一帧中心投影坐标为(X_Bj，Y_Bj，Z_Bj)。

首先计算，期次A视频起始帧对应的投影中心点坐标为(X_A1，Y_A1，Z_A1)，分别计算该点坐标与期次B各个视频帧的中心投影坐标(X_Bj，Y_Bj，Z_Bj)的欧式距离D_j

j的取值从1到num*T_B，其中num为视频B的帧速率，T_B为视频B的时间。通过遍历的方式找到欧式距离最小的帧D_j，该帧的位置为第j帧，其对应的视频时间为T_j，

将视频B跳转到T_j。以此位置为匹配位置进行顺序播放，并计算接下来的视频A视频B的视频帧对应的中心点坐标间的欧式距离D，例如视频A的第二帧的欧式距离为D₂

若D大于设定的阈值K,通常情况下K取50m，则停止视频A，B的播放，以A点该位置的中心投影坐标为基准，对期次B的无人机视频帧中心坐标进行二次匹配获取该点位对应的视频时间为T1，期次B的视频跳转到T1时刻，继续期次A，B视频的播放，依次进行循环，若二次匹配后D仍大于限差退出视频同步。

尽管上面对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以作出很多形式。这些均属于本发明的保护范围之内。