阅读说明：本技术 一种基于无人机的公路路面病害的定位方法 (Unmanned aerial vehicle-based method for positioning road surface diseases ) 是由 赵池航 李�昊 袁守国 张澄 毛志坚 郑有凤 化丽茹 于 2019-11-15 设计创作，主要内容包括：本发明公布了一种基于无人机的公路路面病害的定位方法,包括：集成了高分辨率视频采集器、5G移动通信终端、北斗卫星定位导航模块的无人机系统；对路面高分辨率影像数据、无人机飞行高度数据、无人机位置信息的获取；依靠5G移动通信技术的检测数据的传输、利用基于改进DPM的路面病害检测模型对路面病害进行检测与定位。本发明的有益效果在于：有效解决了当前路面病害数据获取方法存在的自动化程度低,获取成本高、速度慢以及路面病害检测及定位方法存在的检测效率低、检测精确度波动大、定位过程工作量大、定位自动化程度低等缺点；实用性强,可广泛用于高速公路、国道、其他低等级公路以及城市道路的路面病害检测及定位。(The invention discloses a method for positioning road pavement diseases based on an unmanned aerial vehicle, which comprises the following steps: the unmanned aerial vehicle system integrates a high-resolution video collector, a 5G mobile communication terminal and a Beidou satellite positioning navigation module; acquiring high-resolution image data of a road, flight height data of an unmanned aerial vehicle and position information of the unmanned aerial vehicle; the detection data transmission of the 5G mobile communication technology is relied on, and the pavement damage detection model based on the improved DPM is utilized to detect and position the pavement damage. The invention has the beneficial effects that: the defects of low automation degree, high acquisition cost, low speed, low detection efficiency, large detection accuracy fluctuation, large workload in the positioning process, low positioning automation degree and the like of the conventional pavement disease data acquisition method are effectively overcome; the method has strong practicability, and can be widely used for detecting and positioning the pavement diseases of expressways, national roads, other low-grade roads and urban roads.)

一种基于无人机的公路路面病害的定位方法

技术领域

本发明涉及基于无人机的公路路面病害的定位方法，尤其涉及一种基于无人机的公路路面病害的定位方法。

背景技术

5G通信技术，是第五代移动通信技术的简称。同已投入市场应用的3G、4G技术一样，5G移动通信技术也属于利用数字蜂窝网络的移动通信技术，相比于以往的蜂窝数据通信技术，5G通信技术的优点在于数据传输速度和传输容量远远高于以前的蜂窝网络。商用5G移动通信技术最快数据传输速度可达10Gbit/s，是目前4G LTE蜂窝网络数据传输速率的100倍。除此之外5G移动通信技术还具有网络延迟低、响应速度快、同移动网络终端的适配性好等优点。2019年6月6日，中华人民共和国工业与信息化部正式向中国电信、***、***、中国广电四家运营商发放商用5G牌照，标志着中国进入5G通信技术的商用时代。

北斗卫星定位系统，英文名称为：BeiDou Navigation Satellite System，简称BDS，是中国自主研发的新一代全球卫星定位导航系统，在全球范围内是继美国GPS卫星导航系统和俄罗斯GLONASS卫星导航系统的全球第三个可投入使用的成熟的卫星定位导航系统。北斗卫星定位导航系统由空间段、地面段和用户段三个部分组成。空间段由倾斜地球轨道同步卫星、中圆地球轨道卫星和地球静止轨道卫星组成；地面段包括通信控制站、卫星系统监测站等若干地面站点，以及线路运营管理设施设备；用户段包括北斗卫星定位导航系统的用户所使用的车载、船载、机载、手持北斗卫星定位终端以及其他使用或兼容了北斗卫星导航系统的芯片、天线、模块等产品，及对应的应用程序和服务等。北斗卫星导航的优点是同其他卫星导航系统相比，抗遮挡、抗干扰能力强；可提供多个频点的导航信号，具有更高的定位精度等优点。

DPM目标检测算法，是一种基于部件的检测算法,该算法采用了对检测目标的HOG特征的检测算法，并对HOG特征进行了改进，同时结合了滑动窗口和SVM分类器的检测方法。DPM算法对目标的形变的检测稳定性较好，因此被广泛应用于各类目标分类、分割、姿态检测等图像检测算法中，属于当前图像检测算法中，较为成熟的一种算法。

公路路面病害情况是评价公路健康状况的重要指标之一，公路路面病害可以分为龟裂、横向裂缝、纵向裂缝、块状裂缝、坑槽、松散、车辙等几种主要病害类型。传统的公路路面病害情况检测和定位方法主要指采用检测车、激光雷达、检测人员拍照等方法获取路面照片，随后由工作人员以人工判断并定位的方法完成路面病害的检测和分类。该方法存在检测成本高、检测速度慢、需要大量人力物力且检测精度受检测人员检测水平、工作经验以及生理状况等因素影响较大的问题。使得当前路面养护管理部门对公路病害情况的发现、检测和定位受到很大限制，成为当前公路养护管理领域存在的一个亟待解决的问题。

发明内容

针对现有路面病害检测及定位技术存在的不足和缺陷，本发明提出一种基于无人机的公路路面病害的定位方法。首先构建安装有高分辨率视频采集器、配备有第五代移动通信技术终端及北斗卫星定位系统终端的低空无人机系统。通过按一定高度和飞行速度在待检测路面上空巡航的低空无人机系统对路面的定时拍照，获取高分辨率路面影像数据，融合北斗卫星定位系统获取的无人机横、纵、高三维坐标位置信息；利用第五代移动通信技术，即5G技术完成路面病害图像及路面病害坐标位置数据的发送、记录和存储功能，实现无人机平台与数据处理服务器之间的数据传输和信息交换；服务器获得数据以后，首先对路面病害图像进行预处理，随后利用基于改进DPM的路面病害检测模型对低空无人机平台获取的高分辨率路面影像进行病害检测，获取路面病害的三维特征，判断待检测路面有无病害，并通过北斗卫星定位系统获取的无人机横、纵、高三维坐标位置信息以及无人机飞行高度确定路面病害所在位置。

本发明的原理是：按固定高度、固定速度巡航的低空无人机系统可以通过无人机上搭载的高分辨率影像采集设备对待检测公路路面按一定的拍摄频率进行拍照，所获得的高分辨率影像资料中，包含了路面的纹理、轮廓、颜色、起伏程度等信息。通过5G移动通信技术，可以实现将无人机获得的路面高分辨率影像资料以及北斗卫星定位终端获得的无人机位置信息、状态信息传输至数据处理服务器。在数据处理服务器对路面图像进行预处理以后，由基于改进DPM的路面病害检测模型进行路面病害检测和定位。本发明所采用的基于改进DPM的路面检测模型采用双DPM检测模型串联的方法，DPM-1模型负责对修补路面病害的检测，共包括路面修补横裂、路面修补纵裂、路面修补网裂三种路面病害类型的检测；DPM-2模型负责对未修补路面病害的检测，共包括路面未修补横裂、路面未修补纵裂、路面未修补网裂以及其他，共四种路面病害类型的检测。在检测时，首先使用DPM-1模型对待检图像进行检测，若DPM-1模型检测出病害存在，则结束检测，检测结果为存在路面病害，若DPM-1模型未检测出路面病害存在，则将该图像转至DPM-2模型进行检测，若DPM-2模型检测出病害存在，则结束检测，检测结果为存在路面病害；若DPM-2模型未检测出路面病害存在，则结束检测，检测结果为不存在路面病害。当检测结果为存在路面病害时，则通过对应检测时间无人机的经纬度、高程信息以及飞行高度，计算得到路面病害所在位置，完成对路面病害的定位。

本发明提供的技术方案：

一种基于无人机的公路路面病害的定位方法，包括：无人机系统的构建、路面及无人机数据获取、数据预处理、基于改进DPM的路面检测模型的构建以及路面病害检测与定位等技术环节。

其中，无人机系统的构建包括将高分辨率影像采集器、5G通信终端以及北斗卫星定位模块安装集成在低空无人机平台上，目的是构建具有数据采集、实时定位、数据传输功能的低空无人机系统。路面及无人机数据获取指，通过无人机获得公路路面高分辨率照片以及无人机飞行高度、所在位置等信息，目的是为路面病害的检测及定位提供数据。数据预处理指在进行检测前，对公路路面照片的尺寸进行归一化处理，目的是使图片格式符合检测模型对图片格式的要求。基于改进DPM的路面检测模型的构建的包括模型构建、训练数据集构建以及模型的训练，目的是使基于改进DPM的路面检测模型对公路路面病害具有较好的识别精度和检测速度。路面病害检测与定位指通过训练好的基于改进DPM的路面检测模型，对公路路面病害进行检测和对公路路面病害的位置进行确定。

本发明提供的路面病害检测方法具体包括以下步骤：

1)构建检测用的低空无人机系统，低空无人机系统需要配置高分辨率视频采集器、第五代移动通信终端以及北斗卫星定位终端。其中高分辨率视频采集器指通过LEMO航空接口安装在无人机平台上的飞思iXU 180型高分辨率航测相机，第五代移动通信终端指5G通信终端设备，北斗卫星定位系统终端指UFirebirdUC6226型北斗定位芯片；

2)步骤1)中构建完毕的低空无人机系统，以3m/s的飞行速度和7m的飞行高度在待检测路面进行巡航飞行。无人机平台按照每0.1秒拍摄一张照片的固定频率，采集公路路面高分辨率影像数据，所拍摄的图像以JPG图像格式保存。保存分辨率为1920×1080。在无人机系统采集公路路面图片的同时，北斗卫星定位模块，获取无人机所在的位置信息；

3)通过无人机上安装5G通信终端，将步骤2)中获取的无人机工作状态、无人机位置信息以及路面病害图像数据，按照设定的命名、编码及传输规则传输至数据处理服务器；

4)后台处理器在接收到步骤3)传输后的数据后，对无人机传输回的高分辨率路面图像进行预处理。同时对基于改进DPM的路面病害检测模型进行训练；

5)经步骤4)预处理后的公路路面图像，通过由DPM-1和DPM-2两个基于改进DPM的检测模型串联而成的路面病害检测模型进行路面病害检测，得到路面病害检测结果；

6)若步骤5)的检测结果为存在路面病害，则根据检测到存在路面病害的图像数据拍摄时的无人机位置信息及飞行高度信息计算得到路面病害位置。

针对上述公路路面病害检测及定位方法。进一步地，步骤2)中涉及的无人机位置信息，具体是指其中无人机的横纵坐标以及高程信息，其中无人机的横纵坐标信息，通过无人机的经纬度坐标来表示，无人机的高程信息，以依据1985国家高程基准为高程基准面的高程坐标来表示。

针对上述公路路面病害检测及定位方法。进一步地，步骤3)中涉及的数据命名、编码及传输规则，具体指：

a)将无人机飞行姿态、工作状态、飞行高度信息以txt格式文本文件保存，文本文件按测量时间命名，具体命名格式为“年/月/日-小时：分钟：秒：毫秒”；

文本文件内通过9位数字编码来保存无人机的飞行姿态、工作状态、飞行高度信息，前4位数字保存以弧度为单位的无人机飞行倾斜角，第5位数字表示无人机工作状态，无人机正常工作记为“1”、异常工作记为“2”。第6到9位数字保存精确到小数点后2位的无人机飞行高度信息，单位为米。表示无人机飞行姿态、工作状态、飞行高度信息的txt格式文本文件以日为单位统一保存在命名为“txt-测量当日日期”的文件夹中；

b)将无人机所搭载的高分辨率视频采集器采集到的高分辨率路面影像资料进行重新编码命名，命名格式为由数字、英文字母、连字符组成的34位字符组。1到18位字符表示无人机位置信息，其中前6位字符表示无人机经度坐标，精确到小数点后2位；7到11位表示无人机纬度坐标，精确到小数点后2位；12到18位表示无人机高程坐标，单位为m，精确到小数点后2位；第19位为连字符；20到33位字符表示无人机图像采集时间，命名格式为“年月日小时分钟秒”，第34位为照片拍摄序号，表示的是该照片为在当前秒内拍摄的照片位次。重命名后的图像以日为单位统一保存在命名为“image-测量当日日期”的文件夹中；

针对上述公路路面病害检测及定位方法。进一步地，步骤4)中图像预处理以及对基于改进DPM的路面病害检测模型进行训练的具体内容指：

a)图像预处理流程具体包括将原图像进行复制，将副本保存在命名为“检测日期+检测”的文件夹中，将文件夹中的图像副本进行resize处理，分辨率修改为512×500格式，使其满足基于改进DPM的路面病害检测模型对检测样本的尺寸需求。同时按照从1开始，由小到大的数字顺序对图像副本进行重命名，以作为路边病害检测及定位的样本；

b)对基于改进DPM的路面病害检测模型进行训练的具体流程指，通过包含路面修补横裂、路面修补纵裂、路面修补网裂、路面未修补横裂、路面未修补纵裂、路面未修补网裂、其他共七种病害类型、总数据量超过10000张、每种病害类型的数据超过1000张的某大学路面病害数据集对基于改进DPM的路面病害检测模型进行模型训练，使其检测速度和精确度满足检测需求。在模型训练时，在某大学路面病害数据集中的每种病害类型的数据中，选取每种类型病害数据各50张作为训练正样本，随机抽取80％的数据用于模型训练流程训练集，其余20％的数据用于模型训练验证样本集，再随机选取无病害的路面照片200张作为训练负样本；

针对上述公路路面病害检测及定位方法。进一步地，步骤5)中涉及的路面病害检测流程具体指首先使用DPM-1模型对待检图像进行检测，若DPM-1模型检测出病害存在，则结束检测，检测结果为存在路面病害，同时将该图片保存至对应病害类型的文件夹中。若DPM-1模型未检测出路面病害存在，则将该图像转至DPM-2模型进行检测，若DPM-2模型检测出病害存在，则结束检测，检测结果为存在路面病害，同时将该图片保存至对应病害类型的文件夹中；若DPM-2模型未检测出路面病害存在，则结束检测，检测结果为不存在路面病害。

针对上述公路路面病害检测及定位方法。进一步地，步骤6)中涉及的路面病害的定位流程具体指：

a)比对路面病害所在的高分辨率影像资料的拍摄时间，以及该时间时北斗卫星定位系统所获得的无人机经度坐标X₁、纬度坐标Y₁,以及高程信息Z₁和无人机系统自身记录的无人机飞行高度信息H₁；

b)按式(1)计算得路面病害所在位置的经度坐标X、按式(2)计算得路面病害所在位置的纬度坐标Y、按式(3)计算得路面病害所在位置的高程坐标Z：

X＝X₁ 式(1)

Y＝Y₁ 式(2)

Z＝Z₁-H₁ 式(3)

c)根据路面病害的经度坐标、纬度坐标以及高程坐标，确定路面病害所在的位置。

与现有技术相比，本发明的有益效果是：

可以利用低空无人机系统，完成公路路面病害情况高清视频影像数据的获取，相对于传统的依靠检测车拍摄、航空摄影、人工拍摄获取路面影像的方法，具有检测速度快、检测频率稳定、检测费用低、对人力需求较少、可以进行全天候作业等优点，依靠5G移动通信技术，可以解决当前4G移动通信技术存在的传输速度慢、传输容量受到较大限制等缺点，采用5G移动通信技术及设备，可以实现路面病害检测现场与后台处理服务器之间的快速、大容量数据传输及信息通信。依靠北斗卫星定位模块和基于改进DPM的路面病害检测模型，可以实现依靠模型自动完成路面病害的检测及定位功能，检测精度较高、检测速度较快，定位较准确；可以解决当前依靠检测人员通过检查路面病害对路面病害进行人工检测的定位的方法中存在的检测效率低、检测精度差、人力消耗大、人力成本高、检测效果受检测人员的技术水平、从业经验、生理状况等因素影响较大的缺点。

本发明所提出的基于无人机的公路路面病害的定位方法可以实现由公路路面数据获取、数据传输、病害检测、病害定位的公路路面病害由数据获取到定位的全流程自动化检测作业，可以极大提高公路养护及管理服务水平，并降低公路养护的成本。

附图说明

图1为本发明提出的基于无人机的公路路面病害的定位方法的流程图。

图2为本发明所提出的基于无人机的公路路面病害的定位方法的检测原理图。

图3为本发明所构建的无人机系统的结构图。

图4为改进的DPM检测算法原理图。

图5为基于改进DPM的路面检测模型训练用某大学路面病害数据集图。

图6为基于改进DPM的路面检测模型进行路面病害检测定位的流程图。

具体实施方式

下面结合附图，并通过具体实例进一步描述本发明的具体实施过程，但不以任何方式限制本发明的适用范围。

图1为本发明提出的基于无人机的公路路面病害的定位方法的流程图，包括以下步骤：

步骤1：在低空无人机上安装飞思iXU 180型高分辨率航测相机、华为5G移动通信终端、UFirebird UC6226型北斗定位芯片，以构建低空无人机系统；

步骤2：步骤1中构建的低空无人机按3m/s的飞行速度和7m的飞行高度在待检测公路路面进行巡航，并每隔0.1秒拍摄一张路面高清相片，相片以1920×1080的分辨率，以及JEPG的格式保存；在路面存在限高设施或者地形地貌条件不允许时，无人机飞行高度可以根据实际情况进行调整；

步骤3：在无人机系统进行步骤2所述的拍摄过程时，无人机飞行高度和飞行状态等数据被同步保存下来；

步骤4：在无人机系统进行步骤2所述的拍摄过程时，机载北斗卫星定位模块实时获取无人机的经度、纬度、高程信息；

步骤5：对步骤2、步骤3、步骤4中所涉及的各项数据、信息进行重新编码及命名；

步骤6：机载5G移动通信终端将步骤5中重新编码及命名的数据、信息传输至数据处理服务器；

步骤7：数据处理服务器对路面病害图像数据进行预处理，使其满足检测模型对于格式及分辨率的要求；数据预处理要求将原图像进行复制，将副本保存在命名为“检测日期+检测”的文件夹中，将文件夹中的图像副本进行resize处理，分辨率修改为512×500格式，同时按照从1开始，由小到大的数字顺序对图像副本进行重命名。同时数据处理服务器使用某大学路面病害数据集对基于改进DPM的路面病害模型进行训练。

如图6所示的DPM图像特征检测算法的基本原理，是对于任意一张检测图像，首先提取该图像的DPM特征，然后将所输入的图像进行高斯金字塔上采样，随后再次提取采样后的图片的DPM特征。对原始输入样本图像的DPM特征图和经过训练的根过滤器进行卷积处理，处理后得到根过滤器的响应图。再对于2倍分辨率图像的DPM特征图，以及经过训练的部件过滤器进行卷积处理，以获得部件过滤器的响应图。然后对其精细高斯金字塔的下采样操作。经过操作以后的根滤波器和部件滤波器的响应图便获得了相同的分辨率，随后将其加权平均计算处理，得到最终的响应图。

如图5所示的某大学路面病害数据集，包含修补路面横裂、修补路面纵裂、修补路面网裂、未修补路面横裂、未修补路面纵裂、未修补路面网裂、其他七类路面病害数据，每种类型的病害数据超过1000张。在模型训练时，首先选取每种类型的病害数据各50张作为训练正样本，从其中随机选取80％作为模型训练数据集，其余20％作为模型训练验证集，再选取200张没有路面病害的路面图像数据作为训练负样本。

步骤8：利用基于改进DPM的路面病害检测模型对经步骤7预处理后的路面图像数据进行病害检测及定位。

病害检测及定位的具体流程如图6所示，首先将经过预处理的图像数据使用训练好的DPM-1模型对待检图像进行检测，由DPM-1模型，进行修补横裂、修补纵裂、修补网裂三种类型的病害检测，若检测结果为存在病害，则对病害进行定位，若检测结果为不存在病害，则将数据转至训练好的DPM-2模型中，进行未修补横裂、未修补纵裂、未修补网络、其他四种类型的病害检测，若检测结果为存在路面病害，则对路面病害进行定位，若检测结果未不存在病害，则模型的检测结果输出为不存在路面病害。