阅读说明：本技术 一种基于深度学习的适用于道路能见度的监测方法与系统 (Monitoring method and system suitable for road visibility based on deep learning ) 是由 冯海霞 白博文 王�琦 咸化彩 李炜 张丽彩 孟祥鲁 王帅 于 2019-11-22 设计创作，主要内容包括：目前,对道路能见度的监测的各类方法很难实现全道路监测,因此本发明提出一种基于深度学习的适用于道路能见度的监测方法与系统,方法步骤包括：数据收集,利用深度学习方法构建能见度模型,构建道路所有摄影头数据的能见度监测系统,将能见度模型推广至系统中所有摄像头图像数据的能见度判定,能见度显示、分级预警并通过显示屏预警提示,该系统包括道路摄像头,能见度模型,数据处理中心和预警信息展示器。本发明发挥深度学习算法的优势,利用现有的道路摄影头的视频图像、能见度等数据,低成本地实现了对道路全程能见度的监控。(At present, various methods for monitoring road visibility are difficult to realize all-road monitoring, so the invention provides a monitoring method and a system based on deep learning and suitable for road visibility, and the method comprises the following steps: the method comprises the steps of collecting data, constructing a visibility model by using a deep learning method, constructing a visibility monitoring system for all road camera data, popularizing the visibility model to visibility judgment of all camera image data in the system, displaying visibility, carrying out grading early warning and carrying out early warning prompt through a display screen. The invention exerts the advantages of the deep learning algorithm, utilizes the data of the video image, the visibility and the like of the existing road camera, and realizes the monitoring of the whole-course visibility of the road with low cost.)

一种基于深度学习的适用于道路能见度的监测方法与系统

技术领域

本发明涉及交通安全领域，具体的说是一种基于深度学习的适用于道路能见度的监测方法与系统领域。

背景技术

随着我们机动车辆数量的迅速增加和车辆行驶速度的提升，对交通运输的安全保障提出了更高的要求，各种自然灾害对交通安全的影响越来越受到重视，其中气象灾害严重影响了交通运输安全问题，尤其是高速公路；据统计在交通事故的影响因素中，由天气条件因素引起的道路条件因素的引起的交通事故的比例约占45％，能见度是反应天气情况的重要指标，当出现降雨、雪、霾、沙尘暴等天气过程时，能见度都会降低，能见度降低会对交通安全带来重大隐患，对能见度的实时监测和预见对减少和预防交通事故，实时制定交通安全措施、保障交通安全具有重要意义。

目前对进行监测，大体可分为三类：一类目测法，一类是基于能见度仪的监测，另一类是基于图像的监测。目测法能见度的观测大都还是以人工目测为主；能见度仪分为测量大气透射率、前向散射和大气消光系数三类仪器；基于图像处理的能见度监测主要通过图像分析处理获取能见度数值。目测法能见度的规范性、客观性相对较差；能见度仪是目前最常用的能见度监测方法，但仪器价格较贵；且因道路沿线状况不同，尤其是山区地带，目前基于图像处理的能见度监测方法很难适应对整条道路的能见度监测。道路因本身的特点，如长度较长，但宽度很窄，所经过的地区情况复杂，尤其是山区的道路，要想实现道路能见度的全程监测，目测法几乎不可能；能见度仪布设必须间距较小，但价格较贵，成本太高；因摄像头成本的快速下降基于图像处理的成为最经济、快速能见度监测方法，且因道路本身摄影头很多，基于图像的能见度预测成为道路能见度预测的优先方案，但目前基于图像处理的能见度监测方法很难适应对复杂路况的整条道路的能见度监测；深度学习方法的快速发展，为基于图像的能见度预测提供了新的方法和思路。

发明内容

由于能见度仪成本高，摄像头成本低，因此目前对于道路能见度的监测多为基于图像处理的方法，但这种方式很难适应路况不同的整条道路。若地区地势复杂，尤其在山区地带，想实现道路能见度的全程监测非常困难。为解决以上问题，本发明提出以下解决方案。

一种基于深度学习的适用于道路能见度的监测方法，包括以下步骤：

S1.数据收集：在监测道路选择不同的典型路况、不同的天气状况下的摄像头捕捉图像，获取对应的天气数据、环境状况数据；

S2.利用深度学习方法构建能见度模型：

数据预处理，获取监测路段摄像头的视频数据，对视频数据进行预处理，每隔t秒提取一幅图像，所提取的摄像图像随时间形成动态的时间序列图像，其中 1≤t≤10；

计算图像的对比度、边缘特征、POLC指标；

将以上数据一一对应，进行深度学习；

利用训练数据对构建能见度模型训练网络，优化网络，构建能见度模型；

S3.构建道路所有摄影头数据的能见度监测系统：

将道路所有的摄影头利用GIS技术，建立数据库，构建道路能见度的监测系统，实现道路沿线所有摄影头图像的处理、地图显示；

S4.将能见度模型推广至系统中所有摄像头图像数据的能见度判定；

S5.能见度显示、分级预警，并通过显示屏预警提示。

其中，步骤S2所述对比度的计算步骤为：

其中C_x,xi(f)为行向对应像素点的对比度值，f(x)为对应像素点的灰度值，为像素相邻位置的右边像素值，G为图像最大灰度值，min{f(x),f(xi)}为相邻像素最小值；

同理可求出列向对比度；

所述边缘特征的计算步骤为：

通过考察图像的每个像素点，在某个领域内的灰度变化进行梯度值计算，利用边缘临近一阶或者二阶方向导数变化规律，使用边缘检测算子计算出局部梯度值，采用3x3sobel算子(一阶)，其计算出来的局部梯度值可作为梯度幅值

其中F(G_mean)为图像的全局平均梯度，M,N为图像分辨率大小，G_s(i,j)为对应像素的梯度值，能见度高时边缘响应很强烈，反之很弱；

所述POLC指标的计算步骤为：

先将图像划分成m×n的区域，然后计算每一个区域的对比度和图像LAB颜色空间的L通道值作为明度，最后每个区域取均值作商得到POLC

其中Ω(x)是划分区域的大小，m×n是窗口总数，m≤M,n≤N，C(y)是对比度，L(y)是明度。

所述深度学习包括步骤：

选择深度残差网络ResNet模型，选择ResNet50作为网络设计；

网络架构调整与确定：除了摄影头图像数据外，通过天气数据、环境状况数据，以及计算的对比度、边缘特征、POLC指标去辅助网络拟合能见度数据，因此移除最后linear，再重新加入三层linear，在第一层linear时会将辅助信息与网络前面4层layer提取的图像信息融合，再经过一层linear拟合，最后一层linear的神经元依为1代表能见度；

进行网络训练：

S01)、将训练集按8:2比例划分为训练集合验证集，将划分好的训练集再划分，进行4折交叉验证；

S02)、将图像进行数据增广，再将其转换位4-D Tensor，做归一化处理。然后再计算所需的辅助特征。对于辅助的天气数据、环境状况数据做编码转换和归一化；

S03)、将能见度数据归一化后作为标签数据；

S04)、设置相关超参数，包括最大迭代次数、学习率、L2正则系数、学习率衰减系数，使用学习率热启动+余弦退火学习率策略；

S05)、使用Adam作为优化器，为防止网络过拟合加入L2正则作为惩罚项；

S06)、使用MSE Loss作为损失函数监督网络学习；

S07)、迭代训练，每训练完一个epoch会用验证集和测试集进行精度计算，保存训练过程中最好的那一次。

一种基于深度学习的适用于道路能见度的监测的系统，包括：

道路摄像头，用于数据收集；

能见度模型；

数据处理中心，分别与道路摄像头和能见度模型无线传输连接，用于构建道路所有摄影头数据的能见度监测系统和将能见度模型推广至系统中所有摄像头图像数据的能见度判定；

预警信息展示器，与数据处理中心无线传输连接，用于能见度显示、分级预警，并通过显示屏预警提示。

本发明的有益效果：

本发明针对道路长度长、宽度窄的特点，以及目前能见度监测方法的不足，能提供不同路段、道路全程的能见度监测和预警；

本发现充分利用了现有的气象数据、环境数据等免费数据，不但可以为每个摄影头所在的路段的能见度计算提供数据源，而且能为不同路段的精准的交通安全信息和交通安全预警措施；

本发明仅利用监测路段的样本数据，发挥深度学习算法的优势，利用现有的道路摄影头的视频图像、能见度等数据，实现对道路全程能见度的监控，系统成本低，改变了目前道路能见度监测中需要增加大量仪器设备、造价昂贵的现状，经济效益显著。

附图说明

图1为本发明所述系统结构示意图；

图2为本发明所述方法流程图；

图3为利用深度学习方法能见度模型流程图；

图4为ResNet网络中的残差单元示意图；

图5为ResNet50网络架构示意图；

图6为网络架构调整与确定的流程图。

具体实施方式

一种如图1所示的基于深度学习的适用于道路能见度的监测系统，包括：

道路摄像头，用于数据收集；

能见度模型；

数据处理中心，分别与道路摄像头和能见度模型无线传输连接，用于构建道路所有摄影头数据的能见度监测系统和将能见度模型推广至系统中所有摄像头图像数据的能见度判定；

预警信息展示器，与数据处理中心无线传输连接，用于能见度显示、分级预警，并通过显示屏预警提示。

如图2所示，该系统的实现方法包括以下步骤：

S1.数据收集：在监测道路选择不同的典型路况、不同的天气状况下的摄像头捕捉图像，获取对应的天气数据、环境状况数据；

S2.利用深度学习方法构建能见度模型，流程示意图如图3：

数据预处理，获取监测路段摄像头的视频数据，对视频数据进行预处理，每隔t秒提取一幅图像，所提取的摄像图像随时间形成动态的时间序列图像，其中 1≤t≤10；

计算图像的对比度：

其中C_x,xi(f)为行向对应像素点的对比度值，f(x)为对应像素点的灰度值，为像素相邻位置的右边像素值，G为图像最大灰度值，min{f(x),f(xi)}为相邻像素最小值；

同理可求出列向对比度；

计算边缘特征：

通过考察图像的每个像素点，在某个领域内的灰度变化进行梯度值计算，利用边缘临近一阶或者二阶方向导数变化规律，使用边缘检测算子计算出局部梯度值，采用3x3sobel算子(一阶)，其计算出来的局部梯度值可作为梯度幅值

其中F(G_mean)为图像的全局平均梯度，M,N为图像分辨率大小，G_s(i,j)为对应像素的梯度值，能见度高时边缘响应很强烈，反之很弱；

计算POLC(韦伯对比度与明度的比值)指标：

先将M×N的图像划分成m×n的区域，然后计算每一个区域的对比度和图像LAB颜色空间的L通道值作为明度，最后每个区域取均值作商得到POLC

其中Ω(x)是划分区域的大小，m×n是窗口总数，m≤M,n≤N，C(y)是对比度，L(y)是明度。

将以上数据一一对应，并对数据按8：2比例划分为训练集和验证集，进行深度学习：

选择深度残差网络ResNet模型，ResNet模型中含有多个如图4所示的残差单元，选择ResNet50作为网络设计，其网络架构示意图如图5所示；

网络架构调整与确定，流程如图6所示：除了摄影头图像数据外，通过天气数据、环境状况数据，以及计算的对比度、边缘特征、POLC指标去辅助网络拟合能见度数据，因此移除最后linear，再重新加入三层linear，在第一层linear 时会将辅助信息与网络前面4层layer提取的图像信息融合，再经过一层linear 拟合，最后一层linear的神经元依为1代表能见度；

进行网络训练：

S01)、将训练集按8:2比例划分为训练集合验证集，将划分好的训练集再划分，进行4折交叉验证；

S02)、将图像进行数据增广，再将其转换位4-D Tensor，做归一化处理。然后再计算所需的辅助特征。对于辅助的天气数据、环境状况数据做编码转换和归一化；

S03)、将能见度数据归一化后作为标签数据；

S04)、设置相关超参数，包括最大迭代次数、学习率、L2正则系数、学习率衰减系数，使用学习率热启动+余弦退火学习率策略，其中学习率热启动指网络刚开始训练时，设置一定epoch的热启动阶段，让学习率从0开始线性增长到我们设置的初始学习率。在过了热启动阶段的epoch再沿用选择的学习率策略；

S05)、使用Adam作为优化器，为防止网络过拟合加入L2正则作为惩罚项；

S06)、使用MSE Loss作为损失函数监督网络学习；

S07)、迭代训练，每训练完一个epoch会用验证集和测试集进行精度计算，保存训练过程中最好的那一次；

利用训练数据对构建能见度模型训练网络，优化网络，构建能见度模型；

S3.构建道路所有摄影头数据的能见度监测系统：

将道路所有的摄影头利用GIS技术，建立数据库，构建道路能见度的监测系统，实现道路沿线所有摄影头图像的处理、地图显示；

S4.将能见度模型推广至系统中所有摄像头图像数据的能见度判定；

S5.能见度显示、分级预警，并通过显示屏预警提示。