具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种结合YOLOv3和光流法的车辆火灾识别方法，所述方法为：

制作训练样本集，使样本集内包括多种常见的目标；

训练权重模型，配置YOLOv3网络模型参数，将训练样本集代入，离线训练YOLOv3网络模型，生成权重模型；

进行单帧图像火焰检测，采集车辆实时图像输入权重模型，输出检测结果，判断是否存在真实火焰和干扰因素；

对连续图像序列进行火灾识别，通过光流法统计火焰区域的光流信息，统计疑似区域内火焰整体运动方向，判断火灾真实性。

训练样本集内包括三类目标：真实火焰样本、显示器样本和光源样本；

所述真实火焰样本包括在实际应用环境下不同光线、角度、火源的采集的火焰图像，以及网络公开样本集，从中筛选火焰样本；

所述显示器样本由于一般车辆中都有显示器设备，若播放火灾安全宣传片，容易造成误报，对显示器现实的火焰样本进行采集；

所述光源样本包括多种车辆周边的光源类型，车灯光源、车内部照明灯光源、装饰灯光源均在光源样本内。

制作三类训练图像样本集：fire、tvmonitor和light，全部为RGB图像，图像大小任意。tvmonitor和light两类用于排除干扰，降低模误报率和过拟合。

训练权重模型的方法为：

设置YOLOv3网络模型参数，样本类数K=3，迭代次数10000，图像分辨率归一化为416×416×3；

（1）假设图像A传入YOLOv3网络模型经过特征提取，得到3个尺度的特征图 S×S，S表示格网数分别是13，26，52。

（2）将特征图变换维度为 S×S×{B×(5+C)}的张量。B表示待选预测框的个数，5表示预测框的中心点坐标、宽高（x、y、w、h）偏移量和置信度confidence的预测，K表示对K个类别的预测概率。

（3）计算Yolov3网络模型的损失函数Loss，由预测框的坐标中心和宽高的误差（loss _coordinate ）、置信度误差（loss _confidence ）和分类误差（loss _classes ）三部分加权得到的，λ _coordinate 为坐标权重系数：

坐标误差包括中心误差和宽高误差采用欧几里得距离表示：

其中I _ij ^obj表示第i个格网中第j个候选框负责目标，若负责I _ij ^obj=1，否则，I _ij ^obj=0；、、、分别表示第i个格网中第j个候选框目标坐标中心和宽高的真值，、、、分别表示第i个格网中第j个候选框目标坐标中心和宽高的预测值。

置信度误差采用二分交叉熵表示，包含两部分：当前格网负责目标和不负责目标的置信度误差：

其中表示第i个格网中第j个候选框不负责目标，表示没有目标的权重系数，取值在0～1之间。表示当前迭代模型置信度的预测值, 表示置信度真实值。

分类误差同样采用二分交叉熵：

其中I _ij ^obj同上表示第i个格网中第j个候选框负责目标，k表示第k类目标，P _i ^j (k)示第i个格网第j个候选框中负责第k类目标的预测概率，表示第i个格网第j个候选框中负责目标的真实概率。

（4）更新权重，进行误差反向传播，将误差通过网络向后流动。通过对Loss求导来实现：假设网络第l层输出为Z ^(l)，Z ^(l)=f(W ^(l))，W ^(l)表示权重。置信度、分类概率和坐标中心x和y都是通过激活函数Sigmoid得到：。因此置信度权重更新梯度：

其中C _r ^l 表示网络第l层第r个特征图的置信度，W _r ^l _con 表示网络第l层第r个特征图的置信度权重。

分类误差权重更新梯度为：

其中P _r ^l (k)表示网络第l层第r个特征图第k类目标的预测概率，W _r ^l (k)表示网络第l层第r个特征图第k类目标预测概率的权重。

坐标误差权重更新梯度为：

其中x _r ^l ，y _r ^l ，w _r ^l ，h _r ^l 表示在网络第l层第r个特征图的预测目标框的坐标中心和宽高向量，、、、表示在网络第l层第r个特征图目标框坐标中心和宽高的真值向量，W _r ^l 网络第l层第r个特征图的目标框坐标权重。

经过不断迭代，待误差损失收敛到最小值，从而得到最优权重模型。

在完成最优权重模型训练后，进行单帧图像火焰检测；

通过摄像头采集车辆实时图像；

将图像和训练得到的权重模型一起代入YOLOv3网络结构，得到目标预测框。若检测出fire目标，则进行将其保留，然后进行下一帧检测；若同时存在tvmonitor和fire两类，判断两目标的相对位置关系，采用测度为两目标的交并比，A表示tvmonitor检测框，B表示fire检测框。若fire和tvmonitor的IOU>0.9，则判定为未发生火警；否则，将当前图像保留，进入下一帧检测；

在单帧图像火焰检测过程中，将显示器样本和光源样本的干扰因素进行排除，判断不存在真实火焰时则再次采集实时图像，存在真实火焰时，判断是否存在显示器，不存在显示器则保留连续图像序列，存在显示器则判断是否存在火焰图像，不存在火焰图像则保留连续图像序列，存在火焰图像则说明存在干扰，再次采集实时图像。

连续图像序列进行火灾识别方法为：

累计多帧检测到火焰的连续图像；当连续5帧检测到fire目标时，计算帧间的光流信息。将前后两帧图像作为输入，调用opencv库中calcOpticalFlowFarneback函数稠密光流法通过二次多项式拟合稠密光流得到每个像素点的光流信息（在水平方向偏移量h和垂直方向的偏移量v）。通过光流信息，根据三角形定理计算出每个像素点的运动方向θ=arctan(v / h)，运动距离。运动方向按上下左右4个方向计算，定义θ在（45°,135°]区间方向为上，在（135°，225°]区间方向为右，在（225°，315°]区间方向为下，在（315°，360°]和[0°，45°]区间方向为左。统计疑似区域整体运动方向，若疑似区域运动方向整体趋势一致且运动距离d在[2,10]之间，则判定为火灾。

本实施例公开了一种结合YOLOv3和光流法的车辆火灾识别方法，针对车辆特定场景，设计三种训练样本集，其中真实火焰样本和光源样本两类训练，可以抑制火焰过拟合；设计显示器火焰类目标，可以降低误报率；通过YOLOv3模型提取火焰深层和浅层静态特征，通过光流法对多帧检测到火焰的连续图像进行分析，结合随时间变化火焰的动态特征，综合分析识别火灾。提升火焰识别精度，准确判断是否有真实火灾发生。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。