阅读说明：本技术 一种基于视觉分析检测施工现场跨越临时围栏的方法 (Method for detecting temporary fence crossing in construction site based on visual analysis ) 是由 徐建斌 张志刚 何恩超 王强 杜艳洁 张怀砚 李舒桢 陈伟亚 王海龙 于 2020-05-28 设计创作，主要内容包括：本发明涉及一种基于视觉分析检测施工现场跨越临时围栏的方法,步骤为：1、构建检测器；2、实时采集施工现场摄像头图片,调用检测器,如未检测到围栏,则N秒之后继续步骤2片,如未检测到施工人员,则继续步骤2,否则进入步骤3；3、将步骤2中检测到的施工人员初始化为跟踪目标队列；4、对跟踪目标队列的状态进行预测；读取摄像头实时视频帧f,调用检测器,得到施工人员在视频帧f中的位置d；5、将跟踪结果和检测结果进行匹配；6、检测视频帧f中的围栏位置,判断构成段<Image he="44" wi="30" file="DDA0002512367290000011.GIF" imgContent="drawing" imgFormat="GIF" orientation="portrait" inline="no"></Image>与施工人员运动轨迹是否有交点,如存在交点,则报警；7、将步骤5中的未匹配队列剔除,将未匹配d增加到跟踪目标队列中,回到步骤4。本方法实现了智能化的施工现场违章行为检测。(The invention relates to a method for detecting temporary fence crossing in construction site based on visual analysis, which comprises the following steps: 1. constructing a detector; 2. acquiring a camera picture of a construction site in real time, calling a detector, continuing the step 2 after N seconds if no fence is detected, continuing the step 2 if no constructor is detected, and otherwise, entering the step 3; 3. initializing the constructors detected in the step 2 into a tracking target queue; 4. predicting the state of a tracking target queue; reading a real-time video frame f of a camera, calling a detector to obtain the position of a constructor in the video frame fd; 5. matching the tracking result with the detection result; 6. detecting the fence position in the video frame f, and judging the composition segment Whether an intersection point exists with the motion track of the constructor or not, and if the intersection point exists, alarming; 7. and (4) eliminating the unmatched queue in the step 5, adding the unmatched d into the tracking target queue, and returning to the step 4. The method realizes intelligent detection of the violation behaviors in the construction site.)

一种基于视觉分析检测施工现场跨越临时围栏的方法

技术领域

本发明属于电网施工安全检测技术领域，具体涉及一种基于视觉分析检测施工现场跨越临时围栏的方法。

背景技术

从项目施工安全管理方面来看，在安全生产诸要素中，“人”最关键而又最活跃的因素，也是影响安全生产最主要的因素。施工人员的安全意识和行为直接影响到施工安全，施工人员流动性较大，缺乏安全责任意识，对安全工作规范、安全措施理解不到位、执行不到，同时对违章行为也视若无睹。施工安全风险贯穿于配网工程建设的始终，需要施工安全监督管理立足于每个施工环节。

目前电网施工作业现场部署了大量的视频监控终端，主要依靠人工监屏的方法来发现现场违章情况，这比传统的现场督查效率大为提高，但仍很难满足一个地级公司每天数百个作业现场的安全监察工作要求，效率较低；作业现场违章行为智能识别系统已在开始研究，都是在后端服务器实现图像检查，占用流量带宽很高,且识别的有效性和正确性还有待进一步提高。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种基于视觉分析检测施工现场跨越临时围栏的方法。

本发明的上述目的通过如下技术方案来实现：

一种基于视觉分析检测施工现场跨越临时围栏的方法，其特征在于，包括如下步骤：

步骤1、分别采集施工人员和临时围栏样本图片，训练深度卷积神经目标检测网络，构建施工人员和临时围栏检测器；

步骤2、实时采集施工现场摄像头图片，调用步骤1中训练得到的检测器，如未检测到围栏，则N秒之后继续采集施工现场摄像头图片，如未检测到施工人员，则继续采集施工现场摄像头图片，否则进入步骤3，其中N为系统设定阈值；

步骤3、将步骤2中检测到的施工人员初始化为跟踪目标队列；

步骤4、使用卡尔曼滤波器观测空间的协方差矩阵对跟踪目标队列的状态进行预测，得到预测结果p；读取摄像头实时视频帧f，调用步骤1中训练得到的检测器，得到施工人员在视频帧f中的位置d；

步骤5、将跟踪结果集合t和检测结果集合d进行匹配，并将匹配的检测结果加入到该施工人员的运动轨迹中；

步骤6、检测视频帧f中的围栏位置，将围栏矩形框左下角坐标记为(x₁，y₁)，右下角坐标记为(x₂，y₂)，，(x₁，y₁)和(x₂，y₂)构成线段判断与施工人员运动轨迹是否有交点，如存在交点，则表明施工人员存在跨越围栏的行为，则报警；

步骤7、将步骤5中的未匹配队列剔除，将未匹配d增加到跟踪目标队列中，更新卡尔曼滤波器观测空间的协方差矩阵，回到步骤4。

进一步的：步骤4包括如下子步骤：

步骤4.1记施工人员在视频帧中的中心坐标为(cx,cy)，目标高度为h，目标宽度为w，以及各自的速度变化构成的8维向量x＝[cx，cy，h，w，vx，vy，vh，vw]为卡尔曼滤波器当前状态；其中vx,vy,vh,vw表示各自的速度变化；

步骤4.2设定施工人员在两帧视频间隔时间t内以匀速运动，则预测结果p的状态为：p＝Fx，其中F为线性观测模型：

其中，dt是两帧之间的差。

进一步的：步骤5包括如下子步骤：

步骤5.1使用马氏距离刻画跟踪集合t和检测集合d之间的匹配程度，马氏距离定义如下，其中S_i是卡尔曼滤波器观测空间的协方差矩阵：

其中，d_j和tj分别表示集合t和集合d中一个对象，该对象用步骤4.1中的8维向量x表示；

步骤5.2提取跟踪集合t和检测集合d所在框图的颜色直方图作为各自区域施工人员的表观特征，计算表观特征之间的余弦距离：

dis⁽²⁾(i，j)＝cos(f(d_j)，f(t_i))

其中，f表示提取该行人的直方图特征

步骤5.3结合步骤5.1和5.2的两种度量距离，得到最终的度量距离，选择最小距离的匹配对作为成功匹配对，更新该跟踪人员的运动轨迹：

dis(i，j)＝λdis⁽¹⁾(i，j)+(1-λ)dis⁽²⁾(i，j)

其中，λ是经验值，取0.5。

本发明具有的优点和积极效果：

本发明利用智能图像处理算法，通过深度卷积神经网络检测施工人员和临时围栏，并采用卡尔曼滤波器跟踪视频中的施工人员、更新施工人员运动轨迹，通过计算施工人员运动轨迹与临时围栏是否存在交点从而判断施工人员是否存在跨越临时围栏的违章行为，从而实现了智能化的施工现场违章行为检测，对人员行为违章、安全文明施工措施未落实等进行及时报警和现场监督管控。

附图说明

图1是本发明方法的流程图。

具体实施方式

下面结合图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于视觉分析检测施工现场跨越临时围栏的方法，请参见图1，其发明点为，包括如下步骤：

步骤1、分别采集施工人员和临时围栏样本图片，具体的，通过摄像头采集图片，手工标注出图片中施工人员和临时围栏；训练深度卷积神经目标检测网络，构建施工人员和临时围栏检测器，具体的，用深度卷积神经网络构建目标检测网络，然后训练得到检测模型，即检测器。

步骤2、实时采集施工现场摄像头图片，调用步骤1中训练得到的检测器，如未检测到围栏，则N秒之后继续采集施工现场摄像头图片，如未检测到施工人员，则继续采集施工现场摄像头图片，否则进入步骤3，其中N为系统设定阈值；

步骤3、将步骤2中检测到的施工人员初始化为跟踪目标队列；

步骤4、使用卡尔曼滤波器观测空间的协方差矩阵对跟踪目标队列的状态进行预测，得到预测结果p；读取摄像头实时视频帧f，调用步骤1中训练得到的检测器，得到施工人员在视频帧f中的位置d。上述预测结果P的具体获得方法为：

步骤4.1记施工人员(即需要跟踪的对象)在视频帧中的中心坐标为(cx,cy)，目标高度为h，目标宽度为w，以及各自的速度变化构成的8维向量x＝[cx，cy，h，w，vx，vy，vh，vw]为卡尔曼滤波器当前状态；其中vx,vy,vh,vw表示各自的速度变化；

步骤4.2设定施工人员在两帧视频间隔时间t内以匀速运动，则预测结果p的状态为：p＝Fx，其中F为线性观测模型：

其中，dt是两帧之间的差。

步骤5、将跟踪结果集合t(即跟踪集合施工人员跟踪队列)和检测结果集合d(指当前帧的检测结果)进行匹配，并将匹配的检测结果加入到该施工人员的运动轨迹中。具体步骤为：

步骤5.1使用马氏距离刻画跟踪集合t和检测集合d之间的匹配程度，马氏距离定义如下，其中S_i是卡尔曼滤波器观测空间的协方差矩阵：

其中，d_j和t_j分别表示集合t和集合d中一个对象，该对象用步骤4.1中的8维向量x表示；

步骤5.2提取跟踪集合t和检测集合d所在框图的颜色直方图作为各自区域施工人员的表观特征，计算表观特征之间的余弦距离：

dis⁽²⁾(i，j)＝cos(f(d_j)，f(t_i))

其中，f表示提取该行人的直方图特征

步骤5.3结合步骤5.1和5.2的两种度量距离，得到最终的度量距离，选择最小距离的匹配对作为成功匹配对，更新该跟踪人员的运动轨迹：

dis(i，j)＝λdis⁽¹⁾+(1-λ)dis⁽²⁾(i，j)

其中，λ是经验值，取0.5。

步骤6、检测视频帧f中的围栏位置，将围栏矩形框左下角坐标记为(x₁，y₁)，右下角坐标记为(x₂，y₂)，(x₁，y₁)和(x₂，y₂)构成线段判断与施工人员运动轨迹是否有交点，如存在交点，则表明施工人员存在跨越围栏的行为，则报警；

步骤7、将步骤5中的未匹配队列剔除，将未匹配d增加到跟踪目标队列中，更新卡尔曼滤波器观测空间的协方差矩阵，回到步骤4。具体的，指跟踪队列未能和检测结果匹配的，如一个人一直在摄像头中，其有一个跟踪序列，然后离开了摄像头，那就检测不到了，就是在队列中未能找到匹配的检测对象，就从跟踪队列剔除。一个人新进入摄像头，是一个新检测到的目标，那就加到跟踪队列。

尽管为说明目的公开了本发明的实施例和图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和图所公开的内容。