一种基于深度学习的电子围栏风险预警方法

文档序号:191319 发布日期:2021-11-02 浏览:24次 >En<

阅读说明:本技术 一种基于深度学习的电子围栏风险预警方法 (Electronic fence risk early warning method based on deep learning ) 是由 廉旭刚 杜虎君 李勇 景杰 潘作为 和雄伟 梁志刚 赵路佳 胡小强 宋国宏 于 2021-05-13 设计创作,主要内容包括:本发明涉及一种基于深度学习的电子围栏风险预警方法,基于深度学习构建锥形桶检测模型并进行训练,训练完成后通过锥形桶检测模型对实时采集的图像中的锥形桶进行识别,识别完成后选定识别点,计算确定电子围栏范围,进一步识别图像中的活动目标,并判断活动目标是否处于电子围栏的覆盖范围内,在判断为是时发出警报信号。通过本发明,能够通过图像识别的方式判断在事故发生地点建立电子围栏,并判断电子围栏范围内是否存在有碍事故排查的障碍,避免对事故清除造成影响。(The invention relates to an electronic fence risk early warning method based on deep learning, which is characterized in that a conical barrel detection model is constructed based on the deep learning and trained, a conical barrel in an image acquired in real time is identified through the conical barrel detection model after the training is finished, an identification point is selected after the identification is finished, the electronic fence range is calculated and determined, a moving target in the image is further identified, whether the moving target is in the coverage range of the electronic fence or not is judged, and an alarm signal is sent out when the moving target is judged to be in the coverage range of the electronic fence. According to the invention, the electronic fence can be judged to be established at the accident occurrence place in an image recognition mode, whether an obstacle which hinders accident investigation exists in the electronic fence range is judged, and the influence on accident clearing is avoided.)

一种基于深度学习的电子围栏风险预警方法

技术领域

本发明涉及深度学习技术领域,尤其涉及一种基于深度学习的电子围栏风险预警方法。

背景技术

电子围栏是目前最先进的周界防盗报警系统,通常,电子围栏设置于室外,沿着原有围墙(例如砖墙、水泥墙、铁栅栏或锥形桶)安装,通过信号传输设备将报警信号传至后端控制中心,显示防区工作状态。如今大多数电子围栏用于农业围栏和其他形式的动物管理,同时也经常用于加强诸如军事设施,监狱和其他安全敏感地点等敏感地区的安全,存在致命电压的地方。

现绝大部分周界报警系统还停留在前端报警和单一设备的控制管理之上,如要实现跨地域远程控制及理,必须依托第三方报警系统进行集成。但是提供报警系统的厂商可能无法提供开放协议和接口,也就难以形成统一集成平台,致使本应统一筹划的安防系统变成了“分散管理”的系统,同时,现有的电子围栏不便捷性难以根据需求实时更改调节。

发明内容

本发明为了解决上述提到的问题,提供了一种基于深度学习的电子围栏风险预警方法。

本发明解决其技术问题所采用的技术方案是:构造一种基于深度学习的电子围栏风险预警方法,包括:

获取包含锥形桶的图像并进行位置标记,构建锥形桶检测模型,并将标记锥形桶位置的图像输入锥形桶检测模型进行训练;

通过训练好的锥形桶检测模型,对实时图像中的锥形桶位置进行识别和标记;

基于完成锥形桶标记的实时图像,通过计算,就识别得到的锥形桶,在实时图像中生成电子围栏;

识别实时图像的电子围栏中是否存在活动目标,若存在则发出警报信号;其中,所述活动目标的类型至少包括:人、动物、机动车、非机动车或障碍物。

其中,锥形桶检测模型进行训练的步骤包括:

收集大量包含锥形桶的图像,手动使用矩形框标注出图像中锥形桶的位置;

使用开源深度学习目标检测框架,构建用于图像目标检测的锥形桶检测模型;

将标注出锥形桶位置的图像划分为训练集和测试集,将其中的训练集输入至构建的锥形桶检测模型中,通过输出结果调节模型的函数和参数,至输出结果与图像中锥形桶位置标记结果相同,结束训练;

通过测试集对锥形桶检测模型的检测结果的准确性进行测试。

其中,在实时图像中生成电子围栏的步骤包括:

将图像中每一锥形桶的尖端作为识别点,形成锥形桶的识别点集;

将识别点集中所有点两两配对,配对点的连线组成n(n-1)/2条线段;

针对每一条线段,判断识别点集中除连接组成该线段的两点外的(n-2)个识别点,相对线段的位置关系;

仅保留除连接组成该线段的两点外的(n-2)个识别点位于对应现对同一侧的n条线段,即得到电子围栏。

其中,在判断识别点集中除连接组成该线段的两点外的(n-2)个识别点,相对线段的位置关系的步骤中,

设定线段p1p2,坐标分别为 p1(x1,y1),p2(x2,y2),判断除连接组成该线段的两点外的(n-2)个识别点中任一点p3相对线段p1p2的位置关系时,设定p3的坐标为p3(x3,y3),则通过将各点坐标代入公式(1)计算结果;

针对线段p1p2,若其余各识别点代入公式(1)所得结果均为正数或负数,则判断其余各识别点位于线段p1p2的同一侧,若结果有正有负,则判断其余各识别点位于线段p1p2的不同侧。

其中,锥形桶检测模型是基于SSD神经网络模型构建。

其中,识别实时图像的电子围栏中是否存在活动目标的步骤包括:

识别图像中所有的活动目标,并确定活动目标的识别点;其中,将活动目标的中心点设定为活动目标识别点;

设定其中一个活动目标识别点为p点,以p点为端点,做任意方向的射线;

若任意一条射线与电子围栏形成的多边形任意一边的交点个数为奇数,则判定p点对应的活动目标位于电子围栏范围内;若任意一条射线与电子围栏形成的多边形任意一边的交点个数为偶数,则判定p点对应的活动目标位于电子围栏范围外。

其中,在将图像中每一锥形桶的尖端作为识别点的步骤中,包括步骤:

将完成锥形桶检测的图像输入至锥形桶顶点检测网络模型CenterNet;

接收锥形桶顶点检测网络模型CenterNet的输出结果并进行筛选,获取图像中锥形桶尖端位置;

在图像中构建坐标系,并确定每一锥形桶尖端的坐标信息,作为识别点坐标。

区别于现有技术,本发明的电子围栏风险预警方法,基于深度学习构建锥形桶检测模型并进行训练,训练完成后通过锥形桶检测模型对实时采集的图像中的锥形桶进行识别,识别完成后选定识别点,计算确定电子围栏范围,进一步识别图像中的活动目标,并判断活动目标是否处于电子围栏的覆盖范围内,在判断为是时发出警报信号。通过本发明,能够通过图像识别的方式判断在事故发生地点建立电子围栏,并判断电子围栏范围内是否存在有碍事故排查的障碍,避免对事故清除造成影响。

附图说明

下面将结合附图及实施例对本发明作进一步说明,附图中:

图1是本发明提供的一种基于深度学习的电子围栏风险预警方法的流程示意图。

图2是本发明提供的一种基于深度学习的电子围栏风险预警方法中SSD网络的原理示意图。

图3是本发明提供的一种基于深度学习的电子围栏风险预警方法中判断动态目标是否在电子围栏范围内的示意图;

图4是本发明提供的一种基于深度学习的电子围栏风险预警方法中CenterNet的网络结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明做进一步的详细说明。应当理解,此外所描述的具体实施例仅用以解释本发明,但并不用于限定本发明。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都将属于本发明保护的范围。

参照附图1,本发明提供一种基于深度学习的电子围栏风险预警方法,包括:

获取包含锥形桶的图像并进行位置标记,构建锥形桶检测模型,并将标记锥形桶位置的图像输入锥形桶检测模型进行训练;

通过训练好的锥形桶检测模型,对实时图像中的锥形桶位置进行识别和标记;

基于完成锥形桶标记的实时图像,通过计算,就识别得到的锥形桶,在实时图像中生成电子围栏;

识别实时图像的电子围栏中是否存在活动目标,若存在则发出警报信号;其中,所述活动目标的类型至少包括:人、动物、机动车、非机动车或障碍物。

其中,锥形桶检测模型进行训练的步骤包括:

收集大量包含锥形桶的图像,手动使用矩形框标注出图像中锥形桶的位置;

使用开源深度学习目标检测框架,构建用于图像目标检测的锥形桶检测模型;

将标注出锥形桶位置的图像划分为训练集和测试集,将其中的训练集输入至构建的锥形桶检测模型中,通过输出结果调节模型的函数和参数,至输出结果与图像中锥形桶位置标记结果相同,结束训练;

通过测试集对锥形桶检测模型的检测结果的准确性进行测试。

其中,在实时图像中生成电子围栏的步骤包括:

将图像中每一锥形桶的尖端作为识别点,形成锥形桶的识别点集;

将识别点集中所有点两两配对,配对点的连线组成n(n-1)/2条线段;

针对每一条线段,判断识别点集中除连接组成该线段的两点外的(n-2)个识别点,相对线段的位置关系;

仅保留除连接组成该线段的两点外的(n-2)个识别点位于对应现对同一侧的n条线段,即得到电子围栏。

其中,在判断识别点集中除连接组成该线段的两点外的(n-2)个识别点,相对线段的位置关系的步骤中,

设定线段p1p2,坐标分别为 p1(x1,y1),p2(x2,y2),判断除连接组成该线段的两点外的(n-2)个识别点中任一点p3相对线段p1p2的位置关系时,设定p3的坐标为p3(x3,y3),则通过将各点坐标代入公式(1)计算结果;

针对线段p1p2,若其余各识别点代入公式(1)所得结果均为正数或负数,则判断其余各识别点位于线段p1p2的同一侧,若结果有正有负,则判断其余各识别点位于线段p1p2的不同侧。

其中,锥形桶检测模型是基于SSD神经网络模型构建。

如图2所示,SSD网络模型采用VGG16作为基础模型,然后在VGG16的基础上新增了卷积层来获得更多的特征图以用于检测。

SSD网络模型采用VGG16做基础模型, VGG16通过ILSVRC CLS-LOC数据集进行预训练。借鉴DeepLab-LargeFOV,分别将VGG16的全连接层fc6和fc7转换成3*3卷积层conv6和1*1卷积层conv7,同时将池化层pool5由原来的stride=2的2*2变成stride=1的3*3,为了配合这种变化,采用Atrous Algorithm,其实就是conv6采用扩展卷积或带孔卷积(DilationConv),其在不增加参数与模型复杂度的条件下指数级扩大卷积的视野,其使用扩张率(dilation rate)参数,来表示扩张的大小。移除dropout层和fc8层,并新增一系列卷积层,在检测数据集上做finetuing。

其中VGG16中的Conv4_3层将作为用于检测的第一个特征图。conv4_3层特征图大小是38*38,但是该层比较靠前,其norm较大,所以在其后面增加了一个L2 Normalization层,以保证和后面的检测层差异不是很大,这个和Batch Normalization层不太一样,其仅仅是对每个像素点在channle维度做归一化,而Batch Normalization层是在[batch_size,width, height]三个维度上做归一化。归一化后一般设置一个可训练的放缩变量gamma。

从后面新增的卷积层中提取Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2作为检测所用的特征图,加上Conv4_3层,共提取了6个特征图,其大小分别是(38,38)、(19,19)、(10,10)、(5,5)、(3,3),但是不同特征图设置的先验框数目不同,先验框的设置,包括尺度(或者说大小)和长宽比两个方面。对于先验框的尺度,其遵守一个线性递增规则:随着特征图大小降低,先验框尺度线性增加:

其中m指的特征图个数,但却是5,因为第一层(Conv4_3层)是单独设置的,sk表示先验框大小相对于图片的比例,而smax和smin表示比例的最小值与最大值,取0.2和0.9。对于第一个特征图,其先验框的尺度比例一般设置为0.1,那么尺度为30;对于后面的特征图,先验框尺度按照上面公式线性增加,但是先将尺度比例先扩大100倍,此时增长步长为:

这样各个特征图的sk为20、37、54、71、88,将这些比例除以100,然后再乘以图片大小,可以得到各个特征图的尺度为60、111、162、213、264,综上,可以得到各个特征图的先验框尺度为30、60、111、162、213、264。对于长宽比,一般选取,对于特定的长宽比,按如下公式计算先验框的宽度与高度:

得到了特征图之后,需要对特征图进行卷积得到检测结果,检测值包含两个部分:类别置信度和边界框位置,各采用一次3*3卷积来进行完成。令nk为该特征图所采用的先验框数目,那么类别置信度需要的卷积核数量为,而边界框位置需要的卷积核数量为。由于每个先验框都会预测一个边界框,所以SSD300一共可以预测8732个边界框,这是一个相当庞大的数字,所以说SSD本质上是密集采样。

在将图像中每一锥形桶的尖端作为识别点的步骤中,包括步骤:

将完成锥形桶检测的图像输入至锥形桶顶点检测网络模型CenterNet;

接收锥形桶顶点检测网络模型CenterNet的输出结果并进行筛选,获取图像中锥形桶尖端位置;

在图像中构建坐标系,并确定每一锥形桶尖端的坐标信息,作为识别点坐标。

CenterNet的网络结构如图4所示,网络输出结果即可作为识别点信息。

其中,识别实时图像的电子围栏中是否存在活动目标的步骤包括:

识别图像中所有的活动目标,并确定活动目标的识别点;其中,将活动目标的中心点设定为活动目标识别点;

设定其中一个活动目标识别点为p点,以p点为端点,做任意方向的射线;

若任意一条射线与电子围栏形成的多边形任意一边的交点个数为奇数,则判定p点对应的活动目标位于电子围栏范围内;若任意一条射线与电子围栏形成的多边形任意一边的交点个数为偶数,则判定p点对应的活动目标位于电子围栏范围外。

如图3所示,图中多边形为电子围栏边界范围,图中ABCDE为动态目标识别点,通过上述方法判断,其中ACE为电子围栏范围外的动态目标识别点,以该点为起点的任意射线均与电子围栏边界存在偶数个交点,BD为电子围栏内部的动态范围识别点,以该点为起点的任意射线均与电子围栏边界存在奇数个交点。

区别于现有技术,本发明的电子围栏风险预警方法,基于深度学习构建锥形桶检测模型并进行训练,训练完成后通过锥形桶检测模型对实时采集的图像中的锥形桶进行识别,识别完成后选定识别点,计算确定电子围栏范围,进一步识别图像中的活动目标,并判断活动目标是否处于电子围栏的覆盖范围内,在判断为是时发出警报信号。通过本发明,能够通过图像识别的方式判断在事故发生地点建立电子围栏,并判断电子围栏范围内是否存在有碍事故排查的障碍,避免对事故清除造成影响。

上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

10页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种双迭代非正交联合块对角化卷积盲源分离方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!