一种基于深度学习的地铁有轨电车异物入侵的识别方法

文档序号:6718 发布日期:2021-09-17 浏览:26次 >En<

阅读说明:本技术 一种基于深度学习的地铁有轨电车异物入侵的识别方法 (Deep learning-based method for identifying foreign matter invasion of subway tramcar ) 是由 常伟 余捷全 于 2020-03-16 设计创作,主要内容包括:本发明涉及轨交管理,尤其是一种基于深度学习的地铁有轨电车异物入侵的识别方法;它包括:在每段轨道设置摄像头;视频图像采集;异物识别;异物是否是动物的识别;如果确定有异物则根据异物类型发出对应形式的预警;信息来源为摄像头,由于目前大部分地铁线网内必然设置了大量的摄像头,只要调整一下其方向即可,避免大量设置各类专业传感器和设备的麻烦,降低识别的成本;有效区分入侵异物为物品还是动物。(The invention relates to rail transit management, in particular to a method for identifying foreign matter invasion of a subway tramcar based on deep learning; it includes: arranging a camera on each section of track; collecting video images; identifying foreign matters; identification of whether the foreign object is an animal; if the foreign matter is determined, sending out early warning in a corresponding form according to the type of the foreign matter; the information source is a camera, and as a large number of cameras are inevitably arranged in most subway line nets at present, the direction of the cameras can be adjusted, so that the trouble of arranging a large number of various professional sensors and equipment is avoided, and the identification cost is reduced; effectively distinguish whether the invaded foreign matter is an article or an animal.)

一种基于深度学习的地铁有轨电车异物入侵的识别方法

技术领域

本发明涉及轨交管理,尤其是一种基于深度学习的地铁有轨电车异物入侵的识别方法。

背景技术

轨道交通由于车辆行进路线是完全固定的,如果轨道上出现异物时车辆无法像汽车一样进行规避,故必须对轨道一定范围内出现的异物进行清除,而且必须在下一班次的车辆到达前进行处理。于是催生了异物入侵识别方法,例如中国专利公开的火车轨道异物入侵检测装置,专利号201721865900.8,其中记载:它包括若干组沿火车轨道分布的检测组,每个检测组包括沿火车轨道两侧等间距排列的两排一一匹配的激光对射传感器,其中一侧的激光对射传感器分别为a1、a2、a3、a4……an,另一侧的激光对射传感器分别为b1、b2、b3、b4……bn,其中an匹配bn+1,所述的其中一侧的最后一个激光对射传感器与另一侧的第一个激光对射传感器匹配,各组激光对射传感器构成激光对射网,覆盖组内区域,其中n>0。该火车轨道异物入侵检测装置具有设计科学、覆盖范围全面的优点。

上述技术方案的不足在于:它需要在每段轨道上设置大量的激光传感器,维护较为困难;另外激光传感器只能感知是否出现异常而不能感知这个异物是物体还是动物。

发明内容

针对现有技术的不足,本发明提供一种通过摄像头进行异物入侵的识别方法。

本发明的技术方案为:

一种基于深度学习的地铁有轨电车异物入侵的识别方法,其特征在于:它包括以下步骤:

1)每段轨道设置摄像头(例如100米设置一个);

2)视频图像采集;

3)异物识别;

4)异物是否是动物的识别;

5)如果确定有异物则根据异物类型发出对应形式的预警。

具体的,所述步骤1中每段轨道设置的摄像头朝向均一致,其朝向与车辆行驶方向一致,虽然轨道不是直线,但通过将摄像头拍摄范围接驳成连续的线段式分布有利于对某些移动物体进行连续追踪。

具体的,所述步骤1中摄像头设置有辅助照明装置,与传统的轨交不同,地铁线路大部分位于地下,光照条件可能不足以为视觉识别提供有力条件,故设置辅助照明装置,例如在地铁沿线的侧壁设置壁灯。

具体的,所述步骤3包括以下步骤:

S11使用2D高斯滤波模板与原始图像进行卷积,消除噪声;

S12利用导数算子找到图像灰度沿着两个方向的导数Gx和Gy,并求出梯度大小;

S13利用步骤s12的结果计算出梯度方向;

S14把边缘的梯度方向分为0°、45°、90°和135°,并找到这个像素梯度方向的邻接像素;

S15如果某个像素的灰度值与其梯度方向上前后两个像素的梯度值相比不是最大的,那么这个像素值置为0,也就是说不是边缘,反之则是边缘;

S16得到边缘信息后,读取每个像素,如果边缘像素长度大于T,则认为是一个异物候选区域,当检测出异物候选区之后,将异物的坐标记录;由于灯光、天气等原因,视频图像中可能产生一些光影,为了防止误报,故设置阈值;

S17使用支持向量机(SVM)进行异物分类,分类包括检修工、车辆(地铁车厢)、入侵异物。

具体的,所述步骤4包括以下步骤:

S18若步骤s17确定分类为检修工或者车辆则跳过s21-s27,若确定分类为入侵异物则进入步骤s21;

S21接收第一帧视频图像,并进行存储;

S22接收第二帧视频图像,并进行存储;其中,第一帧视频图像和第二帧视频图像是指相邻两帧视频图像;

S23对比第二帧视频图像与第一帧视频图像,判断是否有变化区域,若没有,则执行步骤s24,若有,执行步骤s25;

S24丢弃第一帧视频图像,即将相邻两帧视频图像中前一帧视频图像丢弃,并向决策者反馈该入侵异物分类为物品,不再执行后续操作;

S25确定入侵异物的移动像素距离;也就是比对入侵异物在两帧视频图像中的位置确定入侵异物的移动像素距离;

S26基于比例参数确定入侵异物的移动真实距离,也就是根据比例尺确定移动像素距离对应的移动真实距离;

S27基于入侵异物的移动真实距离确定入侵异物的移动速度,也就是根据移动真实距离与两帧视频图像拍摄的时间间隔确定入侵异物的移动速度;向决策者反馈该入侵异物为动物并预判其运动方向。

本发明的有益效果为:信息来源为摄像头,由于目前大部分地铁线网内必然设置了大量的摄像头,只要调整一下其方向即可,避免大量设置各类专业传感器和设备的麻烦,降低识别的成本;有效区分入侵异物为物品还是动物,由于地铁线路是一个非常封闭的空间,如果出现动物则大概率会出现洞穴等地质破坏,还可能出现管线被啃噬等情况,故需要专门进行预判。

具体实施方式

下面结合具体实施方式作进一步说明:

一种基于深度学习的地铁有轨电车异物入侵的识别方法,其特征在于:它包括以下步骤:

1)每段轨道设置摄像头(例如100米设置一个);所述步骤1中每段轨道设置的摄像头朝向均一致,其朝向与车辆行驶方向一致,虽然轨道不是直线,但通过将摄像头拍摄范围接驳成连续的线段式分布有利于对某些移动物体进行连续追踪。所述步骤1中摄像头设置有辅助照明装置,与传统的轨交不同,地铁线路大部分位于地下,光照条件可能不足以为视觉识别提供有力条件,故设置辅助照明装置,例如在地铁沿线的侧壁设置壁灯。

2)视频图像采集;

3)异物识别;所述步骤3包括以下步骤:

S11使用2D高斯滤波模板与原始图像进行卷积,消除噪声;

S12利用导数算子找到图像灰度沿着两个方向的导数Gx和Gy,并求出梯度大小;

S13利用步骤s12的结果计算出梯度方向;

S14把边缘的梯度方向分为0°、45°、90°和135°,并找到这个像素梯度方向的邻接像素;

S15如果某个像素的灰度值与其梯度方向上前后两个像素的梯度值相比不是最大的,那么这个像素值置为0,也就是说不是边缘,反之则是边缘;

S16得到边缘信息后,读取每个像素,如果边缘像素长度大于T,则认为是一个异物候选区域,当检测出异物候选区之后,将异物的坐标记录;由于灯光、天气等原因,视频图像中可能产生一些光影,为了防止误报,故设置阈值;

S17使用支持向量机(SVM)进行异物分类,分类包括检修工、车辆(地铁车厢)、入侵异物。

4)异物是否是动物的识别;S18若步骤s17确定分类为检修工或者车辆则跳过s21-s27,若确定分类为入侵异物则进入步骤s21;

S21接收第一帧视频图像,并进行存储;

S22接收第二帧视频图像,并进行存储;其中,第一帧视频图像和第二帧视频图像是指相邻两帧视频图像;

S23对比第二帧视频图像与第一帧视频图像,判断是否有变化区域,若没有,则执行步骤s24,若有,执行步骤s25;

S24丢弃第一帧视频图像,即将相邻两帧视频图像中前一帧视频图像丢弃,并向决策者反馈该入侵异物分类为物品,不再执行后续操作;

S25确定入侵异物的移动像素距离;也就是比对入侵异物在两帧视频图像中的位置确定入侵异物的移动像素距离;

S26基于比例参数确定入侵异物的移动真实距离,也就是根据比例尺确定移动像素距离对应的移动真实距离;

S27基于入侵异物的移动真实距离确定入侵异物的移动速度,也就是根据移动真实距离与两帧视频图像拍摄的时间间隔确定入侵异物的移动速度;向决策者反馈该入侵异物为动物并预判其运动方向。

5)如果确定有异物则根据异物类型发出对应形式的预警。

例如,当出现物品异物时,将信息通过互联网发送到所属路段维护人员的手机,以便其定点清除;当出现动物时,系统对其跨镜头追踪,并自动生成路线,以便维护人员对动物进行寻找和清除。

其中跨镜头追踪的方法(该方法仅为举例,使用其他跨镜头追踪方法也可行)为:

通过获取单镜头下的视频流,对单镜头下的视频流进行解码,得到单镜头下的多帧视频帧图像,单镜头下的多帧视频帧图像包括动物目标或形态目标。将所述多帧视频帧图像进行目标检测跟踪,确定所述多帧视频帧图像中动物目标与形态目标的关联信息。该动物目标与形态目标的关联信息可以是动物目标与形态目标关联,也可以是动物目标与形态目标不关联,是否关联都称为关联信息。具体的,可以先使用第一目标检测模型对多帧视频帧图像中的动物目标进行检测,得到动物目标边界框,然后使用第二目标检测模型对多帧视频帧图像中的形态目标进行检测,得到形态目标边界框,最后根据动物目标边界框和形态目标边界框的交并比以及动物目标和形态目标的轨迹重叠率确定多帧视频帧图像中动物目标与形态目标的关联信息。其中,第一目标检测模型主要是用来检测动物目标,第二目标检测模型主要是用来检测形态目标。当根据动物目标边界框和所述形态目标边界框的交并比以及动物目标和形态目标的轨迹重叠率确定多帧视频帧图像中动物目标与形态目标的关联信息时,可以通过以下步骤来实现:若动物目标边界框和所述形态目标边界框的交并比大于第一预设阈值,则初步确定动物目标和形态目标关联,然后再判断动物目标和形态目标的跟踪链是否断裂,若断裂,则在确定动物目标和形态目标的轨迹重叠率大于第二预设阈值时,进一步确定动物目标和形态目标关联。若未断裂,继续确定动物目标边界框和形态目标边界框的交并比,直到确定出动物目标与形态目标的关联信息为止。该第一预设阈值和第二预设阈值可以依据经验设置。

上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。

7页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种远距离高分辨率三反太赫兹准光系统

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!