阅读说明：本技术 铁路异物防侵三维智能识别机器人设备 (Railway foreign matter anti-invasion three-dimensional intelligent recognition robot equipment ) 是由 蒋梦 张怀 钟雯清 王鹤 高玉亮 高飞 董建华 丁海友 康秋静 黄玉君 于 2020-07-02 设计创作，主要内容包括：一种铁路异物防侵三维智能识别机器人设备,该设备包括：近景双目采集相机,所述近景双目采集相机包括第一图像采集电路；远景双目采集相机,所述远景双目采集相机包括第二图像采集电路；激光雷达,所述激光雷达分别在第一时刻t1对远景视野内的物体进行扫描、在第二时刻t2对近景视野内的物体进行扫描,得到远景扫描图像和近景扫描图像；数据处理模块,确定所述目标对象是否为侵入的铁路异物。通过本公开的处理方案,能够快速准确的对多环境下的铁路异物进行检测,提高了铁路交通的安全性。(A railway foreign matter anti-intrusion three-dimensional intelligent recognition robot device, comprising: the system comprises a close-range binocular acquisition camera, a first image acquisition circuit and a second image acquisition circuit, wherein the close-range binocular acquisition camera comprises the first image acquisition circuit; the long-range binocular acquisition camera comprises a second image acquisition circuit; the system comprises a laser radar, a short distance image acquisition unit and a short distance image acquisition unit, wherein the laser radar is used for scanning an object in a long-range view at a first time t1 and scanning an object in a short-range view at a second time t2 to obtain a long-range scanning image and a short-range scanning image; and the data processing module is used for determining whether the target object is an invaded railway foreign matter. Through the processing scheme disclosed by the invention, railway foreign matters in multiple environments can be quickly and accurately detected, and the safety of railway traffic is improved.)

铁路异物防侵三维智能识别机器人设备

技术领域

本公开涉及智能设备技术领域，尤其涉及一种铁路异物防侵三维智能识别机器人设备。

背景技术

随着中国经济的飞速发展和城市化进程的加速，铁路交通已经成为重要交通工具，与城市居民通勤、旅游、商务人士的日常出行息息相关。

由于铁路运行环境的复杂性，存在铁路异物侵入铁路铁轨的情况，从而导致铁路上的车辆不能有效的运作。

传统的方式是通过人工巡检铁路的方式来进行，但是人工巡检的方式一方面消耗较多的人力资源，同时也会导致效率较低，影响了铁路异物检测的及时性和成本。

现有技术中还存在通过摄像头对铁路进行巡检的方案，但是通过摄像头摄像的方式，仍然需要人工对获取的摄像图像进行辨认，由于人工经验的差异，会导致图像辨认的效率较低。

发明内容

有鉴于此，本公开实施例提供铁路异物防侵三维智能识别机器人设备，至少部分解决现有技术中存在的问题。

本公开实施例提供了一种铁路异物防侵三维智能识别机器人设备，包括：

近景双目采集相机，所述近景双目采集相机包括第一图像采集电路，通过所述第一图像采集电路，获取第一时刻t1的近景视野范围内的第一左目图像和第一右目图像；

远景双目采集相机，所述远景双目采集相机包括第二图像采集电路，通过所述第二图像采集电路，获取与所述第二时刻t2远景视野范围内的第二左目图像和第二右目图像，所述第二时刻t2大于所述第一时刻t1，所述第二时刻t2与所述第一时刻t1具有预设的时间间隔△t；

激光雷达，所述激光雷达分别在第一时刻t1对远景视野内的物体进行扫描、在第二时刻t2对近景视野内的物体进行扫描，得到远景扫描图像和近景扫描图像；

数据处理模块，所述数据处理模块基于所述第一左目图像、所述第一右目图像确定第一时刻t1的第一深度图像，基于所述第二左目图像、所述第二右目图像确定第二时刻t2的第二深度图像；通过所述近景扫描图像和所述第一深度图像，确定目标对象在第一时刻t1的第一空间运动矢量，通过所述远景扫描图像和所述第二深度图像，确定目标对象在第二时刻t2的第二空间运动矢量；基于第二空间运动矢量和第一空间运动矢量的差值，确定所述目标对象是否为侵入的铁路异物。

根据本公开实施例的一种具体实现方式，所述第一图像采集电路，包括：

光感应模块，用于检测近景双目采集相机附件的光照强度，以便于生成光照强度信号；

激活模块，所述激活模块与所述光感应模块连接，用于在在所述光照强度信号的满足预定条件时，生成激活信号；

第一触发模块，所述触发模块在接收到所述激活模块的激活信号后，获取当前的第一时刻t1，并在第一时刻触发第一图像采集电路的近景图像拍摄操作，并在图像拍摄操作完成之后，生成触发信息并将所述第一时刻t1传送给所述第二图像采集电路。

根据本公开实施例的一种具体实现方式，所述近景双目采集相机，还包括：

第一图像处理模块，所述第一图像处理模块用于对获取到的第一左目图像和第一右目图像进行图像预处理操作。

根据本公开实施例的一种具体实现方式，所述第二图像采集电路，包括：

信号接收模块，用于接收所述第一图像采集电路发送的触发信息以及第一时刻t1；

第二触发模块，所述触发模块在接收到所述信息接收模块获取到的触发信息之后，基于预设的时间间隔△t，确定第二时刻t2，并在第二时刻t2控制所述第二图像采集电路进行远景图像拍摄。

根据本公开实施例的一种具体实现方式，所述远景双目采集相机还包括：

第二图像处理模块，所述第二图像处理模块用于对获取到的第二左目图像和第二右目图像进行图像预处理操作。

根据本公开实施例的一种具体实现方式，所述激光雷达，包括：

激光感应器，用于将激光反射信号转换为电信号；

激光供电电源，用于为所述激光感应器提供供电电压；

比较器，所述比较器具有第一输入端、第二输入端和输出端，所述第一输入端耦接到所述激光供电电源，所述第一输入端并通过所述电容耦接到所述跨阻放大器的输入端；

所述第二输入端耦接阈值电压；

开关器件，所述开关器件具有控制端、第一端和第二端，所述控制端耦接到所述比较器的输出端，所述第一端耦接到第二电压源，所述第二端耦接到所述跨阻放大器的输入端或输出端。

根据本公开实施例的一种具体实现方式，所述激光雷达，还包括：

数据采集模块，所述数据采集模块用于采集和存储激光雷达获得的采样数据；

分割模块，用于根据采集到的激光传感器数据进行像素分割，形成包含不同目标对象的图像。

根据本公开实施例的一种具体实现方式，所述数据处理模块还用于：

针对目标对象在二维相平面中的坐标(X, Y)，基于在第一深度图像对应的深度缓存中搜索该坐标的深度值Z；

将(X, Y, Z) 作为第一空间运动矢量。

根据本公开实施例的一种具体实现方式，所述数据处理模块还用于：

获取所述近景视角的第一空间坐标；

基于所述第一空间坐标，计算所述近景视角的空间旋转矩阵及平移矩阵；

将所述空间旋转矩阵及所述平移矩阵的乘积，作为所述近景视角的第一变换矩阵。

根据本公开实施例的一种具体实现方式，所述数据处理模块还用于：

判断第二空间运动矢量和第一空间运动矢量的差值是否大于预定值；

若是，则将大于预定值的目标对象确定为侵入的铁路异物；

基于所述第一空间坐标，确定所述侵入的铁路异物的实际坐标位置；

基于所述实际坐标位置，对所述铁路异物进行提醒操作。

本公开实施例中的基于乘客出行轨迹的轨道交通疫情防控方案，包括近景双目采集相机，所述近景双目采集相机包括第一图像采集电路，通过所述第一图像采集电路，获取第一时刻t1的近景视野范围内的第一左目图像和第一右目图像；远景双目采集相机，所述远景双目采集相机包括第二图像采集电路，通过所述第二图像采集电路，获取与所述第二时刻t2远景视野范围内的第二左目图像和第二右目图像，所述第二时刻t2大于所述第一时刻t1，所述第二时刻t2与所述第一时刻t1具有预设的时间间隔△t；激光雷达，所述激光雷达分别在第一时刻t1对远景视野内的物体进行扫描、在第二时刻t2对近景视野内的物体进行扫描，得到远景扫描图像和近景扫描图像；数据处理模块，所述数据处理模块基于所述第一左目图像、所述第一右目图像确定第一时刻t1的第一深度图像，基于所述第二左目图像、所述第二右目图像确定第二时刻t2的第二深度图像；通过所述近景扫描图像和所述第一深度图像，确定目标对象在第一时刻t1的第一空间运动矢量，通过所述远景扫描图像和所述第二深度图像，确定目标对象在第二时刻t2的第二空间运动矢量；基于第二空间运动矢量和第一空间运动矢量的差值，确定所述目标对象是否为侵入的铁路异物。通过本公开的处理方案，能够快速准确的对铁路异物侵入进行检测和预警。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本公开实施例提供的一种铁路异物防侵三维智能识别机器人设备的结构示意图；

图2为本公开实施例提供的一种第一图像采集电路的结构示意图；

图3为本公开实施例提供的一种近景双目采集相机的结构示意图；

图4为本公开实施例提供的一种激光雷达的结构示意图；

图5为本公开实施例提供的另一种激光雷达的结构示意图。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

参见图1，本公开实施例中的铁路异物防侵三维智能识别机器人设备，包括近景双目采集相机、远景双目采集相机、激光雷达和数据处理模块

近景双目采集相机包括第一图像采集电路，通过所述第一图像采集电路，获取第一时刻t1的近景视野范围内的第一左目图像和第一右目图像。近景双目相机具有两个摄像屏幕，通过近景双目采集相机，能够对近景视野范围内的物体进行图像采集，通过采集到的第一左目图像和第一右目图像，能够确定近景视野内目标对象的深度信息，从而进一步的确定目标对象中是否存在异物。

所述远景双目采集相机包括第二图像采集电路，通过所述第二图像采集电路，获取与所述第二时刻t2远景视野范围内的第二左目图像和第二右目图像，所述第二时刻t2大于所述第一时刻t1，所述第二时刻t2与所述第一时刻t1具有预设的时间间隔△t。远景双目相机具有两个摄像屏幕，通过远景双目采集相机，能够对近景视野范围内的物体进行图像采集，通过采集到的第二左目图像和第二右目图像，能够确定远景视野内目标对象的深度信息，从而进一步的确定目标对象中是否存在异物。

第一图像采集电路和第二图像采集电路能够配合近景双目采集相机和远景双目采集相机，对采集到的图像进行预设的图像处理。

为了进一步的提高对异物检测的精确度，特别是对于比较恶劣的天气中，成像容易受到雨雪等客观因素的影响，该设备还设置有激光雷达，通过激光雷达来进一步的进行视野内的图像扫描，从而获得更多的图像。具体的，所述激光雷达分别在第一时刻t1对远景视野内的物体进行扫描、在第二时刻t2对近景视野内的物体进行扫描，得到远景扫描图像和近景扫描图像，通过这种方式，能获得更加准确的远景和近景视野内的图像。

数据处理模块分别与近景双目采集相机、远景双目采集相机和激光雷达进行通信连接，数据处理模块具有专门的硬件处理装置（例如，GPU或CPU），用以进一步的获取近景双目采集相机、远景双目采集相机、激光雷达拍摄的图像，并基于近景双目采集相机、远景双目采集相机、激光雷达拍摄的图像进行图像处理。

由于第一左目图像和第一右目图像具有固定的距离间隔，为此，数据处理模块基于所述第一左目图像、所述第一右目图像中的像素以及预先设定的距离间隔，来确定第一时刻t1的第一深度图像，第一深度图像能够显示近景视野内不同目标对象的深度信息，基于这些深度信息，能够进一步的确定目标对象在深度方向上的位置。目标对象可以是视野内所有的能够成像的物体。

与第一深度图像类似，数据处理模块还可以基于所述第二左目图像、所述第二右目图像确定第二时刻t2的第二深度图像，第二深度图像能够显示远景视野内不同目标对象的深度信息，基于这些深度信息，能够进一步的确定目标对象在深度方向上的位置。

近景扫描图像能够在平面二维空间内标识目标对象的位置，通过所述近景扫描图像和所述第一深度图像，确定目标对象在第一时刻t1的第一空间运动矢量，也就是形成三维空间向量。类似的，通过所述远景扫描图像和所述第二深度图像，确定目标对象在第二时刻t2的第二空间运动矢量，第二空间向量描述了远景视野范围内目标对象的空间位置关系。

在通过坐标变换之后，将第一空间运动矢量和第二空间运动矢量调整到同样的空间坐标系下，对视野范围内每个目标对象的第二空间运动矢量和第一空间运动矢量进行差值运算，可以判断出在△t时间范围内，是否目标对象是否存在运动的情况，如果是，则将存在短暂运动的所述目标对象确定为侵入的铁路异物。从而能够自动化的检测铁路异物。

参见图2，根据本公开实施例的一种具体实现方式，所述第一图像采集电路，包括：

光感应模块，用于检测近景双目采集相机附件的光照强度，以便于生成光照强度信号；

激活模块，所述激活模块与所述光感应模块连接，用于在在所述光照强度信号的满足预定条件时，生成激活信号；

第一触发模块，所述触发模块在接收到所述激活模块的激活信号后，获取当前的第一时刻t1，并在第一时刻触发第一图像采集电路的近景图像拍摄操作，并在图像拍摄操作完成之后，生成触发信息并将所述第一时刻t1传送给所述第二图像采集电路。

根据本公开实施例的一种具体实现方式，所述近景双目采集相机，还包括：

第一图像处理模块，所述第一图像处理模块用于对获取到的第一左目图像和第一右目图像进行图像预处理操作。

参见图3，根据本公开实施例的一种具体实现方式，所述第二图像采集电路，包括：

信号接收模块，用于接收所述第一图像采集电路发送的触发信息以及第一时刻t1；

第二触发模块，所述触发模块在接收到所述信息接收模块获取到的触发信息之后，基于预设的时间间隔△t，确定第二时刻t2，并在第二时刻t2控制所述第二图像采集电路进行远景图像拍摄。

根据本公开实施例的一种具体实现方式，所述远景双目采集相机还包括：

第二图像处理模块，所述第二图像处理模块用于对获取到的第二左目图像和第二右目图像进行图像预处理操作。

参见图4，根据本公开实施例的一种具体实现方式，所述激光雷达，包括：

激光感应器，用于将激光反射信号转换为电信号；

激光供电电源，用于为所述激光感应器提供供电电压；

比较器，所述比较器具有第一输入端、第二输入端和输出端，所述第一输入端耦接到所述激光供电电源，所述第一输入端并通过所述电容耦接到所述跨阻放大器的输入端；

所述第二输入端耦接阈值电压；

开关器件，所述开关器件具有控制端、第一端和第二端，所述控制端耦接到所述比较器的输出端，所述第一端耦接到第二电压源，所述第二端耦接到所述跨阻放大器的输入端或输出端。

参见图5，根据本公开实施例的一种具体实现方式，所述激光雷达，还包括：

数据采集模块，所述数据采集模块用于采集和存储激光雷达获得的采样数据；

分割模块，用于根据采集到的激光传感器数据进行像素分割，形成包含不同目标对象的图像。

根据本公开实施例的一种具体实现方式，所述数据处理模块还用于：

针对目标对象在二维相平面中的坐标(X, Y)，基于在第一深度图像对应的深度缓存中搜索该坐标的深度值Z；

将(X, Y, Z) 作为第一空间运动矢量。

根据本公开实施例的一种具体实现方式，所述数据处理模块还用于：

获取所述近景视角的第一空间坐标；

基于所述第一空间坐标，计算所述近景视角的空间旋转矩阵及平移矩阵；

将所述空间旋转矩阵及所述平移矩阵的乘积，作为所述近景视角的第一变换矩阵。

根据本公开实施例的一种具体实现方式，所述数据处理模块还用于：

判断第二空间运动矢量和第一空间运动矢量的差值是否大于预定值；

若是，则将大于预定值的目标对象确定为侵入的铁路异物；

基于所述第一空间坐标，确定所述侵入的铁路异物的实际坐标位置；

基于所述实际坐标位置，对所述铁路异物进行提醒操作。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。