阅读说明：本技术 障碍物识别方法、装置、存储介质及巡检机器人 (Obstacle identification method and device, storage medium and inspection robot ) 是由 苗俊 袁齐坤 罗艺 刘立文 杨子力 尤志鹏 钱海 赵英 王璋 李祥贵 尹倩 姜 于 2019-09-09 设计创作，主要内容包括：本发明提供的障碍物识别方法、装置、存储介质及巡检机器人,涉及输电线自动化巡检领域。该障碍物识别方法包括：接收当前图像信息；提取当前图像信息中的输电线区域,其中,输电线区域内的输电线包括非直线部分和直线部分；除去非直线部分,并得到包含障碍物的兴趣区域；利用高斯滤波方法剔除兴趣区域内的背景,并进行二值化处理,以得到包含输电线的直线部分的连通区域；根据连通区域内输电线的分布情况,识别出障碍物的类型。本发明提供的障碍物识别方法、装置、存储介质及巡检机器人能够在分析深度图像信息的基础上,对图像中的障碍物进行准确识别,以使得对障碍物的定位更加精确,有助于巡检机器人的路径规划,从而提高巡检质量。(The invention provides an obstacle identification method, an obstacle identification device, a storage medium and an inspection robot, and relates to the field of automatic inspection of power transmission lines. The obstacle recognition method includes: receiving current image information; extracting a power line area in the current image information, wherein a power line in the power line area comprises a non-linear part and a linear part; removing the non-linear part and obtaining an interest area containing the obstacle; removing the background in the interest area by using a Gaussian filtering method, and performing binarization processing to obtain a connected area containing a linear part of the power transmission line; and identifying the type of the obstacle according to the distribution condition of the power transmission lines in the communication area. The obstacle identification method, the obstacle identification device, the storage medium and the inspection robot provided by the invention can accurately identify the obstacle in the image on the basis of analyzing the depth image information, so that the obstacle is more accurately positioned, the path planning of the inspection robot is facilitated, and the inspection quality is improved.)

障碍物识别方法、装置、存储介质及巡检机器人

技术领域

本发明涉及输电线自动化巡检领域，具体而言，涉及一种障碍物识别方法、装置、存储介质及巡检机器人。

背景技术

目前，巡检机器人障碍物的识别都是采用基于简单图形基元(如直线、圆、圆弧、椭圆、角点等)的方法，再结合几何结构约束进行识别，这种方法由于复杂背景对基元识别的干扰，导致识别失败。

发明内容

本发明的目的包括，例如，提供一种障碍物识别方法、装置、存储介质及巡检机器人，其能够在分析深度图像信息的基础上，对巡检机器人运行路线上的障碍物进行识别，从而有利于实现障碍物的定位，也有助于巡检机器人的巡检路线规划。

本发明的实施例可以这样实现：

第一方面，本发明实施例提供一种障碍物识别方法，用于输电线的障碍物识别，所述方法包括：

接收当前图像信息；

提取所述当前图像信息中的输电线区域，其中，所述输电线区域内的所述输电线包括非直线部分和直线部分；

除去所述非直线部分，并得到包含障碍物的兴趣区域；

利用高斯滤波方法剔除所述兴趣区域内的背景，并进行二值化处理，以得到包含所述输电线的所述直线部分的连通区域；

根据所述连通区域内所述输电线的分布情况，识别出所述障碍物的类型。

进一步地，在可选实施例中，所述根据所述连通区域内所述输电线的分布情况，识别出所述障碍物的类型的步骤包括：

对所述输电线的多个方向进行相对于所述输电线垂直的像素投影；

根据所述像素投影识别出所述障碍物的类型。

进一步地，在可选实施例中，所述根据所述像素投影识别出所述障碍物的类型的步骤还包括：

根据所述像素投影得到在多个方向上的分布规律；

计算所述像素投影的像素统计量；

综合所述分布规律和所述像素统计量，识别出所述障碍物的类型。

进一步地，在可选实施例中，在根据所述连通区域内所述输电线的分布情况，识别出所述障碍物的类型的步骤后，所述方法还包括：

计算出所述障碍物的端面的几何中心。

本发明实施例提供的障碍物识别方法：根据当前图像信息识别出其中的输电线区域，并除去输电线区域内的输电线的非直线区域，得到包含障碍物的兴趣区域。在处理时，首先剔除兴趣区域内的背景，再对其进行二值化处理；根据连通区域内的输电线的像素点分布情况识别出障碍物的类型。在识别时，可以将当前图像信息中的输电线像素点与先验数据库进行比对，以实现对障碍物的识别。本发明实施例提供的障碍物识别方法在分析深度图像信息的基础上，对图像中的障碍物进行准确识别，以使得对障碍物的定位更加精确，有助于巡检机器人的路径规划，从而提高巡检质量。

第二方面，本发明实施例提供一种障碍物识别装置，用于输电线的障碍物识别，所述装置包括：

接收模块：所述接收模块用于接收当前图像信息；

提取模块：所述提取模块用于提取所述当前图像信息中的输电线区域，其中，所述输电线区域内的所述输电线包括非直线部分和直线部分；

非直线部分除去模块：所述非直线部分除去模块用于除去所述非直线部分，并得到包含障碍物的兴趣区域；

剔除及处理模块：所述剔除及处理模块用于利用高斯滤波方法剔除所述兴趣区域内的背景，并进行二值化处理，以得到包含所述输电线的所述直线部分的连通区域；

类型识别模块：所述类型识别模块用于根据所述连通区域内所述输电线的分布情况，识别出所述障碍物的类型。

进一步地，在可选实施例中，所述类型识别模块还用于：

对所述输电线的多个方向进行相对于所述输电线垂直的像素投影；

根据所述像素投影识别出所述障碍物的类型。

进一步地，在可选实施例中，所述类型识别模块还用于：

根据所述像素投影得到在多个方向上的分布规律；

计算所述像素投影的像素统计量；

综合所述分布规律和所述像素统计量，识别出所述障碍物的类型。

进一步地，在可选实施例中，所述装置还包括几何中心计算模块，所述几何中心计算模块用于计算出所述障碍物的端面的几何中心。

本发明实施例提供的障碍物识别装置：根据当前图像信息识别出其中的输电线区域，并除去输电线区域内的输电线的非直线区域，得到包含障碍物的兴趣区域。在处理时，首先剔除兴趣区域内的背景，再对其进行二值化处理；根据连通区域内的输电线的像素点分布情况识别出障碍物的类型。在识别时，可以将当前图像信息中的输电线像素点与先验数据库进行比对，以实现对障碍物的识别。本发明实施例提供的障碍物识别装置在分析深度图像信息的基础上，对图像中的障碍物进行准确识别，以使得对障碍物的定位更加精确，有助于巡检机器人的路径规划，从而提高巡检质量。

第三方面，本发明实施例提供一种巡检机器人，包括：

存储器；以及，

处理器；

所述存储器存储有可在所述处理器上运行的障碍物识别程序，所述障碍物识别程序被所述处理器读取并运行时，实现上述的方法。

本发明实施例提供的巡检机器人：根据当前图像信息识别出其中的输电线区域，并除去输电线区域内的输电线的非直线区域，得到包含障碍物的兴趣区域。在处理时，首先剔除兴趣区域内的背景，再对其进行二值化处理；根据连通区域内的输电线的像素点分布情况识别出障碍物的类型。在识别时，可以将当前图像信息中的输电线像素点与先验数据库进行比对，以实现对障碍物的识别。本发明实施例提供的存储介质能够在分析深度图像信息的基础上，对图像中的障碍物进行准确识别，以使得对障碍物的定位更加精确，有助于巡检机器人的路径规划，从而提高巡检质量。

第四方面，本发明实施例提供一种存储介质，所述存储介质上存储有障碍物识别程序，所述障碍物识别程序被读取并执行时，能够实现上述的方法。

本发明实施例提供的存储介质：根据当前图像信息识别出其中的输电线区域，并除去输电线区域内的输电线的非直线区域，得到包含障碍物的兴趣区域。在处理时，首先剔除兴趣区域内的背景，再对其进行二值化处理；根据连通区域内的输电线的像素点分布情况识别出障碍物的类型。在识别时，可以将当前图像信息中的输电线像素点与先验数据库进行比对，以实现对障碍物的识别。本发明实施例提供的存储介质能够在分析深度图像信息的基础上，对图像中的障碍物进行准确识别，以使得对障碍物的定位更加精确，有助于巡检机器人的路径规划，从而提高巡检质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明具体实施例所述的巡检机器人的结构示意框图。

图2为本发明实施例所述的障碍物识别方法的流程示意框图。

图3为图2中步骤S500的子步骤的流程示意框图。

图4为图3中子步骤S520的子步骤的流程示意框图

图5为本发明实施例所述的障碍物识别装置的结构示意框图。

图标：100-巡检机器人；110-障碍物识别方法；111-接收模块；112-提取模块；113-非直线部分除去模块；114-剔除及处理模块；115-类型识别模块；120-存储器；130-处理器。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

下面结合附图，对本发明的具体实施方式进行详细说明。

架空高压输电线路在设计和施工完成后，已经具备了一定的先验信息，例如各杆塔之间的档距、杆塔两侧的防震锤及数量、杆塔的类型(耐张杆塔、直线杆塔)、直线段中的接续管等信息基本确定。但由于施工差异以及维修等原因，导致防震锤数量变化、安装位置变化；由于外界因素，输电线上经常出现异物覆盖、金具发生变形等现象，出现异构型障碍物。这些使机器人不能完全根据先验信息来完成自主导航。输电线路在设计和架设时，根据架空输电线路设计相关规范，为了减少和消除输电线在风中的振动，在杆塔两侧的输电线上安装防震锤。在本申请实施例中，障碍物的识别可以为防震锤的识别。巡检机器人可以根据先验数据库形成初步的路径规划，再通过对防震锤的识别和定位实现更为精确的路径规划。本发明实施例提供的是对防震锤的精确识别，以使得对防震锤的定位更加精确，有助于巡检机器人的路径规划，从而提高巡检质量。

请参阅图1，本实施例提供了一种障碍物识别方法及障碍物识别装置110，应用于巡检机器人100，用于对巡检机器人100运行中的障碍物进行识别，从而使其的运行路线更优，提高巡检机器人100的巡检效果。该巡检机器人100包括存储器120、处理器130以及障碍物识别装置110。

存储器120和处理器130相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述障碍物识别装置110包括至少一个可以软件或固件(firm ware)的形式存储于所述存储器120中或固化在服务器的操作系统(operating system，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述障碍物识别装置110所包括的软件功能模块及可在所述处理器130上运行的障碍物识别程序等。

其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。

所述存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

所述处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器130可以是微处理器130。所述处理器130也可以是任何常规的处理器130等。

请参阅图2，本实施例提供了一种障碍物识别方法110，其包括以下步骤。

步骤S100：接收当前图像信息。

需要说明的是，在当前图像信息中，包含有输电线和障碍物，以及其他的噪声，比如背景灯。该当前图像信息可以来源于设置在巡检机器人100上的摄像头。

步骤S200：提取当前图像信息中的输电线区域。

需要说明的是，输电线区域内的输电线包括非直线部分和直线部分，该输电线区域包含障碍物。在本步骤S200中，可以通过图像识别的方法提取输电线区域。

步骤S300：除去非直线部分，并得到包含障碍物的兴趣区域。

可以理解的是，在步骤S300中，出去非直线部分，以排除输电线的非直线部分对于识别的影响，从而保证识别的准确性。

步骤S400：利用高斯滤波方法剔除兴趣区域内的背景，并进行二值化处理，以得到包含输电线的直线部分的连通区域。

需要说明的是，由于摄像头在拍摄时，图像中通常会包含背景，高斯滤波方法能够有效过滤兴趣区域内的背景。在提出兴趣区域内的背景后，再对数据进行二值化处理，使得图像的像素点的灰度值为0或255。

步骤S500：根据连通区域内输电线的像素点的分布情况，识别出障碍物的类型。

需要说明的是，在进行二值化处理后，图像上有两种灰度值的像素点，即灰度值为0或灰度值为255。可以计算其中灰度值为0的像素点的分布情况，判断出障碍物的类型，具体地，可以将其与先验数据库中的数据进行对比得到。

可选地，步骤S500：根据连通区域内输电线的分布情况，识别出障碍物的类型，可以包括子步骤S510和子步骤S520。

子步骤S510：对输电线的多个方向进行相对于输电线垂直的像素投影；

子步骤S520：根据像素投影识别出障碍物的类型。

需要说明的是，将输电线相对于其垂直的多个方向进行投影，能够减少计算的维度，从而使得计算更加简单。

进一步地，子步骤S520：根据像素投影识别出障碍物的类型，还可以包括子步骤S521、子步骤S522和子步骤S523。

子步骤S521：根据像素投影得到在多个方向上的分布规律；

子步骤S522：计算像素投影的像素统计量；

子步骤S523：综合分布规律和像素统计量，识别出障碍物的类型。

可以理解的是，不同类型的障碍物，其像素点的分布规律是不同的，同时，不同类型的障碍物的像素点也是不同的，可以根据其分布规律和像素点的统计量识别不同的障碍物类型。应当理解的是，对于同一类型的障碍物来说，像素统计量大致在一个固定的范围内，在某一方向上的像素投影也具有类似的分布规律，因此可以通过结合分布规律和像素统计量来识别障碍物的类型。

在该子步骤S521、子步骤S522和子步骤S523中，采用融合多向投影与结构约束相结合的方法来对障碍物进行识别，进而提高识别的精度。

在可选实施例中，在上述的步骤S100至步骤S500完成后，得到障碍物的类型后，还可以包括步骤S600：计算出障碍物的端面的几何中心。

需要说明的是，步骤S600主要是为了计算障碍物端面的几何中心，为障碍物定位提供参考点。本发明实施例实现的是障碍物的识别，巡检机器人100在进行路线规划时，需要基于对障碍物的识别，对障碍物进行定位，从而实现更优的路线规划。

本发明实施例提供的障碍物识别方法110：根据当前图像信息识别出其中的输电线区域，并除去输电线区域内的输电线的非直线区域，得到包含障碍物的兴趣区域。在处理时，首先剔除兴趣区域内的背景，再对其进行二值化处理；根据连通区域内的输电线的像素点分布情况识别出障碍物的类型。在识别时，可以将当前图像信息中的输电线像素点与先验数据库进行比对，以实现对障碍物的识别。本发明实施例提供的障碍物识别方法110在分析深度图像信息的基础上，对图像中的障碍物进行准确识别，以使得对障碍物的定位更加精确，有助于巡检机器人100的路径规划，从而提高巡检质量。

请参阅图5，本发明实施例提供一种障碍物识别装置，包括接收模块111、提取模块112、非直线部分除去模块113、剔除及处理模块114和类型识别模块115。

在本发明实施例中，接收模块111用于：接收当前图像信息。

在本发明实施例中，上述的步骤S100由接收模块111执行。

在本发明实施例中，提取模块112用于：提取当前图像信息中的输电线区域，其中，输电线区域内的输电线包括非直线部分和直线部分。

在本发明实施例中，上述的步骤S200由提取模块112执行。

在本发明实施例中，非直线部分除去模块113用于：除去非直线部分，并得到包含障碍物的兴趣区域。

在本发明实施例中，上述的步骤S300由非直线部分除去模块113执行。

在本发明实施例中，剔除及处理模块114用于：利用高斯滤波方法剔除兴趣区域内的背景，并进行二值化处理，以得到包含输电线的直线部分的连通区域。

在本发明实施例中，上述的步骤S400由剔除及处理模块114执行。

在本发明实施例中，类型识别模块115用于：根据连通区域内输电线的分布情况，识别出障碍物的类型。

在本发明实施例中，上述的步骤S500由类型识别模块115执行。

进一步地，在可选实施例中，类型识别模块115还用于：对输电线的多个方向进行相对于输电线垂直的像素投影；根据像素投影识别出障碍物的类型。

在本发明实施例中，上述的子步骤S510和子步骤S520由类型识别模块115执行。

进一步地，在可选实施例中，类型识别模块115还用于：根据像素投影得到在多个方向上的分布规律；计算像素投影的像素统计量；综合分布规律和像素统计量，识别出障碍物的类型。

在本发明实施例中，上述的子步骤S521、子步骤S522和子步骤S523由类型识别模块115执行。

进一步地，在可选实施例中，装置还包括几何中心计算模块，几何中心计算模块用于计算出障碍物的端面的几何中心。

在本发明实施例中，上述的步骤S600由几何中心计算模块执行。

本发明实施例提供的障碍物识别装置：根据当前图像信息识别出其中的输电线区域，并除去输电线区域内的输电线的非直线区域，得到包含障碍物的兴趣区域。在处理时，首先剔除兴趣区域内的背景，再对其进行二值化处理；根据连通区域内的输电线的像素点分布情况识别出障碍物的类型。在识别时，可以将当前图像信息中的输电线像素点与先验数据库进行比对，以实现对障碍物的识别。本发明实施例提供的障碍物识别装置在分析深度图像信息的基础上，对图像中的障碍物进行准确识别，以使得对障碍物的定位更加精确，有助于巡检机器人100的路径规划，从而提高巡检质量。

本发明实施例还提供一种存储介质，该存储介质为计算机可读的存储介质。该存储介质上存储有障碍物识别程序，障碍物识别程序被读取并执行时，能够实现上述的方法。

本发明实施例提供的存储介质：根据当前图像信息识别出其中的输电线区域，并除去输电线区域内的输电线的非直线区域，得到包含障碍物的兴趣区域。在处理时，首先剔除兴趣区域内的背景，再对其进行二值化处理；根据连通区域内的输电线的像素点分布情况识别出障碍物的类型。在识别时，可以将当前图像信息中的输电线像素点与先验数据库进行比对，以实现对障碍物的识别。本发明实施例提供的存储介质能够在分析深度图像信息的基础上，对图像中的障碍物进行准确识别，以使得对障碍物的定位更加精确，有助于巡检机器人100的路径规划，从而提高巡检质量。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。