具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

杆塔(Pole and Tower)是支承架空输电线路导线和架空地线并使它们之间以及与大地之间保持一定距离的杆形或塔形构筑物。同时，为避免电晕放电以及感应静电场对人的危险，高压和超高压输电线路所用杆塔必须有足够的高度，杆塔上架设的各根输电线之间还须隔开相当的距离，因此，架空输电线路通过架设在人类活动较少的区域，并且经常穿过山区等植被较多的地方。在山区等植被较多的地方藤蔓植物的繁殖速度相对较快，藤蔓植物具有卷须和有力的粘性吸盘能力，它可以在杆塔上吸附生长，况且生长的速度非常快，短时间内就可以缠绕杆塔大部分区域。这种情况会很容易引起架空输电线路杆塔严重腐朽，造成线路老化、线路跳闸等一系列问题。

实施例一

图1为本发明实施例一提供的杆塔藤蔓攀爬检测方法的流程图，本实施例可适用于对户外设置的杆塔的藤蔓攀爬情况进行检测判断的情况，该方法可以由杆塔藤蔓攀爬检测装置来执行，具体包括如下步骤：

步骤110、获取无人设备采集的杆塔区域的图像数据，作为样本数据。

杆塔为搭建在固定地点用于支承架空输电线路导线和架空地线并使它们之间以及与大地之间保持一定距离的杆形或塔形构筑物，其搭建完成后位置固定不变。无人设备主要指的是无人机、无人车等无人操控的设备。

在本发明实施例中，无人设备主要用于实现对杆塔设置的位置周围的指定范围(杆塔区域)进行图像数据的采集，以获得本发明实施例中所需的样本数据。在其他实施例中，图像数据采集设备并不限定于无人设备，还可以是固定设置在杆塔周边的图像采集设备，例如摄像设备等。

可选的，在本发明实施例中获取样本数据时，采集的图像数据可以是固定的采集视角、采集角度、采集范围，也可以是对杆塔区域的多角度采集，图像数据可以是单个采集视角、采集角度、采集范围的数据，也可以是多个采集视角、采集角度、采集范围的集合，具体的呈现可以以多种格式的形式呈现，例如视频格式、图像格式等。

步骤120、对样本数据进行特征提取，得到杆塔区域在多个不同尺度下的特征图。

在本发明实施例中，可对样本数据利用神经网络模型进行多次卷积操作，实现对样本数据的特征提取，进而获得与样本数据中杆塔和藤蔓特征对应的特征图。在本发明实施例中，同时获取多个不同尺度下的特征图，多个不同尺度指的是对样本数据采用不同的下采样倍数进行卷积，进而获得多个不同尺度下的特征图，从而实现从多个尺度对样本数据进行预测。

在一个可选的实施例中，可利用YOLO(You Only Look Once)v3算法中的Darknet-53网络结构对样本数据进行特征提取，进而获得三个不同尺度下的特征图。

在对图像数据进行预测时，图像的分辨率信息直接反映的就是构成对象的像素的数量。一个对象，像素数量越多，它对对象的细节表现就越丰富越具体，也就是说分辨率信息越丰富。这也就是为什么大尺度特征图提供的是分辨率信息了。语义信息在目标检测中指的是让对象区分于背景的信息，即语义信息是让你知道这个是对象，其余是背景。在不同类别中语义信息并不需要很多细节信息，分辨率信息大，反而会降低语义信息，因此小尺度特征图在提供必要的分辨率信息下语义信息会提供的更好。在本发明实施例中使用多个不同尺度的特征图来进行对象检测，能够检测的到更加细粒度的特征。

步骤130、基于特征图预测杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框。

在前述步骤中基于样本数据进行特征提取，获得多个不同尺度下的特征图，在特征图中包含了杆塔图像和藤蔓图像，在本步骤中则需要基于提取的特征图预测杆塔的位置和藤蔓的位置。

在一个可选的实施例中，对杆塔和藤蔓的位置进行预测表现为在特征图中基于预先定义的先验框对特征图中的杆塔和藤蔓位置进行预测，并不断的调整先验框进行预测，最终获得杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框。

步骤140、基于杆塔边界框和藤蔓边界框确定杆塔的藤蔓攀爬情况。

在前述步骤中基于图像数据进行特征提取，获得多个不同尺度的特征图，并针对多个不同尺度下的特征图进行杆塔和藤蔓的位置预测，获得对应的杆塔边界框和藤蔓边界框，在本步骤中则可基于该杆塔边界框和藤蔓边界框判断藤蔓的生长情况，以便确认藤蔓是否生长到杆塔位置，以及是否覆盖到杆塔之上，进而后台工作人员可基于判断结果安排巡检人员对对应的杆塔开展维护维修工作，有效的避免需要定期安排巡检人员进行巡检作业，从而减免巡检人员的巡检工作量。

本实施例的技术方案，通过对杆塔所在的杆塔区域进行图像采集获取样本数据，对样本数据进行特征提取获得多个不同尺度下的特征图，进而通过对多个不同尺度下的特征图进行预测杆塔边界框和藤蔓边界框，然后可根据预测的杆塔边界框和藤蔓边界框判断杆塔位置和藤蔓位置，进而确定藤蔓的攀爬情况，有效的利用无人设备采集的图像数据实现藤蔓攀爬情况判断的智能化，避免需要定期安排大量的巡检人员进行巡检所带来的大量户外巡查工作量，以检测出来的藤蔓攀爬情况安排巡检人员的工作，使得对巡检人员的工作安排更合理，大大的提高了藤蔓攀爬情况判断的效率，提高巡检人员的作业效率。

在本发明实施例中，对于采集的样本数据可选的可包括目标对象(杆塔区域)的多个角度的图像信息，也就是说，在采集的时候可对杆塔区域进行多个角度的图像数据采集作为一次判断中的样本数据。对于采集的样本数据可以是图片格式的集合，也可以是以视频格式保存的形式进行采集传输。

在一个可选的示例中，在利用无人设备采集杆塔区域的图像数据之后，还包括对图像数据进行进一步的处理，以提升获取的图像数据的质量，使得图像数据中的信息能够被更容易的辨别。

在具体实现中，步骤110可包括：

步骤111、获取无人设备采集的杆塔区域的图像数据；

在本步骤中与前述内容中步骤110中的描述相一致，在此不再过多赘述利用无人设备实现对杆塔区域的图像数据获取的过程。此外，在前述步骤110中的基础上，在本发明实施例具体实现中，还可包括对无人设备的操作，控制无人设备运作对杆塔区域的图像数据进行采集，例如利用无人机进行图像数据采集时，可基于杆塔区域的位置对无人机进行路线规划，使其抵达杆塔区域，然后再按照指定的航线绕杆塔区域运动，以对杆塔区域实现多角度的图像数据获取。

步骤112、对图像数据进行清洗操作，获得目标数据；

在一个可选的实施例中，对采集的图像数据进行数据清洗操作，以将图像数据中不满足辨别条件的图像进行剔除，例如对曝光度不足、因抖动造成的失真等低质量的图像进行剔除。对于图像数据的清洗的具体操作属于图像处理领域的常规技术，在此不做赘述，只要能够满足本发明实施例中对样本数据的要求即可，也就是能够剔除对后续步骤影响较大的低质量的图像数据即可。

对于图像数据的处理，除了上述的对图像数据进行清洗操作之外，还可包括其他的操作，例如针对数据集特点以及应用场景，对图像进行针对性数据增强，针对输电线路场景复杂、室外光照变化对图片的影响，使用对图片进行饱和度、对比度、亮度变化的数据增强手段；针对室外天气变化对图片的影响，对图片进行添加高斯噪声、椒盐噪声和像素点随机丢失的数据增强手段；针对现场图片中目标多遮挡的问题，对图片中目标进行随机的大范围像素丢失的数据增强手段；针对数据样本类别不均衡对后续模型训练的影响，对图片进行色彩抖动的数据增强手段等。

步骤113、对目标数据进行归一化处理，获得统一大小的样本数据。

在前述步骤采集获取满足本发明实施例需求的图像数据后，可能由于采集的设备、手段的差异，使得获得的图像数据可能存在不同的像素比例，在本步骤中所需要做的是将采集回来经过清洗等操作提升图像质量后的目标数据进行归一化处理，使得目标数据的像素比例大小一致，降低像素比例差距影响后续对杆塔和藤蔓的判断。

在步骤120中对样本数据进行特征提取，以得到杆塔区域在多个不同尺度下的特征图，其具体的可通过将样本数据输入到预先训练的特征提取网络中进行特征提取，以获得满足本发明实施例中要求的杆塔区域在三个不同尺度下的特征图。

在具体实现中，可以利用YOLO(You Only Look Once)v3算法中的Darknet-53网络结构对样本数据进行特征提取，进而获得三个不同尺度下的特征图。Darknet-53网络结构作为检测模型YOLOv3的基础网络结构，Darknet-53网络结构共有53个卷积层，其余为残差网络Residual，其特点是容易优化，能够通过增加一定的深度来提高准确率，其中内部的残差块使用了跳跃连接，这样可以缓解深度神经网络中增加深度带来的梯度消失问题。DarkNet53的每一个卷积部分都使用了DarknetConv2D结构，在卷积的时候会进行l2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU。与普通的ReLU相比，ReLU是将所有的负值都设为零，LeakyReLU则是给所有负值赋一个非零斜率。

在具体实现中，可利用主干网络DarkNet53可提取的三个特征层进行目标检测，三个特征层分别位于中间层，中下层和底层，三个特征层的大小为(52,52,256)、(26,26,512)、(13,13,1024)。(13,13,1024)的特征层进行5次卷积处理，处理的结果一部分用于输出该特征层的预测结果，一部分用于进行上采样。(26,26,512)的特征层与刚才的上采样的结果进行堆叠，堆叠后的结果同样进行5次卷积处理，处理的结果同样一部分输出到最后的输出网络中，一部分进行上采样，上采样的结果与(52,52,256)的特征层进行堆叠，堆叠后的结果，输出到输出网络中进行处理。

在前述步骤120中基于样本数据进行特征提取，得到杆塔区域在多个不同尺度下的特征图，接着需要对特征图中的特征做出预测，以实现对样本数据中杆塔和藤蔓的识别。

在具体实现中，可使用卷积神经网络对候选区域的位置和类别进行预测。首先将原图划分成多个小方块，每个小方块的大小是一个像素大小，然后以每个小方块为中心按一定的规则在图片上生成一系列位置固定的锚框，整张图片都会被锚框覆盖到，将这些锚框看作是可能的候选区域，对锚框是否包含目标物体进行预测，如果包含目标物体(杆塔、藤蔓)，还需要预测所包含物体的类别，以及预测框相对于锚框位置需要调整的幅度，以此预测获得杆塔区域中包含杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框。

其中，在对锚框是否包含目标物体进行预测时，先通过K-means聚类算法对不同尺度下的特征图进行聚类，分别得到3个不同的先验框；然后，利用先验框进行预测杆塔区域中包含杆塔的杆塔预测框和藤蔓覆盖位置的藤蔓预测框；最后输出杆塔预测框和藤蔓预测框的边框坐标、边框置信度和类别置信度，边框置信度表征杆塔预测框和藤蔓预测框中完整包含杆塔或藤蔓的概率，类别置信度为杆塔预测框和藤蔓预测框中框选的类别的置信度。

在使用YOLOv3实现时，采用K-means聚类得到先验框的尺寸，在YOLOv3中对特征提取获得3个不同尺度的特征图，在采用K-means聚类得到先验框时，则对应的聚类出9种尺寸的先验框。其中，在最小的特征图上(有最大的感受野)应用较大的先验框，适合检测较大的对象。中等的特征图上(中等感受野)应用中等的先验框，适合检测中等大小的对象。较大的特征图上(较小的感受野)应用较小的先验框，适合检测较小的对象。

在预测获得杆塔区域中包含杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框后，则确定了在样本数据中杆塔和藤蔓的位置，在步骤140中则需要基于前述步骤中确定的杆塔和藤蔓的位置判断是否发生藤蔓覆盖杆塔的情况，具体可包括以下步骤：

步骤141、计算杆塔边界框与藤蔓边界框的重合区域的重合面积。

在具体实现中，对于杆塔上是否覆盖有藤蔓的判断有很多方式，例如基于前述步骤中计算获得的杆塔边界框与藤蔓边界框确定杆塔和藤蔓位置，然后判断藤蔓是否覆盖于杆塔之上，或者是判断杆塔边界框与藤蔓边界框是否有重合。在本实施例中，通过对杆塔边界框与藤蔓边界框的重合面积的计算确定杆塔是否与藤蔓重合，进而确定的在杆塔边界框与藤蔓边界框重合时藤蔓攀爬于杆塔之上，杆塔边界框与藤蔓边界框不重合则藤蔓未攀爬于杆塔之上。通过对杆塔边界框与藤蔓边界框的重合计算可快速实现的藤蔓攀爬杆塔的情况判定。

步骤142、计算重合面积的占比。

步骤143、当占比大于预设的阈值时判断杆塔为藤蔓攀爬情况。

在具体实现中，还可以基于杆塔边界框与藤蔓边界框的重合面积的大小决定是否需要安排巡检人员对杆塔进行巡检维护，并且可基于杆塔边界框与藤蔓边界框判断藤蔓的攀爬严重程度，进一步的合理安排巡检顺序。

实施例二

图2为本发明实施例二提供的一种杆塔藤蔓攀爬检测装置的结构图。该装置包括：获取模块21、提取模块22、预测模块23、判断模块24。其中：

获取模块21，用于获取无人设备采集的杆塔区域的图像数据，作为样本数据；

提取模块22，用于对所述样本数据进行特征提取，得到所述杆塔区域在多个不同尺度下的特征图；

预测模块23，用于基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框；

判断模块24，用于基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况。

可选的，图像数据包括杆塔区域的多个角度的图像信息。

获取模块21包括：

获取单元，用于获取无人设备采集的杆塔区域的图像数据；

清洗单元，用于对图像数据进行清洗操作，获得目标数据；

归一化单元，用于对目标数据进行归一化处理，获得统一大小的样本数据。

提取模块22包括：

提取单元，用于将样本数据输入预先训练的特征提取网络中进行特征提取，获得杆塔区域在三个不同尺度下的特征图。

预测模块23包括：

预测单元，用于利用预设的先验框对杆塔区域中包含杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框进行预测；

输出单元，用于通过非极大值抑制方法对杆塔边界框和藤蔓边界框进行预测和回归，获得杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框。

输出单元包括：

聚类子单元，用于通过K-means聚类算法对不同尺度下的特征图进行聚类，分别得到3个不同的先验框；

框预测子单元，用于利用先验框进行预测杆塔区域中包含杆塔的杆塔预测框和藤蔓覆盖位置的藤蔓预测框；

输出子单元，用于输出杆塔预测框和藤蔓预测框的边框坐标、边框置信度和类别置信度，边框置信度表征杆塔预测框和藤蔓预测框中完整包含杆塔或藤蔓的概率，类别置信度为杆塔预测框和藤蔓预测框中框选的类别的置信度。

判断模块24包括：

第一计算单元，用于计算杆塔边界框与藤蔓边界框的重合区域的重合面积；

第二计算单元，用于计算重合面积的占比；

判断单元，用于当占比大于预设的阈值时判断杆塔为藤蔓攀爬情况。

实施例三

图3为本发明实施例三提供的一种电子设备的结构示意图。如图3所示，该电子设备包括处理器30、存储器31、通信模块32、输入装置33和输出装置34；电子设备中处理器30的数量可以是一个或多个，图3中以一个处理器30为例；电子设备中的处理器30、存储器31、通信模块32、输入装置33和输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。

存储器31作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的一种杆塔藤蔓攀爬检测方法对应的模块(例如，一种杆塔藤蔓攀爬检测装置中的获取模块21、提取模块22、预测模块23、判断模块24)。处理器30通过运行存储在存储器31中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的一种杆塔藤蔓攀爬检测方法。

存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器31可进一步包括相对于处理器30远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块32，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置33可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。

本实施例提供的一种电子设备，可执行本发明任一实施例提供的杆塔藤蔓攀爬检测方法，具体相应的功能和有益效果。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种杆塔藤蔓攀爬检测方法，该方法包括：

获取无人设备采集的杆塔区域的图像数据，作为样本数据；

对所述样本数据进行特征提取，得到所述杆塔区域在多个不同尺度下的特征图；

基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框；

基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机电子设备(可以是个人计算机，服务器，或者网络电子设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述杆塔藤蔓攀爬检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。