阅读说明：本技术 一种输电线路小金具缺陷检测方法、装置及存储介质 (Method and device for detecting defects of small hardware fittings of power transmission line and storage medium ) 是由 陈玉权 王红星 宋煜 沈杰 黄郑 黄祥 张欣 吴媚 高小伟 于 2020-06-18 设计创作，主要内容包括：本发明提供一种输电线路小金具缺陷检测方法、装置及存储介质,方法包括：通过拍摄设备获得多个原始输电线巡检图片,并对多个原始输电线巡检图片质量预处理得到多个输电线巡检图片,并集合多个输电线巡检图片得到输电线巡检数据集,并将输电线巡检数据集分为输电线巡检训练集和输电线巡检测试集；对输电线巡检训练集的数据增强处理得到输电线巡检增强训练集；构建Libra R-CNN模型,并对Libra R-CNN模型的优化处理得到Libra R-CNN优化模型；根据输电线巡检增强训练集对Libra R-CNN优化模型进行训练得到小金具检测模型。本发明较人工巡检更为便捷、安全和高效,且可以适应多种类型及尺度的输电线路航拍图像小金具缺陷,检测精度高,模型泛化能力强。(The invention provides a method, a device and a storage medium for detecting defects of small hardware fittings of a power transmission line, wherein the method comprises the following steps: the method comprises the steps that a plurality of original power transmission line inspection pictures are obtained through shooting equipment, the quality of the original power transmission line inspection pictures is preprocessed to obtain a plurality of power transmission line inspection pictures, the power transmission line inspection pictures are collected to obtain a power transmission line inspection data set, and the power transmission line inspection data set is divided into a power transmission line inspection training set and a power transmission line inspection testing set; enhancing the data of the power transmission line inspection training set to obtain a power transmission line inspection enhanced training set; constructing a Libra R-CNN model, and optimizing the Libra R-CNN model to obtain a Libra R-CNN optimized model; and training the Libra R-CNN optimization model according to the power transmission line inspection enhancement training set to obtain a small hardware detection model. Compared with manual routing inspection, the method is more convenient, safer and more efficient, can adapt to the defects of small hardware fittings of aerial images of power transmission lines with various types and scales, and has high detection precision and strong model generalization capability.)

一种输电线路小金具缺陷检测方法、装置及存储介质

技术领域

本发明主要涉及设备检测技术领域，具体涉及一种输电线路小金具缺陷检测方法、装置及存储介质。

背景技术

随着我国电网建设的高速发展，目前，我国的电网规模已跃居世界首位。截止2020年，我国的输电线总里程将超过159万千米。为了能够及时发现输电线路中小金具缺陷故障以便有效排除安全隐患，进而确保输电线正常运行，电力部门需要定期或不定期地对电力线路开展巡检。目前主要的电力线路巡检方式包括人工巡检、机器人巡检、载人直升机巡检、无人机巡检等。传统人工巡检效果差、人工成本高工作效率低等方面问题较为突出，已不能满足电网巡检的要求。再者，有的输电线路位于远离城镇、远离交通干线、人烟稀少的高山大岭地区，输电线路运检难度大，质量要求高。随着无人机技术的发展和无人机生产成本的下降，越来越多的电力公司开始开展无人机电力线路巡检。输电线小金具部件缺陷对输电线路的安全性起着重要的作用，因此，得到了越来越多相关人员的高度重视。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种输电线路小金具缺陷检测方法、装置及存储介质。

本发明解决上述技术问题的技术方案如下：一种输电线路小金具缺陷检测方法，包括如下步骤：

通过拍摄设备获得多个原始输电线巡检图片，并对多个所述原始输电线巡检图片进行图片质量预处理，得到多个输电线巡检图片，并集合所述多个输电线巡检图片，得到输电线巡检数据集，并将所述输电线巡检数据集分为输电线巡检训练集和输电线巡检测试集；

对所述输电线巡检训练集进行数据增强处理，得到输电线巡检增强训练集；

构建Libra R-CNN模型，并对所述Libra R-CNN模型进行优化处理，得到Libra R-CNN优化模型；

根据所述输电线巡检增强训练集对所述Libra R-CNN优化模型进行训练，得到小金具检测模型；

根据所述小金具检测模型对所述输电线巡检测试集进行检测，得到小金具缺陷检测结果。

本发明解决上述技术问题的另一技术方案如下：一种输电线路小金具缺陷检测装置，包括：

图片处理模块，用于通过拍摄设备获得多个原始输电线巡检图片，并对多个所述原始输电线巡检图片进行图片质量预处理，得到多个输电线巡检图片，并集合所述多个输电线巡检图片，得到输电线巡检数据集，并将所述输电线巡检数据集分为输电线巡检训练集和输电线巡检测试集；

训练集处理模块，用于对所述输电线巡检训练集进行数据增强处理，得到输电线巡检增强训练集；

模型优化模块，用于构建Libra R-CNN模型，并对所述Libra R-CNN模型进行优化处理，得到Libra R-CNN优化模型；

模型训练模块，用于根据所述输电线巡检增强训练集对所述Libra R-CNN优化模型进行训练，得到小金具检测模型；

检测结果获得模块，用于根据所述小金具检测模型对所述输电线巡检测试集进行检测，得到小金具缺陷检测结果。

本发明解决上述技术问题的另一技术方案如下：一种输电线路小金具缺陷检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的输电线路小金具缺陷检测方法。

本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的输电线路小金具缺陷检测方法。

本发明的有益效果是：通过对多个原始输电线巡检图片的图片质量预处理得到多个输电线巡检图片，并集合多个输电线巡检图片得到输电线巡检数据集，并将输电线巡检数据集分为输电线巡检训练集和输电线巡检测试集，对输电线巡检训练集的数据增强处理得到输电线巡检增强训练集，构建Libra R-CNN模型，并对Libra R-CNN模型的优化处理得到Libra R-CNN优化模型，并根据输电线巡检增强训练集对Libra R-CNN优化模型的训练得到小金具检测模型，根据小金具检测模型对输电线巡检测试集的检测得到小金具缺陷检测结果，较人工巡检更为便捷、安全和高效，且可以适应多种类型及尺度的输电线路航拍图像小金具缺陷，检测精度高，模型泛化能力强。

附图说明

图1为本发明一实施例提供的输电线路小金具缺陷检测方法的流程示意图；

图2为本发明一实施例提供的输电线路小金具缺陷检测装置的模块框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明一实施例提供的输电线路小金具缺陷检测方法的流程示意图。

如图1所示，一种输电线路小金具缺陷检测方法，包括如下步骤：

通过拍摄设备获得多个原始输电线巡检图片，并对多个所述原始输电线巡检图片进行图片质量预处理，得到多个输电线巡检图片，并集合所述多个输电线巡检图片，得到输电线巡检数据集，并将所述输电线巡检数据集分为输电线巡检训练集和输电线巡检测试集；

对所述输电线巡检训练集进行数据增强处理，得到输电线巡检增强训练集；

构建Libra R-CNN模型，并对所述Libra R-CNN模型进行优化处理，得到Libra R-CNN优化模型；

根据所述输电线巡检增强训练集对所述Libra R-CNN优化模型进行训练，得到小金具检测模型；

根据所述小金具检测模型对所述输电线巡检测试集进行检测，得到小金具缺陷检测结果。

应理解地，所述输电线巡检数据集按照7：3的比例分为所述输电线巡检训练集和所述输电线巡检测试集。

应理解地，所述输电线巡检训练集和所述输电线巡检测试集都为VOC格式。

具体地，首先，在Linux环境下搭建docker环境，配置PyTorch深度学习开发环境；其次，通过拍摄设备获得多个所述原始输电线巡检图片用LabelImg工具进行人工标记，并通过预处理以获得高质量的所述输电线巡检数据集，并制作VOC(Visual Object Classes)格式的所述输电线巡检训练集和所述输电线巡检测试集；其次，对所述输电线巡检训练集进行数据增强，采用ResNext101，DCN v2，Mish对所述Libra R-CNN模型进行优化得到所述Libra R-CNN优化模型，并根据所述输电线巡检增强训练集对所述Libra R-CNN优化模型训练得到所述小金具检测模型；最后，利用测试集对所述小金具检测模型进行检测得到小金具缺陷检测结果。

上述实施例中，通过对多个原始输电线巡检图片的图片质量预处理得到多个输电线巡检图片，并集合多个输电线巡检图片得到输电线巡检数据集，并将输电线巡检数据集分为输电线巡检训练集和输电线巡检测试集，对输电线巡检训练集的数据增强处理得到输电线巡检增强训练集，构建Libra R-CNN模型，并对Libra R-CNN模型的优化处理得到LibraR-CNN优化模型，并根据输电线巡检增强训练集对Libra R-CNN优化模型的训练得到小金具检测模型，根据小金具检测模型对输电线巡检测试集的检测得到小金具缺陷检测结果，较人工巡检更为便捷、安全和高效，且可以适应多种类型及尺度的输电线路航拍图像小金具缺陷，检测精度高，模型泛化能力强。

可选地，作为本发明的一个实施例，所述对多个所述原始输电线巡检图片质量预处理，得到多个输电线巡检图片的过程包括：

利用OpenCV工具对各个所述原始输电线巡检图片进行读取，得到多个输电线巡检图片；

利用LabelImg工具对所述输电线巡检图片进行标记处理，得到标签文件，所述输电线巡检图片携带标签文件，直至完成对多个所述输电线巡检图片的标记处理，从而得到多个携带标签文件的输电线巡检图片。

应理解地，所述标记处理为人工标记。

具体地，利用OpenCV工具的imread对各个所述原始输电线巡检图片进行读取，若无法读取，则为破损图片。

上述实施例中，利用OpenCV工具对各个原始输电线巡检图片的读取得到多个待标记输电线巡检图片；利用LabelImg工具对所述输电线巡检图片的标记处理得到标签文件，所述输电线巡检图片携带标签文件，直至完成对多个所述输电线巡检图片的标记处理，从而得到多个携带标签文件的输电线巡检图片，为后续处理提供数据支撑，较人工巡检更为便捷、安全和高效，且可以适应多种类型及尺度的输电线路航拍图像小金具缺陷，检测精度高，模型泛化能力强。

可选地，作为本发明的一个实施例，所述对所述输电线巡检训练集进行数据增强处理，得到输电线巡检增强训练集的过程包括：

对所述输电线巡检训练集进行色彩增强处理，得到多个输电线巡检色彩增强图片；

对所述输电线巡检训练集进行旋转处理，得到多个输电线巡检旋转图片；

对所述输电线巡检训练集进行镜像处理，得到多个输电线巡检镜像图片；

对所述输电线巡检训练集进行加噪声处理，得到多个输电线巡检加噪声图片，并将所述输电线巡检训练集中的多个输电线巡检图片与多个所述输电线巡检色彩增强图片、多个所述输电线巡检镜像图片以及多个所述输电线巡检加噪声图片进行集合，得到输电线巡检增强训练集。

应理解地，分别通过运用色彩增强，旋转，镜像，加噪声四种方法对所述输电线巡检训练集进行增广，增加了小金具缺陷的数据量。

具体地，深度学习图像处理中，针对训练集样本不足或某些类样本较少的情况下，为了防止过拟合，可采用数据增强方法，让模型学习到更加丰富的特征信息，进而达到提升模型准确率和增强模型鲁棒性的效果；本发明中采用色彩增强，旋转，镜像，加噪声四种方法分别对所述输电线巡检训练集进行增强；所述输电线巡检训练集经过数据增强方法后的缺陷分为四类：螺栓缺螺母，销子突出，螺栓安装不规范。

上述实施例中，对所述输电线巡检训练集的色彩增强处理得到多个输电线巡检色彩增强图片；对所述输电线巡检训练集的旋转处理得到多个输电线巡检旋转图片；对所述输电线巡检训练集的镜像处理得到多个输电线巡检镜像图片；对所述输电线巡检训练集的加噪声处理得到多个输电线巡检加噪声图片，并将所述输电线巡检训练集中的多个输电线巡检图片与多个所述输电线巡检色彩增强图片、多个所述输电线巡检镜像图片以及多个所述输电线巡检加噪声图片的集合得到输电线巡检增强训练集，增加了小金具缺陷的数据量，为提高检测精度和增强模型泛化能力提供了基础。

可选地，作为本发明的一个实施例，所述对所述Libra R-CNN模型进行优化处理，得到Libra R-CNN优化模型的过程包括：

设置特征提取网络ResNext101，所述特征提取网络ResNext101包括卷积层和Relu激活函数；

通过可变形卷积层DCNV2对所述卷积层进行卷积层替换处理，得到优化卷积层；

通过Mish激活函数对所述Relu激活函数进行激活函数替换处理，得到优化激活函数；

根据所述优化卷积层和所述优化激活函数得到优化特征提取网络ResNext101；

通过所述优化特征提取网络ResNext101对所述Libra R-CNN模型中的ResNet50进行网络替换处理，得到Libra R-CNN优化模型。

具体地，所述Libra R-CNN模型的检测原理为：

A.输入图片通过CNN进行特征提取，然后通过IoU Balanced sampling方法，使得hard negative在IoU上均匀采样，进而解决样本之间不均衡性。

B.通过Balanced Feature Pyramid方法对特征图进行进行rescaling(尺寸调节)，integrating(特征融合)，refining(特征细化)，strengthening(特征增强)四种操作。利用深度整合的均衡语义特征来强化多层次特征。

C.通过Balanced L1 loss来平衡Lcls(分类)和Lloc(定位)的损失函数，促进影响较大的回归梯度，进而平衡包含的样本及其任务，从而可以在分类，粗定位，及细定位中进行平衡的训练。

应理解地，所述特征提取网络ResNext101是基于resnet改进的，resnet的优点主要在于提出了残差网络学***行堆叠相同拓扑结构的blocks代替原来resnet的三层卷积block，这样做可以在不增加网络参数复杂度的情况下提高模型准确率，并且还减少了超参数(params)的数量。

具体地，由于输电线路航拍图像中的锁紧销大小比例不一，而且旋转角度多变，对于这种目标，传统的卷积神经网络不能很好的对其进行适应，而DCN(DeformableConvolution Networks)方法加入了Deformable Convolution结构，对感受野上的每一个点都加上一个偏移量offset，经过DCN后的感受野不再是正方形，而是变得和目标的实际形状相匹配，这样无论目标怎么形变，卷积的感受野始终覆盖在目标形状周围。而所述可变形卷积层DCNV2使用了更多的Deformable Convolution，使得卷积层不仅能自学习offset，而且还能学习每个采样点的权重，通过分配这些学习到的权重给经过offset修正后的区域，能够实现更准确的特征提取，从而有效提高训练效果。

应理解地，Relu激活函数公式为第一式，所述第一式为：

f(x)＝max(0,x)，

所述Mish激活函数公式为第二式，所述第二式为：

Mish＝x^*tanh(ln(1+e^x))，

Relu激活函数在输入值为负时均为0，然而理论上对负值的轻微允许会有更好的梯度流，实验证明，平滑的激活函数允许更好的信息深入神经网络，而所述Mish激活函数不仅允许负的梯度流存在且为平滑的激活函数，因此，Mish激活函数可得到更好的准确性和泛化。

具体地，采用所述特征提取网络ResNext101替代所述Libra R-CNN模型中的ResNet50，提升模型检测精度；使用所述可变形卷积层DCNV2替代所述特征提取网络ResNext101的卷积层，使模型的检测框能够自适应目标形变；利用所述Mish激活函数替代ResNext101中的Relu激活函数，提升模型的泛化能力。

上述实施例中，设置特征提取网络ResNext101，所述特征提取网络ResNext101包括卷积层和Relu激活函数；通过可变形卷积层DCNV2对所述卷积层的卷积层替换处理得到优化卷积层，使模型的检测框能够自适应目标的形变；通过Mish激活函数对所述Relu激活函数的激活函数替换处理得到优化激活函数，提升了模型的泛化能力；根据所述优化卷积层和所述优化激活函数得到优化特征提取网络ResNext101；通过所述优化特征提取网络ResNext101对所述Libra R-CNN模型中的ResNet50的网络替换处理得到Libra R-CNN优化模型，提升了模型的检测精度。

图2为本发明一实施例提供的输电线路小金具缺陷检测装置的模块框图。

可选地，作为本发明的另一个实施例，如图2所示，一种输电线路小金具缺陷检测装置，包括：

图片处理模块，用于通过拍摄设备获得多个原始输电线巡检图片，并对多个所述原始输电线巡检图片进行图片质量预处理，得到多个输电线巡检图片，并集合所述多个输电线巡检图片，得到输电线巡检数据集，并将所述输电线巡检数据集分为输电线巡检训练集和输电线巡检测试集；

训练集处理模块，用于对所述输电线巡检训练集进行数据增强处理，得到输电线巡检增强训练集；

模型优化模块，用于构建Libra R-CNN模型，并对所述Libra R-CNN模型进行优化处理，得到Libra R-CNN优化模型；

模型训练模块，用于根据所述输电线巡检增强训练集对所述Libra R-CNN优化模型进行训练，得到小金具检测模型；

检测结果获得模块，用于根据所述小金具检测模型对所述输电线巡检测试集进行检测，得到小金具缺陷检测结果。

可选地，作为本发明的一个实施例，所述图片处理模块具体用于：

利用OpenCV工具对各个所述原始输电线巡检图片进行读取，得到多个输电线巡检图片；

利用LabelImg工具对所述输电线巡检图片进行标记处理，得到标签文件，所述输电线巡检图片携带标签文件，直至完成对多个所述输电线巡检图片的标记处理，从而得到多个携带标签文件的输电线巡检图片。

可选地，作为本发明的一个实施例，所述训练集处理模块具体用于：

对所述输电线巡检训练集进行色彩增强处理，得到多个输电线巡检色彩增强图片；

对所述输电线巡检训练集进行旋转处理，得到多个输电线巡检旋转图片；

对所述输电线巡检训练集进行镜像处理，得到多个输电线巡检镜像图片；

对所述输电线巡检训练集进行加噪声处理，得到多个输电线巡检加噪声图片，并将所述输电线巡检训练集中的多个输电线巡检图片与多个所述输电线巡检色彩增强图片、多个所述输电线巡检镜像图片以及多个所述输电线巡检加噪声图片进行集合，得到输电线巡检增强训练集。

可选地，作为本发明的一个实施例，所述模型优化模块具体用于：

设置特征提取网络ResNext101，所述特征提取网络ResNext101包括卷积层和Relu激活函数；

通过可变形卷积层DCNV2对所述卷积层进行卷积层替换处理，得到优化卷积层；

通过Mish激活函数对所述Relu激活函数进行激活函数替换处理，得到优化激活函数；

根据所述优化卷积层和所述优化激活函数得到优化特征提取网络ResNext101；

通过所述优化特征提取网络ResNext101对所述Libra R-CNN模型中的ResNet50进行网络替换处理，得到Libra R-CNN优化模型。

可选地，本发明的另一个实施例提供一种输电线路小金具缺陷检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的输电线路小金具缺陷检测方法。该装置可为计算机等装置。

可选地，本发明的另一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的输电线路小金具缺陷检测方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。用于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。