阅读说明：本技术 一种输电线路导线覆冰厚度的识别方法和装置 (Method and device for identifying icing thickness of transmission line conductor ) 是由 王力民 刘伟 陈雷 王成 李忠平 蔡锐 郭国信 崔利 于 2019-09-30 设计创作，主要内容包括：本申请公开了一种输电线路导线覆冰厚度的识别方法和装置,方法包括：接收来自拍摄设备的输电线路图像；利用预先训练好的覆冰目标识别网络,确定输电线路图像中的第一目标图像,第一目标图像包括输电线路中的覆冰段以及背景图像；利用图像分割网络对第一目标图像进行图像分割,得到输电线路图像中的第二目标图像,第二目标图像包括输电线路中的覆冰段,预设比例包括输电线图像中导线的直径与导线的实际直径的比值；利用条件随机场模型对第二目标图像中的像素点进行重新排布,得到输电线路中覆冰段对应的覆冰图像；根据覆冰图像中覆冰段对应的像素点以及预设比例,确定覆冰段的覆冰厚度。本申请能够较为精确地确定覆冰厚度。(The application discloses a method and a device for identifying the icing thickness of a wire of a power transmission line, wherein the method comprises the following steps: receiving a power transmission line image from a shooting device; determining a first target image in the image of the power transmission line by using a pre-trained icing target identification network, wherein the first target image comprises an icing section and a background image in the power transmission line; carrying out image segmentation on the first target image by using an image segmentation network to obtain a second target image in the image of the power transmission line, wherein the second target image comprises an icing section in the power transmission line, and the preset proportion comprises the ratio of the diameter of the wire in the image of the power transmission line to the actual diameter of the wire; rearranging the pixel points in the second target image by using the conditional random field model to obtain an icing image corresponding to an icing section in the power transmission line; and determining the icing thickness of the icing section according to the pixel points corresponding to the icing section in the icing image and a preset proportion. The icing thickness can be determined more accurately.)

一种输电线路导线覆冰厚度的识别方法和装置

技术领域

本申请涉及输电线路图像处理技术领域，尤其涉及一种输电线路导线覆冰厚度的识别方法和装置。

背景技术

输电线路设计时，依据所处位置的气候条件、历史观察数据及经验等，选取一定的设计值，作为覆冰允许厚度。线路覆冰检测最基本的是对覆冰厚度的检测，然后和设计值比较。

人们通过人工检测、传感感器检测以及拍摄输电线路的照片，来检测覆冰厚度。

然而，输电线路通常架设在偏僻的地区，且输电线路上的导线出现覆冰时，天气情况会比较复杂，例如雨雪、大风等，这些因素使得上述方法不能精确地确定覆冰厚度。

发明内容

为了解决上述问题，本申请提出了一种输电线路导线覆冰厚度的识别方法和装置，能够较为精确地确定覆冰厚度。

第一方面，本申请实施例提供了一种输电线路导线覆冰厚度的识别方法，包括：

接收来自拍摄设备的输电线路图像；

利用预先训练好的覆冰目标识别网络，确定所述输电线路图像中的第一目标图像，所述第一目标图像包括所述输电线路中的覆冰段以及背景图像；

利用图像分割网络对所述第一目标图像进行图像分割，得到所述输电线路图像中的第二目标图像，所述第二目标图像包括所述输电线路中的覆冰段；

利用条件随机场模型对所述第二目标图像中的像素点进行重新排布，得到所述输电线路中覆冰段对应的覆冰图像；

根据所述覆冰图像中覆冰段对应的像素点以及预设比例，确定所述覆冰段的覆冰厚度，所述预设比例包括所述输电线图像中导线的直径与所述导线的实际直径的比值。

在一个示例中，在预设坐标系中，确定标准图像中导线对应的导线像素点的数量和坐标，所述预设坐标系的y轴和x轴的一个刻度对应一个像素；所述标准图像包括未覆冰的所述输电线图像；

确定各所述y轴刻度对应的所述导线像素点的数量，所述不同y轴刻度对应不同的导线像素点的数量；

根据所述导线像素点的数量和所述导线的实际直径，确定所述标准图像中导线直径与所述实际导线直径的比例；

对应存储各个所述y轴刻度对应的所述比例以及各所述导线像素点的坐标；

其中，各所述y轴刻度对应的导线像素点数量与图像中所述导线的直径有关，各所述y轴刻度对应的标准图像中导线直径与实际导线直径的比例为所述预设比例。

在一个示例中，在所述预设坐标系中，确定所述覆冰段对应的覆冰段像素点和一阶中心距，以及各所述y轴刻度对应的覆冰段像素点数量；

根据所述一阶中心距，确定所述覆冰段的中心线；

分别确定所述覆冰段最大宽度的两个端点的坐标，以及所述覆冰段的中心线与所述覆冰段的两端交点的坐标；

根据所述两端交点对应的y轴刻度、所述覆冰段上各像素点对应的y轴刻度以及各所述预设比例，在所述覆冰段的中心线处确定所述覆冰段内导线像素点的坐标和数量，其中，所述覆冰段内导线像素点对应的y轴刻度位于所述两端交点对应的y轴刻度之间；

根据所述覆冰段内导线像素点数量和所述覆冰段像素点数量，确定所述覆冰段的等效覆冰厚度，所述等效覆冰厚度与平均覆冰厚度相关；

根据所述两个端点的坐标，所述两个端点间的像素点数量，各所述预设比例，确定最大覆冰厚度。

在一个示例中，利用第一卷积层和第二卷积层对所述目标图像进行图像分割；其中，所述第一卷积层的卷积核为n×1卷积核，所述第二卷积层的卷积核为1×n卷积核，所述第一卷积层和所述第二卷积层为级联关系。

第二方面，本申请实施例提供了一种输电线路导线覆冰厚度的识别装置，包括：接收模块、目标识别模块、图像分割模块、图像优化模块和计算模块；

所述接收模块用于接收来自拍摄设备的输电线路图像；

所述目标识别模块用于利用预先训练好的覆冰目标识别网络，确定所述输电线路图像中的第一目标图像，所述第一目标图像包括所述输电线路中的覆冰段以及背景图像；

所述图像分割模块用于利用图像分割网络对所述第一目标图像进行图像分割，得到所述输电线路图像中的第二目标图像，所述第二目标图像包括所述输电线路中的覆冰段；

所述图像优化模块用于利用条件随机场模型对所述第二目标图像中的像素点进行重新排布，得到所述输电线路中覆冰段对应的覆冰图像；

所述计算模块用于根据所述覆冰图像中覆冰段对应的像素点以及预设比例，确定所述覆冰段的覆冰厚度，所述预设比例包括所述输电线图像中导线的直径与所述导线的实际直径的比值。

在一个示例中，所述目标识别模块还用于在预设坐标系中，确定标准图像中导线对应的导线像素点的数量和坐标，所述预设坐标系的y轴和x轴的一个刻度对应一个像素；所述标准图像包括未覆冰的所述输电线图像；确定各所述y轴刻度对应的所述导线像素点的数量，所述不同y轴刻度对应不同的导线像素点的数量；根据所述导线像素点的数量和所述导线的实际直径，确定所述标准图像中导线直径与所述实际导线直径的比例；对应存储各个所述y轴刻度对应的所述比例以及各所述导线像素点的坐标；

其中，各所述y轴刻度对应的导线像素点数量与图像中所述导线的直径有关，各所述y轴刻度对应的标准图像中导线直径与实际导线直径的比例为所述预设比例。

在一个示例中，所述计算模块用于在所述预设坐标系中，确定所述覆冰段对应的覆冰段像素点和一阶中心距，以及各所述y轴刻度对应的覆冰段像素点数量；根据所述一阶中心距，确定所述覆冰段的中心线；分别确定所述覆冰段最大宽度的两个端点的坐标，以及所述覆冰段的中心线与所述覆冰段的两端交点的坐标；

所述计算模块用于根据所述两端交点对应的y轴刻度、所述覆冰段上各像素点对应的y轴刻度以及各所述预设比例，在所述覆冰段的中心线处确定所述覆冰段内导线像素点的坐标和数量，其中，所述覆冰段内导线像素点对应的y轴刻度位于所述两端交点对应的y轴刻度之间；根据所述覆冰段内导线像素点数量和所述覆冰段像素点数量，确定所述覆冰段的等效覆冰厚度，所述等效覆冰厚度与平均覆冰厚度相关；根据所述两个端点的坐标，所述两个端点间的像素点数量，各所述预设比例，确定最大覆冰厚度。

在一个示例中，所述图像分割模块用于利用第一卷积层和第二卷积层对所述目标图像进行图像分割；其中，所述第一卷积层的卷积核为n×1卷积核，所述第二卷积层的卷积核为1×n卷积核，所述第一卷积层和所述第二卷积层为级联关系。

本申请实施例提出了一种输电线路导线覆冰厚度的识别方法和装置，对拍摄设备采集的输电线路图像，利用神经网络，先对输电线路中的覆冰段进行识别定位，即确定第一目标图像，以尽量排除图像中的背景对图像分割的影响。再对输电线路中的覆冰段进行自动图像分割，得到输电线路中的覆冰段对应的图像，即第二目标图像，以进一步排除第一目标图像中的背景对图像的影响。之后，利用条件随机场模型对第二目标图像中的像素点进行重新排布，以得到更加精准的覆冰段图像。最后根据预先标定的输电线图像中导线的直径与导线的实际直径的比值，覆冰段的覆冰厚度。由此可见，本申请实施例提出的技术方案通过逐步排除背景对覆冰段的影响，进而得到精准的图像。再利用图像中导线的直径与导线的实际直径的比值和精准的图像，较为精确地确定覆冰厚度覆冰厚度。

此外，本申请实施例提出的技术方案简单易行，能够适应场景变化(天气变化、光照变化、自然环境、复杂场景等外在因素的影响)，具有很强的鲁棒性，对于各种背景复杂的输电线路应用场景，能够有效检测输电线上是否覆冰以及实际覆冰厚度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1本申请实施例提供的一种输电线路导线覆冰厚度的识别方法的流程图；

图2本申请实施例提供的一种输电线路导线覆冰厚度的识别装置的结构示意图。

具体实施方式

为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。

本申请的实施例公开了一种输电线路导线覆冰厚度的识别方法，如图1所示，包括以下步骤：

步骤101、接收来自拍摄设备的输电线路图像。

步骤102、利用预先训练好的覆冰目标识别网络，确定输电线路图像中的第一目标图像，第一目标图像包括输电线路中的覆冰段以及背景图像。

在本申请实施例中，覆冰目标识别网络的训练方法具体为：

1)收集各种天气状况下的覆冰图像。例如雨凇、雾凇、混合淞、湿雪下的覆冰图像，并以矩形框的方式在图像中标记输电线路的覆冰段。

2)样本增广。由于引发输电路覆冰天气状况不会经常出现，因此很难以自然获取的方式得到足够多的训练样本。这里所谓的“自然获取的方式”是指拍摄设备在输电线路产生覆冰时获得的训练样本。因此需要针对样本分布情况，利用拉伸变形、缩放、增加随机噪声、对比度色度调整等手段增加样本数量。

3)样本归一化处理，对训练样本中的各图像进行尺寸以及颜色归一化处理。用于监控输电线路的拍摄设备通常会根据拍摄环境调整焦距和拍摄角度，因而在训练样本中，各图像的大小、拍摄焦距、图像亮度均不相同。这会导致训练模型得不到理想的训练结果，因此需要对训练样本中的各图像进行尺寸以及颜色归一化处理。

4)采用FPN(Feature Pyramid Network，特征金字塔网络)构建目标识别网络，以Faster-R-CNN(Regions with Convolutional Neural Network Features，具有卷积神经网络特征的区域)-Res101为基础网络模型，并结合FPN金字塔特征提取方式，建立覆冰目标检测模型。其中，Res101指具有101层的Resnet(残留神经网络)。

5)利用3)得到训练样本训练4)构建神经网络模型。

步骤103、利用图像分割网络对第一目标图像进行图像分割，得到输电线路图像中的第二目标图像。

在本申请实施例中，图像分割网络为基于SegNet网络的分割网络。拍摄设备拍摄范围通常为两个电塔间的输电线路，因此拍摄范围通常为几百米。根据拍摄原理，拍摄到的图像分为远景部分、中景部分和近景部分。通常情况下，图像清晰度的顺序为远景部分<中景部分<近景部分。图像分割时，如果针对远景图像的采样过多，会影响最后的分割结果。为保证图像分割的准确性，需要减少图像分割网络的下采样层，以减少对远景部分的采样。

由于输电线路是露天的，输电线会受到气流的影响而发生摇晃，给图像识别，尤其对导线宽度和覆冰厚度的识别带来困难，为了解决上述问题在本申请实施例中，需要先确定图像中输电线图像中导线的直径与导线的实际直径的比值，再根据得到比值，识别输电线路图像中的导线宽度和覆冰厚度。其具体过程为：

首先，在预设坐标系中，确定标准图像中导线对应的导线像素点的数量和坐标。其中，预设坐标系的y轴和x轴的一个刻度对应一个像素；标准图像包括未覆冰的输电线图像。需要说明的是，预设坐标是拍摄设备自带，标准图像只针对于一个拍摄设备，以保证比例的准确性。例如，处于两个不同拍摄环境的拍摄设备A和B，那么A的标准图像只能是A在自己的拍摄环境下拍摄的，不能使用B拍摄的标准图像，因为不同的拍摄环境其拍摄焦距不同。即便在相同坐标下，导线像素点的数量和坐标还是可能会不同，这会影响得到的比例的准确度。

其次，确定各y轴刻度对应的导线像素点的数量。其中，不同y轴刻度对应不同的导线像素点的数量。可以理解的是，当拍摄范围为几百米时，在图像中远景部分以及中景部分的导线宽度明显小于导线的实际宽度。而上述情况的具体表现为，导线宽度对应的像素点的数量从近景到远景依次减少，导线对应的像素点是逐渐较少的。为了能够精确地表征导线对应的像素点的这种变化趋势，先确定导线的中轴线，以y轴的各刻度为基准，确定构成导线中轴线各像素点的y轴坐标，再确定中轴线各像素点对应的导线宽度。需要说明的是这里的导线宽度是用导线像素点的数量来表示的。在同一图像中，导线宽度对应的像素点的数量从近景到远景依次减少，因此不同y轴刻度对应不同的导线像素点的数量。

最后，根据导线像素点的数量和导线的实际直径，确定标准图像中导线直径与实际导线直径的比例。在本申请实施例中，用y轴刻度对应的导线像素点的数量表征图像中导线的宽度，即得到比例为导线宽度对应的导线像素点的数量和导线的实际直径之比。

此外，为了便于后续的图像分割，还要对应存储各个y轴刻度对应的比例以及各导线像素点的坐标。

在本申请实施例中，输电线路为线型，因此理论上卷积核为n×1的卷积层更适合用来在该场景下对第一目标图像进行特征提取。然而单纯利用n×1的卷积层会增加运算量。为了兼顾计算量与分割效果均衡，同时用卷积核为n×1和1×n的两个卷积层级联代替一个n×n的卷积层来对第一目标图像进行特征提取。

步骤104、利用条件随机场模型对第二目标图像中的像素点进行重新排布，得到输电线路中覆冰段对应的覆冰图像。

在本申请实施例中，利用图像分割网络确定出粗略的覆冰段粗略的线条，再利用条件随机场模型对粗略的线条进行优化，通过两个模型相集合的方式确定精准的覆冰段对应的图像。

步骤105、根据覆冰图像中覆冰段对应的像素点以及所述预设比例，确定覆冰段的覆冰厚度。

在本申请实施例中，覆冰厚度包括两种，一种为等效覆冰厚度，另一种为最大覆冰厚度。其中，等效覆冰厚度可以视为覆冰的平均厚度。覆冰厚度的计算过程具体为：

1、在预设坐标系中，确定覆冰段对应的覆冰段像素点和一阶中心距，以及各y轴刻度对应的覆冰段像素点数量。

2、根据一阶中心距，确定覆冰段的中心线。

在本申请实施例中，由于输电线路是露天的，输电线会受到气流的影响而发生摇晃，使得拍摄到的导线的坐标与标准图像中的坐标不同，因此通过确定一阶中心距的方式确定图像中导线在预设坐标轴中的坐标和数量。

3、分别确定覆冰段最大宽度的两个端点的坐标，以及覆冰段的中心线与覆冰段的两端交点的坐标。

4、根据两端交点对应的y轴刻度、覆冰段上各像素点对应的y轴刻度以及各预设比例，在覆冰段的中心线处确定覆冰段内导线像素点的坐标和数量。

在本申请实施例中，覆冰段内导线像素点对应的y轴刻度位于两端交点对应的y轴刻度之间。

5、根据覆冰段内导线像素点数量和覆冰段像素点数量，确定覆冰段的等效覆冰厚度，等效覆冰厚度与平均覆冰厚度相关。

在本申请实施例中，等效覆冰厚度的计算公式为：

其中，d表征等效覆冰厚度，n1表征覆冰段像素点数量，n2表征覆冰段内导线像素点数量，即标准图像中导线的像素点数量，D表征导线的固有尺寸。

6、根据两个端点的坐标，两个端点间的像素点数量，各预设比例，确定最大覆冰厚度。

在本申请实施例中，计算最大覆冰厚度的公式与计算等效覆冰厚度的公式相同，只是各参数的意义不同。在计算最大覆冰厚度的公式中，d表征最大覆冰厚度，n1表征覆冰段最大宽度的像素点数量，n2表征覆冰段最大宽度处导线像素点数量，D表征导线的固有尺寸。

如图2所示，本申请实施例提供了一种输电线路导线覆冰厚度的识别装置，包括：接收模块、目标识别模块202、图像分割模块203、图像优化模块204和计算模块205。

接收模块201用于接收来自拍摄设备的输电线路图像。

目标识别模块202用于利用预先训练好的覆冰目标识别网络，确定输电线路图像中的第一目标图像，第一目标图像包括输电线路中的覆冰段以及背景图像。

图像分割模块203用于利用图像分割网络对第一目标图像进行图像分割，得到输电线路图像中的第二目标图像，第二目标图像包括输电线路中的覆冰段。

图像优化模块204用于利用条件随机场模型对第二目标图像中的像素点进行重新排布，得到输电线路中覆冰段对应的覆冰图像；

计算模块205用于根据覆冰图像中覆冰段对应的像素点以及预设比例，确定覆冰段的覆冰厚度，预设比例包括输电线图像中导线的直径与导线的实际直径的比值。

在本申请实施例中，目标识别模块202还用于在预设坐标系中，确定标准图像中导线对应的导线像素点的数量和坐标，预设坐标系的y轴和x轴的一个刻度对应一个像素；标准图像包括未覆冰的输电线图像；确定各y轴刻度对应的导线像素点的数量，不同y轴刻度对应不同的导线像素点的数量；根据导线像素点的数量和导线的实际直径，确定标准图像中导线直径与实际导线直径的比例；对应存储各个y轴刻度对应的比例以及各导线像素点的坐标。

其中，各y轴刻度对应的导线像素点数量与图像中导线的直径有关，各y轴刻度对应的标准图像中导线直径与实际导线直径的比例为预设比例。

在本申请实施例中，计算模块205用于在预设坐标系中，确定覆冰段对应的覆冰段像素点和一阶中心距，以及各y轴刻度对应的覆冰段像素点数量；根据一阶中心距，确定覆冰段的中心线；分别确定覆冰段最大宽度的两个端点的坐标，以及覆冰段的中心线与覆冰段的两端交点的坐标。

计算模块205用于根据两端交点对应的y轴刻度、覆冰段上各像素点对应的y轴刻度以及各预设比例，在覆冰段的中心线处确定覆冰段内导线像素点的坐标和数量，其中，覆冰段内导线像素点对应的y轴刻度位于两端交点对应的y轴刻度之间；根据覆冰段内导线像素点数量和覆冰段像素点数量，确定覆冰段的等效覆冰厚度，等效覆冰厚度与平均覆冰厚度相关；根据两个端点的坐标，两个端点间的像素点数量，各预设比例，确定最大覆冰厚度。

在本申请实施例中，图像分割模块203用于利用第一卷积层和第二卷积层对目标图像进行图像分割；其中，第一卷积层的卷积核为n×1卷积核，第二卷积层的卷积核为1×n卷积核，第一卷积层和第二卷积层为级联关系。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。