一种自然覆冰在线监测运行导线图像覆冰程度评估方法
阅读说明：本技术 一种自然覆冰在线监测运行导线图像覆冰程度评估方法 (Natural icing on-line monitoring running wire image icing degree evaluation method ) 是由 吴建蓉 文屹 曾华荣 何锦强 郝艳捧 梁苇 黄增浩 杨涛 范强 卢金科 曾伟 于 2021-08-09 设计创作，主要内容包括：本发明公开了一种自然覆冰在线监测运行导线图像覆冰程度评估方法,它包括：建立无覆冰导线标准知识库,根据图像自动配准方法将覆冰导线与对应同终端无覆冰导线进行匹配,进行导线分割；计算分割结果中导线Mask的面积差值,结合该终端在覆冰监测系统中的历史预警数据对导线Mask面积差值进行阈值设置,并将阈值设置结果作为覆冰程度预警判据。(The invention discloses a natural icing on-line monitoring running conductor image icing degree evaluation method, which comprises the following steps: establishing a standard knowledge base of the ice-free conductor, matching the ice-free conductor with the corresponding ice-free conductor of the same terminal according to an image automatic registration method, and performing conductor segmentation; and calculating the area difference of the lead Mask in the segmentation result, setting a threshold value of the area difference of the lead Mask by combining historical early warning data of the terminal in an icing monitoring system, and taking the threshold value setting result as an icing degree early warning criterion.)
技术领域
本发明属于电网覆冰监测技术领域，尤其涉及一种自然覆冰在线监测运行导线图像覆冰程度评估方法。
背景技术
覆冰严重威胁输电线路安全，中国南方地区地形、气象复杂，多条远距离特/超高压经过覆冰区域，易受覆冰影响，故而对防冰抗冰提出更高要求。目前，导线分割已经有了大量的研究成果。但是现有的导线分割研究中，大部分是基于力学模型进行分析。但这种覆冰厚度计算模型与实际存在较大偏差，微气象和图像等传感器在低温雨雪等恶劣天气下数据可用率不高且缺乏有效的数据质量评估、提升手段，现有大多数方法都是使用计算机图形学进行传统的边缘检测及基于可见光原始图像的深度学习。而边缘检测算法鲁棒性较差，在实际情况中无法实现算法所预期的效果；现有的基于可见光原始图像的深度学习方法对于导线召回率较低。
发明内容
本发明要解决的技术问题是：提供一种自然覆冰在线监测运行导线图像覆冰程度评估方法，以解决现有技术针对导线覆冰程度评估采用计算机图形学进行传统的边缘检测及基于可见光原始图像的深度学习。而边缘检测算法鲁棒性较差，在实际情况中无法实现算法所预期的效果；现有的基于可见光原始图像的深度学习方法对于导线召回率较低等技术问题。
本发明的技术方案是：
一种自然覆冰在线监测运行导线图像覆冰程度评估方法，它包括：建立无覆冰导线标准知识库，根据图像自动配准方法将覆冰导线与对应同终端无覆冰导线进行匹配，进行导线分割；计算分割结果中导线Mask的面积差值，结合该终端在覆冰监测系统中的历史预警数据对导线Mask面积差值进行阈值设置，并将阈值设置结果作为覆冰程度预警判据。
所述建立无覆冰导线标准知识库的方法包括：对各终端无覆冰导线进行标注，将在线监测系统图像按终端号进行导出，在每个终端下选取一张无覆冰图像进行导线框选标注，并生成导线无覆冰图像RGB直方图，以此建立无覆冰导线图像知识库。
根据图像自动配准方法将覆冰导线与对应同终端无覆冰导线进行匹配，计算分割结果中导线Mask的面积差值的方法包括：
S2-1、图像分辨率排查
生成待检测图片RGB直方图，并放入无覆冰导线图像知识库进行比对；比对方法为：将待检测图像与知识库图像进行分辨率比对，排除分辨率不同的图像；剩余的知识库候选图像分辨率均与待检测图像相同；
S2-2、图像相似度计算
将两张图像所对应的直方图放入统一坐标系中，图像中每一个像素点即代表坐标轴上的一个刻度，在此坐标系中每一横坐标对应两个纵坐标a和b，代表在图像在该亮度下的像素数量；对每个横坐标刻度计算，并计算平均值；
S2-3、同终端图像配准
将待检测图像与知识库中的所有图像进行相似度计算遍历，由于同终端图像相似度最高，因此S最小的一组图像即为同终端图像；
S2-4、导线边缘特征强化
采用边缘特征强化的方式使得识别网络的输入从传统的原始可见光图像转换为边缘特征强化图像；
S2-5、覆冰导线区域分割
将一组经过上述处理的在线监测图像输入到预先训练好的Mask R-CNN导线识别模型中进行导线分割；Mask R-CNN输入为边缘强化后的图像，输出为导线区域bbox(边界框)，导线类别(覆冰或无冰)，以及导线区域mask(掩膜)。
图像相似度计算公式为：
1/S为相似度，N为横坐标最大值，a和b分别为待检测图像与知识库图像在同一横坐标下对应的纵坐标值。
导线边缘特征强化的方法为：对待检测图像进行灰度化处理，并使用Canny算子进行图像边缘识别，进行Canny边缘识别后生成二值化图像，通过双阈值设置使得图像含有尽可能多的导线边缘和尽可能少的背景边缘，此二值化图像仅含图像中的边缘信息；将二值化图像与原始图像进行叠加，即得到边缘特征强化图像。
计算分割结果中导线Mask的面积差值的方法包括：在Mask R-CNN网络中输出的mask是以二值图像来表示的；此二值图像的尺寸即为该mask对应的bbox尺寸；通过计算二值图像中RGB值为(255,255,255)的像素个数来得到mask面积；边缘强化后的待检测图像中导线mask面积为S1，对应知识库的比对图像中导线mask面积为S2，计算差值ΔS，即
ΔS＝S2-S1。
覆冰程度预警的方法为：将历史覆冰数据库中根据拉力计算模型评估为覆冰厚度大于导线设计冰厚的终端覆冰图像进行导出，并计算所有导出图像中的面积差值ΔS3，将计算出的各ΔS3最小值作为该终端覆冰程度为“严重”的评估阈值T3；将历史覆冰数据库中根据拉力计算模型评估为覆冰厚度小于导线设计冰厚且大于预警冰厚的的终端覆冰图像进行导出，计算所有导出图像中的面积差值ΔS2，将计算出的各ΔS2最小值作为该终端覆冰程度为“中等”的评估阈值T2；将历史覆冰数据库中根据拉力计算模型评估为覆冰厚度小于预警冰厚的的终端覆冰图像进行导出，计算所有导出图像中的面积差值ΔS1，将计算出的各ΔS1最小值作为该终端覆冰程度为“较轻”的评估阈值T1；根据阈值T1、T2和T3对覆冰程度进行评估。
根据阈值T1、T2和T3对覆冰程度进行评估方法为：
当ΔS<T1时，该评估模型输出为“无覆冰”；
当T1<ΔS<T2时，该评估模型输出为“较轻”；
当T2<ΔS<T3时，该评估模型输出为“中等”；
当ΔS>T3时，该评估模型输出为“严重”。
本发明有益效果：
本发明可以有效地强化图像中导线边缘特征表达，减少背景对导线的干扰。建立无覆冰导线标准知识库，根据图像自动配准方法将覆冰导线与对应同终端无覆冰导线进行匹配，计算分割结果中导线Mask的面积差值，结合该终端在覆冰监测系统中的历史预警数据对导线Mask面积差值进行阈值设置，并将阈值设置结果作为覆冰程度预警判据；解决了现有技术针对导线覆冰程度评估采用计算机图形学进行传统的边缘检测及基于可见光原始图像的深度学习。而边缘检测算法鲁棒性较差，在实际情况中无法实现算法所预期的效果；现有的基于可见光原始图像的深度学习方法对于导线召回率较低等技术问题。
具体实施方式
一种自然覆冰在线监测运行导线图像覆冰程度评估方法，它具体步骤如下：
S1制备无覆冰导线标准知识库
每个终端在杆塔上有相对固定的预置位，因此同终端图像与该无覆冰图像相似度高。但不同图像监测终端厂家不一，分辨率不同，且与拍摄对象的距离和视角也不相同。为准确评估导线覆冰厚度，需要对各终端无覆冰导线进行标注。可以将在线监测系统图像按终端号进行导出，在每个终端下选取一张无覆冰图像进行导线框选标注，并生成导线无覆冰图像RGB直方图，以此建立无覆冰导线图像知识库。
S2覆冰导线区域分割
S2-1图像分辨率排查
生成待检测图片RGB直方图，并放入无覆冰导线图像知识库进行比对，两张图片同为一个终端拍摄，因此具有相同分辨率且拥有最高的相似度。比对方法如下：将待检测图像与知识库图像进行分辨率比对，排除分辨率不同的图像。剩余的知识库候选图像分辨率均与待检测图像相同。
S2-2图像相似度计算
将两张图像所对应的直方图放入统一坐标系中。由于两张图像具有相同分辨率，因此该统一坐标系可使用任一图像的直方图坐标系。图像中每一个像素点即代表坐标轴上的一个刻度，在此坐标系中每一横坐标对应两个纵坐标a和b，代表在图像在该亮度下的像素数量。对每个横坐标刻度计算(a-b)2，并计算平均值。定义1/S为相似度，N为横坐标最大值，a和b分别为待检测图像与知识库图像在同一横坐标下对应的纵坐标值。
S2-3同终端图像配准
将待检测图像与知识库中的所有图像进行相似度计算遍历，由于同终端图像相似度最高，因此可认为S最小的一组图像即为同终端图像。以此方式进行同终端的图像配准。
S2-4导线边缘特征强化
导线形状较为细长，因此在导线识别任务中多用导线的边缘作为特征。传统的导线自然覆冰可见光图像中导线边缘信息表达不足，易受相近颜色的背景干扰，影响导线识别准确性，因此可采用边缘特征强化的方式使得识别网络的输入从传统的原始可见光图像转换为边缘特征强化图像。边缘特征强化步骤如下：
对待检测图像进行灰度化处理，并使用Canny算子进行图像边缘识别，进行Canny边缘识别后将生成二值化图像，可通过合理的双阈值设置使得图像含有尽可能多的导线边缘和尽可能少的背景边缘，此二值化图像仅含图像中的边缘信息。将二值化图像与原始图像进行叠加，即得到边缘特征强化图像。
S2-5覆冰导线区域分割
将一组经过S2-4处理的在线监测图像(待检测图像及知识库对应同终端无覆冰图像)输入到预先训练好的Mask R-CNN导线识别模型中进行导线分割。Mask R-CNN输入为边缘强化后的图像，输出为导线区域bbox(边界框)，导线类别(覆冰或无冰)，以及导线区域mask(掩膜)。由于在标注时使用统一标准，且图像来自同一终端，具有相似的背景及拍摄角度。因此Mask R-CNN模型输出的图像bbox识别区域基本相同。将bbox坐标输出，并将bbox区域图像从输入图像中裁剪出来，作为下一步导线覆冰程度评估的依据。
S3导线覆冰程度评估
S3-1导线覆冰量化指标计算
由于覆冰导线的外部附有冰层，因此在S2-5裁剪出来的bbox区域图像中的导线mask区域面积存在差别，而面积差值越大，则代表覆冰越严重。在Mask R-CNN网络中输出的mask是以二值图像来表示的。此二值图像的尺寸即为该mask对应的bbox尺寸。因此可通过计算二值图像中RGB值为(255,255,255)的像素个数来得到mask面积。计算分割结果中导线Mask的面积差值的方法包括：边缘强化后的待检测图像中导线mask面积为S1，对应知识库的比对图像中导线mask面积为S2，计算差值ΔS，即
ΔS＝S2-S1。
S3-2导线覆冰程度判断
将历史覆冰数据库中根据拉力计算模型评估为覆冰厚度大于导线设计冰厚的终端覆冰图像进行导出，并计算所有导出图像中的面积差值ΔS3，将计算出的各ΔS3最小值作为该终端覆冰程度为“严重”的评估阈值T3；将历史覆冰数据库中根据拉力计算模型评估为覆冰厚度小于导线设计冰厚且大于预警冰厚的的终端覆冰图像进行导出，计算所有导出图像中的面积差值ΔS2，将计算出的各ΔS2最小值作为该终端覆冰程度为“中等”的评估阈值T2；将历史覆冰数据库中根据拉力计算模型评估为覆冰厚度小于预警冰厚的的终端覆冰图像进行导出，计算所有导出图像中的面积差值ΔS1，将计算出的各ΔS1最小值作为该终端覆冰程度为“较轻”的评估阈值T1；根据阈值T1、T2和T3对覆冰程度进行评估。
根据阈值T1、T2和T3对覆冰程度进行评估方法为：
当ΔS<T1时，该评估模型输出为“无覆冰”；
当T1<ΔS<T2时，该评估模型输出为“较轻”；
当T2<ΔS<T3时，该评估模型输出为“中等”；
当ΔS>T3时，该评估模型输出为“严重”。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：眼底图像的血管管径的增强分辨率的测量方法