耐张线夹压接缺陷的x射线图像识别方法及装置
阅读说明：本技术 耐张线夹压接缺陷的x射线图像识别方法及装置 (X-ray image identification method and device for strain clamp crimping defects ) 是由 李鹏吾 刘荣海 郭新良 蔡晓斌 郑欣 杨迎春 王达达 沈龙 许宏伟 周静波 焦宗 于 2021-08-16 设计创作，主要内容包括：本发明涉及一种耐张线夹压接缺陷的X射线图像识别方法及装置,该方法包括：获取耐张线夹压的X射线图像；通过CenterNet算法将所述X射线图像中的压接部位用检测框框出；将框出的压接部位图像从X射线图像中切割出；通过RetinaNet算法再进行数据增强处理后的图像中对压接缺陷进行识别并标注。本申请通过CenterNet算法计算压接缺陷在压接部位图像中平均占比提高到3.8％,再进行切割,大幅降低检测难度。对压接部位样本进行数据增强,有效避免了图片数量少导致训练中出现过拟合现象。最后利用RetinaNet算法对缺陷部位进行检测,以达到对耐张线夹压接缺陷的快速准确识别。(The invention relates to an X-ray image identification method and device for strain clamp crimping defects, wherein the method comprises the following steps: acquiring an X-ray image of tension line clamping; framing out the crimping part in the X-ray image by using a detection frame through a CenterNet algorithm; cutting out the framed image of the pressed part from the X-ray image; and identifying and marking the crimping defects in the image after data enhancement processing is carried out through a RetinaNet algorithm. This application calculates the crimping defect through the CenterNet algorithm and improves to 3.8% on average in crimping position image, cuts again, reduces the detection degree of difficulty by a wide margin. Data enhancement is carried out on the sample of the crimping part, and the phenomenon of overfitting in training caused by small number of pictures is effectively avoided. And finally, detecting the defect part by utilizing a RetinaNet algorithm so as to quickly and accurately identify the crimping defect of the strain clamp.)
技术领域
本申请涉及图像识别技术领域，尤其涉及一种耐张线夹压接缺陷的X射线图像识别方法。
背景技术
架线施工中，架空导线的连接是关键项目，同时它又是隐蔽工程。架空导线压接的质量是非常重要，它对保证线路的可靠运行，确保安全供电，有非常重要的意义。
在架空输电线路的运行过程中，耐张线夹作为输电线路中的重要组成部分，不仅要承受架空导线的导电功能，还要承受架空导线的全部张力。在遭遇架空导线舞动和长期微风振动等情况下，容易导致线夹断裂，从而引发电力事故，危害社会安全。
耐张线夹由铝套管和钢锚两部分组成，通常使用液压法将铝管与钢锚、铝管与导线的部位进行压接成型，使导线与耐张线夹结合成整体。铝管与钢锚、铝管与导线的进行压接的部位称为压接部位。压接成型时，工人操作不规范常会导致压接部位产生压接缺陷。
传统的对压接型耐张线夹的压接缺陷检查和检测主要是依靠工作人员手工完成，不仅工作量大，且容易造成缺陷的误判和漏判等。现代机械制造对精度的要求越来越高，人工操作越来越不能满足生产发展需要。
近年来，一些具有应用价值的X射线图像检测系统应运而生。X射线图像检测是将强度均匀的射线照射到被测物体上，使透过的射线在照相胶片上感光，而在成像的底片上，可以检测出被检测物体的缺陷位置、类型、尺寸和数目等。X射线图像检测系统利用通过利用计算机完成对底片信息的管理，通过数字图像处理来实现缺陷检测等。采用这种方法可以大大提高检测效率，但是由于缺陷检测技术尚未成熟，少有对压接型耐张线夹具有针对性的检测研究且其他缺陷检测系统大都需要大量样本数据支持，所以目前的检测方法仍存在诸多问题。
发明内容
本申请提供了一种耐张线夹压接缺陷的X射线图像识别方法及装置，以解决人工检查和检测越来越不能满足生产发展需要的问题。
本申请采用的技术方案如下：
本发明提供了一种耐张线夹压接缺陷的X射线图像识别方法，所述方法包括：
获取耐张线夹压的X射线图像；
通过CenterNet算法将所述X射线图像中的压接部位用检测框框出；
将框出的压接部位图像从X射线图像中切割出；
通过RetinaNet算法再进行数据增强处理后的图像中对压接缺陷进行识别并标注。
进一步地，通过CenterNet算法将所述X射线图像中的压接部位用检测框框出，包括：
搭建基于Centernet的第一网络结构，所述第一网络结构包括主干网络和三个头部网络，所述三个头部网络分别为Head-1、Head-2和Head-3；
将所述X射线图像输入所述主干网络进行特征提取，生成第一特征图；
所述Head-1估计第一特征图中压接部位的中心点位置，对压接部位粗定位；
所述Head-2可对粗定位后的压接部位微调中心点位置，对压接部位精确定位；
所述Head-3对精确定位后的压接部位估计宽和高，确定压接部位的尺寸；
根据压接部位的精确位置和尺寸将所述压接部位用检测框出，所述检测框尺寸与所述压接部位尺寸对应。
进一步地，所述主干网络选用ResNet-50。
进一步地，将框出的压接部位图像从X射线图像中切割出之后，还包括：将切割出来的压接部位图像进行数据增强处理。
进一步地，所述数据增强处理方式包括：调整对比度、改变亮度、图像旋转。
进一步地，通过RetinaNet算法再进行数据增强处理后的图像中对压接缺陷进行识别并标注，包括：
搭建基于RetinaNet的第二网络结构，所述第二网络结构包括ResNet主干网络和FPN网络；
将所述数据增强处理后的图像输入所述ResNet主干网络进行特征提取，生成第二特征图；
通过FPN网络对所述第二特征图进行特征融合处理；
对特征融合处理后的图像进行预测，识别出压接部位压接缺陷的类别与位置，并标注。
进一步地，所述ResNet主干网络包括五个不同层的残差模块，将所述数据增强处理后的图像输入所述ResNet主干网络进行特征提取，生成第二特征图，包括：
将所述数据增强处理后的图像均输入五个不同层的残差模块，生成五个不同分辨率的第二特征图，按顺序记为C1-C5。
进一步地，通过FPN网络对所述第二特征图进行特征融合处理，包括：
所述FPN网络对C1-C5的第二特征图输进行特征融合，形成与C3、C4、C5对应的具有相同分辨了的融合特征图P3、P4、P5；
对P5采用3×3的卷积核，步长为2的卷积操作，得到P6；
对P6采用3×3的卷积核，步长为2的卷积操作，得到P7。
进一步地，所述第二网络结构还包括分类网络和回归网络，对特征融合处理后的图像进行预测，识别出压接部位压接缺陷的类别与位置，包括：
对融合特征图P3-P7分别生成预选框；
所述分类网络对融合特征图P3-P7进行卷积运算，得到每个预选框包含压接缺陷的概率；
所述回归网络对融合特征图P3-P7进行卷积运算，得到每个预选框包含压接缺陷的真实区域的偏置量；
通过选取预选框包含压接缺陷概率的最大值与真实区域的偏置量进行坐标变换，得到预选框包含的目标类别和坐标准确值。
进一步地，本申请还公开了一种耐张线夹压接缺陷的X射线图像识别装置，所述装置包括：
获取模块，所述获取模块用于获取耐张线夹压的X射线图像；
框选模块，所述框选模块用于通过CenterNet算法将所述X射线图像中的压接部位用检测框框出；
切割模块，所述切割模块用于将框出的压接部位图像从X射线图像中切割出；
识别模块，所述识别模块用于通过RetinaNet算法再进行数据增强处理后的图像中对压接缺陷进行识别并标注。
采用本申请的技术方案的有益效果如下：
本发明的一种耐张线夹压接缺陷的X射线图像识别方法及装置，首先利用CenterNet算法粗定位X射线图像中的耐张线夹压接部位，并通过切割算法对粗定位到的压接部位从X射线图像中切割，将切割出来的压接部位图像进行数据增强处理，通过RetinaNet算法再进行数据增强处理后的图像中对压接缺陷进行识别并标注。本申请通过CenterNet算法计算压接缺陷在压接部位图像中平均占比提高到3.8％，再进行切割，大幅降低检测难度。对压接部位样本进行数据增强，有效避免了图片数量少导致训练中出现过拟合现象。最后利用RetinaNet算法对缺陷部位进行检测，以达到对耐张线夹压接缺陷的快速准确识别。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为压接缺陷图像(矩形框中为整体中压接缺陷图像)；
图1b为压接缺陷图像(矩形框中为压接缺陷压接部位中压接缺陷图像)；
图2为CenterNet目标检测框架；
图3为RetinaNet算法网络结构。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
本申请中的耐张线夹X射线图像存在以下特点如图1所示，其中，图1a中矩形框中为整体中压接缺陷图像，图1b中矩形框中为压接缺陷压接部位中压接缺陷图像：(1)每张图片尺寸平均为1660×1037，而缺陷部位目标框尺寸平均值为45×45，缺陷部位在整张图像中占比约为0.11％，直接对目标检测十分困难。(2)采集到X射线图像大面积为黑色背景，直接检测效率不高。由于以上特点，本文采用分级检测策略。首先利用CenterNet粗定位X射线图像中的耐张线夹压接部位，并通过切割算法对粗定位到的压接部位从X射线图像中切割，将切割出来的压接部位图像进行数据增强处理，通过RetinaNet算法再进行数据增强处理后的图像中对压接缺陷进行识别并标注。本申请通过计算压接缺陷在压接部位图像中平均占比提高到3.8％，大幅降低检测难度。为有效避免图片数量少导致训练中出现过拟合现象，对压接部位样本进行数据增强。最后利用RetinaNet算法对缺陷部位进行检测，以达到对耐张线夹压接缺陷的快速准确识别。
耐张线夹压接缺陷检测的核心是压接部位的定位与缺陷部位的检测，为提高检测效率和检测精度，需用到目标检测算法。本文采用CenterNet和RetinaNet算法。对整个检测模型来说，定位出压接部位为前提，故采用检测效率率更高的CenterNet算法来检测压接部位。而RetinaNet算法在准确率上更有优势，所以用来最终的缺陷部位检测。
具体来说，根据本发明的第一方面，本申请提供了一种耐张线夹压接缺陷的X射线图像识别方法，所述方法包括：
S01:获取耐张线夹压的X射线图像。
S02:通过CenterNet算法将所述X射线图像中的压接部位用检测框框出。
S02中根据压接部位的精确位置和尺寸将所述压接部位用检测框出，所述检测框尺寸与所述压接部位尺寸对应，具体包括：
搭建基于Centernet的第一网络结构，所述第一网络结构包括主干网络和三个头部网络，所述三个头部网络分别为Head-1、Head-2和Head-3，由于耐张线夹X射线图像数据集规模较小，为了避免网络训练中出现过拟合现象，选用ResNet-50作为本方法主干网络；
将所述X射线图像输入所述主干网络进行特征提取，生成第一特征图，其中，CenterNet中主干网络用于对输入图像提取图像特征，输入图像为512×512×3的X射线图像，输出为128×128×64的特征图；
所述Head-1估计第一特征图中压接部位的中心点位置，对压接部位粗定位，由于Focal Loss可以更好解决正负样本不平衡问题，因此选用Focal Loss来计算中心点损失LK如式(1)：
式中为预测像素点(x,y)即预测位置置信度，α与β为Focal Loss中超参数，分别设置为2和4；
所述Head-2可对粗定位后的压接部位微调中心点位置，对压接部位精确定位，其中，压接部位微调中心点偏置损失Loff如式(2)
式中为网络预测的中心点偏置，R为下采样倍数，文中取值为4；为预测点对应特征图的坐标偏移量标注信息；
所述Head-3对精确定位后的压接部位估计宽和高，确定压接部位的尺寸，框宽高损失函数如式(3)：
(3)式中为预测框宽高,即SK为标注宽高，
最后，对三个损失函数加权求和，得到总体的损失函数Ldet如式(4)：
Ldet＝LK+λsizeLsize+λoffLoff (4)
式中λsize和λoff为权重系数，用于平衡三种损失函数，训练过程中分别设置λsize＝0.1和λoff＝1。
CenterNet检测耐张线夹压接部位的基本流程如下：
(1)将X射线图片大小调整为512×512后输入检测网络。
(2)由于耐张线夹X射线图像数据集规模较小，为了避免网络训练中出现过拟合现象，选用ResNet-50作为本方法主干网络。
(3)对图像进行特征提取，生成第一特征图。提取热力图上每个类的峰值点：将热力图上的所有响应点与其连接的8个临近点进行比较，如果该点响应值大于或等于其八个临近点值则保留，最后我们保留所有满足之前要求的前100个峰值点。最终通过式(5)完成关键点到位置框回归过程，即完成耐张线夹压接部位检测。
式(5)中是中心点坐标；是中心点偏置；是目标框宽和高；整个过程中不需非极大值抑制(non-maximum suppression,NMS),可有效减少计算量。
S03:将框出的压接部位图像从X射线图像中切割出。
利用CenterNet的预测框标定出位置信息，可耐张线夹压接部位切割出耐张线夹压接部位，并且可保证切割出的耐张线夹压接部位图像仍具有较高分辨率。
S04:将切割出来的压接部位图像进行数据增强处理，所述数据增强处理包括调整对比度、改变亮度、图像旋转。
通过切割与数据增强阶段处理，为使用RetinaNet算法提供高分辨率的耐张线夹压接部位图像。
S05:通过RetinaNet算法再进行数据增强处理后的图像中对压接缺陷进行识别并标注。
RetinaNet算法是由骨干网络ResNet与特征金字塔(Feature Pyramid Networks,FPN)为主体框架，两个全卷积(Fully Convolutional Networks,FCN)子网络负责分类与回归的一阶段目标检测算法。它最大的贡献在于提出了Focal Loss用于解决类别不均衡问题，从而创造了RetinaNet。它的精度超越了经典的二阶段检测算法的Faster-RCNN的目标检测网络。
RetinaNet算法网络结构如图3所示,图像首先由ResNet主干网进行特征提取，并通过5个不同层的残差模块输出不同分辨率的特征图，按顺序记为C1-C5。随后通过FPN进行特征融合，形成与C3、C4、C5具有相同分辨率的融合特征图P3、P4、P5。对P5采用3×3的卷积核，步长为2的卷积操作，得到P6。同样方法对P6进行相同的卷积操作，得到P7。
特征融合后，对每个融合特征图(P3-P7)，分别生成预选框。随后，采用两个子网络，即分类网络和回归网络进行类别和位置的预测。分类网络通过对融合特征图的一系列卷积运算，得到每个预选框包含目标物体的概率；同样地，回归网络通过对融合特征图的一系列卷积运算，得到每个预选框包含目标的真实区域的偏置量。最后，通过选取预选框包含目标物体的概率的最大值与真实区域的偏置量进行坐标变换，得到预选框包含的目标类别和坐标准确值。
S05具体包括：
搭建基于RetinaNet的第二网络结构，所述第二网络结构包括ResNet主干网络和FPN网络；
将所述数据增强处理后的图像输入所述ResNet主干网络进行特征提取，生成第二特征图；
通过FPN网络对所述第二特征图进行特征融合处理；
对特征融合处理后的图像进行预测，识别出压接部位压接缺陷的类别与位置，并标注。
其中，所述ResNet主干网络包括五个不同层的残差模块，将所述数据增强处理后的图像输入所述ResNet主干网络进行特征提取，生成第二特征图，包括：
将所述数据增强处理后的图像均输入五个不同层的残差模块，生成五个不同分辨率的第二特征图，按顺序记为C1-C5。
其中，通过FPN网络对所述第二特征图进行特征融合处理，包括：
所述FPN网络对C1-C5的第二特征图输进行特征融合，形成与C3、C4、C5对应的具有相同分辨了的融合特征图P3、P4、P5；
对P5采用3×3的卷积核，步长为2的卷积操作，得到P6；
对P6采用3×3的卷积核，步长为2的卷积操作，得到P7。
进一步地，所述第二网络结构还包括分类网络和回归网络，对特征融合处理后的图像进行预测，识别出压接部位压接缺陷的类别与位置，包括：
对融合特征图P3-P7分别生成预选框；
所述分类网络对融合特征图P3-P7进行卷积运算，得到每个预选框包含压接缺陷的概率；
所述回归网络对融合特征图P3-P7进行卷积运算，得到每个预选框包含压接缺陷的真实区域的偏置量；
通过选取预选框包含压接缺陷概率的最大值与真实区域的偏置量进行坐标变换，得到预选框包含的目标类别和坐标准确值。
其中，由于用于训练的数据集要进行人工标注，标注后数据集经过所述模型的学习，后续检测时才能对输入的其他图片进行缺陷识别。真实区域就是人工标注的区域，真实区域的偏置量是用于模型训练过程中计算损失函数，随着模型训练轮数增多，损失函数减小，说明模型能预测出的框的位置与我们自己标记的框越来越接近。
其中，RetinaNet算法中的损失函数定义如下：
fFL(pt)＝-αt(1-pt)γlogpt (6)
其中，pt是训练样本类别置信度，αt为平衡因子；γ为调节因子，取值在[0，5]之间。αt和γ是固定值，按原文作者经验分别取值0.25和2.0。
利用RetinaNet算法对压接缺陷进行检测，具体流程如下：
(1)将切割后的压接部位图像大小调整为512×512后输入检测网络。
(2)网络框架选用ResNet50+FPN，压接部位图像经主干网络生成特征图，特征融合后P3-P7尺寸为64×64、32×32、16×16、8×8、4×4，每个不同尺度特征融合图进行预测，识别压接部位缺陷类别与位置。
(3)由于CenterNet算法级检测已经将存在压接缺陷的压接部位确定出来，使得压接缺陷在压接部位中占比大幅提升，故可选择去除RetinaNet中P7层，以提高检测效率。
根据本发明的第二方面，还公开了一种耐张线夹压接缺陷的X射线图像识别装置，所述装置包括：
获取模块，所述获取模块用于获取耐张线夹压的X射线图像；
框选模块，所述框选模块用于通过CenterNet算法将所述X射线图像中的压接部位用检测框框出；
切割模块，所述切割模块用于将框出的压接部位图像从X射线图像中切割出；
识别模块，所述识别模块用于通过RetinaNet算法再进行数据增强处理后的图像中对压接缺陷进行识别并标注。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。