一种对接焊缝几何特征的自适应提取方法
阅读说明：本技术 一种对接焊缝几何特征的自适应提取方法 (Adaptive extraction method for geometric characteristics of butt weld ) 是由 秦训鹏 茆志伟 胡泽启 石爱贤 蔡策 胡东锦 翁文俊 于 2021-08-06 设计创作，主要内容包括：本发明涉及焊接图像处理技术,具体涉及一种对接焊缝几何特征的自适应提取方法,利用视觉传感器采集焊接时对接焊缝的实时图像；对所采集对接焊缝的实时图像进行预处理,提取焊接时的ROI区域；对所提取焊接时的ROI区域进行图像处理,去除干扰并使图像平滑化；对经步骤3处理的图像提取激光中心线并计算焊缝中心点位置。该方法能够对采集到的实时焊接图像进行有效的处理,精确截取ROI区域,并快速准确的提取到光条中心线和焊缝中心点等位置信息,进而实现焊缝跟踪。具有处理速度快、准确率高及图像质量高等特点。(The invention relates to a welding image processing technology, in particular to a self-adaptive extraction method of geometric characteristics of a butt weld, which utilizes a visual sensor to acquire a real-time image of the butt weld during welding; preprocessing the acquired real-time image of the butt weld, and extracting an ROI (region of interest) area during welding; performing image processing on the extracted ROI area during welding, removing interference and smoothing the image; and (4) extracting a laser center line from the image processed in the step (3) and calculating the position of the center point of the welding line. The method can effectively process the collected real-time welding image, accurately intercept the ROI area, and quickly and accurately extract the position information such as the central line of the light strip, the central point of the welding seam and the like, thereby realizing the tracking of the welding seam. The method has the characteristics of high processing speed, high accuracy, high image quality and the like.)
技术领域
本发明属于焊接图像处理技术领域，特别涉及一种对接焊缝几何特征的自适应提取方法。
背景技术
焊接是制造业中的重要的加工技术，在航空航天、能源装备、汽车制造和船舶制造中大量使用，但工作条件恶劣、工作量大且对质量要求较高。随着工业自动化和智能化的不断发展，焊接的自动化和智能化已成为当前焊接技术发展的必然趋势。
随着机器人编程系统的普及，焊接结构件时，程序根据零件三维数模离线编制，实际工件形状与理论数模存在一定的偏差，且机器人的绝对定位精度较低，误差可达0.5～2mm，导致焊接缺陷甚至是干涉碰撞；而且在焊接过程中，零件受热及拘束作用，形成显著的残余应力导致零件变形，使得实际的焊缝位置偏离理论轨迹位置，导致焊接质量差。
因此，焊接过程中焊接轨迹路径的实时监测调整对于结构件对接焊缝至关重要，而实现焊缝的快速和准确提取是保证焊缝跟踪质量的重要保证。如何进行有效的图像处理并快速准确的提取焊缝几何特征及焊缝中心点成为焊缝跟踪焊接的关键所在。
发明内容
针对背景技术存在的问题，本发明提供一种对接焊缝几何特征的自适应提取方法。
为解决上述技术问题，本发明采用如下技术方案：一种对接焊缝几何特征的自适应提取方法，包含视觉传感器，且视觉传感器整体通过夹具固定在焊枪上，并随焊枪移动；该方法包括以下步骤：
步骤1、利用视觉传感器采集焊接时对接焊缝的实时图像；
步骤2、对所采集对接焊缝的实时图像进行预处理，提取焊接时的ROI区域；
步骤3、对所提取焊接时的ROI区域进行图像处理，去除干扰并使图像平滑化；
步骤4、对经步骤3处理的图像提取激光中心线并计算焊缝中心点位置。
在上述对接焊缝几何特征的自适应提取方法中，步骤1的实现包括：视觉传感器集成了线结构光发生器、CMOS工业相机、光学镜头、窄带滤光片、减光片和弧光挡板，其壳体采用3D打印的耐高温树脂外壳；其中，CMOS工业相机安装在壳体一侧，减光片和窄带滤光片置于光学镜头下方；线结构光发生器与CMOS工业相机成20至45度夹角，使激光条纹在焊缝处产生变形信息，且激光条纹变形视场处于工业相机的正下方，用于采集焊接的实时图像。
在上述对接焊缝几何特征的自适应提取方法中，步骤2所述ROI区域提取方法为：
步骤2.1、对所采集对接焊缝的实时图像进行列扫描，对每一列求相邻两像素之间的像素差，即像素在y方向上的梯度：
保留梯度绝对值最大处的像素值f(x，y)，第i列上的该像素值记为fi(x，y)；
步骤2.2、计算所有列该像素值的平均值作为边界阈值H：
步骤2.3、再对所采集对接焊缝的实时图像进行列扫描，找到在y方向上像素值大于H的具体坐标a和b，得到某一列激光条纹中心线所在的高度位置：
其中yi表示扫描的列中i点的纵坐标；b表示扫描到该列上第一个像素值大于阈值H点的纵坐标；a表示扫描到该列上这最后一个像素值大于阈值H点的纵坐标；(a-b+1)表示激光条纹在该列中的宽度；
扫描后得到每一列的y值，对其求平均值得到ROI区域中心点的纵坐标值yROI；
步骤2.4、再对中心线进行行扫描，记录每一行中像素值小于阈值H的点横坐标xj,其行扫描公式为：
其中xj表示扫描的行中j点的横坐标；d表示扫描到该行上第一个像素值小于阈值H点的横坐标；c表示扫描到该行上这最后一个像素值小于阈值H点的横坐标；c-d+1表示激光条纹缺陷处在该行中的宽度；
扫描后可得到每一行的x值，对其求平均值得到ROI区域中心点的横坐标位置xROI；
步骤2.5、由步骤2.3、步骤2.4得到ROI区域中心点坐标(xROI，yROI)，提取以该中心点坐标位置为中心的300像素×400像素矩形区域作为ROI区域。
在上述对接焊缝几何特征的自适应提取方法中，步骤3的实现包括以下步骤：
步骤3.1、对提取到的ROI区域进行中值滤波处理，去除椒盐噪声并对激光条纹平滑化；将中值滤波处理后的图像再进行形态学处理；
步骤3.2、计算每一行中大于阈值H的像素点占一行中像素点总数的比例记为η；当η大于80％，为激光条纹所在行，保留该行的像素点；当η小于80％，为干扰项所在行，将该行像素点去除并重置为0。
在上述对接焊缝几何特征的自适应提取方法中，步骤4的实现包括以下步骤：
步骤4.1、对经步骤3.2处理后的图像进行二值化并反色处理；对已有的激光条纹，提取其几何中心处的激光条纹，作为焊缝特征条纹；
步骤4.2、对焊缝特征条纹从左至右进行扫描，提取图像中心处不连续位置的左右断点；
步骤4.2.1、由左断点判定条件：
得到左断点坐标(x1，y1)；
步骤4.2.2、由右断点判定条件：
得右断点坐标(x2，y2)；
步骤4.3、利用左断点坐标(x1，y1)、右断点坐标(x2，y2)计算出焊缝中心点坐标
与现有技术相比，本发明利用激光条纹边界阈值作为列扫描和行扫描的判定依据，可以简单快速定位ROI区域的中心点位置。取得的ROI区域大小远小于原图像，大大加快了后续的处理速度。利用激光条纹在图像行中所占的比例大小，可以消去除激光条纹以外的纵向干扰，并完整的保留激光条纹。在机器人实时跟踪焊接的过程中，该方法能够对采集到的实时焊接图像进行有效的处理，精确截取ROI区域，并快速准确的提取到光条中心线和焊缝中心点等位置信息，进而实现焊缝跟踪。具有处理速度快、准确率高及图像质量高等特点。
附图说明
图1为本发明一个实施例一种对接焊缝几何特征的自适应提取方法流程图；
图2为本发明一个实施例视觉传感器集成示意图；
其中，1-焊板、2-线结构光发生器、3-焊枪、4-CMOS工业相机、5-工业机器人手臂末端、6-光学镜头、7-窄带滤光片、8-减光片、9-弧光挡板；
图3为本发明一个实施例像素矩阵示意图；
图4为本发明一个实施例ROI区域提取的原理图；
图5为本发明一个实施例图像处理及特征提取的原理图。
具体实施方式
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。
为了解决在弧光、飞溅和尘雾干扰下对接焊缝的焊缝几何特征自适应提取，本实施例提出的焊缝几何特征自适应提取方法利用边界阈值可以迅速定位特定区域位置且完整保留激光条纹信息，并快速准确的提取焊缝几何特征及焊缝中心点，对焊接自动化和智能化发展具有重要意义。本实施例利用视觉传感器采集有线结构光辅助的实时焊接图像，提取焊接特定区域，对获取的特定区域进行图像处理，提取出焊缝几何特征及焊缝中心点。
本实施例是通过以下技术方案来实现的，如图1所示，一种对接焊缝几何特征的自适应提取方法，包括以下步骤：
S1、搭建包含线结构光发生器的视觉传感器并与焊枪固定，利用该传感器采集焊接时对接焊缝的实时图像。
S2、对步骤S1采集到的图像进行预处理，提取焊接时的ROI区域(感兴趣区域)。
S3、对步骤S2提取到的ROI区域进行进一步图像处理，去除干扰并使图像平滑化。
S4、对步骤S3中的图像提取激光中心线并计算焊缝中心点位置。
步骤S1中，视觉传感器整体通过特定的夹具固定在焊枪上，与焊枪保持固定的位置关系且和焊枪一起移动。该传感器集成了线结构光发生器、CMOS工业相机、光学镜头、窄带滤光片、减光片和弧光挡板，其壳体采用3D打印的耐高温树脂外壳。其中，CMOS工业相机安装在壳体一侧，减光片和窄带滤光片置于光学镜头下方，以便减少弧光强度和飞溅干扰。线结构光发生器与CMOS工业相机成20至45度夹角，使激光条纹在焊缝处产生变形信息，且激光条纹变形视场处于CMOS工业相机的正下方，以便采集焊接的实时图像。
步骤S2中，在对接焊缝的实时图像的基础上，先利用列扫描对每一列求相邻两像素之间的像素差，即像素在y方向上的梯度：
保留梯度绝对值最大处的像素值f(x，y)，第i列上的该像素值记为fi(x，y)。
计算所有列该像素值的平均值作为边界阈值H：
再对图像进行列扫描，找到在y方向上像素值大于H的具体坐标a和b,再得到某一列激光条纹中心线所在的高度位置：
其中yi表示扫描的列中i点的纵坐标；b表示扫描到该列上第一个像素值大于阈值H点的纵坐标；a表示扫描到该列上这最后一个像素值大于阈值H点的纵坐标；(a-b+1)表示激光条纹在该列中的宽度；
扫描后可得到每一列的y值，对其求平均值即得到ROI区域中心点的纵坐标值yROI。
再对中心线行扫描，记录每一行中像素值小于阈值H的点横坐标xj,其行扫描公式为：
其中xj表示扫描的行中j点的横坐标；d表示扫描到该行上第一个像素值小于阈值H点的横坐标；c表示扫描到该行上这最后一个像素值小于阈值H点的横坐标；(c-d+1)表示激光条纹缺陷处在该行中的宽度；
扫描后可得到每一行的x值，对其求平均值即得到ROI区域中心点的横坐标位置xROI。
由此得到ROI区域中心点坐标(xROI，yROI)，提取以该中心点坐标位置为中心的300像素×400像素矩形区域作为ROI区域。
步骤S3中，对提取到的ROI区域先进行中值滤波处理，去除椒盐噪声并对激光条纹平滑化。这种滤波方法适合处理随机分布的噪声，有利于去除飞溅导致的干扰，滤波后的图像再进行形态学处理。
计算每一行中大于阈值H的像素点占一行中像素点总数的比例记为η。当η大于80％，即认为是激光条纹所在行，保留该行的像素点；当η小于80％，即认为是干扰项所在行，将该行像素点去除并重置为0；利用该方法可有效去除纵向干扰，且完整的保留激光条纹。
再对其处理后的图像进行二值化反色处理。对已有的激光条纹，提取其几何中心处的激光条纹，即为焊缝特征条纹。
对焊缝特征条纹从左至右进行扫描，以提取图像中心处不连续位置的左右断点，其左右断点的判定条件如下：
左断点判定条件为：
左断点坐标记为(x1，y1)
右断点判定条件为：
右断点坐标记为(x2，y2)
利用左右两个断点坐标计算出焊缝中心点坐标为
具体实施时，如图2所示，为实时图像采集装置，包括焊板1、视觉传感器、焊枪3和工业机器人手臂末端5。视觉传感器包括线结构光发生器2、CMOS工业相机4、光学镜头6、窄带滤光片7、减光片8、弧光挡板9和壳体。线结构光发生器2采用激光发生器安装在视觉传感器壳体上，整个视觉传感器通过夹具与焊枪3固定在一起。激光发生器2发射的线激光照射在焊板1上，使其激光条纹变形区域正处于CMOS工业相机4的最佳拍摄区域，实时采集焊接时的图像。
如图4所示，在视觉传感器采集的焊接图像的基础上，根据像素矩阵，如图3所示，先利用列扫描对每一列求相邻两像素之间的像素差，即像素在y方向上的梯度：
保留梯度绝对值最大处的像素值f(x，y)，第i列上的该像素值记为fi(x，y)。
计算所有列该像素值的平均值作为边界阈值H：
再对图像进行列扫描，找到在y方向上像素值大于H的具体坐标a和b,再得到某一列激光条纹中心线所在的高度位置：
其中yi表示扫描的列中i点的纵坐标；b表示扫描到该列上第一个像素值大于阈值H点的纵坐标；a表示扫描到该列上这最后一个像素值大于阈值H点的纵坐标；(a-b+1)表示激光条纹在该列中的宽度；
扫描后可得到每一列的y值，对其求平均值即得到ROI区域中心点的纵坐标值yROI。
再对中心线行扫描，记录每一行中像素值小于阈值H的点横坐标xj,其行扫描公式为：
其中xj表示扫描的行中j点的横坐标；d表示扫描到该行上第一个像素值小于阈值H点的横坐标；c表示扫描到该行上这最后一个像素值小于阈值H点的横坐标；(c-d+1)表示激光条纹缺陷处在该行中的宽度；
扫描后可得到每一行的x值，对其求平均值即得到ROI区域中心点的横坐标位置xROI。
由此得到ROI区域中心点坐标(xROI，yROI)，提取以该中心点坐标位置为中心的300像素×400像素矩形区域作为ROI区域。
如图5所示，对提取到的ROI区域进行中值滤波处理，去除椒盐噪声并对激光条纹平滑化。滤波后的图像再进行形态学处理。
计算每一行中大于阈值H的像素点占一行中像素点总数的比例记为η。当η大于80％，即认为是激光条纹所在行，保留该行的像素点；当η小于80％，即认为是干扰项所在行，将该行像素点去除并重置为0；利用该方法可有效去除纵向干扰，且完整的保留激光条纹。
再对其处理后的图像进行二值化反色处理。对已有的激光条纹，提取其几何中心处的激光条纹，即为焊缝特征条纹。
对焊缝特征条纹从左至右进行扫描，以提取图像中心处不连续位置的左右断点，其左右断点的判定条件如下：
左断点判定条件为：
左断点坐标记为(x1，y1)
右断点判定条件为：
右断点坐标记为(x2，y2)
利用左右两个断点坐标计算出焊缝中心点坐标为
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种用于镇压滚筒焊接的焊缝跟踪方法