基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法
阅读说明：本技术 基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法 (Swing welding seam tracking error control method based on laser vision sensor ) 是由 陈善本 侯震 张华军 徐凤靖 许燕玲 陈华斌 于 2021-09-06 设计创作，主要内容包括：本发明提供了一种基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法,包括以下步骤：获取焊接坡口的激光条纹图像；以前一时刻的激光条纹图像的特征条纹作为基准,在当前时刻的激光条纹图像中搜索,获得特征条纹的位置；获取特征条纹中的特征点在图像坐标系下的二维坐标值,并利用矩阵变换将特征点的二维坐标转换为机器人坐标系下的三维坐标值；对激光视觉传感器的时钟与机器人的时钟进行同步,根据激光条纹图像的采集时间,在机器人汇报坐标的时间戳序列中根据摆动周期运动规律参数寻找最近邻的前后两个汇报坐标并按时间戳进行插值,计算机器人的三维坐标值。消除了基于激光视觉传感器的焊缝跟踪中时钟不同步及机器人摆动带来的汇报坐标误差。(The invention provides a method for controlling tracking error of a swing welding seam based on a laser vision sensor, which comprises the following steps: acquiring a laser stripe image of a welding groove; searching in the laser stripe image at the current moment by taking the characteristic stripe of the laser stripe image at the previous moment as a reference to obtain the position of the characteristic stripe; acquiring a two-dimensional coordinate value of a feature point in the feature stripe under an image coordinate system, and converting the two-dimensional coordinate of the feature point into a three-dimensional coordinate value under a robot coordinate system by utilizing matrix transformation; and synchronizing the clock of the laser vision sensor and the clock of the robot, searching two nearest front and back reporting coordinates in a timestamp sequence of the reporting coordinates of the robot according to the swing periodic motion rule parameters according to the acquisition time of the laser stripe image, interpolating according to the timestamp, and calculating the three-dimensional coordinate value of the robot. And the reported coordinate error caused by clock asynchrony and robot swinging in the welding seam tracking based on the laser vision sensor is eliminated.)
技术领域
本发明涉及智能化焊接技术领域，尤其涉及一种基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法。
背景技术
厚板钢结构对接焊接一般采用多层多道焊接，由于焊接装配精度和工件下料精度误差，以及焊接过程热变形，制约了机器人自动化焊接，需要解决焊接过程焊缝跟踪以确保焊接质量，避免焊偏、咬边、未熔合等缺陷。因此，为了实现智能化机器人焊接，实现精确的实时焊缝跟踪是十分重要的内容。为了确保侧壁熔合和确保高熔覆效率，一般采用摆动焊接。国内外学者对于焊缝跟踪进行了许多探索，传统方式是采用电弧跟踪，这种跟踪方式存在一定制约：(1)厚板坡口焊缝根部一般存在间隙，电流传感会存在干扰，易跟偏；(2)厚板一般多层多道焊时，在填充焊接过程中，被焊接区域没有明显侧壁，其电流传感敏感性不足，也易导致跟偏。
为了解决上述的一系列问题，通常使用基于激光传感器的视觉技术对于焊接过程中的焊缝进行实时的精确跟踪。激光视觉传感器如图1所示，图1为现有技术中提供的基于激光视觉传感器的摆动焊接焊缝跟踪的示意图，激光发生器1通过镜头调制，发射出线形激光，在空间中形成激光平面。线形激光照射到被焊工件2表面，在坡口出形成具有特征的激光条纹。CCD成像平面3接收到激光条纹后形成激光条纹图像4。图像中激光条纹的特征，反映了工件坡口处的形貌。激光焊缝跟踪具有装置简单，成本低，精确度高，实时性好的优势，并且在实际跟踪过程不易受到环境因素影响，稳定性较好。
然而基于激光视觉传感器的焊缝跟踪仍然存在一些问题。一个主要难点是，激光视觉摆动焊跟踪存在不可消除的误差。首先误差来自于时钟的不同步，具体来说，焊缝跟踪误差，在进行坐标转换过程中，手眼转换矩阵是以TCP点为依据的，而在实际操作过程中，TCP点的记录和图像采集周期并不同步，导致了进行手眼转换时使用的机器人坐标与采集图像是的机器人坐标并不一致，这是由机器人坐标汇报频率和图像采集频率不同造成的，成汇报坐标误差。如：汇报坐标周期为50Hz，图像采集周期为14Hz，且两者的触发开关不同，在不同步计时器的情况下，一幅图像的采集时刻与计算时机器人汇报的坐标最多相差10ms。
其次，误差来自于机器人(焊枪)的摆动。所述摆动焊接方式，指摆动运动的形式，在摆动焊接过程中，机器人的运动方式较为复杂，机器人摆动运动包括5个主要参数：摆动幅度A、摆动频率f、摆动方式、侧壁停留时间以及停留时间运动方式。摆动一般以sin摆形式或8字摆形式。停留时间运动方式分为“运动”和“停止”两种，如图2a-2c和如图3a-3c所示，图2a-2c分别为“运动”方式下机器人沿x方向、y方向以及总的运动轨迹；图3a-3c分别为“停止”方式下机器人沿x方向、y方向以及总的运动轨迹。
所述摆动运动方式的摆动幅度与摆动频率为摆动运动的幅度和频率。侧壁停留时间分为左侧停留时间和右侧停留时间，一个完整的摆动周期为T，其表达式如下：
如果将焊缝置于y方向，停留时间运动方式为停止，摆动运动表达式如下：
Δy＝A sin(θ)
焊枪焊接时的速度一般不超过5mm/s，汇报坐标误差带来的最大误差约为0.05mm，远小于焊丝直径和跟踪精度，对实际焊接过程的影响可忽略不计。而在摆动焊接过程中，焊枪的瞬时速度v的表达式如下：
焊枪的最大瞬时速度焊枪在摆动方向的最大瞬时速度约为16mm/s，相应其带来的汇报坐标误差最大可达0.16mm，已经是相当大的跟踪误差，不能忽略。
因此，如何消除基于激光视觉传感器的焊缝跟踪误差是提高智能化机器人焊接质量的重点。
发明内容
本发明的目的在于提供一种基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法，消除了基于激光视觉传感器的摆动焊接焊缝跟踪中时钟不同步以及机器人摆动带来的汇报坐标误差。
为了达到上述目的，本发明提供了一种基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法，包括以下步骤：
通过激光视觉传感器获取焊接坡口的激光条纹图像；
以前一时刻的激光条纹图像中的特征条纹作为基准，在当前时刻的激光条纹图像中沿水平方向和竖直方向进行搜索，获得所述特征条纹在当前时刻的激光条纹图像中的位置；
通过图像处理方法获取所述特征条纹中的特征点在图像坐标系下的二维坐标值，并利用矩阵变换将所述特征点的二维坐标转换为机器人坐标系下的三维坐标值；
对所述激光视觉传感器的时钟与机器人的时钟进行同步，然后由起弧信号触发开始时钟，根据所述激光条纹图像的采集时间，在机器人汇报坐标的时间戳序列中根据机器人摆动周期运动规律参数寻找最近邻的前后两个汇报坐标并按时间戳进行插值，计算采集所述激光条纹图像时所述机器人的三维坐标值，所述机器人的汇报坐标为该时刻下所述特征点在机器人坐标系下的三维坐标值。
可选的，所述激光视觉传感器包括激光发生器、调光镜组及CCD成像平面，通过激光视觉传感器获取焊接坡口的激光条纹图像的步骤具体包括：
使所述激光发生器发射激光，所述激光经所述调光镜组调制后形成线形激光，所述线形激光照射到工件焊缝处，在坡口处形成具有特征的线形激光条纹；
通过所述CCD成像平面接收所述激光条纹并形成所述焊接坡口的激光条纹图像。
可选的，以前一时刻激光条纹图像中的特征条纹作为基准，在当前时刻的激光条纹图像中沿水平方向和竖直方向进行搜索，获得所述特征条纹在当前时刻的激光条纹图像中的位置的步骤具体包括：
获取前一时刻的激光条纹图像I0，得到焊缝类型模型参数和初始条纹C0(u)，设定边界容差值ΔH，以C0(u)为中心，从I0中截取的一段包含固定高度的像素的矩阵，得到初始感兴趣区域R0(u)，R0(u)＝C0(u)±ΔH；
获取当前时刻的激光条纹图像I1，在I1中沿水平方向平移Δu进行搜索，获得搜索条纹C11(u+Δu，0)，得到动态线型感兴趣区域R11(u+Δu，0)；
计算R11(u+Δu，0)与R0(u)的结构相似性系数，在水平搜索过程中，使结构相似性系数最大的平移距离Δu即为水平方向的搜索结果；
在I1中沿竖直方向平移Δv进行搜索，获得搜索条纹C12(u+Δu，Δv)，得到动态线型感兴趣区域R12(u+Δu，Δv)；
计算R12(u+Δu，Δv)与R0(u)的结构相似性系数，在竖直方向搜索过程中，使结构相似性系数最大的平移距离Δv即为竖直方向的搜索结果，其中，R12(u+Δu，Δv)＝C0(u+Δu)+Δv±ΔH。
可选的，所述结构相似性系数的计算公式如下：
其中，r1和r2为从对应的激光条纹图像中截取的一段包含固定高度的像素的矩阵，μ1和μ2分别为r1和r2的均值，σ1和σ2分别为r1和r2的均值，σ12为r1和r2的协方差，c1和c2为维持稳定的常数。
可选的，在I1中沿水平方向平移Δu进行搜索时，设定的Δu应与所述机器人的摆动幅度对应。
可选的，所述动态线型感兴趣区域的形状与所述特征条纹的形状相匹配。
可选的，利用矩阵变换将所述特征点的二维坐标转换为机器人坐标系下的三维坐标值的步骤在工控机中完成，矩阵变换公式具体如下：
其中，PL为所述特征点在图像坐标系下的坐标值，为图像坐标系到相机坐标系的转换矩阵，为相机坐标系到工具坐标系的转换矩阵，为工具坐标系到机器人坐标系的转换矩阵，PR为机器人坐标系下的三维坐标值。
可选的所述基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法还包括：
通过插值法拟合出摆动焊接轨迹覆盖的范围和边界，对摆动焊接的精度进行评价。
可选的，通过插值法拟合出摆动焊接轨迹覆盖的范围和边界，对摆动焊接的精度进行评价的步骤具体包括：
进行第一次摆动焊焊缝跟踪实验，由精确示教沿焊缝轨迹示教其中的若干个点，形成示教轨迹；
进行第二次摆动焊焊缝跟踪实验，记录跟踪过程中的机器人的运动轨迹，并通过插值法拟合出摆动焊接轨迹覆盖的范围和边界，记为跟踪轨迹；
将所述示教轨迹与所述跟踪轨迹置于同一坐标下对比，得到摆动焊接焊缝跟踪过程的误差分布，进而对摆动焊接的精度进行评价。
可选的，所述插值法为三次样条插值法。
本发明提供了一种基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法，通过以前一时刻的激光条纹图像中的特征条纹作为基准，在当前时刻的激光条纹图像中沿水平方向和竖直方向进行搜索，获得所述特征条纹在当前时刻的激光条纹图像中的位置，然后通过图像处理方法获取所述特征条纹中的特征点在图像坐标系下的二维坐标值，并利用矩阵变换将所述特征点的二维坐标转换为机器人坐标系下的三维坐标值，能够得到机器人在不同时刻的轨迹点的精确坐标，简化了特征提取的计算量，提高了提取精度。接着对所述激光视觉传感器的时钟与机器人的时钟进行同步，根据所述激光条纹图像的采集时间，在机器人汇报坐标的时间戳序列中根据机器人摆动周期运动规律参数寻找最近邻的前后两个汇报坐标并按时间戳进行插值，计算采集所述激光条纹图像时所述机器人的三维坐标值，由于是在已知摆动周期运动规律(即摆动波形)的基础上进行插值，消除了基于激光视觉传感器的摆动焊接焊缝跟踪中时钟不同步以及机器人摆动带来的汇报坐标误差。
附图说明
本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：
图1为现有技术中提供的基于激光视觉传感器的摆动焊接焊缝跟踪的示意图；
图2a-2c分别为“运动”方式下机器人沿x方向、y方向以及总的运动轨迹；
图3a-3c分别为“停止”方式下机器人沿x方向、y方向以及总的运动轨迹；
图4为本发明实施例提供的机器人行走轨迹为直线时采用插值法获取坐标的示意图；
图5为本发明实施例提供的机器人行走轨迹为摆动时采用插值法获取坐标的示意图；
图6为本发明实施例提供的基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法的步骤图；
图7为本发明实施例提供的通过激光视觉传感器获取的焊接坡口的特征条纹；
图8为本发明实施例提供的动态线型感兴趣区域的示意图；
图9是本发明实施例提供的同步时钟后摆动焊接示教轨迹和跟踪轨迹对比；
图10是本发明实施例提供的同步时钟后摆动焊接左右边界焊缝跟踪误差分布。
附图中：
1-激光发生器；2-被焊工件；3-CCD成像平面；4-激光条纹图像；
10-特征条纹；11-特征点；20-动态线型感兴趣区域。
具体实施方式
正如背景技术所述，针对汇报坐标误差，来自于机器人时钟和激光视觉传感器的时钟不同步，以及汇报坐标频率和图像采集频率不同步。本发明通过通讯方式，将机器人时钟和激光视觉传感器的时钟进行同步，使得汇报坐标的时间戳，在坐标转化过程中是可置信的。基于此，可以得到汇报坐标时间戳与图像采集时间戳的差值。在非摆动情形下，近似认为机器人行走轨迹为直线，已知图像采集时间，则可以在取其前后两个汇报坐标按时间戳进行插值，计算采集图像时的机器人坐标。如图4所示，p3点坐标可由p1点与p2点进行插值得到。而摆动情况不同，如图5所示，如果图像采集的时刻恰好位于机器人两次汇报坐标的中间，此时，真实的机器人坐标应为p4，不管汇报p1或p2，还是进行两个坐标值的插值得到p3，均会产生垂直于焊接方向的偏差，这也是摆动焊接焊缝跟踪的难点问题。
基于此，本发明提供了一种基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法，通过以前一时刻的激光条纹图像中的特征条纹作为基准，在当前时刻的激光条纹图像中沿水平方向和竖直方向进行搜索，获得所述特征条纹在当前时刻的激光条纹图像中的位置，然后通过图像处理方法获取所述特征条纹中的特征点在图像坐标系下的二维坐标值，并利用矩阵变换将所述特征点的二维坐标转换为机器人坐标系下的三维坐标值，能够得到机器人在不同时刻的轨迹点的精确坐标，简化了特征提取的计算量，提高了提取精度。接着对所述激光视觉传感器的时钟与机器人的时钟进行同步，根据所述激光条纹图像的采集时间，在机器人汇报坐标的时间戳序列中根据机器人摆动周期运动规律参数寻找最近邻的前后两个汇报坐标并按时间戳进行插值，计算采集所述激光条纹图像时所述机器人的三维坐标值，由于是在已知摆动周期运动规律(即摆动波形)的基础上进行插值，消除了基于激光视觉传感器的摆动焊接焊缝跟踪中时钟不同步以及机器人摆动带来的汇报坐标误差。
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，除非内容另外明确指出外。如在本发明中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，除非内容另外明确指出外。如在本发明中所使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，除非内容另外明确指出外。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征。
请参照图6，图6为本发明实施例提供的基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法的步骤图。本实施例提供了一种基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法，包括以下步骤：
S1、通过激光视觉传感器获取焊接坡口的激光条纹图像；
S2、以前一时刻的激光条纹图像中的特征条纹作为基准，在当前时刻的激光条纹图像中沿水平方向和竖直方向进行搜索，获得所述特征条纹在当前时刻的激光条纹图像中的位置；
S3、通过图像处理方法获取所述特征条纹中的特征点在图像坐标系下的二维坐标值，并利用矩阵变换将所述特征点的二维坐标转换为机器人坐标系下的三维坐标值；
S4、对所述激光视觉传感器的时钟与机器人的时钟进行同步，然后由起弧信号触发开始时钟，根据所述激光条纹图像的采集时间，在机器人汇报坐标的时间戳序列中根据机器人摆动周期运动规律参数寻找最近邻的前后两个汇报坐标并按时间戳进行插值，计算采集所述激光条纹图像时所述机器人的三维坐标值，所述机器人的汇报坐标为该时刻下所述特征点在机器人坐标系下的三维坐标值。
首先，执行步骤S1，通过激光视觉传感器获取焊接坡口的激光条纹图像。具体的，所述激光视觉传感器包括激光发生器、调光镜组及CCD成像平面，通过激光视觉传感器获取焊接坡口的激光条纹图像的步骤具体包括：
使所述激光发生器发射激光，所述激光经所述调光镜组调制后形成线形激光，所述线形激光照射到工件焊缝处，在坡口处形成具有特征的线形激光条纹；
通过所述CCD成像平面接收所述激光条纹并形成所述焊接坡口的激光条纹图像。
如图7所示，图7为本发明实施例提供的通过激光视觉传感器获取的焊接坡口的特征条纹，在激光条纹图像中所述焊接坡口对应的激光条纹类似于V形。特征条纹即图像中激光条纹的特征，反映了被焊工件坡口处的形貌。
然后执行步骤S2，以前一时刻的激光条纹图像中的特征条纹10作为基准，在当前时刻的激光条纹图像中沿水平方向和竖直方向进行搜索，获得所述特征条纹10在当前时刻的激光条纹图像中的位置。步骤S2实际是对激光条纹图像中特征进行提取的算法，是针对摆动焊接过程中焊缝与机器人(焊枪)发生相对移动的问题，基于激光条纹先验模型和摆动运动方式，提出了动态线型感兴趣区域(Dynamic line-shaped Region Of Interest,DLROI)提取方法，DLROI是由前一时刻激光条纹作为基准，在当前激光条纹图像中进行搜索具有最高结构相似性的系数的位置，搜索方向包括水平和竖直，进而获得在当前激光条纹图像中特征条纹10的位置，为后续的二维图像坐标转换到三维机器人坐标转换奠定基础。DLROI方法为实现摆动焊缝跟踪提供了稳定可靠的焊缝跟踪点，适用于摆动焊接等焊枪与焊缝产生相对运动的跟踪场景。
所述DLROI提取方法具体包括以下步骤：
获取前一时刻的激光条纹图像I0，得到焊缝类型模型参数和初始条纹C0(u)，设定边界容差值ΔH，以C0(u)为中心，从I0中截取的一段包含固定高度的像素的矩阵，得到初始感兴趣区域R0(u)，R0(u)＝C0(u)±ΔH，激光条纹图像I0可以是在未起弧条件下采集的条纹图像；
获取当前时刻的激光条纹图像I1，在I1中沿水平方向平移Δu进行搜索，获得搜索条纹C11(u+Δu，0)，得到动态线型感兴趣区域R11(u+Δu，0)；
计算R11(u+Δu，0)与R0(u)的结构相似性系数，在水平搜索过程中，使结构相似性系数最大的平移距离Δu即为水平方向的搜索结果；
在I1中沿竖直方向平移Δv进行搜索，获得搜索条纹C12(u+Δu，Δv)，得到动态线型感兴趣区域R12(u+Δu，Δv)；
计算R12(u+Δu，Δv)与R0(u)的结构相似性系数，在竖直方向搜索过程中，使结构相似性系数最大的平移距离Δv即为竖直方向的搜索结果，其中，R12(u+Δu，Δv)＝C0(u+Δu)+Δv±ΔH。
本实施例中,所述初始条纹和所述搜索条纹相当于特征条纹10在相邻两个时刻的激光条纹图像的位置，结合图8，图8为本发明实施例提供的动态线型感兴趣区域的示意图。所述初始感兴趣区域和所述动态线型感兴趣区域20可以理解为所述特征条纹10以及将特征条纹10框住的线型框共同组成的区域，随着摆动焊接的进行，所述特征条纹10在采集激光条纹图像中的位置(包括水平方向和竖直方向)会发生变化，通过在当前时刻的激光条纹图像沿水平方向和竖直方向移动所述线型框搜索所述特征条纹10，使所述动态线型感兴趣区域20与所述初始感兴趣区域结构相似性系数最大的平移距离即为搜索结果。
本实施例中，所述边界容差值ΔH＝20。
所述的动态线型感兴趣区域20提取方法(DLROI)相比于静态矩形框感兴趣区域提取SRROI方式有许多改善之处。首先，形状不同，所述动态感兴趣区域的形状与所述特征条纹10的形状相匹配，由矩形变为符合激光条纹形状的线性。其次，尺寸及信噪比不同。DLROI在保证完整存储激光条纹信息的前提下，大幅减小感兴趣区域的尺寸。本文中，动态线型感兴趣区域20尺寸约1300*60＝78000，静态矩形框感兴趣区域尺寸设定为800*600＝480000。尺寸减小约83％。同时，DLROI的信噪比(33％)远高于SRROI(约3％)。第三，改进了参数确定方式。SRROI由给出的固定参数确定(静态)，DLROI由前一幅图像的结果(动态)和设定的边界容差值确定。第四，改进边界容差值，SRROI边界容差值不均，在坡口处距离上边界远，距离下边界近，在条纹肩部距离上边界近，距离下边界远。DLROI中条纹距离上下边界容差均匀，条纹中每一点与区域边界的竖直距离基本一致。第五，条纹位置改进。DLROI中条纹处于图像中心，由于获取DLROI的方法中包含了水平方向搜索，在摆动过程中也能保持激光条纹在感兴趣区域中的位置基本保持不变，前述的激光条纹先验模型和分子区条纹提取策略可以顺利实现。第六，焊缝跟踪点置信度提高，精度更高。可将焊缝跟踪点在DLROI中的坐标作为判别特征点是否有效的依据。SRROI中，条纹随摆动运动在原图像和感兴趣区域内都在移动，感兴趣区域中内特征点位置不能作为评价其置信度的依据。
应当理解的是，由于在实际摆动跟踪过程中，特征条纹10通常在水平方向上的移动较大，竖直方向上的移动较小，故先对当前时刻的激光条纹图像进行水平方向的搜索，再根据搜索情况决定是否需要对所述激光条纹图像进行竖直方向上的搜索。
较佳的，在I1中沿水平方向平移Δu进行搜索时，设定的Δu应与所述机器人的摆动幅度对应，以提高动态线型感兴趣区域20的搜索速度。例如，在本实例DLROI的提取过程中设定摆幅为2mm，为了与水平搜索范围对应，其对应的Δu应增加10像素左右。图像处理的其他过程与非摆动时一致。
结构相似性理论将图像定义为结构信息，亮度与对比度三个维度，以均值去估计图像的亮度，标准差作为对比度的估计，协方差作为结果相似程度的估计。在时序相邻的激光条纹图像中，激光条纹的相似程度是极高的，即使存在水平或竖直方向上的相对位移，激光条纹的形状也就是其结构信息也是高度类似的。本实施例中，所述结构相似性系数的计算公式如下：
其中，r1和r2为从对应的激光条纹图像中截取的一段包含固定高度的像素的矩阵，μ1和μ2分别为r1和r2的均值，σ1和σ2分别为r1和r2的均值，σ12为r1和r2的协方差，c1和c2为维持稳定的常数。
在计算R11(u+Δu，0)与R0(u)的结构相似性系数时，所述r1相当于R0(u)对应的矩阵，所述r2相当于R11(u+Δu，0)对应的矩阵。在计算R12(u+Δu，Δv)与R0(u)的结构相似性系数时，所述r1相当于R0(u)对应的矩阵，所述r2相当于R12(u+Δu，Δv)对应的矩阵。
在获取到当前时刻的DLROI激光图像特征之后，需要再进行特征点11(即机器人运动轨迹点)的提取。故执行步骤S3，通过图像处理方法获取所述特征条纹10中的特征点11在图像坐标系下的二维坐标值，并利用矩阵变换将所述特征点11的二维坐标转换为机器人坐标系下的三维坐标值。
本实施例中，通过一般图像处理方法获得特征条纹10的特征点11在图像坐标系下的二维坐标，本实施例中，激光条纹为V型，其特征点11选取为V型激光条纹的顶点。
利用矩阵变换将所述特征点11的二维坐标转换为机器人坐标系下的三维坐标值的步骤在工控机中完成，矩阵变换公式具体如下：
其中，PL为所述特征点11在图像坐标系下的坐标值，为图像坐标系到相机坐标系的转换矩阵，为相机坐标系到工具坐标系的转换矩阵，为工具坐标系到机器人坐标系的转换矩阵，PR为机器人坐标系下的三维坐标值。
本实施例中，从图像坐标系转换到机器人工具坐标系的过程在工控机中完成。
最后执行步骤S4，对所述激光视觉传感器的时钟与机器人的时钟进行同步，然后由起弧信号触发开始时钟，根据所述激光条纹图像的采集时间，在机器人汇报坐标的时间戳序列中根据机器人摆动周期运动规律参数寻找最近邻的前后两个汇报坐标并按时间戳进行插值，计算采集所述激光条纹图像时所述机器人的三维坐标值，所述机器人的汇报坐标为该时刻下所述特征点11在机器人坐标系下的三维坐标值。
摆动周期运动规律参数为在摆动焊接中的摆动参数，摆动参数包括摆动幅度A，摆动频率f，摆动方式，侧壁停留时间，以及停留时间运动方式。随后，获取机器人的时钟，设定与所述机器人时钟同步的激光视觉传感器的相机时钟，然后由起弧信号触发开始时钟，根据所述激光条纹图像的采集时间，在机器人汇报坐标的时间戳序列中根据机器人摆动周期运动规律参数寻找最近邻的前后两个汇报坐标并按时间戳进行插值，进而获得精确度更高的所述机器人的三维坐标值。如图4所示，当已知摆动周期运动规律参数时，摆动波形为已知，根据所述激光条纹图像的采集时间t3，获取两个相邻时刻采集激光条纹图像的时间戳t1、t2以及所述特征点11在t1、t2时刻下对应的三维坐标p1、p2，所述t3介于t1、t2之间，则可以通过插值法获取t3在波形中的相位，进而得到此时机器人的坐标值p4，而不是得到p3，从而消除了基于激光视觉传感器的焊缝跟踪中时钟不同步及机器人摆动带来的汇报坐标误差。
在解决了机器人的汇报坐标误差之后，就可以实现高精度的摆动焊接的焊缝跟踪。
进一步的，请参照图6，所述基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法还包括：
S5、通过插值法拟合出摆动焊接轨迹覆盖的范围和边界，对摆动焊接的精度进行评价。
对于传统的基于激光视觉传感器的厚板摆动焊接焊缝跟踪，还有一个难点在于如何评判摆动跟踪过程的跟踪误差的精度。摆动焊接跟踪的测试和评价误差，摆动焊接过程的轨迹与非摆动有明显区别，单纯以示教轨迹和跟踪轨迹去精确比较，难以衡量焊缝跟踪的效果和精度。由于摆动运动的存在，不同焊接轨迹在某一位置的摆动相位不一定一致，若直接沿焊接方向纵切，得到两轨迹点进行比较，则会将相位带来的摆动位差也算入跟踪误差之中。
本实施例中，通过插值法拟合出摆动焊接轨迹覆盖的范围和边界，对摆动焊接的精度进行评价，覆盖了摆动范围和边界，能更注重在边缘位置的准确性。并且，而摆动焊接得出边缘位置的焊接热输入率更大，也正是需要关注的位置。步骤S5具体包括：
进行第一次摆动焊焊缝跟踪实验，由精确示教沿焊缝轨迹示教其中的若干个点，形成示教轨迹；
进行第二次摆动焊焊缝跟踪实验，记录跟踪过程中的机器人的运动轨迹，并通过插值法拟合出摆动焊接轨迹覆盖的范围和边界，记为跟踪轨迹；
将所述示教轨迹与所述跟踪轨迹置于同一坐标下对比，得到摆动焊接焊缝跟踪过程的误差分布，进而对摆动焊接的精度进行评价。
具体的，进行摆动焊接焊缝跟踪实验时，由精确示教一个示教轨迹，沿焊缝轨迹示教其中的若干个点，形成示教轨迹。随后进行焊缝跟踪实验，记录跟踪过程中的机器人轨迹，记为跟踪轨迹，然后将所述示教轨迹与所述跟踪轨迹置于同一坐标下对比。
本实施例中，所述插值法为三次样条插值法。如图9-图10所示，图9是本发明实施例提供的同步时钟后摆动焊接示教轨迹和跟踪轨迹对比，图10是本发明实施例提供的同步时钟后摆动焊接左右边界焊缝跟踪误差分布。使用三次样条曲线对轨迹中到达振幅的边界点之间进行插值，得到摆动焊接扫过区域的左右边缘，可以直观地看出跟踪过程的精度。随后，将示教轨迹与跟踪轨迹的左右边缘进行沿焊接方向的对比，即可得到如图10所示的摆动焊接焊缝跟踪过程的误差分布。基于三次样条插值法对摆动焊接的跟踪轨迹进行拟合，量化了摆动焊接中焊缝的跟踪误差，以便于对跟踪精度进行有效评估。
通过测试，所述跟踪轨迹与所述示教轨迹的边界误差在±0.2mm左右，与非摆动焊接过程精度一致。
综上，本发明实施例提供了一种基于激光视觉传感器的摆动焊接焊缝跟踪误差控制方法，通过以前一时刻的激光条纹图像中的特征条纹作为基准，在当前时刻的激光条纹图像中沿水平方向和竖直方向进行搜索，获得所述特征条纹在当前时刻的激光条纹图像中的位置，然后通过图像处理方法获取所述特征条纹中的特征点在图像坐标系下的二维坐标值，并利用矩阵变换将所述特征点的二维坐标转换为机器人坐标系下的三维坐标值，能够得到机器人在不同时刻的轨迹点的精确坐标，简化了特征提取的计算量，提高了提取精度。接着对所述激光视觉传感器的时钟与机器人的时钟进行同步，根据所述激光条纹图像的采集时间，在机器人汇报坐标的时间戳序列中根据机器人摆动周期运动规律参数寻找最近邻的前后两个汇报坐标并按时间戳进行插值，计算采集所述激光条纹图像时所述机器人的三维坐标值，由于是在已知摆动周期运动规律(即摆动波形)的基础上进行插值，消除了基于激光视觉传感器的摆动焊接焊缝跟踪中时钟不同步以及机器人摆动带来的汇报坐标误差。
上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种热水器内胆焊接质量在线监测方法及装置