阅读说明：本技术 一种基于单双目视觉的机器人自动焊接系统及方法 (Robot automatic welding system and method based on single and binocular vision ) 是由 谢盛 魏昕 梁梓铭 屈海艳 林佳杰 于 2019-08-28 设计创作，主要内容包括：本发明提出一种基于单双目视觉的机器人自动焊接系统,包括前置视觉检测模块、运动控制模块、焊枪,其中前置视觉检测模块包括单目相机、双目相机、防飞溅挡板、图像采集卡,运动控制模块包括上位机、机器人控制器、运动轴执行机构；单目相机设置在焊枪的一侧,防飞溅挡板设置在单目相机与焊枪之间,双目相机设置在单目相机的另一侧,且单目相机和双目相机分别通过图像采集卡与上位机连接；上位机对焊缝图像进行分析处理,分别得到工件及焊缝的坐标以及运动轴执行机构的运动轨迹规划结果,并通过机器人控制器将运动轨迹规划结果相应的控制命令传送到运动轴执行机构。基于上述系统,本发明还提出了一种基于单双目视觉的机器人自动焊接方法。(the invention provides a robot automatic welding system based on single and binocular vision, which comprises a front vision detection module, a motion control module and a welding gun, wherein the front vision detection module comprises a monocular camera, a binocular camera, a splash-proof baffle plate and an image acquisition card; the monocular camera is arranged on one side of the welding gun, the anti-splashing baffle is arranged between the monocular camera and the welding gun, the binocular camera is arranged on the other side of the monocular camera, and the monocular camera and the binocular camera are respectively connected with the upper computer through the image acquisition card; and the upper computer analyzes and processes the welding seam image, respectively obtains the coordinates of the workpiece and the welding seam and the motion trail planning result of the motion axis executing mechanism, and transmits a control command corresponding to the motion trail planning result to the motion axis executing mechanism through the robot controller. Based on the system, the invention further provides a robot automatic welding method based on single and double eye vision.)

一种基于单双目视觉的机器人自动焊接系统及方法

技术领域

本发明涉及机器人智能制造技术领域，更具体地，涉及一种基于单双目视觉的机器人自动焊接系统及方法。

背景技术

焊接机器人的出现代表着焊接自动化历史性的进步，它取代了手工焊接和刚性自动化方式，开创了一种柔性自动化的生产方式。目前，广泛应用于工业生产的焊接机器人主要是示教再现性机器人，在焊缝轨迹比较简单的情况下，示教再现性机器人能有效提高生产效率，并且能保证焊接质量的一致性。然而对于复杂轨迹的焊缝，示教再现性机器人存在人工示教耗时长，焊接质量的稳定性要求难以保证等问题，并且对于小批量和单件的焊接生产来说，机器人示教时间占全部生产工时的比例高，影响了机器人的整体工作效率。

为了解决上述问题，目前主要采用基于视觉的的自动焊接系统进行焊接加工，其中，自动焊接系统主要采用单目或双目相机进行焊缝采集，但在焊接过程中单目或双目相机容易受强光飞溅的影响，因此单目或双目相机需要安装有相应的滤波装置或保护装置，导致无法应用于正常光照下的拍摄；同时由于焊缝识别的精度要求，用于识别焊缝的相机焦距和安装位置都不适合用于寻找需要加工的工件，无法真正的实现焊接机器人自动焊接作业。

发明内容

本发明为克服上述现有技术所述的不能实现焊接机器人自动焊接作业的缺陷，提供一种基于单双目视觉的机器人自动焊接系统以及一种基于单双目视觉的机器人自动焊接方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于单双目视觉的机器人自动焊接系统，包括前置视觉检测模块、运动控制模块、焊枪，其中：

前置视觉检测模块包括单目相机、双目相机、防飞溅挡板、图像采集卡；

运动控制模块包括上位机、机器人控制器、运动轴执行机构；

焊枪设置在运动轴执行机构上，上位机与机器人控制器连接，机器人控制器与运动轴执行机构连接；

单目相机设置在焊枪的一侧，防飞溅挡板设置在所述单目相机与焊枪之间，双目相机设置在单目相机的另一侧，且单目相机和双目相机分别通过与图像采集卡连接将所采集的焊缝图像传送到上位机；上位机对焊缝图像进行分析处理，分别得到工件及焊缝的坐标以及运动轴执行机构的运动轨迹规划结果，并通过机器人控制器将所述运动轨迹规划结果对应的控制命令传送到运动轴执行机构。

本技术方案中，前置视觉检测模块用于采集待识别的工件图像和焊缝图像，通过以太网传送到运动控制模块中进行图像分析处理，其中，双目相机用于采集三维信息，从而识别得到工件的空间坐标；单目相机用于采集二维平面信息，从而识别得到焊缝位置信息；防飞溅挡板设置在单目相机与焊枪之间，用于遮挡焊接过程中产生的飞溅。运动控制模块用于对工件坐标以及焊缝位置信息进行分析处理，对焊机运动轨迹进行规划，并通过控制运动轴执行机构控制焊机的移动，其中，上位机接收前置视觉检测模块所传输的图像信息，对其进行分析得到工件坐标信息以及焊缝位置信息，以及对所述工件坐标信息和焊缝位置信息进行分析处理，对焊枪的运动轨迹进行规划，然后将得到的运动轨迹规划结果发送到机器人控制器中，机器人控制器根据所接收的运动轨迹规划结果进行分析得到相应的控制命令，实现对运动轴执行机构的控制，控制焊机对焊缝位置的跟踪矫正补偿运动，从而实现焊接机器人的自主焊接作业。

优选地，单目相机包括相机安装架、单目相机镜头、滤光片、辅助光源，其中，单目相机镜头安装设置在相机安装架上，滤光片设置在单目相机镜头前方。

优选地，辅助光源为445nm的蓝色光。

本发明还提出一种基于单双目视觉的机器人自动焊接方法，应用于上述基于单双目视觉的机器人自动焊接系统，包括以下步骤：

S1：初始化设置单目相机参数，并对单目相机和双目相机分别进行标定；

S2：双目相机采集图像，并对所采集的图像进行双目视觉图像处理，得到待焊接工件的空间位置信息；

S3：上位机根据所述待焊接工件的空间位置信息决定焊接起始点坐标，通过机器人控制器获取当前焊枪的位置坐标，所述上位机根据当前焊枪的位置坐标及开始点坐标信息规划焊枪的运动轨迹，得到轨迹规划结果；

S4：上位机将所述轨迹规划结果传送到机器人控制器中，所述机器人控制器对运动轴执行机构进行控制，将焊枪移动到焊接起始点；

S5：机器人控制器实时获取焊枪的位置信息，当确认焊枪移动到焊接起始点时，所述单目相机开始采集焊缝图像信息，并对所述焊缝图像进行单目视觉图像处理，得到焊缝的空间位置信息，然后根据机器人控制器获取的当前焊枪位置信息，得到当前采集的焊缝图像所对应的焊枪偏移量；

S6：上位机根据所述焊枪偏移量进行焊缝跟踪，对所述焊缝跟踪轨迹进行滤波、拟合，并实时计算跟踪点的位置信息，进行运动指令规划；

S7：上位机将所述运动指令规划传送到机器人控制器，所述机器人控制器根据其接收的运动指令规划对运动轴执行机构进行控制。

优选地，S1步骤中，单目相机参数包括相机曝光时间、光圈、焦距以及FTP作业服务器参数，其中FTP作业服务器参数包括但不仅限于FTP服务器IP地址、端口号、用户名、密码。

优选地，S1步骤中，单目相机进行单目标定的具体步骤如下：

打印出棋盘格标定板，用单目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，计算标定结果；

双目相机进行单目标定的具体步骤如下：

采用所述单目相机进行单目标定的方法对双目相机中的左眼镜头和右眼镜头分别进行单目标定，得到左眼镜头和右眼镜头的内参矩阵和畸变矩阵；打印出棋盘格标定板，用双目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，得到左眼镜头和右眼镜头的旋转矩阵和平移矩阵；根据所述左眼镜头和右眼镜头的旋转矩阵和平移矩阵，对标定图片进行裁剪，使极线对齐。

优选地，S2步骤中，上位机对所采集的图像采用基于Opencv视觉库编程实现双目视觉图像处理，其具体步骤如下：

对所采集的图像根据预设的双目标定参数进行校正，得到左眼和右眼矫正后的图像；

对矫正后的左眼图像和右眼图像分别进行中值滤波；

对滤波后的左眼图像和右眼图像分别进行直方图均衡化；

对均衡化的左眼图像和右眼图像分别进行灰度处理；

对灰度处理后的左眼图像和右眼图像分别进行自适应阈值分割；

对阈值分割后的左眼图像和右眼图像分别进行形态学开运算和闭运算；

对形态学运算后的左眼图像和右眼图像分别进行边缘提取；

对边缘提取后的左眼图像和右眼图像分别进行特征点立体匹配以及模板匹配，得到待焊接工件轮廓的二维信息和距离信息；

根据待焊接工件轮廓的二维信息和距离信息，建立以双目图像坐标系为父坐标系的工件坐标系；

根据所述工件坐标系与世界坐标系之间的转换，得到待焊接工件的空间位置信息。

优选地，S3步骤中，上位机规划焊枪的运动轨迹的具体步骤如下：

上位机根据所述待焊接工件的空间位置信息，通过模板匹配精确定位工件，并在定位模板上预设工件焊接起点位置；

通过机器人控制器确定焊枪的当前坐标；

使用moveit！功能包对所述运动轴执行机构进行关节空间的轨迹规划，得到焊枪运动轨迹的轨迹规划结果，使焊枪对准焊接起点。

优选地，S5步骤中，单目视觉图像处理的具体步骤如下：

对所采集的图像根据单目相机标定参数进行矫正，得到单目相机矫正后的图像；

对矫正后的图像进行中值滤波；

对滤波后的图像进行直方图均衡化；

对直方图均衡化后的图像进行灰度处理；

对灰度处理后的图像进行自适应阈值分割；

对阈值分割后的图像进行形态学开运算和闭运算；

对形态学运算后的图像进行边缘提取；

对边缘提取后的图像进行直线拟合，得到焊缝的位置信息；

根据所述焊缝的位置信息，建立以单目图像坐标系为父坐标系的焊缝坐标系；

根据所述焊缝坐标系与世界坐标系之间的转换，以及双目相机测量得到的待焊接工件的空间位置信息，得到焊缝的空间位置信息。

优选地，S6步骤中，上位机根据焊枪偏移量进行焊缝跟踪的具体步骤如下：上位机根据焊缝的实时位置信息进行笛卡尔空间轨迹插值，并根据图像采集的频率对各焊缝图像所对应的焊枪偏移量进行划分，将得到的控制数据传输到机器人控制器，实现焊缝跟踪。

与现有技术相比，本发明技术方案的有益效果是：通过双目相机和单目相机采集待焊接工件和焊缝的位置信息，然后通过运动控制模块结合图像信息控制焊接机器人的移动，从而实现焊接机器人的自主焊接作业，有效提高生产效率；运动控制模块根据实时采集的图像对焊枪的运动轨迹进行规划，有效提高焊接精度，避免人为主观因素对焊接质量稳定性造成影响。

附图说明

图1为实施例1的基于单双目视觉的机器人自动焊接系统的结构示意图。

图2为实施例1的前置视觉检测模块的结构示意图。

图3为实施例2的基于单双目视觉的机器人自动焊接方法的流程图。

图4为实施例2所使用的23×13的棋盘格标定板示意图。

图5为实施例2的双目视觉图像处理和单目视觉图像处理的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提出一种基于单双目视觉的机器人自动焊接系统，如图1所示，为本实施例的基于单双目视觉的机器人自动焊接系统的结构示意图。

本实施例的基于单双目视觉的机器人自动焊接系统中，包括前置视觉检测模块1、运动控制模块2、焊枪3，其中，前置视觉检测模块1包括单目相机11、双目相机12、防飞溅挡板13、图像采集卡14，运动控制模块2包括上位机21、机器人控制器22、运动轴执行机构23，且上位机21安装有ROS系统。焊枪3设置在运动轴执行机构23上，上位机21与机器人控制器22连接，机器人控制器22与运动轴执行机构23连接。

本实施例中，单目相机11、双目相机12分别通过与图像采集卡14连接，将其所采集的图像信息传输到上位机21中进行处理，具体地，单目相机11经图像采集卡14通过FTP与上位机21进行图像传输，双目相机12经图像采集卡14通过USB与上位机21进行图像传输，上位机21通过以太网与机器人控制器22连接，机器人控制器22与运动轴执行机构23连接。

如图2所示，为本实施例的前置视觉检测模块的结构示意图。

本实施例的前置视觉检测模块1中，单目相机11设置在焊枪3枪头的上方，防飞溅挡板13设置在单目相机11与焊枪3枪头之间，双目相机12设置在单目相机11的上方。

本实施例中，单目相机包括相机安装架、单目相机镜头、滤光片、辅助光源，其中，单目相机镜头安装设置在相机安装架上，滤光片设置在单目相机镜头前方。在本实施例中，滤光片用于通过808nm的光波，辅助光源为445nm的蓝色光，用于照亮单目相机11的视野。

在具体实施过程中，初始化设置单目相机11参数，而双目相机12自动进行初始化设置，然后单目相机11和双目相机12分别进行单目标定和双目标定；双目相机12对当前的待焊接工件进行图像采集，经图像采集卡14将所采集的图像传输到上位机21中，上位机21对所接收的图像进行双目视觉图像处理，得到待焊接工件的空间位置信息，并根据上述空间位置信息确定焊接起始点坐标，然后通过机器人控制器22获取当前焊枪3的位置坐标，上位机21根据前焊枪3的位置坐标及开始点坐标信息规划焊枪3的运动轨迹，得到轨迹规划结果，然后传送到机器人控制器22中，机器人控制器22根据所接收的轨迹规划结果生成相应的控制命令，并通过控制运动轴执行机构23将焊枪3移动到目标焊接起始点坐标。

机器人控制器22实时获取焊枪3的位置信息，当确认焊枪3移动到焊接起始点时，单目相机11开始采集焊缝图像信息，经图像采集卡14将所采集的焊缝图像传输到上位机21中进行单目视觉图像处理，得到焊缝的空间位置信息，然后根据机器人控制器22获取的当前焊枪位置信息，得到当前采集的焊缝图像所对应的焊枪偏移量数据。上位机21根据焊枪偏移量进行焊缝跟踪，并对焊缝跟踪轨迹进行滤波、拟合操作，然后根据计算得到的焊缝跟踪点位置信息，实现焊枪的运动指令规划，上位机21将其生成的运动指令规划结果传送到机器人控制器22中，机器人控制器22根据所接受的运动指令规划结果生成相应的控制命令，并通过控制运动轴执行机构23将控制焊枪3的移动，从而实现焊接机器人的自主焊接作业。

本实施例中，通过双目相机12实时采集待焊接工件图像，从而获取待焊接工件的空间位置信息，然后控制焊接机器人自主运动到焊接起始点，通过单目相机11实时采集焊缝图像，从而获取焊缝位置信息，并通过上位机21实时计算实际焊缝与焊接机器人中焊枪3的运动轨迹的偏差，最后通过机器人控制器22控制运动轴执行机构23将焊接机器人的关节角度发生变化，从而保证设置在焊接机器人末端的焊枪3始终在焊缝位置上移动，从而实现焊接机器人的自动焊接作业。

实施例2

本实施例应用实施例1提出的于单双目视觉的机器人自动焊接系统，提出一种基于单双目视觉的机器人自动焊接方法。如图3所示，为本实施例的基于单双目视觉的机器人自动焊接方法的流程图。

本实施例提出的基于单双目视觉的机器人自动焊接方法，包括以下步骤：

S1：初始化设置单目相机参数，并对单目相机和双目相机分别进行标定。

本实施例中，初始化设置的单目相机参数包括相机曝光时间、光圈、焦距以及FTP作业服务器参数，其中FTP作业服务器参数包括FTP服务器IP地址、端口号、用户名、密码。而本实施例中的双目相机参数为自动调整，不需要初始化设置。

本步骤中，对单目相机进行单目标定的具体步骤如下：

打印出棋盘格标定板，如图4所示，为本实施例所使用的23×13的棋盘格标定板，用单目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；

对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；

根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，计算得到标定结果。

本步骤中，对双目相机进行双目标定的具体步骤如下：

采用所述单目相机进行单目标定的方法对双目相机中的左眼镜头和右眼镜头分别进行单目标定，得到左眼镜头和右眼镜头的内参矩阵和畸变矩阵；

打印出棋盘格标定板，然后用双目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；

对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；

根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，得到左眼镜头和右眼镜头的旋转矩阵和平移矩阵；

根据所述左眼镜头和右眼镜头的旋转矩阵和平移矩阵，对标定图片进行裁剪，使其极线对齐。

S2：双目相机采集图像，并对所采集的图像进行双目视觉图像处理，得到待焊接工件的空间位置信息。

本步骤中，上位机对所采集的图像采用基于Opencv视觉库编程实现双目视觉图像处理，其具体步骤如下：

对所采集的图像根据预设的双目标定参数进行校正，得到左眼和右眼矫正后的图像；

对矫正后的左眼图像和右眼图像分别进行中值滤波，得到降噪后的图像；

对滤波后的左眼图像和右眼图像分别进行直方图均衡化，得到亮暗部均衡的图像；

对均衡化的左眼图像和右眼图像分别进行灰度处理；

对灰度处理后的左眼图像和右眼图像分别进行自适应阈值分割；

对阈值分割后的左眼图像和右眼图像分别进行形态学开运算和闭运算；

对形态学运算后的左眼图像和右眼图像分别进行边缘提取；

对边缘提取后的左眼图像和右眼图像分别进行特征点立体匹配以及模板匹配，得到待焊接工件轮廓的二维信息和距离信息；

根据待焊接工件轮廓的二维信息和距离信息，建立以双目图像坐标系为父坐标系的工件坐标系；

根据所述工件坐标系与世界坐标系之间的转换，得到待焊接工件的空间位置信息。

S3：上位机根据所述待焊接工件的空间位置信息决定焊接起始点坐标，通过机器人控制器获取当前焊枪的位置坐标，所述上位机根据当前焊枪的位置坐标及开始点坐标信息规划焊枪的运动轨迹，得到轨迹规划结果。

本步骤中，上位机规划焊枪的运动轨迹的具体步骤如下：

上位机根据所述待焊接工件的空间位置信息，通过模板匹配精确定位工件，并在定位模板上预设工件焊接起点位置；

通过机器人控制器确定焊枪的当前坐标；

使用moveit！功能包对所述运动轴执行机构进行关节空间的轨迹规划，得到焊枪运动轨迹的轨迹规划结果，使焊枪移动到焊接起点。

S4：上位机将所述轨迹规划结果传送到机器人控制器中，所述机器人控制器对运动轴执行机构进行控制，将焊枪移动到焊接起始点。

S5：机器人控制器实时获取焊枪的位置信息，当确认焊枪移动到焊接起始点时，所述单目相机开始采集焊缝图像信息，并对所述焊缝图像进行单目视觉图像处理，得到焊缝的空间位置信息，然后根据机器人控制器获取的当前焊枪位置信息，得到当前采集的焊缝图像所对应的焊枪偏移量。

本步骤中，单目视觉图像处理的具体步骤如下：

对所采集的图像根据单目相机标定参数进行矫正，得到单目相机矫正后的图像；

对矫正后的图像进行中值滤波，得到降噪后的图像；

对滤波后的图像进行直方图均衡化，得到亮暗部均衡的图像；

对直方图均衡化后的图像进行灰度处理；

对灰度处理后的图像进行自适应阈值分割；

对阈值分割后的图像进行形态学开运算和闭运算；

对形态学运算后的图像进行边缘提取；

对边缘提取后的图像进行直线拟合，得到焊缝的位置信息；

根据所述焊缝的位置信息，建立以单目图像坐标系为父坐标系的焊缝坐标系；

根据所述焊缝坐标系与世界坐标系之间的转换，以及双目相机测量得到的待焊接工件的空间位置信息，得到焊缝的空间位置信息。

如图5所示，为本实施例的双目视觉图像处理和单目视觉图像处理的流程图。

S6：上位机根据所述焊枪偏移量进行焊缝跟踪，对所述焊缝跟踪轨迹进行滤波、拟合，并实时计算跟踪点的位置信息，进行运动指令规划。

本步骤中，上位机根据焊枪偏移量进行焊缝跟踪的具体步骤如下：

上位机根据所述焊缝的实时位置信息进行笛卡尔空间轨迹插值，并根据图像采集的频率对各焊缝图像所对应的焊枪偏移量进行划分，将得到的控制数据传输到机器人控制器，实现焊缝跟踪。

S7：上位机将所述运动指令规划传送到机器人控制器，所述机器人控制器根据其接收的运动指令规划对运动轴执行机构进行控制。

本实施例可应用于随意放置的任意形态工件上的多种焊缝类型，实现工件位置的自主定位，以及焊缝的自主焊接，实现焊接机器人的自主焊接作业，具有通用性、灵活性强的特点。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。