阅读说明：本技术 一种基于双目视觉的自动焊烟捕集装置及捕集方法 (automatic welding smoke trapping device and method based on binocular vision ) 是由 郭光智 代作晓 戴元丰 王晓 王晓辉 于 2019-09-26 设计创作，主要内容包括：本发明公开了一种基于双目视觉的自动焊烟捕集装置及捕集方法,包括双目视觉装置、吸烟管、机械手臂和计算机,双目视觉装置用于图像采集并传输给计算机,计算机控制机械手臂将吸烟管移动至目标位置；采用了过滤片对环境光和噪声进行了抑制,并通过程序运算,提高了视觉系统的信噪比；通过自动尺寸选择,使用单片机与滑台自动控制右相机的位置,增强了焊烟捕集装置对不同工位、不同环境、不同距离的适应能力；使用超声波距离测量和陀螺仪姿态测量,提高了视觉系统的准确性和稳定性。(The invention discloses an automatic welding smoke trapping device and method based on binocular vision, which comprises a binocular vision device, a smoke absorbing pipe, a mechanical arm and a computer, wherein the binocular vision device is used for image acquisition and transmission to the computer, and the computer controls the mechanical arm to move the smoke absorbing pipe to a target position; the filter is adopted to inhibit ambient light and noise, and the signal-to-noise ratio of a visual system is improved through program operation; through automatic size selection, the single chip microcomputer and the sliding table are used for automatically controlling the position of the right camera, so that the adaptability of the welding fume collecting device to different stations, different environments and different distances is enhanced; the accuracy and stability of the vision system are improved by using ultrasonic distance measurement and gyroscope attitude measurement.)

一种基于双目视觉的自动焊烟捕集装置及捕集方法

技术领域

本发明涉及双目视觉领域，特别涉及一种基于双目视觉的自动焊烟捕集装置及捕集方法。

背景技术

双目视觉空间定位技术是基于计算机视觉发展起来的一项重要的非接触式三维测量技术，即由不同位置的两台相机拍摄同一场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标位置。双目视觉空间定位技术具有测量速度快、实时性好、结构简单、系统稳定等优点，在生产生活中已经有了广泛的应用。现有的双目设备中在测量过程中无法自动改变基距，但是在深度方向的定位和计算精度都与基线距离成反比，所以，固定基距的双目测距无法适应复杂多变的现场。

城市环保产业是当今世界的朝阳产业，20世纪90年代以来，世界各国越来越重视环境问题，大力推广清洁生产技术，环保产品和服务的市场规模越来越大，智能清洁或环保机器人获得了前所未有的关注和支持。在机械加工车间电焊作业会产生很大的烟雾，已经严重影响到了员工的身体健康和周围的环境。但是，目前，应用在焊接车间的清洁焊烟的机器人非常少，而且智能化水平低、工作效率不高，不能取得很好的清洁和环保作用。

发明内容

针对以上现有技术存在的缺陷，本发明的主要目的在于克服现有技术的不足之处，公开了一种基于双目视觉的自动焊烟捕集装置，包括双目视觉装置、吸烟管、机械手臂和计算机，所述双目视觉装置用于图像采集并传输给所述计算机，所述计算机控制所述机械手臂将所述吸烟管移动至目标位置；

所述双目视觉装置包括立杆、壳体、滤光片、左相机和右相机，所述壳体内设置用于安装所述左相机和所述右相机的安装腔，所述滤光片设置在所述安装腔的开口处，所述右相机固定设置在所述安装腔内，所述左相机水平滑动的设置在所述安装腔内。

进一步地，所述左相机通过滑台滑动设置在所述安装腔内。

进一步地，所述左相机和所述右相机为Cognex工业相机，型号为In-SightDigital CCD 800-5715-1。

进一步地，还包括超声波测距传感器和挡板，所述壳体侧壁上开设与所述安装腔连通的第一滑槽，所述超声波测距传感器设置在所述第一滑槽的一端，所述挡板延伸设置连接杆，所述连接杆穿过所述第一滑槽与所述左相机连接，并且所述挡板与所述超声波测距传感器齐平且相对设置。

进一步地，还包括陀螺仪，所述陀螺仪设置在所述左相机上。

6.一种基于双目视觉的自动焊烟捕集方法，包括以下步骤：

S1：对左右两个相机进行标定，建立相机模型的坐标系，求得相机模型中图像坐标系与世界坐标系的转换关系；

S2：通过左右相机进行图像采集，并且对采集的图像进行处理；

S3：对左相机拍摄的图像进行焊点检测；

S4：对左、右图像进行立体匹配，获得视差矩阵，并利用视差原理获取深度图，计算出三维空间坐标；

S5：计算机根据坐标控制机械手臂移动，通过吸烟管对焊烟进行收集。

进一步地，步骤S1中，通过超声波测距传感器采集左右相机的距离关系，表现为3×1的平移向量；通过陀螺仪采集左相机相对于初始安装位置在x、y、z方向的角度变量，表现为3×3旋转矩阵；并计算出调整后的旋转矩阵和调整后的平移向量：

R_N＝R_M·R_O

T_N＝T_O+T_M

其中，R_N为调整后的3×3的旋转矩阵，R_M为测量的3×3的旋转矩阵，R_O为标定的3×3的旋转矩阵，T_N为调整后的3×1的平移向量，T_M为测量的3×1的平移向量，T_O为标定的3×1的平移向量。

进一步地，步骤S2中，利用过滤片，增加信噪比，使得相机本身的暗电流噪声相对亮点的灰度值很小；然后，对左右图像进行单阈值化处理，滤除噪声，增强亮点；最后，通过灰度值检测，提取图像中所有最亮的像素，作为亮点区域，并计算区域中心作为亮点的像素坐标。

进一步地，阈值为250，进而提取并增强灰度值大于250的像素位置。

进一步地，步骤S4中，计算机通过计算出的亮点面积大小作为尺度因子，通过滑台对左右相机的基距进行调整；距离相机越近的点，亮点数量越多，它在左右相机中的视差越大，调小左右相机之间的基距；距离相机越远的点，它在左右相机中的视差越小，调大左右相机之间的基距。

本发明取得的有益效果：

本发明利用双目视觉坐标定位的方式，与吸烟管配合，有效的对焊烟进行收集；通过过滤片的设置，实现了对相机的保护，并且可以通过减弱环境中高亮度噪声对于焊接中焊点处亮光的影响，并且可在一定程度上保护镜头，更加有利于计算机对图像的处理。采用了过滤片对环境光和噪声进行了抑制，并通过程序运算，提高了视觉系统的信噪比；通过自动尺寸选择，使用单片机与滑台自动控制右相机的位置，增强了焊烟捕集装置对不同工位、不同环境、不同距离的适应能力；使用超声波距离测量和陀螺仪姿态测量，提高了视觉系统的准确性和稳定性。

附图说明

图1为本发明的一种基于双目视觉的自动焊烟捕集装置的结构示意图；

图2为双目视觉装置的机构示意图；

图3为壳体内部机构示意图；

图4为单片机连接电路原理图；

附图标记如下：

1、双目视觉装置，2、吸烟管，3、机械手臂，4、计算机，11、立杆，12、壳体，13、滤光片，14、左相机，15、右相机，16、滑台，17、超声波测距传感器，18、挡板，19、连接杆，20、陀螺仪，121、安装腔，122、第一滑槽，123、开口,124、凹槽，125、第二滑槽。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种基于双目视觉的自动焊烟捕集装置，如图1所示，包括双目视觉装置1、吸烟管2、机械手臂3和计算机4，双目视觉装置1用于图像采集并传输给计算机4，计算机4控制机械手臂3将吸烟管2移动至目标位置；对目标位置进行吸烟。其中，吸烟管2可以是负压收集装置。

如图2-3所示，双目视觉装置包括立杆11、壳体12、滤光片13、左相机14和右相机15，壳体12内设置用于安装左相机14和右相机15的安装腔121，滤光片13设置在安装腔121的开口处，右相机15固定设置在安装腔121内，左相机14水平滑动的设置在安装腔121内。因此，通过壳体12与滤光片13相互配合，使得安装腔121相当于一个密封空间，能够有效防止环境中的焊烟进入安装腔121内，以污染左相机14和右相机15，造成相机的损坏。另外，左相机14可移动设置，进而调节左相机14与右相机15之间的距离，在观测近距离物体的时候距离更大，坐标计算结果更准确，观测远距离物体时距离更小，坐标计算结果更准确。其中，左相机14和右相机15均可以使用Cognex工业相机，型号为In-Sight Digital CCD 800-5715-1。

在一实施例中，如图1-4所示，还包括滑台16，滑台16设置在安装腔121内，左相机14安装在滑台16上，通过单片机控制滑台16水平往复移动。其中，滑台16使用品牌为THK，型号为CSKR33单片机可以使用STM32F103C8T6。

在一实施例中，如图1-4所示，还包括超声波测距传感器17和挡板18，壳体12上方侧壁上开设与安装腔121连通的第一滑槽122，超声波测距传感器17设置在第一滑槽122的一端，挡板18延伸设置连接杆19，连接杆19穿过第一滑槽122与左相机14连接，并且挡板18与超声波测距传感器17齐平且相对设置。其中，超声波测距传感器17可以使用型号为HY-SRF05的产品。通过超声波测距传感器17和挡板18的相互配合，即可测得左相机14与右相机15之间的距离，进而可以根据超声测距模块测得的位移数据对其进行相应调整，不需要重复标定工作。

在一实施例中，如图1-4所示，壳体12的一侧的侧壁开设容许滤光片通过的开口123，并且在壳体12另一侧的侧壁的对应位置设置固定滤光片13的凹槽124。优选的，壳体2的开口123处的上壁和下壁设置对称的第二滑槽125，滤光片3的上边和下边置于第二滑槽125内。通过第二滑槽125支撑和引导滤光片13水平移动。进而提高安装腔121的密封性以及滤光片13移动时的稳定性。同时，滤光片13可以减弱环境中高亮度噪声对于焊接中焊点处亮光的影响，并且可在一定程度上保护镜头。当然，滤光片13也可以使用衰减片。

在一实施例中，如图1-4所示，还包括陀螺仪20，陀螺仪20设置在左相机14上。其中，陀螺仪的型号为GY-9250，芯片型号为MPU-9250。

其中，超声波测距传感器17和陀螺仪均通过单片机进行数据采集，并且将数据传送给计算机4，通过计算机进行数据处理。

本发明还公开了一种基于双目视觉的自动焊烟捕集方法，包括如下步骤，

S1：对左右两个相机进行标定，建立相机模型的坐标系，求得相机模型中图像坐标系与世界坐标系的转换关系；

S2：通过左右相机进行图像采集，并且对采集的图像进行处理；

S3：对左相机拍摄的图像进行焊点检测；

S4：对左、右图像进行立体匹配获得视差矩阵，并利用视差原理获取深度图，计算出三维空间坐标；

S5：计算机根据坐标控制机械手臂移动，通过吸烟管对焊烟进行收集。

无论是在视觉设备安装过程中，由于人工操作不当、碰撞、挤压、变形等，会使得左、右相机的标定参数出现误差，还是滑台自动控制相机改变基距时，不可能保证理想的水平移动而不出现倾斜角度的偏差，这不可避免的会对标定参数引入误差。但是，重新标定又需要耗费很大的人力和物力，而旋转矩阵又对后续的基于极线约束的图像匹配存在较大的影响，匹配需要利用相机的内外参数、旋转矩阵、平移向量等来实现左右图像的共面行对准。优选的，步骤S1中，通过超声波测距传感器采集左右相机的距离关系，表现为3×1的平移向量；通过陀螺仪采集左相机相对于初始安装位置在x、y、z方向的角度变量，表现为3×3旋转矩阵；并计算出调整后的旋转矩阵和调整后的平移向量：

R_N＝R_M·R_O

T_N＝T_O+T_M

其中，R_N为调整后的3×3的旋转矩阵，R_M为测量的3×3的旋转矩阵，R_O为标定的3×3的旋转矩阵，T_N为调整后的3×1的平移向量，T_M为测量的3×1的平移向量，T_O为标定的3×1的平移向量。

优选的，步骤S2中，过滤片13可以是衰减片，利用过滤片，增加信噪比，使得相机本身的暗电流噪声相对亮点的灰度值很小；然后，对左右图像进行单阈值化处理，滤除噪声，增强亮点；最后，通过灰度值检测，提取图像中所有最亮的像素，作为亮点区域，并计算区域中心作为亮点的像素坐标。用衰减片滤除比电焊弧光暗的环境噪声，如照明灯光、物体反光、自然光等。在一优选实施例中，计算机中的阈值为250，进而提取并增强灰度值大于250的像素位置。

其中，步骤S4用立体匹配算法确定视差矩阵，具体的流程为：

(1)构造一个小窗口，类似于卷积核；

(2)用窗口覆盖左图像，选择出窗口覆盖区域内的所有像素点；

(3)对与左图像已共面行对准的右图像，在同一极线上选择出覆盖区域的像素点；

(4)左边覆盖区域减去右边覆盖区域，求出所有像素点灰度差的绝对值之和；

(5)沿着极线移动右图像的窗口，重复(3)、(4)的处理(这里仅在同一极线的范围内进行搜索)；

(6)找到这个范围内差值最小的窗口，即找到了左右图像的最佳匹配的像素块。

在使用中，计算机通过计算出的亮点面积大小作为尺度因子，对左右相机的基距进行调整，由双目视差原理，深度方向的测量误差与基距成反比。距离相机越近的点，亮点数量越多，它在左右相机中的视差越大，调小左右相机之间的基距；距离相机越远的点，它在左右相机中的视差越小。因此，在远距离测量时，应使左右相机保持较大的基距和视差，以确保坐标计算的准确性和稳定度。

另外，双目视觉坐标定位方法在中国专利CN 104933718 B中已经公开，在此不再过多阐述。

以上仅为本发明的较佳实施例，并非用来限定本发明的实施范围；如果不脱离本发明的精神和范围，对本发明进行修改或者等同替换，均应涵盖在本发明权利要求的保护范围当中。