发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种锁孔TIG焊焊接质量实时检测的嵌入式装置及方法，适用于锁孔TIG焊在中厚板曲面长焊缝的实时焊接质量识别和远程监控。

本发明的目的可以通过采取如下技术方案达到：

一种锁孔TIG焊焊接质量实时检测的嵌入式装置，所述嵌入式装置包括：

CMOS相机1，与AI核心板2相连，用于实时采集锁孔TIG焊的焊接场景图像，传输图像数据给AI核心板2；

AI核心板2，与嵌入式装置其他组成部件进行数据通讯，并集成锁孔TIG焊焊接质量实时检测软件包；

LVDS液晶触摸屏3,与AI核心板2相连，用于本地焊接图像实时显示输出，以及使用触摸功能实现包括曝光时间在内的应用界面的参数设定输入；

鼠标4,与AI核心板2相连，用于辅助应用软件点击框选和输入参数；

无线模块5，与AI核心板2相连，用于传输图像数据、焊接状态和预警信息到远程服务器；

电源模块6，与AI核心板2相连，将输入电压和/或电流转换成多种电压为嵌入式装置各个组成部件供电；

焊接电流传感模块7，与AI核心板2相连，用于机器人焊接动态过程的焊接电流实时采集和传输，使用霍尔电流传感器，通过RS232串口与AI核心板2通讯；

焊接电压传感模块8，与AI核心板2相连，用于机器人焊接动态过程的焊接电压实时采集和传输，使用霍尔电压传感器，通过RS232串口与AI核心板2通讯；

爬行机器人控制器9，与AI核心板2相连，用于向爬行机器人发出行走及焊接指令，并将爬行机器人焊枪实时位姿信息发送给AI核心板2；

深熔锁孔TIG焊电源10,与AI核心板2相连，用于接收AI核心板2发出的电流和电压控制信号；

其中，基于所述嵌入式装置的焊接质量实时检测方法的过程如下：

步骤S1：试焊标定，根据当前的焊接参数焊接一块相同的材料，CMOS相机1通过多曝光模式采集图像分别选择焊枪、弧光、锁孔和熔池清晰的曝光时间；

步骤S2：多曝光融合，静态框选焊枪、弧光、锁孔和熔池的区域，调节4个图像的增益使得焊枪、弧光、锁孔和熔池的区域亮度均衡，将4个图像合成细节清晰的图像；

步骤S3：将步骤S2合成的图像作为输入，使用CNN技术输出包含锁孔和熔池的预测特征图；

步骤S4：根据步骤S3获取的预测特征图根据RGB颜色值分别提取锁孔和熔池像素点获得锁孔图像和熔池图像，分别进行二值化，前景为255，背景为0，先膨胀后腐蚀，获取最大连通域轮廓，并计算外包矩阵，根据外包矩阵提取锁孔和熔池的长宽，根据最大连通域轮廓计算Hu不变矩的形态特征；

步骤S5：将当前焊接电压、焊接电流，锁孔和熔池的长宽和形态特征作为输入，根据构建的BP神经网络识别熔透的状态。

进一步地，所述AI核心板2的PCB大小为40mmx55mm，采用RK1808K宽温级AI芯片，内存为2GB DDR4 SDRAM，存储为8GB eMMC1路，配有LVDS液晶屏幕接口，1路千兆以太网接口，1路USB 3.0Host接口，1路TF卡接口，1路音频/录音接口，1路PCIE接口，8路IO扩展接口，4路UART接口，3路SPI，4路I2C，4路模拟采集ADC接口，1路无线WIFI模块接口和1路无线4G模块接口；

所述CMOS相机1具有软件触发和设置曝光时间的功能，曝光时间范围满足100us-50ms,动态范围大于60dB，帧率大于60帧/s。

进一步地，所述电源模块6，包括电源管理集成电路PMIC芯片RK809，1个可配置的同步降压转换器，9个LDO调节器，两个开关和一个电池燃料计量器，根据AI核心板2的工作状态动态调整各DC-DC变换器的输出电压，使嵌入式装置效率最大化；所述电源模块(6)将5V/3A的输入电压电流转换成多种电压为嵌入式装置的各个组成部件供电。

进一步地，所述无线模块5采用华为ME909s 4G通信模块，将焊接图像缩略图、焊接速度、焊接电流电压、熔池和锁孔的长宽和形态特征以及熔透状态传输到远程服务器。

进一步地，所述焊接质量实时检测方法的步骤S1中试焊标定的如下：根据当前的焊接参数焊接一块相同的材料，以100us作为步进设定CMOS相机1 100us-50ms区间内的曝光时间序列，拍摄当前焊接参数下的各个曝光图，人为选取焊枪清晰、弧光清晰、锁孔清晰和熔池清晰曝光图分别对应的4种曝光时间，将CMOS相机1设为多曝光模式，曝光时间依次设定为上述4种曝光时间。

进一步地，所述焊接质量实时检测方法的步骤S2中多曝光融合的过程如下：在焊接前静态框选焊枪、弧光、锁孔和熔池的区域作为计算增益的重叠区域，最优化下面公式求解4个图像的增益：

式中，分别为焊枪、弧光、锁孔和熔池重叠部分对应的像素亮度，g₀，g₁，g₂，g₃分别代表图像增益，σ_I，σ_g分别为重叠区误差的标准差和增益的标准差，设σ_I＝20，σ_g＝0.1；

根据下述公式融合多曝光图像：

式中，为未调整的图像对应像素点的亮度，Img′_i为未调整后的图像对应像素点的亮度。

进一步地，所述焊接质量实时检测方法的步骤S3中构建的CNN神经网络，输入维度为512x512x3，输出维度为512x512x3；

CNN神经网络的中间结构的操作为下采样操作、卷积操作和上采样操作；

其中，下采样操作：上层输入经过3x3卷积核的普通卷积，层数与上层输入层数一致，步进为2，得到第一输出；上层输入经过平均池化，步进为2得到第二输出；将第一输出和第二输出堆叠；再经过批量归一化和线性整流处理得到本层输出，下采样操作使长宽尺寸均减半，但层数增加一倍；

卷积操作：上层输入经过3x3卷积核的膨胀卷积，卷积层数与上层输入层数一致，步进为1，批量归一化和线性整流处理得到本层输出，卷积操作不使长宽和层数变化；

上采样操作：上层输入经过3x3卷积核的反卷积，输出层数是上层输入层数的一半，步进为2，再经过批量归一化和线性整流处理得到本层输出；上采样操作使长宽尺寸均增加一倍，但层数减半；

网络结构，输入层512x512x3下采样操作获得第1层输出256x256x6，第1层输出下采样操作获得第2层输出128x128x12，第2层输出下采样操作获得第3层输出为64x64x24，第3层卷积操作获得第4层输出64x64x24，第4层卷积操作获得第5层输出64x64x24，第5层上采样操作获得第6层输出128x128x12，第6层上采样操作获得第7层输出256x256x6，第7层上采样操作获得输出层512x512x3。

进一步地，所述CNN神经网络的训练过程如下：

使用的训练数据为包括不同焊接速度、焊接电流、焊接电压、焊接材料的焊接条件下所采集的5000张实际锁孔TIG焊图像，包括未熔透、适度熔透、过熔透的状态，标注后的标签图为三通道的掩膜图像，对属于背景、锁孔和熔池的像素点分别赋予不同的RGB颜色；

将训练数据按7：3分为训练集和验证集，同时在训练过程中对训练数据进行数据增强，每次训练25％的随机概率选取数据进行包括加高斯噪声、平移、缩放、镜像、扭曲和旋转在内的数据增强操作，数据批大小选为8，学习率为0.001，优化器选Adam，损失函数选MSE。

进一步地，所述焊接质量实时检测方法的步骤S4中根据图像处理方法提取锁孔和熔池的长宽，以及形态特征的过程如下：

S41、预测的特征图根据RGB颜色分别分离出锁孔和熔池图像；

S42、分别对锁孔和熔池图像先膨胀后腐蚀，再计算连通域，获取锁孔和熔池图像的最大轮廓；

S43、分别计算锁孔和熔池的最大轮廓的上下左右的边界获取外包矩形，从而获得锁孔长宽特征H_k、W_k和熔池的长宽特征H_p、W_p；

S44、根据锁孔和熔池的最大轮廓分别计算锁孔Hu不变矩h_k1，h_k2，…h_k7和熔池hu不变矩h_p1，h_p2，…h_p7。

进一步地，所述BP神经网络，将锁孔和熔池的尺寸特征和形态特征，以及由焊接电流和电压传感模块测得的电流I和电压V作为输入，形成[H_k，W_k，H_p，W_p，h_k1，h_k2，…h_k7，h_p1，h_p2，…h_p7，I，V]，共20个特征，即输入层为20个节点，将未熔透、适度熔透和过熔透三个状态作为输出，即输出层为3个节点，所述BP神经网络包括两个隐层，第一个隐层节点个数为128，第二个隐层节点个数为32，激活函数选Softmax函数，迭代次数设为2000次；其中，所述BP神经网络使用的训练数据为包括不同焊接速度、焊接电流、焊接电压、焊接材料在内不同焊接条件下所采集的5000张实际的锁孔TIG焊图像，包含未熔透、适度熔透、过熔透的状态。

本发明相对于现有技术具有如下的优点及效果：

1)本发明适用于锁孔TIG焊在中厚板曲面长焊缝的实时焊接质量识别和远程监控，嵌入式装置可安装在爬行机器人上，具有体积小，灵活性好，适用范围广的优点；

2)本发明采用普通CMOS相机+多曝光融合技术替代昂贵高动态相机+滤波片组合的方式，方便快捷，低成本；

3)本发明使用CNN技术替代传统的分割方法，具有抗光照和伪边缘的优点，且网络结构属于轻量级，将其应用RK1808K AI芯片上，无需昂贵的工控机，使耗时的分割算法具备实时性的特点；

4)本发明采用锁孔和熔池的尺寸特征和形态特征，以及由焊接电流和电压传感模块测得的电流和电压，作为识别焊接熔透状态的输入特征，相比绝大部分使用熔池的尺寸，考虑形态特征的影响，在识别率准确率更高。