阅读说明：本技术 一种基于人工智能的零件气密性泄漏缺陷检测方法及系统 (Method and system for detecting part air tightness leakage defect based on artificial intelligence ) 是由 周婷婷 李俊 于 2020-11-04 设计创作，主要内容包括：本发明公开了一种基于人工智能的零件气密性泄漏缺陷检测方法及系统,涉及人工智能领域。该方法包括如下步骤：将零件放置透明水箱中,并向零件内部充气,利用线阵激光增强水体中的气泡特征,使所述气泡特征因全反射产生亮点；采集所述透明水箱中水体的图像信息,所述图像信息包括水体中的气泡亮点特征；将所述图像信息经过深度神经网络处理后,输出亮点图像,所述亮点图像包括所述气泡亮点特征及其位置信息；利用多帧所述亮点图像,结合所述位置信息获得所述气泡亮点的位置数量；根据各位置所述气泡亮点的闪烁次数结合预设阈值筛选出泄漏气泡。实现了对较小泄漏气泡的自动检测,并去除了零件自身携带的粘附气泡对检测结构的干扰。(The invention discloses a method and a system for detecting the air tightness leakage defect of a part based on artificial intelligence, and relates to the field of artificial intelligence. The method comprises the following steps: placing the part in a transparent water tank, inflating the part, and enhancing bubble characteristics in the water body by using linear array laser to enable the bubble characteristics to generate bright points due to total reflection; acquiring image information of a water body in the transparent water tank, wherein the image information comprises bubble bright spot characteristics in the water body; after the image information is processed by a deep neural network, outputting a bright spot image, wherein the bright spot image comprises the bubble bright spot characteristics and the position information thereof; acquiring the number of the positions of the bubble bright spots by utilizing a plurality of frames of bright spot images and combining the position information; and screening out the leaked bubbles by combining the flicker times of the bubble bright points at all positions with a preset threshold. The automatic detection of small leakage bubbles is realized, and the interference of the adhesion bubbles carried by the part to the detection structure is eliminated.)

一种基于人工智能的零件气密性泄漏缺陷检测方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的零件气密性泄漏缺陷检测方法及系统。

背景技术

在生产生活中，很多设备的气密性零件会因腐蚀、高温高压、裂纹、磨损老化和长时间运作等原因，出现气密性泄漏的问题。目前在对压力容器进行气密性实验测试的过程中，通常直接将压力容器充气高压气体，然后测试人员人为或者使用图像处理设备观察气泡的有无，来判定零件是否泄漏。

但是由于有些零件泄漏孔较小，产生的泄漏气泡较小，通过人眼或者相机判断误差较大，并且会受到零件进入水体中携带的粘附气泡干扰，从而使判定结果出现错误。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的零件气密性泄漏缺陷检测方法及系统，所采用的技术方案具体如下：

第一方面，本发明一个实施例提供了一种基于人工智能的零件气密性泄漏缺陷检测方法，包括以下步骤：

将零件放置透明水箱中，并向零件内部充气，利用线阵激光增强水体中的气泡特征，使所述气泡特征因全反射产生亮点；

采集所述透明水箱中水体的图像信息，所述图像信息包括水体中的气泡亮点特征；

将所述图像信息经过深度神经网络处理后，输出亮点图像，所述亮点图像包括所述气泡亮点特征及其位置信息；

利用多帧所述亮点图像，结合所述位置信息获得所述气泡亮点的位置数量；

根据各位置所述气泡亮点的闪烁次数结合预设阈值筛选出泄漏气泡。

优选的，利用多帧所述亮点图像，结合所述位置信息获得所述气泡亮点的位置数量，包括以下步骤：

将单帧所述亮点图像进行二值化处理，获得亮点二值图像；

按照时间顺序叠加每帧所述亮点二值图像，得到叠加图；

对所述叠加图进行聚类处理，所述气泡亮点的位置数量；

将每个位置同类像素值进行叠加，得到该位置气泡亮点闪烁次数。

优选的，该方法还包括结合采样时间，获取零件中泄漏孔的泄漏速度，包括以下步骤：

获得所述气泡亮点聚类中心并设置搜索半径，建立搜索区域；

按照时间顺序逐帧检测所述搜索区域中的气泡亮点，并标记时序；

根据标记结果获得二值序列，计算气泡亮点标记之间的平均帧数；

结合相机采样频率，得到间隔时间，计算对应气泡亮点的闪烁频率，以所述闪烁频率作为对应泄漏孔的泄漏速度的度量值。

优选的，该方法还包括结合所述线阵激光的位姿对所述零件每个泄漏位置进行定位，包括:

对所述图像信息进行畸变校正，获得校正图像；

所述校正图像经过语义分割网络处理，得到边缘图像，所述边缘图像包括所述透明水箱的边线特征；

根据所述筛选出的泄漏气泡亮点结合相机的内参和所述边线特征，获取所述泄漏气泡亮点在所述边缘图像的位置(x，y)；

以所述透明水箱中的一个角点为原点结合连接所述原点的边线，建立三维坐标系；

根据水缸的先验长度和所述泄漏气泡亮点在所述边缘图像的位置，获得所述泄漏气泡亮点在所述透明水箱主视角的实际投影位置(X，Y)，所述主视角为相机采集所述图像信息时的视角；

结合所述线阵激光的位姿，获取所述泄漏气泡亮点的Z向坐标，获取泄漏气泡亮点在三维坐标系中的位置(X，Y，Z)，其中,该所述泄漏气泡亮点对应的泄漏位置为(X，0， Z)。

第二方面，本发明另一个实施例提供了一种基于人工智能的零件气密性泄漏缺陷检测系统，包括：

特征增强模块，用于将零件放置透明水箱中，并向零件内部充气，利用线阵激光增强水体中的气泡特征，使所述气泡特征因全反射产生亮点；

图像采集模块，用于采集所述透明水箱中水体的图像信息，所述图像信息包括水体中的气泡亮点特征；

深度神经网络模块，用于将所述图像信息经过深度神经网络处理后，输出亮点图像，所述亮点图像包括所述气泡亮点特征及其位置信息；

亮点分析模块，用于利用多帧所述亮点图像，结合所述位置信息获得所述气泡亮点的位置数量；

泄漏气泡判定模块，用于根据各位置所述气泡亮点的闪烁次数结合预设阈值筛选出泄漏气泡。

优选的，亮点分析模块包括：

二值化单元，用于将单帧所述亮点图像进行二值化处理，获得亮点二值图像；

叠加图获取单元，用于按照时间顺序叠加每帧所述亮点二值图像，得到叠加图；

位置数量获取单元，用于对所述叠加图进行聚类处理，所述气泡亮点的位置数量；

闪烁次数获取单元，用于将每个位置同类像素值进行叠加，得到该位置气泡亮点闪烁次数。

优选的，该系统还包括泄漏速度获取模块，用于结合采样时间，获取零件中泄漏孔的泄漏速度，所述泄漏速度获取模块包括：

搜索区域建立单元，用于获得所述气泡亮点聚类中心并设置搜索半径，建立搜索区域；

时序标记单元，用于按照时间顺序逐帧检测所述搜索区域中的气泡亮点，并标记该时序；

平均帧数获取单元，用于根据标记结果获得二值序列，计算气泡亮点标记之间的平均帧数；

泄漏速度获取单元，用于结合相机采样频率，得到间隔时间，计算对应气泡亮点的闪烁频率，以所述闪烁频率作为对应泄漏孔的泄漏速度的度量值。

优选的，该系统还包括泄漏位置定位模块，用于结合所述线阵激光的位姿对所述零件每个泄漏位置进行定位，所述泄漏位置定位模块包括:

图像校正单元，用于对所述图像信息进行畸变校正，获得校正图像；

语义分割单元，用于所述校正图像经过语义分割网络处理，得到边缘图像，所述边缘图像包括所述透明水箱的边线特征；

边缘图像亮点定位单元，用于根据所述筛选出的泄漏气泡亮点结合相机的内参和所述边线特征，获取所述泄漏气泡亮点在所述边缘图像的位置(x，y)；

世界坐标系建立单元，用于以所述透明水箱中的一个角点为原点结合连接所述原点的边线，建立三维坐标系；

亮点实际投影获取单元，用于根据水缸的先验长度和所述泄漏气泡亮点在所述边缘图像的位置，获得所述泄漏气泡亮点在所述透明水箱主视角的实际投影位置(X，Y)，所述主视角为相机采集所述图像信息时的视角；

泄漏位置获取单元，用于结合所述线阵激光的位姿，获取所述泄漏气泡亮点的Z向坐标，获取泄漏气泡亮点在三维坐标系中的位置(X，Y，Z)，其中,该所述泄漏气泡亮点对应的泄漏位置为(X，0，Z)。

本发明至少具有如下有益效果：

本发明通过将零件放置透明水箱中，并向零件内部充气，然后利用线阵激光增强水体中的气泡特征，得到气泡亮点，所述气泡亮点为所述气泡特征经过所述线阵激光增强后因全反射所产生的亮点。然后采集所述透明水箱中水体的图像信息，将所述图像信息经过神经网络处理后，输出亮点图像，所述亮点图像包括所述气泡亮点特征及其位置信息。而后利用多帧所述亮点图像，获得所述气泡亮点的位置数量，最后根据各位置的所述气泡亮点的闪烁次数结合预设阈值筛选出泄漏气泡。实现了对较小泄漏气泡的自动检测，并去除了零件自身携带的粘附气泡对检测结构的干扰。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于人工智能的零件气密性泄漏缺陷检测方法示意图；

图2为本发明一个实施例所提供的一种基于人工智能的零件气密性泄漏缺陷检测方法流程图；

图3为本发明一个实施例所提供的一种基于人工智能的零件气密性泄漏缺陷检测方法中透明水箱的视图以及线阵激光位姿图；

图4为本发明一个实施例所提供的一种基于人工智能的零件气密性泄漏缺陷检测系统结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的零件气密性泄漏缺陷检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的零件气密性泄漏缺陷检测方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例所提供的一种基于人工智能的零件气密性泄漏缺陷检测方法示意图；图2示出了本发明一个实施例所提供的一种基于人工智能的零件气密性泄漏缺陷检测方法流程图；图3示出了本发明一个实施例所提供的一种基于人工智能的零件气密性泄漏缺陷检测方法中透明水箱视图和线阵激光位姿图。

一种基于人工智能的零件气密性泄漏缺陷检测方法，其流程图如图1所示，包括如下步骤：

步骤1：将零件放置透明水箱中，并向零件内部充气，利用线阵激光增强水体中的气泡特征，使气泡特征因全反射产生亮点；

步骤2：采集透明水箱中水体的图像信息，图像信息包括水体中的气泡亮点特征；

步骤3：将图像信息经过深度神经网络处理后，输出亮点图像，亮点图像包括气泡亮点特征及其位置信息；

步骤4：利用多帧亮点图像，结合位置信息获得气泡亮点的位置数量；

步骤5：根据各位置气泡亮点的闪烁次数结合预设阈值筛选出泄漏气泡。

综上所述，本发明实施例提供了一种基于人工智能的零件气密性泄漏缺陷检测方法，该方法通过将零件放置透明水箱中，并向零件内部充气，然后利用线阵激光增强水体中的气泡特征，得到气泡亮点，气泡亮点为气泡特征经过线阵激光增强后因全反射所产生的亮点。然后采集透明水箱中水体的图像信息，将图像信息经过神经网络处理后，输出亮点图像，亮点图像包括气泡亮点特征及其位置信息。而后利用多帧亮点图像，获得气泡亮点的位置数量，最后根据各位置的气泡亮点的闪烁次数结合预设阈值筛选出泄漏气泡。实现了对较小泄漏气泡的自动检测，并去除了零件自身携带的粘附气泡对检测结构的干扰。

具体的，在本实施例的步骤1中，通过线阵激光来增强水体中气泡特征，激光从水中射到气泡上时，由于介质的改变，使得激光在气泡表面发生反射和折射，视觉上的变化为出现高亮的有色点。

需要说明的是，利用计算机视觉对气泡的检测，往往会由于水体浑浊、光照强度不合适使得气泡特征不够明显，难以被检测、分割出来。且检测到气泡后，难以通过单视角进行缺陷的定位。RGB-D相机由于水体和玻璃缸体的影响，使得获得的深度值信息缺失严重、误差较大，难以使用。

具体的，在本实施例的步骤3中，使用深度学习神经网络对图像信息中的气泡亮点识别和定位。由于不同场景下水体的背景、浑浊度、光照深度和激光波长都不相同，一般的图像处理的方式，难以适应不同情况，泛化能力有限。本发明使用深度学习神经网络的方式能够通过大量训练数据让网络学习，然后对图像信息进行编码提取图像特征，而后通过解码过程恢复图像，得到关键点在图像中的相对位置，从而提高系统的泛化能力。具体的：

深度神经网络以采集的图像信息为输入，先进行解码，即使用卷积和池化操作在对图像信息进行下采样的过程中，提取图像信息中的空域特征，然后经编码器(Encoder)处理后输出图像信息中的特征向量。

将输出的特征向量经过第一解码器(Dncoder1)处理，输出一定缩放比例的关键点热力图，关键点热力图的通道数量为两个，一个通道为背景通道，一个通道为亮点关键点通道。

将关键点热力图经过后处理后，获得亮点图像，亮点图像能够反映出气泡亮点在图像中具体的坐标位置。

具体的，在本实施例中，深度神经网络采用Encoder-Decoder1的结构，网络中的损失函数采用均方差损失函数。该网络进行训练所用数据集采集的场景为相机贴近透明水缸，缸中有零件因为气密性问题冒出气泡，气泡接触到激光时，表面发生发射，使得显示出和激光同颜色的高亮点。训练所用的标签为测试图像对应的关键点热斑标签图像，首先标记出图像中高亮点的位置，而后使用高斯核进行模糊处理，得到对应的关键点热斑。

需要说明的是，深度神经网络中的编码器和解码器有多种实现方式，包括沙漏网络 Hourglass、Mask-RCNN和deeplabv3等网络结构。在本实施例中，采用deeplabv3网络结构实现方式。

具体的，在本实施例的步骤4和步骤5中，因零件中存在大量黏着气泡，黏着气泡的浮动也会在接触到激光时产生亮点，所以检测到的激光亮点并非完全由泄漏气泡产生。并且采用深度神经网络进行识别，其正确率会受到背景的影响，使得有时会发生误检测的情况。本发明通过多帧叠加的方式，先获得亮点的位置数量和各位置亮点的闪烁次数，以此判断真实的泄漏气泡点。具体的：

将单帧亮点图像进行二值化处理，获得亮点二值图像。具体的，将气泡亮点位置像素值为1，其他位置像素值为0。

按照时间顺序叠加每帧亮点二值图像，得到叠加图。

对叠加图进行聚类处理，获取亮点的总体数量；具体的，因为各帧图像判断出的同一气泡亮点的位置坐标会有所波动，故对统计结果图IM进行聚类处理，得到类别数量，即为气泡亮点位置数量。在本实施例中，聚类方法采用K-MEANS。

将每个位置同类像素值进行叠加，得到该位置气泡亮点闪烁次数。

根据每个位置的气泡亮点的闪烁次数结合预设阈值筛选出泄漏气泡。

进一步的，该方法还包括结合采样时间，获取零件的泄漏率，从而反映缺陷的严重程度，具体的：

获得气泡亮点聚类中心并设置搜索半径，在本实施例中，以该类别中各点到中心点最大的距离作为搜索半径R。

以聚类中心为原点结合搜索半径，按照时间顺序逐帧检测范围内亮点，并标记该时序。具体的，按照时间顺序，从起始帧开始逐帧进行检测，以该类气泡的聚类中心为原点，以半径R为搜索半径，检测范围内是否具有亮点，若有则该时序记为1，否则为0。

根据检测结果获得二值序列，计算相邻气泡触碰到激光线的平均帧数p。具体的，平均帧数为获得的二值序列中1与1之间所间隔的0的平均数量。

结合相机采样频率f，得到间隔时间t：t＝p*f。计算对应气泡亮点的闪烁频率q：q＝1/t，闪烁频率反映对应泄漏孔的泄漏速度。

进一步的，该方法还包括线阵激光的位姿对零件泄漏位置进行定位，如图3所示，在本实施中，以透明水箱主视图20视角下左下角的角点为原点O建立三维坐标系，在透明水箱右视图21的视角下，线阵激光23安装方式为以透明水箱左侧纵向的边线为起点24 斜向上均匀安装至水箱角点位置，其构成的直线与水平线的夹角为θ，该起点距透明水箱的底边距离为d。根据这种安装方式，能够通过透明水箱主视图20的视角下，依照气泡 22的距原点O的纵向距离Y获取其距原点的Z轴距离Z，然后结合其距原点O的横向距离X，定位零件泄漏孔的位置(X，0，Z)。具体的：

对图像信息进行畸变校正，获得校正图像。需要说明的是，图像的畸变校正方法为所属技术领域的技术人员所公知的常用方法，在此不再详细赘述。

校正图像经过语义分割网络处理，得到边缘图像，边缘图像包括透明水箱的边线特征。具体的，在本实施例中，语义分割网络包括第二解码器(Deconder2)以及与上述深度神经网络共用的编码器(Encoder)，采用Encoder-Deconder2的结构形式，其实现方式与上述深度神经网络相同。

根据筛选出的泄漏气泡结合相机的内参和边线特征，获取泄漏气泡在边缘图像的位置 (x，y)。具体的：

x＝um*dx

y＝vm*dy

其中，um为图像中气泡亮点到边缘图像左侧边线的像素距离，vm为图像中气泡亮点到边缘图像底部边线的像素距离。dx和dy为相机内部参数，dx表示一个像素点横向的实际物理量长度，dy表示一个像素点纵向的实际物理长度。

以透明水箱中的一个角点为原点结合连接原点的边线，建立三维坐标系。

根据水缸的先验长度和泄漏气泡在边缘图像的位置，获得泄漏气泡亮点在透明水箱主视角的实际投影位置(X，Y)。具体的：

X＝x*L/f

Y＝y*L/f

其中，L为相机光心到透明水箱主视图玻璃面的距离，f为相机焦距。

结合线阵激光的位姿，获取泄漏气泡亮点的Z向坐标，获取泄漏气泡亮点在三维坐标系中的位置(X，Y，Z)，其中，该泄漏气泡亮点对应的泄漏位置为(X，0，Z)。具体的，如图3所示，利用本实施例中线阵激光的位姿，结合几何模型求解泄漏孔Z向坐标：

Z＝(Y-d)/tanθ

需要说明的是，待检测零件在透明水箱中，处于透明水箱的底部，所以在定位零件泄漏孔的位置时，只需定位其在水箱底面的坐标位置，就能够获取零件表面的泄漏位置。此时，三维坐标系中，Y轴坐标位置取0，即坐标(X，0，Z)可表示出零件表面的泄漏位置。利用图像中气泡的位置结合线阵激光的位姿，计算得到零件泄漏孔在坐标下的实际位置，实现了单视角泄漏孔定位。

基于与上述方法实施例相同的发明构思，本发明实施例还提供了一种基于人工智能的零件气密性泄漏缺陷检测系统。

请参阅图4，该零件气密性泄漏缺陷检测系统100包括特征增强模块101、图像采集模块102、深度神经网络模块103、亮点分析模块104和泄漏气泡判定模块105。

具体的，特征增强模块用于将零件放置透明水箱中，并向零件内部充气，利用线阵激光增强水体中的气泡特征，使气泡特征因全反射产生亮点。图像采集模块用于采集透明水箱中水体的图像信息，图像信息包括水体中的气泡亮点特征。深度神经网络模块用于将图像信息经过深度神经网络处理后，输出亮点图像，亮点图像包括气泡亮点特征及其位置信息。亮点分析模块用于利用多帧亮点图像，结合位置信息获得气泡亮点的位置数量。泄漏气泡判定模块用于根据各位置气泡亮点的闪烁次数结合预设阈值筛选出泄漏气泡。

进一步的，亮点分析模块包括二值化单元、叠加图获取单元、位置数量获取单元和闪烁次数获取单元。

具体的，二值化单元用于将单帧亮点图像进行二值化处理，获得亮点二值图像。叠加图获取单元用于按照时间顺序叠加每帧亮点二值图像，得到叠加图。位置数量获取单元用于对叠加图进行聚类处理，气泡亮点的位置数量。闪烁次数获取单元用于将每个位置同类像素值进行叠加，得到该位置气泡亮点闪烁次数。

进一步的，该系统还包括泄漏速度获取模块，用于结合采样时间，获取零件中泄漏孔的泄漏速度，泄漏速度获取模块包括搜索区域建立单元、时序标记单元、平均帧数获取单元和泄漏速度获取单元。

具体的，搜索区域建立单元用于获得气泡亮点聚类中心并设置搜索半径，建立搜索区域。时序标记单元用于按照时间顺序逐帧检测搜索区域中的气泡亮点，并标记该时序。平均帧数获取单元用于根据标记结果获得二值序列，计算气泡亮点标记之间的平均帧数。泄漏速度获取单元用于结合相机采样频率，得到间隔时间，计算对应气泡亮点的闪烁频率，以闪烁频率作为对应泄漏孔的泄漏速度的度量值。

进一步的，该系统还包括泄漏位置定位模块，用于结合线阵激光的位姿对零件每个泄漏位置进行定位，泄漏位置定位模块包括图像校正单元、语义分割单元、边缘图像亮点定位单元、世界坐标系建立单元、亮点实际投影获取单元和泄漏位置获取单元。

具体的，图像校正单元用于对图像信息进行畸变校正，获得校正图像。语义分割单元用于校正图像经过语义分割网络处理，得到边缘图像，边缘图像包括透明水箱的边线特征。边缘图像亮点定位单元用于根据筛选出的泄漏气泡亮点结合相机的内参和边线特征，获取泄漏气泡亮点在边缘图像的位置(x，y)。世界坐标系建立单元用于以透明水箱中的一个角点为原点结合连接原点的边线，建立三维坐标系。亮点实际投影获取单元用于根据水缸的先验长度和泄漏气泡亮点在边缘图像的位置，获得泄漏气泡亮点在透明水箱主视角的实际投影位置(X，Y)，主视角为相机采集图像信息时的视角。泄漏位置获取单元用于结合线阵激光的位姿，获取泄漏气泡亮点的Z向坐标，获取泄漏气泡亮点在三维坐标系中的位置(X，Y，Z)，其中，该泄漏气泡亮点对应的泄漏位置为(X，0，Z)。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。