阅读说明：本技术 用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质 (Three-cone visual angle fusion method, system and medium for improving surface defect detection precision ) 是由 杭天欣 马元巍 陈红星 王克贤 潘正颐 侯大为 于 2021-01-13 设计创作，主要内容包括：本发明提供了一种用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质,包括：步骤1：拍摄样本的三锥视角图；步骤2：准备该样本对应的无缺陷图并送入特征匹配模型,提取第一特征图；步骤3：将三锥视角图排队送入特征匹配模型,提取第二特征图；步骤4：将第一特征图和第二特征图送入单应矩阵网络,获得转换矩阵；步骤5：对第二特征图进行降采样；步骤6：将降采样图片送入转换矩阵,得到变换图形；步骤7：将变换图形进行通道层次的融合,形成三通道融合图；步骤8：将三通道融合图送入检测模型,学习获得深度信息。本发明采用三通道融合和特征匹配等方法,解决了背景干扰和凹凸缺陷的问题,可以有效的表面缺陷检测的精度。(The invention provides a three-cone visual angle fusion method, a system and a medium for improving surface defect detection precision, which comprise the following steps: step 1: shooting a three-cone view angle diagram of a sample; step 2: preparing a defect-free image corresponding to the sample, sending the defect-free image into a feature matching model, and extracting a first feature image; and step 3: queuing the three-cone view angle images and sending the three-cone view angle images into a feature matching model, and extracting a second feature image; and 4, step 4: sending the first characteristic diagram and the second characteristic diagram into a homography matrix network to obtain a conversion matrix; and 5: down-sampling the second feature map; step 6: sending the down-sampled picture into a conversion matrix to obtain a conversion graph; and 7: carrying out channel level fusion on the transformed graph to form a three-channel fusion graph; and 8: and (4) sending the three-channel fusion image into a detection model, and learning to obtain depth information. The invention adopts methods of three-channel fusion, characteristic matching and the like, solves the problems of background interference and concave-convex defects, and can effectively detect the surface defects with high precision.)

用于提高表面缺陷检测精度的三锥视角融合方法、系统及 介质

技术领域

本发明涉及计算机视觉技术领域，具体地，涉及一种用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质。

背景技术

在工业表面缺陷质量检测中，缺料、多料、裂纹等凹凸的缺陷经常容易混肴，在金属平整的表面，多料是凸出的部分，缺料和裂纹是凹进的部分，所以在二维平面中，凸出的多料和凹进的缺料看起来极其相似。大部分普通相机拍出的待检测图片都是二维图像，所以这导致了算法只能获得缺陷的二维信息(长度和宽度信息)，并不能获得图像的深度信息，所以深度信息的缺乏这是导致检测结果不准、混肴的主要原因。

然而，深度相机的速度、精度和成本都无法满足工厂的实际需求，在以往技术中，多光源图像重建技术可以利用普通相机在一定程度上获得深度信息，但实际上由于背景纹理的复杂性，重建结果经常失败，从而带来更低的检测精度，多光源图像重建其本身更依赖一个细致的调参过程，所以并不适合批量的工程化。

在工业质检领域，精度是一个很严格的指标，但是由于图像缺乏深度信息，所以很多时候会导致严重的精度下降。现有技术中，多光源图像重建是一种解决图像缺乏深度信息的方法，然而由于金属表面的反光性质、背景纹理的不同、以及相机角度的选择问题，导致现有阶段的多光源图像重建技术并不是一个成熟的方案。

专利文献CN111624206A(申请号：CN202010632056.4)公开一种基于线阵相机立体视觉的金属表面缺陷检测方法，包括以下步骤：采用共享光源或者共面光源照射的方式，通过设置多个线阵相机获取不同视角的待测金属表面图像；通过立体匹配计算所述待测金属表面深度以及运动速度，同时确定所述待测金属表面任一点在所述线阵相机采集图像中的灰度对应关系；根据灰度对应关系计算所述待测金属表面的法向角度，通过所述待测金属表面法向角度和深度立体信息与二维灰度图像的融合，对金属表面的缺陷进行检测。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种用于提高表面缺陷检测精度的三锥视角融合方法、系统及介质。

根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合方法，包括：

步骤1：将相机置于检测样本上方，拍摄三锥视角图；

步骤2：准备该样本对应的无缺陷图，并将对应的无缺陷图送入特征匹配模型，提取第一特征图；

步骤3：将三锥视角图排队送入特征匹配模型，提取第二特征图；

步骤4：将第一特征图和第二特征图送入单应矩阵网络，获得转换矩阵；

步骤5：对第二特征图进行降采样，获得降采样图片；

步骤6：将降采样图片送入转换矩阵，得到统一的变换图形，该变换图形将作为检测模型的输入；

步骤7：采用三锥视角的灰度图作为三通道，将变换后的三锥视角图进行通道层次的融合，形成三通道融合图；

步骤8：将三通道融合图作为输入，送入检测模型学习，通过阴影分布对凸起和凹进的表面进行区分，在图像上获得深度信息。

优选的，在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄，获得三张不同光源的正面灰度图像，即三锥视角图。

优选的，三锥视角图共含三张照片，每一次特征匹配，只输入一张，重复执行步骤1-6三次，获得矫正后的三张不同光源的正面灰度图像。

优选的，对图片进行降采样，包括缩小图片、低通滤波。

根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合系统，包括：

模块M1：将相机置于检测样本上方，拍摄三锥视角图；

模块M2：准备该样本对应的无缺陷图，并将对应的无缺陷图送入特征匹配模型，提取第一特征图；

模块M3：将三锥视角图排队送入特征匹配模型，提取第二特征图；

模块M4：将第一特征图和第二特征图送入单应矩阵网络，获得转换矩阵；

模块M5：对第二特征图进行降采样，获得降采样图片；

模块M6：将降采样图片送入转换矩阵，得到统一的变换图形，该变换图形将作为检测模型的输入；

模块M7：采用三锥视角的灰度图作为三通道，将变换后的三锥视角图进行通道层次的融合，形成三通道融合图；

模块M8：将三通道融合图作为输入，送入检测模型学习，通过阴影分布对凸起和凹进的表面进行区分，在图像上获得深度信息。

优选的，在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄，获得三张不同光源的正面灰度图像，即三锥视角图。

优选的，三锥视角图共含三张照片，每一次特征匹配，只输入一张，重复调用模块M1-M6三次，获得矫正后的三张不同光源的正面灰度图像。

优选的，对图片进行降采样，包括缩小图片、低通滤波。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明在多光源图像重建技术的基础上，采用三通道融合和特征匹配等方法，并利用深度学习领域中的卷积神经网络，建立了一个高精度的缺陷检测模型。该三通道图像融合的模型解决背景干扰和凹凸缺陷的问题。这个模型在缺乏深度信息的情况下，可以有效的表面缺陷检测的精度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为特征匹配模型流程图；

图2为检测模型流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

如图1、图2，根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合方法，包括如下步骤：

步骤1：将相机置于检测样本的正上方，在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄，获得三张不同光源的正面灰度图像(即三锥视角图)；

步骤2：准备该样本对应的无缺陷图，并将对应的无缺陷图送入特征匹配模型，提取特征图甲；

步骤3：将三锥视角图排队送入特征匹配模型，提取特征图乙；三锥视角图共含三张照片，每一次特征匹配，只输入一张。

步骤4：将特征图甲和乙送入单应矩阵网络，并获得转换矩阵；

步骤5：将特征图乙进行降采样(如缩小操作)，获得降采样图片；

步骤6：将降采样图片送入转换矩阵，得到统一的变换图形，该变换图形将作为检测模型的输入。重复执行步骤1-6三次，即可以获得矫正后的三张不同光源的正面灰度图像(即三锥视角图)。

步骤7：将三锥视角图经过特征匹配转换，获得三张统一视角的灰度图，即45度左上灰度图，垂直正上方灰度图和45度右上角灰度图；

步骤8：在以往的图像检测中，常规的三通道RGB分别指红绿蓝，而本模型采用三锥视角的灰度图作为三通道，将45度左上灰度图，垂直正上方灰度图和45度右上角灰度图进行通道层次的融合，形成三通道融合图；

步骤9：将三通道融合图作为输入，送入检测模型学习，原本的RGB三通道只能获取一个光源方向的图像特征，缺乏对深度信息的学习，而三锥视角的灰度图，可以有效的通过阴影的分布，一定程度上对凸起和凹进的表面有一个区分，从而在图像上获得深度信息；经检验，得到的检出结果在一定程度上解决了背景干扰和凹凸缺陷的问题。

根据本发明提供的用于提高表面缺陷检测精度的三锥视角融合系统，包括：

模块M1：将相机置于检测样本上方，拍摄三锥视角图；

模块M2：准备该样本对应的无缺陷图，并将对应的无缺陷图送入特征匹配模型，提取第一特征图；

模块M3：将三锥视角图排队送入特征匹配模型，提取第二特征图；

模块M4：将第一特征图和第二特征图送入单应矩阵网络，获得转换矩阵；

模块M5：对第二特征图进行降采样，获得降采样图片；

模块M6：将降采样图片送入转换矩阵，得到统一的变换图形，该变换图形将作为检测模型的输入；

模块M7：采用三锥视角的灰度图作为三通道，将变换后的三锥视角图进行通道层次的融合，形成三通道融合图；

模块M8：将三通道融合图作为输入，送入检测模型学习，通过阴影分布对凸起和凹进的表面进行区分，在图像上获得深度信息。

优选的，在检测样本的正上方、45度左上方和45度右上方分别打光并拍摄，获得三张不同光源的正面灰度图像，即三锥视角图。优选的，三锥视角图共含三张照片，每一次特征匹配，只输入一张，重复调用模块M1-M6三次，获得矫正后的三张不同光源的正面灰度图像。优选的，对图片进行降采样，包括缩小图片、低通滤波。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。