兼具aoi及ai的瑕疵检测方法及其装置
阅读说明：本技术 兼具aoi及ai的瑕疵检测方法及其装置 (Flaw detection method and device with AOI and AI functions ) 是由 魏源钟 许智钦 于 2019-10-17 设计创作，主要内容包括：一种兼具AOI及AI的瑕疵检测方法及其装置,其主要是先对待测物加以取像后,再借由自动化光学检测(Automated Optical Inspection,简称AOI)与人工智能(Artificial Intelligence,缩写为AI)检测器两者个别的优势与弱点,透过其前后程序组合建立方法,来完成互补其缺点,使漏检率仍然可以维持最低的前提下,同时具有误检率也维持最低的优势。(A flaw detection method and device with AOI and AI functions includes picking up image of object to be detected, utilizing respective advantages and weaknesses of automatic Optical detection (AOI) and Artificial Intelligence (AI) detector, building up method by combining former and latter programs to complement said disadvantages, making detection leakage rate be kept at minimum and having advantage of keeping error detection rate at minimum.)
技术领域
本发明是关于一种兼具AOI及AI的瑕疵检测方法及其装置；运用于光学检测，尤指一种透过自动化光学检测(Automated Optical Inspection，简称AOI)与人工智能(Artificial Intelligence，缩写为AI)检测器两者其前后程序可重复组合建立方法进行检测的方法及其装置。
背景技术
目前一般瑕疵检测方法有两类，一类是自动化光学检测(Automated OpticalInspection，简称AOI)，即高速高精度光学影像检测系统，运用机器视觉配合工程师设定的几何/灰阶值条件做为检测标准技术，作为改良以人力使用光学仪器进行检测的缺点；另一类是运用人工智能(Artificial Intelligence，缩写为AI)的检测，指由机器透过深度学习，来呈现近似人类智能的影像判读，以达到检测的目的。
前者自动化光学检测(Automated Optical Inspection，简称AOI)的演算方式是采用以下几种：一、二值化(Binarization)是图像分割的一种最简单的方法，二值化可以把灰度图像转换成二值图像，把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为灰度极小值；二、直方图(Histogram)统计，是一种对数据分布情况的图形表示，是一种二维统计图表，它的两个坐标分别是统计样本和该样本对应的某个属性的度量；三、边缘侦测(Edge detection)，是运用图像处理和计算机视觉能力，目的是标识数字影像中亮度变化明显的点，图像属性中的显著变化通常反映了属性的特征，这些检测特征包括(i)深度上的不连续、(ii)表面方向不连续、(iii)物质属性变化和(iv)场景照明变化；四、物件分割，透过视讯内容物的自动分析，将物件分割。分析方法很多，比如可以用去掉均值的影像可保留画面纹理信息及降低光源变化与阴影对背景影响的特性、或是使用设定灰阶度阈值或灰阶度的微分值阈值来分割物件，可达到快速有效分割物件的目的。
自动化光学检测(Automated Optical Inspection，简称AOI)因为可自行设定所要求的严紧度，使这种方法具有漏检率低的优势，但同时，也会造成过杀率(over kill)或称为错检率过高的缺失，因此目前一般现有技术中，想要单纯在自动化光学检测(Automated Optical Inspection，简称AOI)方式检测上是无法具有两者兼顾的基本缺憾存在。
另，有关人工智能(Artificial Intelligence，缩写为AI)的检测方法，主要运用深度学习(deep learning)，其演算方式采用：一、物件侦测(Object Detection)，运用卷积神经网络(Convolutional Neural Network简称CNN)，将图片分类(Imageclassification)，且利用类神经网络(Neural Network简称NN)解决另外一个问题，分类且定位(Classification with localization)，就是将标的物，放入边界框(bounding box)，把多个物件全部侦测(Detection)出来并且定位(localization)出它们；二、分类器(classifier)，透过特征的线性组合来将具有相似特征的对象聚集，做出分类决定。对象的特征通常被描述为特征值，而在向量中则描述为特征向量。有生成模型与判别模型，前者运用模型化条件机率原理，后者判别模型(discriminative models)，这种方法是试图去最大化一个训练集(training set)的输出值。
人工智能(Artificial Intelligence，缩写为AI)因为有深度学习，仿人类智能，利用上述方法，其优点是对环境的适应较佳，综合整体得到正确率较高，缺点在于，若单纯使用深度学习中的物件侦测方法，漏检率无法像AOI一样低，会导致瑕疵品流入市面的风险，而单纯使用深度学习中的分类器，又无法定位瑕疵的位置，而且常因瑕疵部分占整体图像面积的比例过小而导致正确率不佳的情形，而因此有其必须克服的困难问题重重。
是以，本案发明人有鉴于现有技术的不足，历经多年呕心沥血研发而提出一种兼具AOI及AI的瑕疵检测方法及其装置。
发明内容
本发明所要解决的主要技术问题在于，克服现有技术存在的上述缺陷，而提供一种兼具AOI及AI的瑕疵检测方法及其装置，应用传统自动化光学检测(Automated OpticalInspection，简称AOI)与人工智能(Artificial Intelligence，缩写为AI)检测器两者个别的优势与弱点，透过两者组合的程序，来完成互补其缺点，使漏检率仍然可以维持最低，同时具有误检率也是最低的完整效果需求；透过自动化光学检测(Automated OpticalInspection，简称AOI)与人工智能(Artificial Intelligence，缩写为AI)检测器两者搭配前后程序可重复组合所建立的各种检测方法，拥有更广泛的应用性。
本发明解决其技术问题所采用的技术方案是：
一种兼具AOI及AI的瑕疵检测方法及其装置，适用于光学检测，尤指一种透过自动化光学检测(Automated Optical Inspection，简称AOI)与人工智能(ArtificialIntelligence，缩写为AI)检测器两者其前后程序可重复组合建立方法进行检测的方法及其装置。
一种兼具AOI及AI的瑕疵检测方法及其装置，实施方法包含有，主要先应用相机治具与可动式机构结合光源装置施以多种数次打光方式以提供不同光源控制方法开关各组灯源、可编辑灯源强度、角度并结合摄影机重复拍摄功能加以取像后，再借由自动化光学检测(Automated Optical Inspection，简称AOI)与人工智能(Artificial Intelligence，缩写为AI)检测器两者个别的优势与弱点，透过其前后程序可重复组合建立方法进行检测。
而当该检测对象主要用于图像背景相对单纯例如智能型手机边框瑕疵的检测时，则先对待测物进行取像，再以自动化光学检测AOI模块针对物件取像后的信息侦测并进行自动化光学检测AOI算法，以设定找出圈选的侦测范围(Region of Interest，ROI)并加以输出存入数据库中，再从数据库中读取圈选的侦测范围输入人工智能检测AI分类器加以检测，而该人工智能AI检测器则可将各种不应被归类于瑕疵的类型如灰尘等加以筛选而出分类结果，并再将该分类结果输出存入数据库中。
而当该检测对象主要用在图像背景相对复杂，但是对于瑕疵面积需要精准定义例如木纹表面的检测时，则先对待测物进行取像，再使用人工智能AI检测器对物件取像后施以物件侦测(object detection)算法，找出瑕疵的边界框(bounding box)，在瑕疵分类后加以输出存入数据库中，再从数据库中读取边界框中的图像以自动化光学检测AOI模块进行物件分割，并再将该分割出之结果输出存入数据库中。
一种兼具AOI及AI的瑕疵检测方法及其装置，该装置主要包括有装载收集平台，以供待测物放置；光源装置，该光源装置设于该装载收集平台上方周缘，备具有同轴光源、线光源、背光源、环形光源、球形光源等各组灯源治具，并结合有可动式机构如机械手臂与光源摄影控制模块施以多种数次打光方式以提供不同光源控制方法开关各组灯源、可编辑灯源强度、角度；相机单元，该相机单元与该光源装置交错设于该装载收集平台上方周缘，包含有面相机治具、线相机治具等应用相机治具并结合摄影机重复拍摄功能；可动式机构，该可动式机构可为升降式机构输送机构或机械手臂等；自动化光学检测AOI模块，联讯于该相机单元与数据库以接收待测物进行取像后或再接续的信息并加以进行自动化光学检测AOI算法等；人工智能AI检测器，联讯于该相机单元与数据库以接收待测物进行取像后或再接续的信息并施以物件侦测(object detection)算法等；数据库，分别联讯于该自动化光学检测AOI模块与人工智能AI检测器，以将待测物进行取像检测后的结果储存入该数据库，并提供信息予接续检测或其他应用端使用。
因此，本发明案一种兼具AOI及AI的瑕疵检测方法及其装置，其主要先借由相机治具与可动式机构结合光源装置施以多种数次打光方式以提供不同光源控制方法开关各组灯源、可编辑灯源强度、角度并结合摄影机重复拍摄功能以达到快速收集数据功能后，再借由自动化光学检测(Automated Optical Inspection，简称AOI)与人工智能(ArtificialIntelligence，缩写为AI)检测器两者个别的优势与弱点，透过其前后程序组合建立方法进行检测，来完成互补其缺点，使漏检率仍然可以维持最低的前提下，同时具有误检率也维持最低的优势，于该检测物件主要用于图像背景相对单纯例如智能型手机边框瑕疵的检测时，自动化光学检测AOI模块所先进行的自动化光学检测AOI算法，可以确保拥有足够低的漏检率，避免瑕疵品流入市面，而检测流程下一步骤的人工智能检测器AI则可以有效大幅降低误检率，避免不必要的损失，为一种兼顾两者优点的检测流程，可使整个产品的检测流程同时兼具低漏检率、以及低误检率的功能，而当该检测物件主要用在图像背景相对复杂但是对于瑕疵面积需要精准定义例如木纹表面的检测时，则借以透过该人工智能AI检测器检测流程具较高背景适应性，将瑕疵的边界框(bounding box)以及瑕疵分类输出，这是自动化光学检测AOI模块直接使用自动化光学检测AOI模块算法做不到的，让该人工智能AI检测器找出瑕疵的边界框(bounding box)后再输出数据库再由该自动化光学检测AOI模块读取数据后进行物件分割，因为自动化光学检测AOI模块使用AOI算法可以精准分割出瑕疵的范围，并且计算瑕疵面积，也就补足了人工智能AI检测器所使用的AI算法无法精准计算面积的缺失的优势，因而成为本发明案的有效创意。
本发明的有益效果是，应用传统自动化光学检测(Automated OpticalInspection，简称AOI)与人工智能(Artificial Intelligence，缩写为AI)检测器两者个别的优势与弱点，透过两者组合的程序，来完成互补其缺点，使漏检率仍然可以维持最低，同时具有误检率也是最低的完整效果需求；透过自动化光学检测(Automated OpticalInspection，简称AOI)与人工智能(Artificial Intelligence，缩写为AI)检测器两者搭配前后程序可重复组合所建立的各种检测方法，拥有更广泛的应用性。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明实施方法的流程图。
图2是本发明检测对象主要用于图像背景相对单纯检测时的流程图。
图3的本发明检测对象主要用于图像背景相对复杂检测时的流程图。
图4是本发明装置的侧视结构图。
图5是本发明的方块图。
图中标号说明：
1 装载收集平台
2 光源装置
20同轴光源
21线光源
3 相机单元
4 自动化光学检测AOI模块
5 可动式机构
6 人工智能AI检测器
7 数据库
具体实施方式
以下是借由特定的具体实例说明搭配本发明的实施方式，熟悉此技艺的人士可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明亦可借由其他不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不悖离本发明案的精神下进行各种修饰与变更。
首先请参阅如图1、图2，与图3，搭配余图所示，本发明案一种兼具AOI及AI的瑕疵检测方法及其装置，其实施方法主要包括：
先取像，指以相机单元3对待测物进行取像，应用相机单元3或可动式机构5如机械手臂结合光源装置2与光源摄影控制模块4，施以多种数次打光方式以提供不同光源控制方法开关各组灯源、可编辑灯源强度、角度并结合摄影机重复拍摄功能以达到快速取像数据功能；
调整检测顺序，根据需要检测的对象，以及自动化光学检测AOI模块4与人工智能AI检测器6两者个别的优势与弱点，选择该自动化光学检测AOI模块4与人工智能AI检测器6检测前后程序可重复组合建立方法进行检测；
进行第一次检测，根据调整检测顺序的排序进行第一次检测。
第一次检测数据输入数据库7，指该自动化光学检测AOI模块4或人工智能AI检测器6所做第一次检测出的数据输出并存入数据库7，作为后续检测使用或加以储存；
自数据库7提存数据进行接续检测，指该自动化光学检测AOI模块4或人工智能AI检测器6自数据库7提取需要再加以检测的数据以进行接续的数据检测使用。
接续检测后的数据再输入数据库7，指该自动化光学检测AOI模块4或人工智能AI检测器6所接续检测出的数据输出并存入数据库7，作为后续检测使用或加以储存。
而其中(如图2所示)，当该检测对象主要用于图像背景相对单纯例如智能型手机边框瑕疵的检测时，则先对待测物进行取像；再以自动化光学检测AOI模块4针对物件取像后的信息侦测并进行自动化光学检测AOI算法，以设定找出圈选的侦测范围(Region ofInterest，ROI)并加以输出存入数据库7中；再从数据库7中读取圈选的侦测范围输入人工智能AI检测器6加以检测，而该人工智能AI检测器6则可将各种不应被归类于瑕疵的类型如灰尘等加以筛选而出分类结果，并再将该分类结果输出存入数据库7中。
而其中(如图3所示)，当该检测对象主要用在图像背景相对复杂，但是对于瑕疵面积需要精准定义例如木纹表面的检测时，则先对待测物进行取像；再使用人工智能AI检测器6对物件取像后施以物件侦测(object detection)算法，找出瑕疵的边界框(boundingbox)，在瑕疵分类后加以输出存入数据库7中；再从数据库7中读取边界框中的图像以自动化光学检测AOI模块4进行物件分割，并再将该分割出的结果输出存入数据库7中。
再请参阅如图4、图5搭配余图；本发明案一种兼具AOI及AI的瑕疵检测方法及其装置，经此方法的构思以提供：
装载收集平台1，以供待测物放置；
光源装置2，该光源装置2设于该装载收集平台1上方周缘，备具有同轴光源20、线光源21、背光源、环形光源、球形光源等各组灯源治具，并结合有可动式机构5如机械手臂与光源摄影控制模块4施以多种数次打光方式以提供不同光源控制方法开关各组灯源、可编辑灯源强度、角度；
相机单元3，该相机单元3与该光源装置2交错设于该装载收集平台1上方周缘，包含有相机治具、线相机治具等应用相机治具并结合摄影机重复拍摄功能与以达到快速收集数据的功能；
可动式机构5，该可动式机构5可为升降式机构输送机构或机械手臂等；
自动化光学检测AOI模块4，联讯于该相机单元3与数据库7以接收待测物进行取像后或再接续的信息并加以进行自动化光学检测AOI算法等；
人工智能AI检测器6，联讯于该相机单元3与数据库7以接收待测物进行取像后或再接续的信息并施以侦测(object detection)算法等；
数据库7，分别联讯于该自动化光学检测AOI模块4与人工智能AI检测器6，以将待测物进行取像检测后的结果储存入该数据库7，并提供信息予接续检测或其他应用端使用。
因此，本发明案一种兼具AOI及AI的瑕疵检测方法及其装置，主要先借由相机治具3与可动式机构5结合光源装置2施以多种数次打光方式以提供不同光源控制方法开关各组灯源、可编辑灯源强度、角度并结合摄影机重复拍摄功能以达到快速收集数据功能后，再经由自动化光学检测AOI模块4与人工智能AI检测器6两者个别的优势与弱点，透过其前后程序组合建立方法进行检测，来完成互补其缺点，使漏检率仍然可以维持最低的前提下，同时具有误检率也维持最低的优势，于该检测对象主要用于图像背景相对单纯例如智能型手机边框瑕疵的检测时，自动化光学检测AOI模块4所先进行的自动化光学检测AOI算法，可以确保拥有足够低的漏检率，避免瑕疵品流入市面，而检测流程下一步骤的人工智能AI检测器6则可以有效大幅降低误检率，避免不必要的损失，为一种兼顾两者优点的检测流程，可使整个产品的检测流程同时兼具低漏检率、以及低误检率的功能；而当该检测对象主要用在图像背景相对复杂但是对于瑕疵面积需要精准定义例如木纹表面的检测时，则借以透过该人工智能AI检测器6检测流程具较高背景适应性，将瑕疵的边界框(bounding box)以及瑕疵分类输出，这是自动化光学检测AOI模块4直接使用自动化光学检测AOI模块算法做不到的，让该人工智能AI检测器6找出瑕疵的边界框(bounding box)后再输出数据库7再由该自动化光学检测AOI模块4读取数据后进行物件分割，因为自动化光学检测AOI模块4使用AOI算法可以精准分割出瑕疵的范围，并且计算瑕疵面积，也就补足了人工智能AI检测器6所使用的AI算法无法精准计算面积的缺失的优势，因而成为本发明案的有效创意。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种汽车锻造轮毂在线自动检测装置