阅读说明：本技术 芯片缺陷检测方法及系统 (Chip defect detection method and system ) 是由 柏钧蓝 于 2019-10-08 设计创作，主要内容包括：本公开涉及芯片缺陷检测方法及图像处理系统,该方法包括：获取所述待检测芯片的快照,对快照执行多重滤波以消除附着在快照上的环境干扰图像,基于每一层滤波后的图像确定快照中包含的芯片图像的角点；当角点数等于4时,以角点为轮廓基准,从快照中生成芯片真实图像,以及对芯片真实图像执行自适应二值化处理以标识芯片缺陷。(The present disclosure relates to a chip defect detection method and an image processing system, the method including: acquiring a snapshot of the chip to be detected, performing multiple filtering on the snapshot to eliminate an environmental interference image attached to the snapshot, and determining corner points of the chip image contained in the snapshot based on each layer of filtered image; and when the number of the corner points is equal to 4, generating a chip real image from the snapshot by taking the corner points as the outline reference, and performing self-adaptive binarization processing on the chip real image to identify the chip defects.)

芯片缺陷检测方法及系统

技术领域

本发明涉及芯片检测技术，尤其适用于检测芯片表面的损伤缺陷。

背景技术

在芯片制作过程中，通常在单个晶圆上整体做出成千上万个芯片，为进行后续工艺例如UV照射等，需要将每个芯片从晶圆上独立地分离下来，例如采用高速旋转的金刚石刀片来将每个芯片从晶圆上切割下来。因此在切割过程中，很有可能对芯片造成损伤，特别地表现在切割操作所处的每个芯片的边、角附近，造成芯片缺陷，例如在图1中由黑色区域所示出芯片的局部放大示意图所示，在芯片的左上角发生操作损坏。芯片缺陷也可包括由于其它原因在芯片表面上发生刮痕等物理损伤。因此，在实际中有必要将这样的芯片筛选出来，以避免进入下道工序，甚至进入客户手中。

目前对这类芯片缺陷的检测主要是手动方式，质检人员利用肉眼查看大量的芯片图像，由于芯片切口损伤非常小，通常小于50微米，因此操作人员不得不手动放大图像来查找缺陷，这样做既不精确也占用了大量的人力资源。

发明内容

本发明提出一种自动地检测芯片缺陷的方案，不需要操作人员来查看图像，就可以快速且准确地剔除有缺陷的芯片。

按照本发明的一个方面，提供一种用于芯片缺陷的检测方法，包括：获取待检测芯片的快照，该快照包含所述芯片的图像以及在生成所述快照时同时拍摄的环境干扰图像；通过对所述快照执行多重滤波以消除与所述芯片一同成像的所述环境干扰图像，并记录每一次滤波后的图像；基于滤波后的图像确定所述快照中包含的所述芯片图像的角点；当所述角点数等于4时，以所述角点为轮廓基准，从所述快照中生成芯片真实图像；对所述芯片真实图像执行自适应二值化处理以标识芯片缺陷。

按照本发明的另一个方面，提供一种图像处理系统，包括：用户显示界面，配置为根据用户指示以接收待检测芯片的快照；图像处理单元，配置为本发明的芯片缺陷检测方法来确定所述芯片是否存在缺陷；其中所述用户显示界面还进一步配置为以图形方式显示标记有所述芯片缺陷的发生位置的所述芯片真实图像。

按照本发明的再一个方面，提供一种计算机可读介质，其上存储有机器可读指令，该指令在被机器执行时，使机器实现本发明的方法。

利用本发明的方案，避免了人为操作例如打开图像、放大、移动、判断以及记录等繁复操作，不但地提高了检测的准确性，而且缩短了检测时间提高了效率。

附图说明

图1示出了示例性的芯片边角损坏的示意图；

图2示例性地示出了芯片快照示意图；

图3示出了根据本发明实施例的芯片缺陷检测方法的流程图；

图4A示出了示例性的高斯金字塔滤波原理图；

图4B示例性地示出了经过各层滤波的金字塔图像示意图；

图5示出了根据本发明实施例的角点检测流程图；

图6A与6B示出了以连通区域表示的芯片缺陷的示意图；

图7示出示例性的图像处理系统示意图；

图8示出了示例性的图像处理系统的用户界面的示意图。

具体实施方式

下面结合附图对本发明实施例提供的方法及系统进行详细说明。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。

在芯片从晶圆上切割下来之后，需要放置在测试平台上对芯片进行测试，由此在生产线上通常操作一芯片抓放头(pick and place head)来抓取芯片并放置在测试平台上。在本发明的一个实施例中，在由芯片抓放头抓取芯片时利用照相机拍摄该芯片以生成芯片快照。由此，抓放头上某些结构或图案特征可能会不可避免地被一同拍摄下来，反映在芯片快照中。如图2所示，其中整个芯片快照由CSS表示，代表了针对正在抓取芯片的抓放头所拍摄的图像，其中黑色矩形方框代表所抓取的芯片的图像，由CI表示。可以看到，在该快照CSS中，除了芯片图像CI之外，还包括位于抓取头表面的二维码QR图像以及在抓取过程中用于定位的校准孔的图像，该校准孔对芯片图像CI严重干扰。显然，CSS的轮廓、QR码以及校准孔图像等都是对芯片图像CI的干扰，在本文中将其称为环境干扰图像。而根据本发明的检测技术，需要从快照CSS中自动地提取出芯片图像CI，因此需要消除二维码QR等干扰图像。

图3示出了根据本发明一个实施例的缺陷检测方法流程图。如图所示，在步骤301，获取待检测芯片的快照CSS，为便于说明，以下记为CSS₀，例如该快照可以是利用照相机在抓取芯片时实时捕获的，也可以是从数据库文件等指定位置存储的芯片快照中选择输入的。

在步骤303，通过对快照CSS₀执行多重例如K重滤波来消除与芯片图像CI一起成像的环境干扰图像，如图2所示的QR码或校准孔图像等，这里的K值的确定以干扰图像基本消除且可实施后续的角点检测算法为目的。同时，记录每一次滤波后的图像，从而得到滤波图像CSS₁、CSS₂、...CSS_K。在本发明的一个优选实施例中，采用高斯金字塔滤波器来实现多重滤波，按照本发明，将QR码等干扰图像视为高斯噪声，因此可利用高斯低通滤波器，通过梯次向下采样来逐渐消除噪声，从而生成一系列以金字塔形状排列的分辨率逐步降低、且来源于同一张原始图的高斯金字塔图像集合，这里金字塔的底层是待处理图像例如快照CSS₀的高分辨率表示，而顶层是低分辨率的近似图像例如CSS_K。图4A示出了这种高斯金字塔滤波效果示意图。因此通过采用K层高斯金字塔滤波器对输入的快照CSS₀不停迭代以上步骤就会得到整个金字塔，即K+1层金字塔图像。作为一个示例，图4B示意性地示出了经过K＝3次滤波后得到的4层金字塔图像示意图，其中CSS₀代表芯片的快照，位于金字塔最低层，而CSS₁、CSS₂、CSS₃则代表经过第1、2、3次滤波后得到的各图像。这里需要注意的是，图4B中所示的各图像并不是严格按比例绘制的。由图中可以看到，在最后一次滤波图像CSS₃中基本消除了干扰图像QR码、校准孔的痕迹。需要注意的是，这里仅是示意性示出经过3层滤波后基本消除了干扰图像，但显然实际中可能需要更多次滤波才能达到消除干扰图像的目的，这既取决于所采用的滤波器，也取决于各干扰图像的成像质量，因此具体的滤波次数依据实际应用可预先确定，并用于随后的大量芯片检测中。在一个示例中，可采用7层滤波来消除干扰图像。

这里需要指出的是，这里仅以QR码和校准孔作为干扰图像源予以示例，但本发明不限于此，干扰图像还可以是来自其它有意设置的源或无意存在的源，但经过高斯金字塔滤波后被层层滤掉。

在步骤303完成对快照CSS₀的高斯金字塔滤波后，得到例如图4B所示的多层金字塔图像，其中在最高层即CSS₃图像中基本消除了干扰图像。因此，进程返回并继续步骤305。在步骤305，基于金字塔图像中建立的滤波图像确定快照CSS₀中芯片图像CI的角点。按照本发明，为了方便定位芯片图像CI的四个角点，当处于金字塔高层时，能得到的全局信息最多。因此，按照本发明的实施例，首先从最高层金字塔图像开始，搜索出该层图像的角点位置，再利用这些角点位置确定下一层图像的针对角点的待搜索区域，并在这些待搜索区域中寻找该下一层图像的各角点。这样可以有效的去除干扰角点，直至最后确定出目标芯片图像CI的四个角点，或可在角点寻找过程中直接发现缺陷芯片。

图5示出了根据本发明的一个实施例的在步骤305实现的角点检测流程图。为便于描述，这里以图4B所示的4层金字塔图像为例来说明。

在步骤501：利用角点搜索算法确定最高层图像的各角点，在本例中，首先确定第4层图像CSS₃的各角点。在找到了该层图像的角点后，在步骤503，判断针对图像CSS₃找到的角点数量是否大于或等于4。如果小于4，可判定当前快照图像CSS₀不是有效图像，则退出角点检测流程，返回错误，并返回步骤301获取下一个待检测芯片快照。如果在步骤503，确定找到角点数量大于或等于4，则进入步骤505，将在步骤501中针对第4层图像找到的n个角点C₄-1、C₄-2、C₄-3、…C₄-n映射到下一层图像即第3层图像中。这里下标4代表第4层图像。此外，这里‘映射’是指将针对第4层图像确定的各角点原位置地标记到第3层图像中。

在步骤507，对于下一层图像，以从上一层图像映射过来的角点为中心，建立本层图像的角点搜索区，并在这些搜索区内搜索本层图像的角点。具体地，在本例中，在第三层图像CSS₂中，以对应于第4层的角点C₄-1、C₄-2、C₄-3、…C₄-n的映射点为中心向四个方向扩展f₃个像素单位，得到n个矩形扩展框T₃-1、T₃-2、T₃-3、…T₃-n，作为第3层图像的角点搜索区。由此，在为图像CSS₂所确定的n个角点搜索区域内，确定每个搜索区域内的角点。

按照本发明的实施例，扩展像素数f的确定与金字塔的层级相关。在一个示例中，对于第i层图像而言，其扩展像素数f_i可由下式确定：

f_i＝F/sqrt(i),

其中1≤i≤K，sqrt()代表开平方函数,F是小于第K+1层图像尺寸的预定值且使得针对相邻的二个角点建立的角点搜索区不重叠。作为一个示例，F取值为10～30，优选为18.5。

在步骤509，确定搜索区T₃-1、T₃-2、T₃-3、…T₃-n中每个搜索区域中搜索到的角点数是否为0。如果为0，则认为该区域无效，则在步骤510中删除该搜索区，并继续其它搜索区中的角点检测。否则，进入步骤511，确定并记录针对当前层图像CSS₂找到的角点。这里需要注意的是，在步骤511中，如果某一搜索区T₃-i中找到角点数大于0，则以该区域中找到的所有角点位置的中心位置作为新的角点位置。这里假定针对图像CSS₂确定了m个新角点，记为C₃-1，C₃-2，C₃-3，…,C₃-m，其中m≤n。

在步骤513，确定当前层图像是否是最后一层滤波图像,在本例中即是否到达CSS₁(注意，在本文中CSS₀是原始图像，因此不是滤波图像)。如果不是，则重复执行步骤505-511，以分别确定其它更低层图像的角点。例如，在本例中，在确定完成第3层图像后，仍需要继续确定第2层图像CSS₁的各角点。为此，在确定第2层图像CSS₁的角点时，如步骤505-507所示，以从第三层图像CSS₂的m个角点C₃-1，C₃-2，C₃-3，…C₃-m映射过来的点为中心向四个方向扩展f₂个像素单位，以重新得到m个矩形扩展框T₂-1、T₂-2、T₂-3、…T₂-m，作为第2层图像CSS₁的角点搜索区，然后按照步骤509、510、511继续确定这m个搜索区域内的角点。这里假定针对第二层图像CSS₁确定了p个新角点,记为C₂-1，C₂-2，C₂-3，…,C₂-p，其中p≤m。

在步骤513，当确定当前执行的是最后一层滤波图像CSS₁时，则进入步骤515，继续确定第1层图像即原始图像CSS₀的角点。在确定CSS₀的角点时，与前面类似，以从第2层图像CSS₁的p个角点C₂-1，C₂-2，C₂-3，…,C₂-p映射过来的点为中心向四个方向扩展f₁个像素单位，以生成p个矩形扩展框，作为第一层图像CSS₀的角点搜索区T₁-1、T₁-2、T₁-3、…,T₁-p，然后按照步骤509-511所示的处理，去除未找到任何角点的搜索区并确定剩余的搜索区中每个搜索区内的一个或多个角点。这里需要注意的是，与针对金字塔图像中其它层图像的处理不同的是，在步骤511中，在确定第一层图像CSS₀的各搜索区内的角点时，如果发现某个搜索区内的角点不只一个，则保留该搜索区找到的所有这些角点，而不是像其它层图像那样去确定这些角点的中心点作为该搜索区的角点。这里假定在步骤515针对第一层图像CSS₀确定共有q个搜索区存在角点，随后存储这些搜索区以及每个搜索区的角点，并随后在步骤517返回这q个搜索区及其中的角点信息，进程回到图3，继续执行步骤307。

在本发明的上述实施例中，用于搜索各层图像的角点的角点搜索算法可以采用各种方式来实现，例如采用HARRIS角点搜索算法来实现。

在步骤307，对在第一层图像CSS₀中确定的角点搜索区与角点执行如下判断处理：判断第一层图像CSS₀中剩余的角点搜索区的数量q是否等于4，其中如果q<4，则判定该快照CSS₀不是有效图像，因此返回步骤301获取下一个待检测芯片快照。如果q>4，则表明当前芯片存在多个角点，即芯片存在明显的角部损伤，因此如图3所示，进程直接前进到步骤317，直接在图像例如快照CSS₀上标识出这些搜索区及搜索区的角点，从而可以清楚地看到角部缺陷。如果判断剩余的角点搜索区的数量q恰好等于4，则进入步骤308。

在步骤308，进一步判断每个搜索区域中是否恰好包含1个角点，如果某个搜索区中包含多于1个的角点，则表明该芯片在该搜索区位置存在损伤缺陷，因此结束后续处理，进程直接前进到步骤317，在图像上标识出该搜索区内的多个角点，作为芯片缺陷。如果4个搜索区域中的每个搜索区恰好包含1个角点，即确定了芯片图像CI存在四个角点C₀-1，C₀-2，C₀-3，C₀-4，进入步骤309。

在步骤309，以这四个角点C₀-1，C₀-2，C₀-3，C₀-4为轮廓基准，确定一个四边形区域。在一个示例中，可以将该四边形区域视为芯片实际图像CI。然而，不难理解，由于摄像机光轴与实际芯片之间并非完成垂直，或光轴射线并非恰好穿过芯片的中心点，因此该四边形区域可能并非矩形，即此时的四边形区域图像相对于实际芯片来说存在着失真。因此，在另外一个示例中，在步骤309可以进一步确定该四边形区域是否是标准的矩形，如果不是，进入步骤311，将该四边形转换到矩形，并利用对应像素值进行矩形区域填充，例如可以采用插值技术来预测各填充的像素，从而生成芯片真实图像CI′。作为一个示例，可以采用透视变换技术，利用四边形的四个顶点与新矩形的四个顶点，求出透视变换矩阵，从而可以确定变换后的芯片实际图像CI′，这里可通过选取包含四边形四个顶点的最大外接矩形的四个顶点，作为用于确定透视变换矩阵的新矩形的四个点，并且在求出透视变换矩阵后再基于图像CI计算出芯片实际图像CI′，包括芯片实际图像CI′的四个更新的顶点C′₀-1，C′₀-2，C′₀-3，C′₀-4。在步骤311利用透视变换得到新的图像CI′后，就可以将实际芯片区域CI′从快照CSS₀完全裁减出来，进行后续步骤处理。如果在步骤309确定该四边形区域基本为标准的矩形，则略过步骤311，直接进行后续处理。

在步骤313，对实际图像CI′执行自适应二值化处理，从而查找出芯片中存在的缺陷。由于没有缺陷的芯片表面、边缘纹理是均匀的，例如成像时表现为完全的一致色例如黑色，而当存在切割缺陷或表面损伤时，则必然破坏纹理结构，因此在经过二值化处理后必然表现为与正常像素例如黑色不同的像素例如白色。本发明正是基于这一点来试图查找出可能的缺陷。这里可采用二值化算法来实现，例如可以采用作为全局阈值方法的OTSU算法或者采用作为局部阈值方法代表的Sauvola算法。由此，利用OTSU算法或Sauvola算法，可以基于实际图像CI′生成二值化图像。

在本发明的另一实施例中，为达到更好的效果，这里进一步考虑光照不均可能会对二值化产生的影响，因此在进行二值化处理之前，首先对实际图像CI′进行光照对比度消除处理，如图3中的虚线方框所示。在一个示例中，可以采用背景补偿技术来实现对比度消除。由于图像的背景可能是不均匀的，所以可预先求出图像的亮度背景，然后利用它对原图像进行背景补偿，从而得到经过背景补偿的图像CI″。然后再利用OSTU二值化方法或Sauvola算法对光照对比度补偿后的图像CI″进行二值化处理。

在二值化图像中，白色区域可定义为缺陷区域，黑色为正常区域。为了更直观地呈现缺陷区域，本发明的方法还可以进一步包括步骤315，通过建立连通区域的方式来标识这些缺陷位置。作为一个示例，可以采用8近临点方式将二值图像区分为不同的连通区域，这里8近临点连通是指：如果一个像素和其他像素在上、下、左、右、左上角、左下角、右上角或右下角连接着，则认为他们是联通的，其中值为1即白色的区域为缺陷位置，从而可以在图像CI″中标注出缺陷。随后可以在步骤317中输出标注该缺陷位置的图像CI″和/或输出提示当前芯片存在缺陷的信息,图6A与6B示例性地示出了标注白色连通区域的芯片缺陷。作为另一个示例，也可以选择直接输出快照图像CSS₀，并在其上标注通过近临区域连通表示的缺陷。

以上实施例阐述了根据本发明实施例的方法实现芯片缺陷的自动化检测。图7示出了根据本发明一个实施例的利用上述方法实现芯片检测的图像处理系统700。该系统700包括用户界面701、图像处理单元702以及存储装置703。该用户界面701用于接收用户指示，根据用户指示输入待检测芯片的快照CSS₀。图像处理单元702被配置通过执行程序代码来实现本文所讨论的芯片缺陷检测方法以确定芯片是否存在缺陷，并且输出指示是否存在缺陷的信息至用户界面701，供用户查看。此外，用户显示界面701还进一步配置为以图形方式显示标记有所述芯片缺陷的发生位置的图像，例如二值化图像CI″或包含其中芯片区域CI已经更新为二值化图像CI″的CSS₀。在本发明的另一实施例中，用户界面可以进一步配置为包括其它命令按钮选项，如图8所示，该用户界面701包括指定待检测芯片快照图像的输入与输出路径的按钮，例如包括输入文件夹按钮、选择输入文件夹按钮、输出文件夹按钮、选择输出文件夹按钮。其中输入文件夹按钮用于打开指定的输入文件夹路径并从存储装置703所存储的快照中选择一个待检测芯片的快照，这里该指定的文件夹路径可以由选择输入文件夹按钮来指定。输出文件夹按钮用于打开存储装置703中一指定的输出文件夹以查看其中存放的经过图像处理单元702执行完成缺陷检测后标记出缺陷的二值化图像或更新的快照，以便后续查看，这里指定的输出文件夹可以由选择输出文件夹按钮来具体指定存放路径。

该用户界面701还包括启动按钮，在指定了图像的输入来源与存储路径后，点击启动按钮，从而指示图像处理单元702执行芯片缺陷检测处理。除了这些操作按钮，用户界面701还可以包括其它提示信息，例如图像处理的已用时间以及当前正在处理的图像等。在图像处理单元702完成图像缺陷检测后，就可以将二值化图像或更新快照存储在存储装置703内指定的输出文件夹并同时指示用户界面701在更新的显示界面中显示检测结果，例如是否存在缺陷，以及以图像方式显示缺陷所在的位置等。

这里需要指出的是，虽然结合上述描述了本发明的实施例，但本发明并不限于此。例如，这里的图像处理系统可以包括处理器、电子设备、硬件设备、电子部件、逻辑电路、存储器、软件代码、固件代码等，或者它们的任意组合。技术人员还将认识到的是，结合本文公开内容描述的各种说明性的模块和方法步骤可以实现为电子硬件、计算机软件或二者的组合。以软件实现为例，作为一个逻辑意义上的图像处理系统，是通过处理器将非易失性存储器中对应的计算机程序指令读取内存中运行形成的。

本发明另一实施例提供的机器可读介质上存储有机器可读指令，该机器可读指令在被计算机执行时，使计算机执行本文公开的前述的任一种方法。具体地，可以提供配有机器可读介质的系统或者装置，在该机器可读介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统的计算机读出并执行存储在该机器可读介质中的机器可读指令。在这种情况下，从机器可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的机器可读介质构成了本发明的一部分。

需要说明的是，上述各流程中不是所有的步骤都是必须的，可以根据实际的需要忽略某些步骤。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。