具体实施方式

在以下详细描述中，阐述诸多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可在没有这些具体细节的情况下实践当前公开的主题。在其他情况下，未详细描述公知的方法、过程、部件和电路，以免模糊当前公开的主题。

除非另有特别说明，否则如从以下讨论中显而易见的，应当理解，在整个说明书讨论中，使用诸如“处理”、“计算”、“表示”、“比较”、“生成”、“训练”或类似的术语是指将数据操纵和/或转换为其他数据的计算机的(多个)动作和/或(多个)过程，所述数据表示为物理的(诸如电子的)量和/或所述数据表示物理对象。术语“计算机”应当被广义地解释为覆盖具有数据处理能力的任何种类的基于硬件的电子装置，作为非限制性示例，包括在本申请中公开的FPEI(制造工艺检查信息)系统及其相应部分。

本文使用的术语“非瞬态存储器”和“非瞬态存储介质”应当被广义地解释为覆盖适合于当前公开的主题的任何易失性或非易失性计算机存储器。

在本说明书中使用的术语“缺陷”应当被广义地解释为覆盖在样本上或样本内形成的任何种类的异常或不期望的特征。

本说明书中使用的术语“设计数据”应当被广义地解释为覆盖指示样本的分层式物理设计(布局)的任何数据。设计数据可以由相应的设计师提供和/或可以从物理设计中导出(例如，通过复杂的模拟、简单的几何和布尔运算等)。可以以不同格式提供设计数据，作为非限制性示例，如GDSII格式、OASIS格式等。设计数据可以以向量格式、灰阶强度图像格式或其他方式呈现。

应当理解，除非另外特别说明，否则在单独的实施例的上下文中描述的当前公开的主题的某些特征也可以在单个实施例中组合提供。相反地，在单个实施例的上下文中描述的当前公开的主题的各种特征也可以单独地或以任何合适的子组合来提供。在以下具体描述中，阐述了诸多具体细节以便提供对方法和设备的透彻理解。

牢记这点，将注意例转向图1，图1示出根据当前公开的主题的某些实施例的检查系统的功能框图。图1中示出的检查系统100可以用于作为样本制造工艺的部分的对样本(例如晶片和/或其部分的样本)的检查。所示的检查系统100包括基于计算机的系统103，系统103能够使用在样本制造期间获得的图像来自动确定与计量相关和/或与缺陷相关的信息。以下将这种图像称为制造工艺(FP)图像。系统103在下文中被称为FPEI(制造工艺检查信息)系统。FPEI系统103可以可操作地连接到一个或多个低分辨率检查工具101和/或一个或多个高分辨率检查工具102和/或其他检查工具。检查工具配置为捕获FP图像和/或审查所捕获的(多个)FP图像和/或启用或提供与所捕获的(多个)图像有关的量测。FPEI系统可以进一步可操作地连接到CAD服务器110和数据储存库109。

FPEI系统103包括处理器和存储器电路系统(PMC)104，处理器和存储器电路系统(PMC)104可操作地连接到基于硬件的输入接口105以及连接到基于硬件的输出接口106。PMC 104配置为提供用于操作FPEI系统所需的所有处理，如参照图2-3进一步详细描述的，并且PMC 104包括处理器(未单独示出)和存储器(未单独示出)。PMC 104的处理器可以配置为根据在PMC中所包括的非瞬态计算机可读存储器上实现的计算机可读指令来执行几个功能模块。此类功能模块在下文中被称为包括在PMC中。PMC 104中包括的功能模块包括可操作地连接的用于描述符的生成的机器学习模块111(以下称为描述符的生成器)和用于缺陷的分类的机器学习模块112(以下称为分类器)。

FPEI系统103、PMC 104及其中的功能框的操作将参考图2-3进一步详细描述。

如将参考图2-3进一步详细描述的，FPEI系统配置为经由输入接口105接收FP输入数据。FP输入数据可以包括由检查工具产生的数据(和/或其衍生物和/或与其相关联的元数据)和/或一个或多个数据储存库109中和/或CAD服务器110和/或其他相关数据储存库中产生和/或存储的数据。应注意，FP输入数据可以包括图像(例如捕获的图像、从捕获的图像导出的图像、仿真图像、合成图像等)以及相关联的数值数据(例如元数据、手工构建的属性等)。还应注意，图像数据可以包括与感兴趣的层和/或与样本的一个或多个其他层有关的数据。可选地，出于训练目的，FP输入数据可以包括根据某些标准来选择的整个可用的FAB数据或其部分。

FPEI系统进一步配置为处理接收到的FP输入数据中的至少部分，并且经由输出接口106将结果(或其部分)发送到存储系统107、发送到(多个)检查工具、发送到用于呈现结果的基于计算机的图形用户界面(GUI)108、和/或发送到外部系统(例如FAB的产量管理系统(YMS))。GUI 108可以进一步配置为启用与操作FPEI系统103有关的用户指定的输入。

作为非限制性示例，可以由一个或多个低分辨率检查机器101(例如光学检验系统、低分辨率SEM等)检查样本。提供样本的低分辨率图像的信息的所得数据(以下称为低分辨率图像数据121)可以被直接传输到FPEI系统103或经由一个或多个中间系统传输到FPEI系统103。替代地或附加地，可以通过高分辨率机器102来检查样本(例如，可以通过扫描电子显微镜(SEM)或原子力显微镜(AFM)来审查被选择用于审查的潜在缺陷位置的子集)。提供样本的高分辨率图像的信息的所得数据(以下称为高分辨率图像数据122)可以被直接传输到FPEI系统103或经由一个或多个中间系统传输到FPEI系统103。

应当注意，可以以不同的分辨率捕获样本上期望位置的图像。作为非限制性示例，期望位置的所谓的“缺陷图像”可用于区分缺陷与错误警报，而期望位置的所谓的“类别图像(class images)”以更高的分辨率获得并且可用于缺陷分类。在一些实施例中，相同位置的图像(具有相同或不同分辨率)可以包括在其间登记的(registered)若干图像(例如从给定位置捕获的图像以及对应于给定位置的一个或多个参考图像)。

当处理FP输入数据(例如低分辨率图像数据和/或高分辨率图像，可选地与其他数据(例如，设计数据、合成数据等)一起)时，FPEI系统可以将结果(例如指令相关的数据123和/或124)发送到(多个)检查工具中的任一者、将结果(例如缺陷属性、缺陷分类等)存储在存储系统107中、经由GUI 108呈现结果和/或将结果发送到外部系统(例如发送到YMS)。

本领域技术人员将容易理解到，当前公开的主题的教示不受图1所示的系统的限制；等效和/或修改的功能可以以另一种方式合并或划分，并且可以以软件与固件和/或硬件的任何适当组合来实现。

在不以任何方式限制本公开的范围的情况下，还应当注意，检查工具可以被实现为各种类型的检验机器，诸如光学成像机、电子束检验机等。在一些情况下，相同的检查工具可以提供低分辨率图像数据和高分辨率图像数据。在一些情况下，至少一种检查工具可以具有计量能力。

描述符的生成器111和分类器112可以被实现为单独的或组合的机器学习模块。仅出于说明的目的，针对实现为深度神经网络(DNN)的机器学习模块(描述符的生成器111和分类器112)提供以下描述。本领域技术人员将容易理解到，当前公开的主题的教示同样适用于基于机器学习的其他合适的技术。

描述符的生成器111和分类器112可以包括一个或多个DNN子网，每个DNN子网都包括根据相应的DNN架构组织的多个层。可选地，DNN网络中的至少一个DNN网络可以具有与其他DNN网络不同的架构。作为非限制性示例，可以根据卷积神经网络(CNN)架构、循环神经网络架构、递归神经网络架构或以其他方式来组织相应DNN网络中的层。可选地，DNN子网中的至少部分可以具有一个或多个共同层(例如最终融合层、输出全连接层等)描述符的生成器111的输出可以用作分类器112的输入。

DNN网络的每个层可以包括多个基本计算元件(CE)，在本领域中通常称为维度、神经元或节点。给定层的计算元件可以与前一层和/或后一层的CE连接。前一层的CE与后一层的CE之间的每个连接都与一个加权值相关联。给定CE可以经由相应的连接接收来自前一层的CE的输入，每个给定连接与加权值相关联，所述加权值可以应用于给定连接的输入。加权值可以确定连接的相对强度，并且由此确定相应输入对给定CE的输出的相对影响。给定CE可以配置为计算激活值(例如输入的加权和)，并通过将激活函数应用于所计算的激活来进一步导出输出。激活函数可以是例如恒等函数、确定性函数(例如线性、S形、阈值等等)、随机函数或其他合适的函数。可以经由相应的连接将输出从给定CE传输到后一层的CE。同样地，如上所述，在CE的输出处的每个连接可以与加权值相关联，所述加权值可以在作为后一层的CE的输入被接收之前被应用于CE的输出。除了加权值之外，还可以有与连接和CE相关联的阈值(包括限制功能)。

可以在训练之前，首先选择深度神经网络的加权值和/或阈值，并且可以在训练期间进一步迭代地调整或修改所述加权值和/或阈值以在经训练的DNN模块中实现一组最佳的加权值和/或阈值。在每次迭代之后，可以确定由DNN模块产生的实际输出与和相应训练数据集相关联的目标输出之间的差异。所述差异可以被称为误差值。当指示误差值的成本函数小于预定值时，或者当迭代之间实现性能的有限变化时，可以确定训练完成。描述符的生成器111可以与分类器112分开训练。在下文中，将用于训练相应机器学习模型的一组输入数据称为训练集。对于DNN，训练集用于调整深度神经网络的权重/阈值。

应当注意，当前公开的主题的教示不受描述符的生成器111和分类器112的架构(包括DNN网络的数量和/或架构)的限制。作为非限制性示例，分类器112可以以在2019年2月7日提交的PCT申请PCT/IL2019/050155中公开的方式操作，所述申请通过引用以其整体并入本文。

应当注意，图1所示的检查系统可以在分布式计算环境中实现，其中图1所示的上述功能模块可以分布在若干个本地和/或远程装置上，并且可以通过通信网络链接。还应注意，在其他实施例中，检查工具101和/或102、数据储存库109、存储系统107和/或GUI 108中的至少部分可以在检查系统100的外部并且以经由输入接口105和输出接口106与FPEI系统103数据通信的方式操作。FPEI系统103可以被实现为与检查工具结合使用的(多个)独立计算机。替代地，FPEI系统的相应功能可至少部分地与一个或多个检查工具集成。

参照图2，示出了根据当前公开的主题的某些实施例的基于机器学习的分类的通用流程图。过程包括设置步骤(201)，设置步骤(201)包括训练(202)描述符的生成器111以提供用于相应图像中的缺陷的类别相关的描述符，以及训练(203)分类器112以基于相应描述符来提供缺陷的多标签分类。设置步骤将参考图3进一步详细说明。

在运行时(204)期间，FPEI系统的PMC使用获得的经训练的描述符的生成器111和分类器112来处理(205)包括一个或多个FP图像的FP样品。由此，PMC获得(206)表征所处理的FP样品中的图像中的至少一个图像的分类相关数据。当处理一个或多个FP图像时，在训练之后，除了以表征描述符的生成器111和分类器112的基于训练的参数之外，PMC还可以使用预定义的参数和/或从其他源接收的参数。

FP样品中的FP图像可以来自不同的检查模态(例如，来自不同的检查工具、来自相同检查工具的不同通道(例如，明场和暗场图像)、来自使用不同操作参数的相同检查工具，或者可以从设计数据中导出等)。

例如，FP图像可以选自以下各项：在制造工艺期间捕获的样本(例如晶片或其部分)图像、通过各种预处理阶段获得的捕获图像的衍生物(例如，由SEM或光学检验系统捕获的晶片或光掩模的一部分的图像、围绕待由ADC分类的缺陷大致居中的SEM图像、待由ADC局部化的缺陷所在的较大区域的SEM图像、对应于相同掩模位置的不同检查模态的登记的图像、分割的图像、高度图图像等)、基于计算机生成的设计数据的图像等。应当注意，FP图像可以包括感兴趣层的图像和/或样本的一个或多个其他层的登记的图像。在下文中，不同层的FP图像也称为从不同模态接收的图像。

应当注意，在当前公开的主题的实施例中，FP样品和/或对应的训练样品中包括的图像的特性不同于在本领域中公知的通用深度神经网络中使用的常规RGB图像。例如，基于电子的成像会产生具有各种效果的灰阶图像，所述各种效果诸如不均匀的噪声分布、充电效应、传感器(不同工具)之间的大可变性等。此外，SEM图像通常由5个不同的灰阶图像组成，每个图像对应于从其拍摄图像的不同视角(顶、左、右、上、下)。

还应注意，FP样品和/或对应的训练样品和/或可以包括多个数据类型的FP输入数据(诸如例如，不同来源和分辨率的图像(例如缺陷图像、类别图像、参考图像、CAD图像等))、不同类型的数值数据(诸如例如，从图像导出的不同类型的数据(例如高度图、缺陷掩模、等级、分段等))、不同类型的元数据(例如成像条件、像素大小等)、不同类型的手工构建的属性(例如缺陷尺寸、取向、背景区段等)等等。给定类别的缺陷可能来自FAB中的一个或多个层和/或一个或多个产品。可以进一步丰富训练集，以包括扩充的缺陷和/或合成缺陷。作为非限制性示例，可以丰富训练集，如在2019年2月7日提交的PCT申请第PCT/IL2019/050150号中详述并且通过引用以其整体并入本文，以及在2019年2月20日提交的美国申请第16/280,869号中详述并且通过引用以其整体并入本文等。

参考图3，示出了设置步骤(201)的通用流程图。根据当前公开的主题的某些实施例，设置步骤包括：定义(301)可用于区分不同类别的缺陷的一组缺陷的物理属性(例如多达20-30个物理属性)，并且针对每个给定类别进一步定义(302)这些物理属性的一组值，这组值唯一地描述所述给定类别。因此，每个类别与和表征给定类别中的缺陷的物理属性的相应的唯一的一组值相对应的多标签数据集唯一地相关联(303)。可以针对每个产品、针对每个客户和/或全局地针对产品/客户的群组提供操作(301)-(303)，并且可以将类别与多标签数据集的相应唯一关联存储在PMC 104中。可以手动地或至少部分地由计算机来提供操作(301)-(303)。

作为非限制性示例，物理属性可以表征物理位置、形状、周长、侧壁角度、长宽比、取向、对称性等。同样地，物理属性可以表征缺陷在某些一个或多个层上的位置、化学成分(例如，某种材料的缺失和/或存在)等。物理属性的值可从FP样品和/或相应的训练样品中的图像导出(例如，通过处理图像和/或其衍生物)。

例如，“粒子”类别中的缺陷由位于图案的顶部上的具有清晰边缘的粗糙纹理(缺陷区域的小的z变化)来表征，而“桥”类别中的缺陷由连接两个图案且位于顶部上的不具有清晰边缘的不粗糙纹理来表征。因此，对于这两个类别，可以如下定义缺陷的一组物理属性：

-纹理的粗糙度

-边缘的清晰度

-相对于图案顶部的位置

-相对于两个图案的位置

可选地，但不是必要的，可以以二进制形式定义物理属性的值。表1呈现一组物理属性的二进制值的非限制性示例，所述一组物理属性的二进制值唯一地描述缺陷的“粒子”和“桥”类别。

表1

因此，对于以上示例，“粒子”类别可以与多标签二进制数据集[1 1 1 0]唯一地相关联，并且“桥”类别可以与多标签二进制数据集[0 0 1 1]唯一地相关联。

应当注意，来自一组物理属性的一些属性可能与特定缺陷类别无关。可选地，但非必要的，物理属性的值可以定义为“是”，“否”和“不相关”。

PMC 104训练描述符的生成器111以针对每个给定缺陷生成(304)多标签输出向量(以下也称为“描述符”)，所述多标签输出向量定义来自一组物理属性中的属性值。作为非限制性示例，训练过程可以以“结构化预测”的方式提供(例如详述于Nataly Brukhim和Amir Globerson的于2018年2月13日出版的“预测与约束：在深度结构化预测中建模基数(Predict and Constrain:Modeling Cardinality in Deep Structured Prediction)”，arXiv:1802.04721v1；https://arxiv.org/pdf/1802.04721.pdf。此文章通过引用以其整体并入本文)

替代地或附加地，PMC 104使用与相应类别唯一地相关的数据集来训练分类器112，以根据多标签输出向量(描述符)来提供(305)对缺陷的分类。

训练过程产生经训练的描述符的生成器和经训练的分类器。

返回参考图2，在运行时期间，PMC 104使用经训练的描述符的生成器来处理FP样品以获得提供相应缺陷的物理属性的信息的描述符，并且进一步使用经训练的分类器以根据与相应类别唯一地相关联的多标签数据集来对缺陷分类。

分类还可以包括确定性过程，所述确定性过程将确定性阈值定义为与给定类别相匹配的值的数量以及多标签数据集中的属性值的总数量之间的比率。这样的确定性阈值使得能够优化缺陷分类的置信水平并识别错误分类的缺陷。作为非限制性示例，这样的阈值可以在对缺陷分类的技术中实现，所述技术包括：将每个类别分配给具有不同优先级的三个或更多个分类群组中的分类群组，并进一步分开地针对每个类别设置纯度、准确度和/或提取要求，以及根据每个类别的要求来优化分类结果。所述技术在美国申请第2019/0096053号中公开，所述申请通过引用以其整体并入本文。

对所生成的描述符的分析可以识别新的重复属性图案，从而使得能够检测最初不包括在分类中的新类别。同样地，此类分析使得能够识别一个或多个类别的多模态行为并定义相应的子类别(例如，对应于表征相同类别的属性的值的不同群集)。

应当理解，本发明的应用不限于在本文包含的说明书中阐述或在附图中所示的细节。本发明能够具有其他实施例并且能够以各种方式来实践和执行。因此，应当理解，本文采用的措词和术语是出于说明的目的，并且不应被认为是限制性的。因此，本领域技术人员将认识到，本公开所基于的概念可以容易地用作设计用于实现当前公开的主题的若干目的的其他结构、方法和系统的基础。

还应当理解，根据本发明的系统可以至少部分地在适当编程的计算机上实现。同样地，本发明考虑了一种可由计算机读取的计算机程以用于执行本发明的方法。本发明进一步考虑一种非瞬态计算机可读存储器，所述非瞬态计算机可读存储器有形地体现可由计算机执行的指令的程序，以用于执行本发明的方法。

本领域技术人员将容易理解，在不背离在所附权利要求中限定且由所附权利要求限定的本发明范围的情况下，可以将各种修改和改变应用于如前所述的本发明的实施例。