半导体样品的基于深度学习的检查的方法及其系统
阅读说明：本技术 半导体样品的基于深度学习的检查的方法及其系统 (Method and system for deep learning-based inspection of semiconductor samples ) 是由 O·肖比 D·苏哈诺夫 A·阿斯巴格 B·科恩 于 2019-02-07 设计创作，主要内容包括：本文提供了一种检查半导体样品的方法及其系统。所述方法包括：使用经训练的深度神经网络(DNN)来处理制造工艺(FP)样本,其中FP样本包括：从(多个)第一检查模态接收的(多个)第一FP图像和从(多个)第二检查模态接收的(多个)第二FP图像,所述(多个)第二检查模态与所述(多个)第一检查模态不同,并且其中所述经训练的DNN与所述(多个)第二FP图像分开地处理所述(多个)第一FP图像；且进一步地通过所述经训练的DNN来处理此种单独处理的结果以获得特定于给定的应用并表征经处理的所述FP图像中的至少一个FP图像的检查相关的数据。当FP样本进一步包括与所述(多个)FP图像相关联的数值数据时,所述方法进一步包括：通过所述经训练的DNN而与处理所述第一FP图像和所述第二FP图像分开地处理数值数据的至少部分。(A method of inspecting a semiconductor sample and a system thereof are provided. The method comprises the following steps: processing a manufacturing process (FP) sample using a trained Deep Neural Network (DNN), wherein the FP sample comprises: a first FP image(s) received from a first examination modality(s) and a second FP image(s) received from a second examination modality(s), the second examination modality(s) being different from the first examination modality(s), and wherein the trained DNN processes the first FP image(s) separately from the second FP image(s); and further processing the results of such separate processing by the trained DNN to obtain inspection-related data specific to a given application and characterizing at least one of the FP images processed. When the FP sample further comprises numerical data associated with the FP image(s), the method further comprises: processing at least a portion of numerical data by the trained DNN separately from processing the first FP image and the second FP image.)
技术领域
本发明公开的主题总的来说涉及样本的检查的领域，并且更具体来说涉及用于样本的检查的自动化的方法和系统。
背景技术
对于高密度和高性能的目前的需求(其与所制造的装置的超大规模集成相关联)要求次微米特征、增加的晶体管和电路速度，以及改进的可靠度。这些需求要求形成具有高精度和均匀性的器件特征，这些又使得制造工艺的仔细的监控(包括当装置仍然是半导体晶片的形式时自动地检查所述器件)成为必要。注意到制造工艺可包括：预制造操作、制造操作、和/或制造后操作。
在此说明书中使用的术语“样本(specimen)”应被广泛地解释为涵盖用于制造半导体集成电路、磁头、平板显示器、以及其他的半导体制造的制品的任何的种类的晶片、掩模、以及其他的结构、组合和/或其部分。
在此说明书中使用的术语“检查(examination)”应被广泛地解释为涵盖任何种类的计量相关的操作、以及与在样本的制造期间检测和/或分类所述样本中的缺陷相关的操作。在制造待检查的样本期间或在制造待检查的样本之后，通过使用非破坏性的检查工具来进行检查。作为非限制性的示例，检查工艺可包括：运行时间扫描(在单次或多次扫描中)、采样、检查、测量、分类、和/或使用相同的或不同的检查工具来关于样本或其部分提供的其他的操作。同样地，检查的至少一部分可在制造待检查的样本之前进行，并且可包括例如生成(多个)检查配方、训练相应的分类器、或其他的机器学习相关的工具和/或其他的设置操作。注意到，除非特别地且另外地声明，在此说明书中使用的术语“检查(examination)”或其衍生物不限于分辨率或检查区域的大小。各种非破坏性的检查工具包括(作为非限制性的示例)：扫描电子显微镜、原子力显微镜、光学检查工具等。
作为非限制性的示例，运行时间检查可采用两阶段的程序(例如，检查样本，然后检查潜在的缺陷的采样的位置)。在第一阶段期间，在高速下且利用相对低的分辨率来检查样本的表面。在第一阶段，生成缺陷图以显示被怀疑具有高的缺陷机率的样本上的位置。在第二阶段期间，这样的可疑的位置中的至少一些以相对高的分辨率被更彻底地分析。在某些情况下，两个阶段可通过相同的检查工具来实施，而在一些其他的情况中，这两个阶段是通过不同的检查工具来实施的。
在半导体制造期间的各个步骤中使用检查程序以检测和分类在样本上的缺陷。可通过程序中的至少部分的自动化(例如，通过使用自动的缺陷分类(ADC)、自动的缺陷检查(ADR)等等)来增加检查的有效性。
发明内容
根据本发明公开的主题的某些方面，提供了一种检查半导体样品的方法，所述方法包括：在通过计算机获得在半导体制造工艺内针对给定的检查相关的应用来训练的深度神经网络(DNN)之后，使用经训练的所述DNN来处理制造工艺(FP)样本，其中所述FP样本包括：从一个或多个第一模态接收的一个或多个第一FP图像和从一个或多个第二模态接收的一个或多个第二FP图像，所述第二模态与所述第一模态不同，并且其中经训练的所述DNN与所述一个或多个第二FP图像分开地处理所述一个或多个第一FP图像；以及通过所述计算机，通过经训练的所述DNN来处理所述一个或多个第一FP图像和所述一个或多个第二FP图像的至少单独处理的结果以获得特定于给定的应用并且表征经处理的所述FP图像中的至少一个的检查相关的数据。作为非限制性的示例，一个或多个第一FP图像可为低分辨率图像，且一个或多个第二FP图像可为高分辨率图像。
当FP样本进一步包括与在FP样本中的FP图像相关联的数值数据(例如，元数据、手工构建的属性等)时，所述方法可进一步包括：通过经训练的所述DNN来与处理所述一个或多个第一FP图像和处理所述一个或多个第二FP图像分开地处理数值数据的至少部分。特定于给定的应用的检查相关的数据可通过以下方式获得：通过经训练的所述DNN来处理所述一个或多个第一FP图像和所述一个或多个第二FP图像的单独处理的结果，以及处理数值数据的至少部分的处理结果。可替代地，获得特定于给定的应用的检查相关的数据可包括：通过经训练的所述DNN来汇聚所述一个或多个第一FP图像和所述一个或多个第二FP图像的单独处理的结果，从而产生汇聚的图像数据；以及进一步地处理汇聚的图像数据，以及单独处理数值数据的至少部分的结果。
作为非限制性的示例，检查特定的应用可为：检测在所述半导体样品中的缺陷；对在所述半导体样品中的缺陷进行分类；在至少两个制造工艺(FP)图像之间进行配准；分割至少一个FP图像，所述至少一个FP图像是从包括所述半导体样品的高分辨率图像、所述半导体样品的低分辨率图像、以及所述半导体样品的基于设计数据的图像的群组中选出的；对与通过不同的检查模态获得的数据相对应的FP图像进行基于回归的重建，以及对图像性质进行基于回归的重建等等。
作为非限制性的示例，一个或多个第一模态可通过以下项中的至少一个而与一个或多个第二模态有所不同：检查工具、相同的检查工具的通道、相同的检查工具和/或通道的操作参数、对应于相应的FP图像的半导体样品的层、获得FP图像的性质、以及应用于所捕获的图像的导出技术。
根据本发明公开的主题的其他的方面，提供了一种可使用于根据上述的方法来检查半导体样品的系统。
根据本发明公开的主题的其他的方面，提供了一种包括当由计算机执行时使得所述计算机进行上述的方法的指令的非瞬态计算机可读介质。
附图说明
为了要理解本发明并观察在实际中可以如何地实施本发明，现在将参照附图来描述实施例(仅作为非限制性的示例)，其中在附图中：
图1示出根据本发明公开的主题的某些实施例的检查系统的功能框图。
图2根据本发明公开的主题的某些实施例来示出使用深度神经网络(DNN)来基于制造工艺(FP)图像自动地确定检查相关的数据的一般性的流程图。
图3示出根据本发明公开的主题的某些实施例来配置的DNN的一般性的功能图。
图4a和图4b示出根据本发明公开的主题的某些实施例的对于缺陷进行分类的一般性的流程图；以及
图5a至图5c示出根据本发明公开的主题的某些实施例的分类DNN网络的架构的非限制性的示例。
具体实施方式
在后续的具体实施方式中，阐述许多的特定的细节以为了提供对本发明的透彻理解。然而，将由本领域技术人员理解到，可以在没有这些特定的细节的情况下实践本发明公开的主题。在其他的实例中，公知的方法、程序、部件、及电路未被详细地描述，以为了不混淆本发明公开的主题。
除非特别地且另外地声明(如同从后文的讨论中显而易见的)，应理解到，在说明书全文中，利用诸如为“处理(processing)”、“计算(computing)”、“代表(representing)”、“比较(comparing)”、“生成(generating)”、“训练(training)”、“分割(segmenting)”、“配准(registering)”等术语的讨论意指操纵数据和/或将数据转换为其他数据的计算机的(多个)动作和/或(多个)程序，所述数据被表示为物理(诸如：电子)量和/或所述数据代表物理对象。术语“计算机(computer)”应被广泛地解释为涵盖具有数据处理能力的任何种类的基于硬件的电子装置,包括(作为非限制性的示例)：在本申请中公开的FPEI系统和其相应的部件。
在本文中使用的术语“非瞬态存储器(non-transitory memory)”和“非瞬态存储介质(non-transitory storage medium)”应被广泛地解释为涵盖适合于本发明公开的主题的任何的易失性或非易失性的计算机存储器。
在此说明书中使用的术语“缺陷(defect)”应被广泛地解释为涵盖在样本上或在样本内形成的任何种类的异常或非期望的特征。
在说明书中使用的术语“设计数据(design data)”应被广泛地解释为涵盖表示样本的分层式的物理设计(布局)的任何数据。设计数据可由分别的设计者来提供和/或可从物理设计(例如，经由复杂的模拟、简单的几何操作和布尔操作等)导出。设计数据可以以不同的格式(如同(作为非限制性的示例)：GDSII格式、OASIS格式等)来提供。设计数据可以以向量格式、灰阶强度图像格式或其他的格式来呈现。
应理解到，除非特别地且另外地声明，本发明公开的主题的某些特征(所述某些特征被描述于单独的实施例的情境中)也可以在单个实施例中被组合地提供。相反地，本发明公开的主题的各种特征(所述各种特征被描述于单个实施例的情境中)也可被单独地提供，或在任何的适当的子组合中被提供。在后续的实施方式中，阐述许多的特定的细节以提供对方法和设备的透彻理解。
记住这一点：关注于图1，其中示出根据本发明公开的主题的某些实施例的检查系统的功能框图。示于图1中的检查系统100可用于检查样本(例如，晶片和/或晶片的部分)作为样本制造工艺的一部分。所示出的检查系统100包括基于计算机的系统103，所述基于计算机的系统103能够使用在样本制造期间所获得的图像来自动地确定计量相关的和/或缺陷相关的信息。这些图像在后文中被称为制造工艺(FP)图像。系统103在后文中被称为FPEI(制造工艺检查信息)系统。FPEI系统103可以可操作地连接至一个或多个低分辨率检查工具101和/或一个或多个高分辨率检查工具102和/或其他的检查工具。检查工具经配置以捕获FP图像和/或检查(多个)所捕获的FP图像，和/或实现或提供与(多个)所捕获的图像相关的测量。FPEI系统可进一步可操作地连接至CAD服务器110和数据储存库109。
FPEI系统103包括：处理器和存储器电路(PMC)104，所述处理器和存储器电路(PMC)104可操作地连接至基于硬件的输入界面105并且连接至基于硬件的输出界面106。PMC 104经配置以提供：用于操作FPEI系统所需要的所有的处理(进一步地参照图2至图5作详细描述)，并且包括：处理器(未被单独地示出)和存储器(未被单独地示出)。PMC 104的处理器可经配置以根据在包括于PMC中的非瞬态计算机可读存储器上实施的计算机可读指令来执行若干功能模块。这些功能模块在后文中被指称为包括在PMC中。包括在PMC104中的功能模块包括：可操作地连接的训练集生成器111和深度神经网络(DNN)112。DNN 112包括DNN模块114，所述DNN模块114经配置以实现使用(多个)深度神经网络来进行数据处理，以基于制造工艺(FP)输入数据来输出应用相关的数据。可选地，DNN 112可包括预DNN模块113，所述预DNN模块113经配置以在发送输入数据至DNN模块之前提供预处理；和/或后DNN模块115，所述后DNN模块115经配置以提供由DNN模块生成的后处理数据。将进一步地参照图2至图5来详细地描述FPEI系统103、PMC 104以及在其中的功能块的操作。
如将进一步地参照图2至图5详细地描述的，FPEI系统经配置以通过输入界面105来接收FP输入数据。FP输入数据可包括：由检查工具生成的数据(和/或其衍生物和/或与其相关联的元数据)，和/或生成和/或存储于一个或多个数据储存库109、和/或生成和/或存储于CAD服务器110和/或另一个相关的数据储存库中的数据。注意到FP输入数据可包括图像(例如，所捕获的图像、从所捕获的图像导出的图像、模拟的图像、合成的图像等)以及相关联的数值数据(例如，元数据、手工构建的属性等)。进一步地注意到图像数据可包括与样本的感兴趣的层和/或一个或多个其他的层相关联的数据。可选地，为了达到训练目的，FP输入数据可包括整个可用的FAB数据、或根据某些准则来选择的其部分。
FPEI系统进一步地经配置以处理接收到的FP输入数据的至少部分，并且通过输出界面106将结果(或其部分)发送至存储系统107、(多个)检查工具、用于渲染结果的基于计算机的图形用户界面(GUI)108、和/或外部系统(例如，FAB的良率管理系统(YMS))。GUI 108可进一步地经配置以实现与操作FPEI系统103相关的用户指定的输入。
作为非限制性的示例，可以通过一个或多个低分辨率检查机器101(例如，光学检查系统、低分辨率SEM等)来检查样本。提供样本的低分辨率图像的相关信息的结果数据(在后文中被称为低分辨率图像数据121)可以–直接地或通过一个或多个中间系统–传送至FPEI系统103。可替代地或额外地，可以通过高分辨率机器102来检查样本(例如，针对检查而选择的潜在的缺陷位置的子集可以通过扫描电子显微镜(SEM)或原子力显微镜(AFM)来检查)。提供样本的高分辨率图像的相关信息的结果数据(在后文中被称为高分辨率图像数据122)可以—直接地或通过一个或多个中间系统—传送至FPEI系统103。
注意到，可利用不同的分辨率来捕获在样本上的所期望的位置的图像。作为非限制性的示例，所期望的位置的所谓的“缺陷图像(defect images)”可用于区分缺陷和错误警告，而所期望的位置的所谓的“类别图像(class images)”是利用较高的分辨率来获得的，并且可使用于缺陷分类。在一些实施例中，相同的位置的图像(具有相同或不同的分辨率)可包括在其间配准的若干图像(例如，从给定的位置捕获到的图像和对应于给定的位置的一个或多个参考图像)。
在处理FP输入数据(例如，低分辨率图像数据和/或高分辨率图像数据(可选地与其他的数据(例如，设计数据、合成的数据等)一起))之后，FPEI系统可传送结果(例如，指令相关的数据123和/或124)至检查工具中的任何一个、将结果(例如，缺陷属性、缺陷分类等)存储在存储系统107中、通过GUI 108来呈现结果、和/或将所述结果传送至外部系统(例如，传送至YMS)。
本领域技术人员将容易地理解到本发明公开的主题的教示不受到示于图1中的系统的限制；等效和/或修改的功能可以利用另一种方式合并或划分，并且可以利用软件与固件和/或硬件的任何的适当的组合来实施。
在不以任何的方式限制本公开内容的范围的情况下，还应注意到检查工具可以被实施为各种类型的检查机器(诸如，光学成像机器、电子束检查机器等)。在某些情况下，相同的检查工具可提供低分辨率图像数据和高分辨率图像数据。在一些情况中，至少一个检查工具可具有计量能力。
如将进一步地参照图2至图5详细地描述的，DNN模块114可包括多个DNN子网络，其中每个DNN子网络包括根据相应的DNN架构来组织的多个层。可选地，DNN子网络中的至少一个可具有与其它的DNN子网络不同的架构。作为非限制性的示例，在子网络中的层可根据卷积神经网络(CNN)架构、递归神经网络架构、递回神经网络架构、或其他的架构来组织。可选地，DNN子网络的至少部分可具有一个或多个共同的层(例如，最后的融合层、输出完全连接层等)。
DNN模块114的每一层可包括：在本领域中通常称为维度、神经、或节点的多个基本的计算元件(CE)。给定的层的计算元件可与先前的层和/或后续的层的CE连接。在先前的层的CE与后续的层的CE之间的每个连接与加权值相关联。给定的CE可通过相应的连接从先前的层的CE接收输入，每个给定的连接与可被应用至给定的连接的输入的加权值相关联。加权值可确定连接的相对强度，并因此确定相应的输入对于给定的CE的输出的相对的影响。给定的CE可经配置以计算出启动值(例如，输入的加权和)，并且通过将启动函数应用至计算出的启动来进一步地导出输出。启动函数可为(例如)：恒等函数、确定性函数(例如，线性、S形、临界值等)、随机函数、或其他的适当的函数。来自给定的CE的输出可以通过相应的连接传送至后续的层的CE。同样地，如前文所述，在CE的输出处的每个连接可与加权值相关联，所述加权值可在被接收以作为后续的层的CE的输入之前应用于CE的输出。除了加权值之外，还可以存在与连接和CE相关联的临界值(包括限制函数)。
深度神经网络的加权值和/或临界值可以在训练之前被初始地选择，并且可以进一步地在训练期间迭代地调整或修改，以在经训练的DNN模块中实现加权值和/或临界值的最佳集合。在每次迭代之后，可以确定：在由DNN模块生成的实际的输出与关联于数据的相应的训练集的目标输出之间的差异。所述差异可被称为误差值。当表示误差值的成本函数小于预定值时，或当实现在迭代之间的性能的有限的改变时，训练可被确定为完成的。可选地，在训练整个DNN之前，可以单独地训练DNN子网络的至少部分。
用以调整深度神经网络的权重值/临界值的DNN输入数据的集合在后文中被称为训练集。
在输入至DNN模块114之前，对于DNN 112的输入可通过预DNN模块113进行预处理，和/或在从DNN 112输出之前，DNN模块114的输出可通过后DNN模块115进行后处理。在这些情况中，DNN 112的训练进一步包括：确定预DNN模块和/或后DNN模块的参数。DNN模块可被训练以使得整个DNN的成本函数最小化，而预DNN模块和/或后DNN模块的参数可被预先限定，并且可选地可以在训练期间进行调整。基于经训练的参数的集合可进一步地包括：与预DNN和后DNN处理相关的参数。
注意到本发明公开的主题的教示不受到DNN子网络的数目和/或架构的限制。
注意到：示于图1中的检查系统可以在分散式的计算环境中实施，其中显示在图1中的前述的功能模块可以分布在若干的本地装置和/或远程装置上，并且可以经由通信网络相链接。进一步地注意到：在其他的实施例中，检查工具101和/或102、数据储存库109、存储系统107和/或GUI 108中的至少一部分可以在检查系统100的外部，并且操作为通过输入界面105和输出界面106与FPEI系统103进行数据通信。FPEI系统103可被实施为(多个)独立的计算机，以与检查工具相结合地使用。可替代地，FPEI系统的分别的功能可至少部分与一个或多个检查工具相整合。
参照图2，示出了使用DNN 112以基于制造工艺(FP)图像来自动地确定检查相关的数据的一般性的流程图。如已经在转让给本申请的受让人且通过引用的方式全体并入本文中的美国专利申请第2017/0177997号中所呈现的，所述程序包括设置步骤，所述设置步骤包括训练深度神经网络(DNN)112，其中DNN是针对给定的检查相关的应用来经训练的，并且是由基于训练的参数的应用特定的集合来表征。作为非限制性的示例，检查相关的应用可为以下项中的至少一个：
使用由DNN生成的属性的缺陷分类(限定类别可包括：修改和/或更新预先存在的类别定义和/或对于新的类别进行识别)；
制造工艺图像的分割，所述分割包括：将FP图像划分成片段(例如，材料类型、边缘、像素标记、感兴趣的区域等)；
缺陷检测(例如，使用FP图像来识别一个或多个候选缺陷(如果它们存在的话)、标示所述一个或多个候选缺陷、针对候选缺陷确定真实值、获得缺陷的形状信息等)；
在两个或更多个图像之间的配准，所述配准包括：获得在图像之间的几何扭曲参数(可为全局的或局部的、简单的移位或较为复杂的转换)；
交叉模态回归(例如，从来自不同的检查模态的一个或多个图像(例如，来自CAD的SEM或光学图像、来自SEM图像的高度图、来自低分辨率图像的高分辨率图像)重建图像)；
图像性质(例如，接触孔深度等)的基于回归的重建；以及
以上项的(多个)组合。
在设置步骤期间获得针对给定的应用来训练的DNN(201)。在运行时间期间，FPEI系统的PMC使用获得的经训练的DNN 112以处理包括FP图像的FP样本(202)。由此，PMC获得表征在经处理的FP样本中的图像中的至少一个的应用特定的检查相关的数据(203)。当处理一个或多个FP图像时，除了在训练时表征DNN 112的基于经训练的参数之外，PMC也可使用预先限定的参数和/或从其他的来源接收的参数。
在FP样本中的FP图像可以来自不同的检查模态(例如，来自不同的检查工具、来自相同的检查工具的不同的通道(例如，明场图像和暗场图像)、来自使用不同的操作参数的相同的检查工具、或可以从设计数据导出等)。
例如，可以从在制造工艺期间所捕获的样本(例如，晶片或其部分)的图像、通过各种预处理阶段获得的所捕获的图像的衍生物(例如，通过SEM或光学检查系统捕获到的晶片或光掩模的一部分的图像、大致上以要由ADC分类的缺陷为中心围绕的SEM图像、较大区域的SEM图像(其中在所述较大区域中，缺陷是通过ADR来局部化的)、对应于相同的掩模位置的不同的检查模态的配准的图像、分割的图像、高度图图像等等)、计算机生成的基于设计数据的图像等中选择FP图像。注意到FP图像可包括：感兴趣的层的图像、和/或样本的一个或多个其他的层的配准的图像。不同的层的FP图像在后文中也被称为从不同的模态接收的图像。
作为非限制性的示例，应用特定的检查相关的数据可以表示：数值的每个像素的映射，其意义取决于应用(例如，用于缺陷检测的二元映射；用于指示族群类型或一般类别的扰动族群预测(nuisance family prediction)的离散映射；用于缺陷类型分类的离散映射；用于交叉模态或晶粒至模型(die-to model,D2M)回归的连续值等)。可以进一步地获得每个像素的映射，以及表示针对像素获得的数值的机率的每个像素的机率图。
可替代地或额外地，应用特定的检查相关的数据可表示：概括整个图像内容(并非每个像素)的一个或多个值(例如，缺陷属性、用于自动的缺陷检查应用的缺陷边界框候选和相关联的缺陷机率、用于自动缺陷分类应用的缺陷类别和类别机率等等)。
可替代地或额外地，获得的应用特定的缺陷相关的数据可以不与缺陷直接地相关，而是可使用于缺陷分析(例如，通过可用于限定缺陷的层的FP图像的分割获得的在晶片的层之间的边界、缺陷环境数据(例如，背景图案的特征)等等)。可替代地或额外地，检查相关的数据可用于计量目的。
进一步地注意到：在本发明公开的主题的实施例中，包括在训练样本和/或FP样本中的图像的特征不同于使用在本领域中公知的一般的深度神经网络的常规的RGB图像。举例而言，基于电子的成像产生：具有各种效果(如不均匀的噪声分布、充电效应、传感器(不同的工具)之间的大变化等等)的灰阶图像。此外，SEM图像通常由5个不同的灰阶图像组成，每个图像对应于拍摄图像的不同的视角(顶部、左侧、右侧、上侧、下侧)。
参照图3，其中示出根据本发明公开的主题的某些实施例配置的DNN 112的一般性的功能图。
如在前文中详细地描述的，可以使用多个数据类型的FP输入数据(诸如，例如，具有不同的原点和分辨率的图像(例如，缺陷图像、分类图像、参考图像、CAD图像等)、不同的类型的数值数据(例如为从图像(例如，高度图、缺陷掩模、等级、片段等)中导出的不同类型的数据)、不同类型的元数据(例如，成像条件、像素尺寸等)、不同类型的手工构建的属性(例如，缺陷尺寸、方向、背景片段等)等)来训练DNN网络并且可以使用所述多个数据类型的FP输入数据来获得检查相关的输出数据。根据本发明公开的主题的某些实施例，DNN 112经配置以提供不同类型的FP输入数据的专有的(意即，单独的)处理(在设置期间和在运行时间期间)。此外，如将进一步地参照图5a至图5c详细地描述的，DNN 112可经配置以将专有的处理与其他的额外的类型的融合的输入数据组合，以及进一步地融合一部分的结果。
DNN模块114可包括多个输入子网络(以302-1–302-3来表示)，每个给定的输入子网络经配置以处理针对给定的子网络指定的某个类型的FP输入数据(以301-1–301-3来表示)。给定的输入子网络的架构可分别地对应于输入数据的(多个)指定的类型，或者可以可替代地独立于输入数据的类型。
输入子网络可连接至汇聚子网络305，所述汇聚子网络进一步地连接至输出子网络306，所述输出子网络经配置以输出应用特定的检查相关的数据。可选地，输入子网络中的至少一部分可直接地连接至汇聚子网络305或输出子网络306。可选地，汇聚子网络和输出子网络可以在单个子网络中组织。
多个输入子网络包括一个或多个子网络(在后文中被称为“图像子网络(imagesubnetworks)”)，所述一个或多个子网络经配置以处理FP图像，其中不同的图像子网络经配置以处理从不同的检查模态接收到的图像。如所示的，图像子网络302-1处理第一类型(301-1)的FP图像(例如，低分辨率图像)，并且图像子网络302-2分别地处理第二类型(301-2)的FP图像(例如，高分辨率图像)。
作为非限制性的示例，检查模态可以通过检查工具、相同的检查工具的不同的通道、通过检查工具的操作参数(例如，通过某个检查工具/通道所提供的视角和/或分辨率等)、和/或通过对应于相应的FP图像的层而与另一检查模态有所不同。可替代地或额外地，检查模态可以通过获得分别的FP图像(即，所捕获的图像、由其导出的图像、预处理图像(例如，平均图像和/或差异图像))的性质而与另一检查模态有所不同，并且模拟的图像(包括基于CAD的图像)在后文中被称为来自检查模态的图像，所述检查模态通过获得分别的图像的性质而有所不同。可替代地或额外地，检查模态可以通过应用于所捕获的图像(例如，通过分割导出的FP图像、缺陷轮廓提取、高度图计算等)的导出技术而与另一个检查模态有所不同。
仅为了达到示例说明的目的，针对具有卷积神经架构(CNN)的图像子网络提供后续的描述。作为非限制性的示例，可以利用在Gao Huang等人的文献“密集地连接的卷积网络(Densely Connected Convolutional Networks)”(https：//arxiv.org/pdf/1608.06993.pdf)(其中所述文献通过引用的方式全体并入本文中)中所公开的方式来提供图像子网络的架构。本领域技术人员将容易地理解到本发明公开的主题的教示同样地可应用于适合用以处理图像的其他DNN架构。
多个输入子网络可进一步包括至少一个DNN子网络(以302-3来表示)，所述至少一个DNN子网络经配置以处理数值类型的输入数据(例如，与FC图像相关的元数据、与一个或多个检查工具和/或一个或多晶粒相关的一般属性、手工构建的属性等等)。可替代地或额外地，数值类型的输入数据的至少部分可被直接地融合进汇聚子网络305或输出子网络306。
汇聚子网络305可包括连接至一个或多个完全连接层304的一个或多个融合层303。可选地，一个或多个融合层303可以在一个或多个融合DNN子网络中组织(并行地和/或循序地)。可选地，一个或多个完全连接层304可以在一个或多个完全连接的DNN子网络中组织(并行地和/或循序地)。
可选地，输出子网络306可包括：定制层，所述定制层经配置以定制应用特定的检查相关的数据(例如，根据FAB的要求)。
仅为了达到示出的目的，针对分类应用提供后续的描述。本领域技术人员将容易地理解到本发明公开的主题的教示同样地可应用于与样本的检查相关的其他的应用。作为非限制性的示例，参照图3详细地描述的过程可同样地应用于检测在样本中的缺陷；在至少两个制造工艺(FP)图像之间进行配准；分割至少一个FP图像，所述至少一个FP图像是从包括样本的高分辨率图像、样本的低分辨率图像、及样本的基于设计数据的图像的群组中选出的；基于回归地重建对应于通过不同的检查模态获得的数据的FP图像；计量应用、图像特性的基于回归的重建等等。
参照图4a和图4b，示出了获得用于对在样本中的缺陷进行分类的检查相关的数据的非限制性的示例。
过程包括：DNN的分类特定的训练的设置步骤410(例如，用以提供实现最小的缺陷分类错误的分类相关的属性)、以及使用经训练的DNN以用于生成缺陷属性和/或进行缺陷分类的运行时间的步骤420。
在设置410(对于图4a和图4b而言为共同的)期间，在获得包括FP图像和其元数据的第一训练样本的集合(401)、以及相应的真值数据(ground truth data)(402)之后，PMC104生成(403)分类训练集，并且使用生成的分类训练集以获得(404)由分类相关的训练参数所表征的经训练的DNN。生成(403)分类训练集可包括：扩增第一训练样本和真值数据，并且将扩增的训练样本和扩增的真值数据包括至训练集中。可替代地或额外地，扩增第一训练集可包括：生成并且包括在所设置的合成的训练样本中。可替代地或额外地，生成(403)分类训练集可包括：生成FP图像的衍生物(例如，平均图像或差异图像)、手工构建的属性等等。
注意到根据本发明公开的主题的某些实施例，可以基于与来自所有制造阶段的所有类型的层/产物相关的整个可用的FAB数据(例如，CAD数据、高分辨率图像、低分辨率图像、元数据、一般属性等)来训练DNN。可替代地，可以在根据某些准则来选择的可用的FAB数据的一部分(例如，标记的/未标记的/特定的(多个)层/特定的(多个)产物/特定的(多个)类别等等)上提供：对于DNN的训练。可以进一步持续地训练DNN(例如，响应于在FAB中或在常规的自动程序上引入的新的类别)，以为了维持其与持续地改变的FAB的数据之间的相关性。
可选地，可以在不同的数据集上对DNN进行粗略的训练(可能与FAB无关)，并且进一步地针对特定的检查相关的应用在可用的FAB数据的至少部分上进行精细的训练(例如，借助于转移学习技术或其他的适当的技术)。
进一步地注意到：由于在FAB中的缺陷的分布的本质，柏雷多(Parreto)可为高度地不平衡的，并且可由来自单个类别的50-80％的缺陷组成。FAB数据可进一步地通过高的分类错误率和有限的数据可用性来表征。扩增和合成的图像生成的技术实现制定基于FAB数据的训练集，以满足特定的应用的要求。作为非限制性的示例，与缺陷的特定的类别(例如，少数类别)相关的FAB数据的缺乏可以通过呈现相应的缺陷的合成的图像来补偿。作为另一个非限制性的示例，与特定的层相关的适当的FAB数据的缺乏可以通过与此层相关的合成的图像来补偿。作为又一个非限制性的示例，可以生成合成的图像以恢复特定缺陷的遗失信息(例如，高分辨率图像)。
在生成(403)分类训练集之后，PMC可训练(404)DNN以提取分类相关的特征并且提供缺陷的属性(和/或缺陷的标记)，从而实现最小的分类错误。训练过程可包括更新训练集。训练过程利用分类相关的训练参数来生成经训练的DNN。
在运行时间420期间，PMC使用分类特定的经训练的DNN以处理(405)FP样本和获得(406)缺陷属性。作为非限制性的示例，FP样本可包括：与待进行分类且通过相同的检查模态或通过不同的检查模态获得的缺陷相关的图像、参考晶粒图像、基于CAD的图像、从获得的图像中导出的数据(例如，高度图、缺陷掩模、等级、片段等)的群组。FP样本可进一步包括：与待进行分类的缺陷相关的元数据(例如，成像条件、像素尺寸、工程属性(例如，缺陷尺寸、方向、背景片段等)等)。作为非限制性的示例，可以由PMC根据存储在PMC中和/或从相应的检查工具接收的预先限定的指令来生成元数据。
如将进一步地参照图5a至图5c详细地描述的，根据本发明公开的主题的某些实施例，在训练样本中和在FC样本中的数据可以在相应的输入子网络之间划分。举例而言，来自不同的检查模态(或其群组)的图像可以构成对于不同的图像子网络的输入。
作为非限制性的示例，来自从不同的视角和/或在不同的照射条件下获得的缺陷位置的FC样本的低分辨率图像(例如，光学图像和/或低分辨率的SEM图像和/或其衍生物)、相应的参考图像(例如，晶粒参考图像、单元参考图像、与缺陷位置相关的低分辨率的基于CAD的图像等)可构成对于第一图像子网络的“缺陷(defect)”级别输入，而来自FC样本的高分辨率图像(例如，从不同的视角和/或在不同的照射条件下获得的缺陷位置的SEM图像和/或其衍生物、与缺陷相关的高分辨率的基于CAD的图像等)可构成对于第二图像子网络的“类别(class)”级别输入。可选地，相同的分辨率的图像可构成对于多于一个的图像子网络的输入(例如，所捕获的图像和图像的衍生物可被馈送到不同的输入子网络)。
包括在FC样本中的数值数据(例如，元数据、手工构建的属性等)可构成对于第三输入子网络或对于汇聚子网络、或者对于输出子网络的输入。可选地，数值数据可根据数据类型构成对于若干输入子网络、汇聚子网络、或对于输出子网络的输入(例如，元数据可被馈送至第三输入子网络，而手工构建的属性可被馈送至汇聚子网络)。
可选地，训练样本可对应于FP样本。每个训练样本可包括至少相同数目的图像，所述至少相同数目的图像是通过相同的检查模态来获得的并且具有与在相应的FP样本中的图像相同的关系。可选地，训练样本可进一步包括额外的图像，所述额外的图像是通过在运行时间期间通常为不可用的额外的检查模态来获得的。在输入子网络上的训练样本中的数据的分布应对应于在FP样本中的相应的分布。注意到：在某些实施例中，训练样本可能遗失对应于在FP样本中的图像的某些图像。这些缺陷可以通过不同的技术(其中所述不同的技术中的一些在本领域中是已知的)来补偿。作为非限制性的示例，遗失的图像可通过根据来自其他的训练样本的相对应的图像的平均值来生成的图像来补偿。
在示出于图4a中的过程中，FPEI系统将通过DNN获得的缺陷属性、以及(可选地)工程属性输出(408)至外部分类器，并且进一步地将工程属性输出至外部分类系统。获得分类结果(409)包括：通过外部分类系统来处理它从外部分类器(其可以可选地为外部分类系统的一部分)接收的结果、以及工程属性。
在示出于图4b中的程序中，FPEI系统使用通过DNN获得的分类相关的属性、以及(可选地)工程属性(当处理(多个)FP图像时可选地获得(407))以生成(408-1)中间分类结果。FPEI系统进一步地将中间分类结果和工程属性输出(408-1)至外部分类系统。外部分类系统处理(409-1)所接收的数据并生成(多个)经分类的缺陷。可选地，可忽略操作408-1，并且FPEI可使用通过DNN获得的分类相关的属性和工程属性以生成分类的缺陷，而不涉及外部分类系统。注意到：工程属性可为输入至DNN的元数据的一部分。可替代地或额外地，工程属性和/或其衍生物可为缺陷表示的一部分。
因此，如所示的，分类应用可以利用不同的方式来实施。作为非限制性的示例，分类特定的经训练的DNN可以基于DNN分类相关的属性和其获得的工程属性的组合，或者仅基于DNN获得的分类相关的属性来对于在FP图像中呈现的缺陷进行分类。可替代地，分类特定的经训练的DNN可通过将分类相关的属性(以及(可选地)工程属性)提供到外部分类系统来实现这些缺陷的分类。
参照图5a至图5c来示出分类DNN网络的非限制性的示例。注意到，可选地，在馈送至输入子网络之前，可以对图像进行预处理，并且可以将所得到的推导(例如，平均-外部(mean-external)、差异-外部(diff-external)等等)馈送至相应的图像子网络，而不是通过检查工具获得的图像，或者除了通过检查工具获得的图像之外，将所得到的推导馈送至相应的图像子网络。
如在图5a中所示的，来自FP样本的数据可以在3个输入子网络(以502-1–502-3来表示)之间划分。CNN图像子网络502-1处理“缺陷(defect)”级别的低分辨率图像501-1以获得“缺陷(defect)”级别特征，并且CNN图像子网络502-2处理“类别(class)”级别的高分辨率图像501-2以获得“类别(class)”级别特征。元数据501-3(例如，可提供像素尺寸、FOV、扫描旋转和扫描速率、帧等相关信息的数据)是由完全连接的输入子网络502-3来处理以获得“元数据(metadata)”级别特征。
可选地，所示的DNN可具有一个或多个额外的输入子网络(例如，基于ADR的输入等)。
由输入子网络中的每一个单独地生成的特征被融合至完全连接的子网络503，所述完全连接的子网络503汇聚接收的特征并且计算出最终的属性表示。
在示于图5a中的示例中，来自所有的不同的来源的数据融合被提供为是基于特征的。
图5b示出基于数据的融合及之后基于特征的融合的示例。通过预处理子网络510来一起对于不同的图像数据501-1–501-2k进行预处理。可选地，预处理子网络510可包括：针对每一种类型的图像(例如，针对每个检查模态或其每个群组)的相应的第一卷积层。可选地，所有的第一卷积层可为相同的。进一步地，预处理子网络510可汇聚图像以获得汇聚的图像(例如，获得的每个像素的最大值)。所得到的汇聚的图像被馈送至输入子网络502-1以提取汇聚的图像特征。此外，数值级别特征和汇聚的图像特征被馈送至输出子网络503以获得最终的属性表示。
图5c示出基于决策的融合的示例。每个输入子网络502-1–502-3分别地馈入专用的完全连接的子网络(以503-1–503-3来表示)。因此，每个输入类型是由提取相应的级别的特征的专用的通道来提供的。最终的缺陷级别特征、最终的类别级别特征、和最终的元数据特征被融合至分类子网络505，所述分类子网络505汇聚接收的特征并且计算出针对已知的类别的分类标记。
注意到最终的属性表示(例如，如在图5a和图5b中所示的)实现：也进一步地分类至一个或多个先前未知的类别。
因此，如在前文中所示，DNN能够使用包括各种数据(例如，从不同的视角和利用不同的分辨率获得的源图像、图像内容(情境\缺陷)、来自源图像的衍生物(高度图、片段等)、数值数据(例如，像素尺寸、手工构建的属性)等等)的FP样本来生成缺陷表示，从而提供分类结果的准确性。
本发明公开的主题的某些实施例的进一步的优点是实现能够针对将来引入的类别建立新的属性的基于FAB的自动程序。
本发明公开的主题的某些实施例的另外的优点是生成稳定的属性空间而不需要恒定的专业校准。
应理解到，本发明的应用不限于在包括于本文中或于附图中所示的描述中阐述的细节。本发明可以具有其他的实施例并且能够利用各种方式来实施和实现。因此，应理解到在本文中采用的用语和术语是为了达到描述的目的，并且不应被视为具有限制性的。因此，本领域技术人员将理解到本公开内容的所基于的概念可被容易地利用以作为用于设计用以实施本发明公开的主题的若干目的的其他的结构、方法和系统的基础。
也将理解到可以至少部分地在被适当编程的计算机上实施根据本发明的系统。同样地，本发明设想了一种可由计算机读取以执行本发明的方法的计算机程序。本发明进一步设想了一种非瞬态计算机可读存储器，所述非瞬态计算机可读存储器有形地体现具有可由计算机执行以执行本发明的方法的指令的程序。
本领域技术人员将容易地理解到，在不偏离本发明的范围的情况下，各种修正和改变可应用于如在前文中描述的本发明的实施例，所述范围被限定于所附的权利要求中且由所附的权利要求所限定。