阅读说明：本技术 从低分辨率图像产生高分辨率图像以用于半导体应用 (Generating high resolution images from low resolution images for semiconductor applications ) 是由 S·夏尔马 A·S·达恩狄安娜 M·马哈德凡 房超 A·阿索德甘 B·达菲 于 2018-06-29 设计创作，主要内容包括：本发明提供了用于从样本的低分辨率图像产生所述样本的高分辨率图像的方法和系统。一个系统包含经配置以用于获取样本的低分辨率图像的一或多个计算机子系统。所述系统还包含通过所述一或多个计算机子系统执行的一或多个组件。所述一或多个组件包含深度卷积神经网络,所述深度卷积神经网络包含经配置以用于产生所述低分辨率图像的表示的一或多个第一层。所述深度卷积神经网络还包含经配置以用于从所述低分辨率图像的所述表示产生所述样本的高分辨率图像的一或多个第二层。所述第二层包含经配置以输出所述高分辨率图像并且经配置为子像素卷积层的最终层。(Methods and systems for generating a high resolution image of a sample from a low resolution image of the sample are provided. One system includes one or more computer subsystems configured for acquiring a low resolution image of a sample. The system also includes one or more components executed by the one or more computer subsystems. The one or more components include a deep convolutional neural network that includes one or more first layers configured for generating a representation of the low resolution image. The deep convolutional neural network also includes one or more second layers configured for generating a high resolution image of the sample from the representation of the low resolution image. The second layer includes a final layer configured to output the high resolution image and configured as a subpixel convolution layer.)

从低分辨率图像产生高分辨率图像以用于半导体应用

技术领域

本发明大体上涉及用于从低分辨率图像产生高分辨率图像以用于半导体应用的方法和系统。

背景技术

以下描述和实例借助于它们在此章节中的包含内容并不被承认为现有技术。

制造例如逻辑和存储器装置的半导体装置通常包含使用大量半导体制造过程来处理例如半导体晶片的衬底以形成半导体装置的各种特征和多个层级。举例来说，光刻是涉及将图案从光罩转印到布置在半导体晶片上的抗蚀剂的半导体制造过程。半导体制造过程的额外实例包含但不限于化学机械抛光(CMP)、蚀刻、沉积和离子植入。可在单个半导体晶片上的布置中制造多个半导体装置，并且随后分成个体半导体装置。

在半导体制造过程期间的各个步骤使用检查过程以检测样本上的缺陷以推动制造过程中的较高产率并且因此带来较高的利润。检查一直是制造半导体装置的重要的部分。然而，随着半导体装置的尺寸的减小，检查对可接受半导体装置的成功制造变得甚至更加重要，这是因为较小缺陷可以引起装置的失败。

缺陷复查通常涉及重新检测同样地通过检查过程检测到的缺陷并且使用高倍放大光学系统或扫描电子显微镜(SEM)在较高分辨率下产生关于缺陷的额外信息。因此在已经通过检查检测到缺陷的样本上的离散位置处执行缺陷复查。用于通过缺陷复查产生的缺陷的较高分辨率数据更加适合于确定缺陷的属性，例如，廓线、粗糙度、更精确的大小信息等。

在半导体制造过程期间的各个步骤也使用计量过程以监测和控制过程。计量过程不同于检查过程之处在于，不同于在样本上检测到缺陷的检查过程，计量过程用于测量使用当前使用的检查工具无法确定的样本的一或多个特性。举例来说，计量过程用于测量样本的一或多个特性，例如，在过程期间形成在样本上的特征的尺寸(例如，线宽、厚度等)，使得可以从一或多个特性中确定过程的性能。此外，如果样本的一或多个特性是不可接受的(例如，在特性的预定范围之外)，那么样本的一或多个特性的测量可用于改变过程的一或多个参数，使得通过过程制造的额外样本具有可接受的特性。

计量过程还不同于缺陷复查过程之处在于，不同于通过检查检测到的缺陷在缺陷复查中被重新访问的缺陷复查过程，可以在没有检测到缺陷的位置处执行计量过程。换句话说，不同于缺陷复查，在样本上执行计量过程的位置可以独立于在样本上执行检查过程的结果。确切地说，执行计量过程的位置可以是独立于检查结果来选择的。

因此，如上文所描述，由于执行检查(光学检查以及有时的电子束检查)的有限的分辨率，通常需要样本以产生用于在样本上检测到的缺陷的缺陷复查的额外的较高分辨率图像，缺陷复查可包含检测到的缺陷的验证、检测到的缺陷的分类，以及确定缺陷的特性。此外，通常需要较高分辨率图像来确定如在计量中形成在样本上的经图案化特征的信息而无论是否已经在经图案化特征中检测到缺陷。因此，缺陷复查和计量可以是需要物理样本本身的使用以及需要额外的工具(除了检查器之外)以产生较高分辨率图像的费时的过程。

然而，缺陷复查和计量并不是可以简单地除去以节省时间和金钱的过程。举例来说，由于执行检查过程的分辨率，检查过程一般来说并不产生可用于确定足以对缺陷进行分类的检测到的缺陷的信息和/或确定缺陷的根本原因的图像信号或数据。此外，由于执行检查过程的分辨率，检查过程一般来说并不产生可用于以足够精确度确定形成在样本上的经图案化特征的信息的图像信号或数据。

相应地，将是有利的是形成用于产生用于并不具有上文所描述的缺点中的一或多个的样本的高分辨率图像的系统和方法。

发明内容

各种实施例的以下描述并不以任何方式解释为限制所附权利要求书的标的物。

一个实施例涉及经配置以从样本的低分辨率图像产生样本的高分辨率图像的系统。系统包含经配置以用于获取样本的低分辨率图像的一或多个计算机子系统。系统还包含通过一或多个计算机子系统执行的一或多个组件。一或多个组件包含深度卷积神经网络，所述深度卷积神经网络包含经配置以用于产生低分辨率图像的表示的一或多个第一层。深度卷积神经网络还包含经配置以用于从低分辨率图像的表示产生样本的高分辨率图像的一或多个第二层。一或多个第二层包含经配置以输出高分辨率图像的最终层。最终层经配置为子像素卷积层。系统可以如本文中所描述的进一步配置。

额外实施例涉及经配置以从样本的低分辨率图像产生样本的高分辨率图像的另一系统。此系统如上文所描述的配置。此系统还包含经配置以用于产生样本的低分辨率图像的成像子系统。在此实施例中，计算机子系统经配置以用于从成像子系统获取低分辨率图像。系统的此实施例可以如本文中所描述的进一步配置。

另一实施例涉及用于从样本的低分辨率图像产生样本的高分辨率图像的计算机实施的方法。方法包含获取样本的低分辨率图像。方法还包含通过将低分辨率图像输入到深度卷积神经网络的一或多个第一层中产生低分辨率图像的表示。此外，方法包含基于表示产生样本的高分辨率图像。产生高分辨率图像是通过深度卷积神经网络的一或多个第二层执行的。一或多个第二层包含经配置以输出高分辨率图像的最终层。最终层经配置为子像素卷积层。获取、产生表示和产生高分辨率图像步骤是通过一或多个计算机系统执行的。一或多个组件通过一或多个计算机系统执行，并且一或多个组件包含深度卷积神经网络。

上文所描述的方法的步骤中的每一个可以如在本文中进一步描述的来进一步执行。此外，上文所描述的方法的实施例可包含本文中所描述的任何其它方法的任何其它步骤。另外，上文所描述的方法可以由本文中所述的系统中的任一个来执行。

另一实施例涉及存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以用于执行用于从样本的低分辨率图像产生样本的高分辨率图像的计算机实施的方法。计算机实施的方法包含上文所描述的方法的步骤。计算机可读媒体可以如本文中所描述的来进一步配置。计算机实施的方法的步骤可以如本文中所进一步描述的来执行。此外，其中可执行程序指令的计算机实施的方法可包含本文中所描述的任何其它方法的任何其它步骤。

附图说明

本发明的进一步的优点将通过优选实施例的以下详细描述的益处并且通过参考附图而对所属领域的技术人员变得显而易见，在附图中：

图1和1a是说明如本文中所描述的配置的系统的实施例的侧视图的示意图；

图2是说明可以包含在本文中所描述的实施例中的深度卷积神经网络的一个实施例的框图；

图3是说明可以包含在本文中所描述的实施例中的深度卷积神经网络的一个实施例的示意图；

图4和5是说明可以包含在本文中所描述的实施例中的一或多个组件的实施例的框图；

图6是说明可以包含在情境感知损失模块实施例中的预先训练的VGG网络的一个实施例。

图7包含通过成像系统产生的对应的高低分辨率和低分辨率图像及通过本文中所描述的实施例从低分辨率图像产生的高分辨率图像以及针对图像中的每一个产生的线廓线的实例；

图8包含在通过成像系统产生的高分辨率图像与通过本文中所描述的实施例产生的高分辨率图像之间以及在通过成像系统产生的低分辨率图像与高分辨率图像之间沿x轴和y轴的上覆测量的结果中的相关性的实例；以及

图9是说明存储程序指令以使得一或多个计算机系统执行本文中所描述的计算机实施的方法的非暂时性计算机可读媒体的一个实施例的框图。

虽然本发明易有各种修改以及替代形式，但是在图式中借助于实例示出并且在本文中详细地描述了其具体实施例。图式可能并不按比例绘制。然而，应理解，本发明的图式和

具体实施方式

并不意图将本发明限制于所公开的特定形式，而是相反，目的是涵盖如通过所附权利要求书限定的本发明的精神和范围内的所有修改、等效物和替代方案。

具体实施方式

现转而参考图式，应注意图式不是按比例绘制的。确切地说，图式的元件中的一些的比例是极大地放大的以强调元件的特性。还应注意，图式不是按相同比例绘制的。已经使用相同参考标号指示可以是类似地配置的多于一个图式中所示的元件。除非在本文中另外指出，否则所描述和示出的元件中的任一个可包含任何合适的市售的元件。

一个实施例涉及经配置以从样本的低分辨率图像产生样本的高分辨率图像的系统。如在本文中进一步描述，实施例提供平台不可知的数据驱动的方法和系统以产生稳定的且稳固的计量质量图像。实施例也可以用于产生相对高质量的去噪的并且超级解析的图像。实施例可以进一步用于增大成像处理量。此外，实施例可用于从相对低的帧、每像素相对低电子(e/p)检查扫描中产生复查图像。(“低帧”意味着在相同位置处抓取的较少数量的图像，例如，以获得更好的成像并且增大信噪比，抓取多个帧并且随后组合多个帧以增强图像质量。“e/p”基本上是每像素的电子，其中较高e/p意味着较高质量但是较低处理量。使用波束条件实现较高e/p。)

本文中所描述的实施例适用于电子束(ebeam)、宽带等离子体(BBP)、激光散射、有限分辨率，以及用于以高得多的处理量从计量平台中的任一个产生的图像中产生相对高质量图像的计量平台。换句话说，图像可以通过成像系统在相对高的处理量下产生，并且因此具有相对低的分辨率，并且随后通过本文中所描述的实施例被变换为相对高分辨率图像，这意味着可以在相对高的处理量下有效地产生高分辨率图像。本文中所描述的实施例有利地提供相对低分辨率与相对高分辨率成像歧管之间的习得的变换、噪声减少，以及从较高质量扫描到较低质量扫描的质量的转换。成像“歧管”可以通常被定义为所有可能图像的理论上的概率空间。

如本文中所使用，术语样本的“低分辨率图像”通常被定义为形成在产生图像的样本的区域中的所有的经图案化特征不在图像中解析的图像。举例来说，产生低分辨率图像的样本的区域中的经图案化特征中的一些可以在低分辨率图像中解析，前提是它们的大小足够大以使得它们是可解析的。然而，低分辨率图像并不在使得图像中的所有经图案化特征可解析的分辨率下产生。以此方式，如本文中所使用的术语“低分辨率图像”不含关于足以使低分辨率图像用于例如缺陷复查的应用的样本上的经图案化特征的信息，所述缺陷复查可包含缺陷分类和/或验证，以及计量。此外，如本文中所使用的术语“低分辨率图像”通常是指通过检查系统产生的图像，其通常具有相对较低分辨率(例如，低于缺陷复查和/或计量系统)以便具有相对快速的处理量。以此方式，“低分辨率图像”也可以通常被称为高处理量或HT图像。举例来说，为了以较高处理量产生图像，可以降低e/p和帧的数量，由此产生较低质量扫描电子显微镜(SEM)图像。

“低分辨率图像”也可以是“低分辨率”，因为它们具有与本文中所描述的“高分辨率图像”相比较低的分辨率。如本文中所使用的术语“高分辨率图像”可以通常被定义为以相对高的精确度解析样本的所有经图案化特征的图像。以此方式，产生高分辨率图像的样本的区域中的所有的经图案化特征在高分辨率图像中解析而无论它们的大小如何。同样地，如本文中所使用的术语“高分辨率图像”含有关于足以使高分辨率图像用于例如缺陷复查的应用的样本的经图案化特征的信息，所述缺陷复查可包含缺陷分类和/或验证，以及计量。此外，如本文中所使用的术语“高分辨率图像”通常是指在例行操作期间无法通过检查系统产生的图像，其经配置以牺牲分辨率能力换取增大的处理量。以此方式，“高分辨率图像”在本文中并且在所属领域中也可以被称为“高灵敏度图像”，这是“高质量图像”的另一术语。举例来说，为了产生高质量图像，可以增大e/p、帧等，这产生良好质量SEM图像但是显著地降低了处理量。这些图像也就是“高灵敏度”图像，因为它们可用于高灵敏度缺陷检测。

与本文中进一步描述的实施例相比，最为早期的方法使用试探法和樱桃挑选参数以产生相对无噪声的图像。这些方法通常设计为记住它们将在上面运行的图像的统计性质，并且因此在不并入其它平台的试探法的情况下无法转移到其它平台。用于图像中的噪声减少的众所周知的方法中的一些是各向异性扩散、双侧滤波器、维纳滤波器、非本地装置等。双侧滤波器和维纳通过使用从相邻像素设计的滤波器移除像素级别处的噪声。各向异性扩散在图像上应用扩散定律，由此它根据扩散等式使图像中的纹理/强度平滑。阈值函数用于防止跨越边缘发生扩散并且因此它在很大程度上保留了图像中的边缘。

比如维纳滤波和双侧滤波的早期的方法的缺点在于这些是需要在图像级别微调以获得最佳结果的参数方法。这些方法不是数据驱动的，这限制了它们可以在具有挑战性的成像类型上获得的性能。另一限制性在于大部分的它们的处理是内联完成的，由于处理量限制这限制了它们可以使用的使用情况。

在图1中示出了经配置以从样本的低分辨率图像产生样本的高分辨率图像的系统的一个实施例。系统包含一或多个计算机子系统(例如，计算机子系统36和计算机子系统102)以及通过一或多个计算机子系统执行的一或多个组件100。在一些实施例中，系统包含经配置以产生样本的低分辨率图像的成像系统(或子系统)10。在图1的实施例中，成像系统经配置以用于在检测到来自样本的光时扫描上方的光或将光引导到样本的物理版本以由此产生样本的图像。成像系统还可经配置以通过多个模式执行扫描(或引导)和检测。

在一个实施例中，样本是晶片。晶片可包含所属领域中已知的任何晶片。在另一实施例中，样本是光罩。光罩可包含所属领域中已知的任何光罩。

在一个实施例中，成像系统是基于光学的成像系统。在一个此类实例中，在图1中所示的系统的实施例中，基于光学的成像系统10包含经配置以将光引导到样本14的照明子系统。照明子系统包含至少一个光源。举例来说，如图1中所示，照明子系统包含光源16。在一个实施例中，照明子系统经配置以按一或多个入射的角度将光引导到样本，所述角度可包含一或多个倾斜角度和/或一或多个垂直角度。举例来说，如图1中所示，来自光源16的光以入射的倾斜角度被引导通过光学元件18并且随后通过透镜20到样本14。入射的倾斜角度可包含任何合适的入射的倾斜角度，其可能根据例如样本的特性而不同。

成像系统可经配置以在不同时间按不同的入射的角度将光引导到样本。举例来说，成像系统可经配置以改变照明子系统的一或多个元件的一或多个特性，使得光可以按不同于图1中所示的入射的角度被引导到样本。在一个此类实例中，成像系统可经配置以移动光源16、光学元件18和透镜20使得光按不同的入射的倾斜角度或入射的垂直(或接近垂直)角度被引导到样本。

在一些例子中，成像系统可经配置以在相同时间按多于一个入射的角度将光引导到样本。举例来说，照明子系统可包含多于一个照明通道，照明通道中的一个可包含如图1中所示的光源16、光学元件18和透镜20，并且照明通道中的另一个(未示出)可包含类似的元件，其可以按不同方式或相同方式配置，或者可包含至少一个光源并且可能地一或多个其它组件，例如，本文中进一步描述的那些。如果此类光在与其它光相同的时间被引导到样本，那么按不同的入射的角度被引导到样本的光的一或多个特性(例如，波长、偏振等)可以是不同的，使得可以在检测器处彼此区分由按入射的不同角度的样本的照明引起的光。

在另一个例子中，照明子系统可包含仅一个光源(例如，图1中所示的源16)并且来自光源的光可以通过照明子系统的一或多个光学元件(未示出)被分到不同光学路径中(例如，基于波长、偏振等)。不同光学路径中的每一个中的光可随后被引导到样本。多个照明通道可经配置以在相同时间或在不同时间将光引导到样本(例如，当不同照明通道依序用于照亮样本时)。在另一个例子中，相同照明通道可经配置以在不同时间将光引导到具有不同特性的样本。举例来说，在一些例子中，光学元件18可经配置为光谱滤波器，并且光谱滤波器的性质可以多种不同方式改变(例如，通过换出光谱滤波器)使得不同波长的光可以在不同时间被引导到样本。照明子系统可能具有所属领域中已知的任何其它合适的配置以用于依序或同时将具有不同或相同特性的光以不同或相同的入射的角度引导到样本。

在一个实施例中，光源16可包含宽带等离子体(BBP)光源。以此方式，通过光源产生并且被引导到样本的光可包含宽带光。然而，光源可包含任何其它合适的光源，例如，激光。激光可包含所属领域中已知的任何合适的激光并且可经配置以在任何合适的波长或所属领域中已知的波长产生光。此外，激光可经配置以产生单色或几乎单色的光。以此方式，激光可以是窄带激光。光源还可包含在多个离散波长或波带下产生光的多色光源。

来自光学元件18的光可以通过透镜20聚焦到样本14上。虽然透镜20在图1中示出为单个折射光学元件，但是应理解，在实践中，透镜20可包含组合起来将来自光学元件的光聚焦到样本的多个折射和/或反射光学元件。在图1中所示的且在本文中所描述的照明子系统可包含任何其它合适的光学元件(未示出)。此类光学元件的实例包含但不限于极化组件、光谱滤波器、空间滤波器、反射光学元件、变迹器、波束分光器、孔隙，及类似者，其可包含所属领域中已知的任何此类合适的光学元件。此外，成像系统可经配置以基于待用于成像的照明的类型改变照明子系统的元件中的一或多个。

成像系统还可包含经配置以使得待扫描的光在样本上方的扫描子系统。举例来说，成像系统可包含平台22，在检查期间样本14安置在所述平台上。扫描子系统可包含可经配置以移动样本使得光可以在样本上方得到扫描的任何合适的机械和/或机器人组合件(其包含平台22)。此外，或替代地，成像系统可以经配置以使得成像系统的一或多个光学元件执行在样本上方的光的一些扫描。光可以按任何合适的方式在样本上方得到扫描，例如，在类蜿蜒路径中或在螺旋形路径中。

成像系统进一步包含一或多个检测通道。一或多个检测通道中的至少一个包含检测器，所述检测器经配置以检测由于样本经系统照明而从样本产生的光并且经配置以响应于检测到的光产生输出。举例来说，图1中所示的成像系统包含两个检测通道，一个通过收集器24、元件26和检测器28形成，并且另一个通过收集器30、元件32和检测器34形成。如图1中所示，两个检测通道经配置以按不同的收集的角度收集和检测光。在一些例子中，两个检测通道经配置以检测散射光，并且检测通道经配置以检测按不同的角度从样本散射的光。然而，检测通道中的一或多个可经配置以检测来自样本的另一类型的光(例如，反射光)。

如图1中进一步所示，两个检测通道示出为定位在纸张的平面中并且照明子系统也示出为定位在纸张的平面中。因此，在此实施例中，两个检测通道定位在入射平面中(例如，在入射平面中居中)。然而，检测通道中的一或多个可以定位在入射平面之外。举例来说，通过收集器30、元件32和检测器34形成的检测通道可经配置以收集和检测分散在入射平面之外的光。因此，此类检测通道可以通常被称为“旁侧”通道，并且此类旁侧通道可以在基本上垂直于入射平面的平面中居中。

虽然图1示出了包含两个检测通道的成像系统的实施例，但是成像系统可包含不同数目的检测通道(例如，仅一个检测通道或两个或大于两个检测通道)。在一个此类例子中，通过收集器30、元件32和检测器34形成的检测通道可形成如上文所描述的一侧通道，并且成像系统可包含形成为定位在入射平面的相对侧上的另一侧通道的额外的检测通道(未示出)。因此，成像系统可包含检测通道，所述检测通道包含收集器24、元件26和检测器28且在入射平面中居中并且经配置以在垂直于样本表面或接近垂直于样本表面的散射角度收集和检测光。此检测通道可因此通常被称为“顶部”通道，并且成像系统还可包含如上文所描述的配置的两个或大于两个旁侧通道。由此，成像系统可包含至少三个通道(即，一个顶部通道和两个旁侧通道)，并且至少三个通道中的每一个具有其自身的收集器，其中的每一个经配置以在与其它收集器中的每一个相比不同的散射角度收集光。

如上文进一步所描述，包含在成像系统中的检测通道中的每一个可经配置以检测散射光。因此，图1中所示的成像系统可经配置以用于样本的暗场(DF)成像。然而，成像系统还可或替代地包含经配置以用于样本的明场(BF)成像的检测通道。换句话说，成像系统可包含经配置以检测从样本镜像地反射的光的至少一个检测通道。因此，本文中所描述的成像系统可经配置以用于仅DF、仅BF，或DF和BF成像两者。虽然收集器中的每一个在图1中示出为单个折射光学元件，但是应理解收集器中的每一个可包含一或多个折射光学元件和/或一或多个反射光学元件。

一或多个检测通道可包含所属领域中已知的任何合适的检测器。举例来说，检测器可包含光电培增管(PMT)、电荷耦合装置(CCD)、时间延迟集成(TDI)相机，以及所属领域中已知的任何其它合适的检测器。检测器还可包含非成像检测器或成像检测器。以此方式，如果检测器是非成像检测器，那么检测器中的每一个可经配置以检测散射光的某些特性，例如强度，但是可能并不经配置以依据成像平面内的位置来检测此类特性。由此，通过包含在成像系统的检测通道中的每一个中的检测器中的每一个产生的输出可以是信号或数据，但不是图像信号或图像数据。在此类例子中，例如计算机子系统36的计算机子系统可经配置以从检测器的非成像输出中产生样本的图像。然而，在其它例子中，检测器可以经配置为成像检测器，所述成像检测器经配置以产生图像信号或图像数据。因此，成像系统可经配置以按多个方式产生本文中所描述的图像。

应注意本文中提供图1以大体上说明可以包含在本文中所描述的系统实施例中或可产生供本文中所描述的系统实施例使用的图像的成像系统或子系统的配置。显然，本文中所描述的成像系统配置可以得到改变以如同在设计市售成像系统时通常所执行的来优化成像系统的性能。此外，本文中所描述的系统可以是使用现有系统来实施的(例如，通过添加本文中所描述的功能到现有系统)，例如，可购自加利福尼亚州的米尔皮塔斯的KLA-Tencor的29xx/39xx和Puma 9xxx系列的工具。对于一些此类系统，本文中所描述的实施例可以提供为系统的可选的功能(例如，除了系统的其它功能之外)。替代地，本文中所描述的成像系统可以是“从头开始”设计的以提供完全新的成像系统。

成像系统的计算机子系统36可以任何合适的方式耦合到成像系统的检测器(例如，经由一或多个传输媒体，其可包含“有线”和/或“无线”传输媒体)，使得计算机子系统可以在样本的扫描期间接收通过检测器产生的输出。计算机子系统36可经配置以使用检测器的输出执行本文中进一步描述的多个功能。

图1中所示的计算机子系统(以及本文中所描述的其它计算机子系统)在本文中也可以被称为计算机系统。本文中所描述的计算机子系统或系统中的每一个可采用各种形式，包含个人计算机系统、图像计算机、主机计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可广泛地定义为涵盖具有执行来自存储媒体的指令的一或多个处理器的任何装置。计算机子系统或系统还可包含所属领域中已知的任何合适的处理器，例如，并联处理器。此外，计算机子系统或系统可包含具有高速处理和软件的计算机平台，作为独立或网络连接的工具。

如果系统包含多于一个计算机子系统，那么不同计算机子系统可以耦合到彼此，使得图像、数据、信息、指令等可以如在本文中进一步描述的在计算机子系统之间发送。举例来说，计算机子系统36可以通过任何合适的传输媒体耦合到计算机子系统102，如在图1中通过虚线所示，所述传输媒体可包含所属领域中已知的任何合适的有线和/或无线传输媒体。此类计算机子系统中的两个或多于两个也可以通过共享的计算机可读存储媒体(未示出)有效地耦合。

虽然上文将成像系统描述为光学或基于光的成像系统，但是成像系统可以是基于电子束的成像系统。在图1a中所示的一个此类实施例中，成像系统包含耦合到计算机子系统124的电子柱122。还如图1a中所示，电子柱包含经配置以产生通过一或多个元件130聚焦到样本128的电子的电子束源126。电子束源可包含例如，阴极源或发射器尖端，并且一或多个元件130可包含例如，火炮透镜、阳极、波束限制孔隙、闸门阀、波束电流选择孔隙、物镜，以及扫描子系统，其中的所有项可包含所属领域中已知的任何此类合适的元件。

从样本返回的电子(例如，次级电子)可以通过一或多个元件132聚焦到检测器134。一或多个元件132可包含例如扫描子系统，它们可以是包含在元件130中的相同的扫描子系统。

电子柱可包含所属领域中已知的任何其它合适的元件。此外，电子柱可以进一步经配置为如在2014年4月4日颁布给Jiang等人的第8,664,594号美国专利、2014年4月8日颁布给Kojima等人的第8,692,204号美国专利、2014年4月15日颁布给Gubbens等人的第8,698,093号美国专利以及2014年5月6日颁布给MacDonald等人的第8,716,662号美国专利中所描述的，所述美国专利如同在本文中完全地阐述般以参考的方式并入。

虽然电子柱在图1a中示出为经配置使得电子以入射的倾斜角度被引导到样本并且以另一倾斜角度从样本分散，但是应理解电子束可以任何合适的角度被引导到样本并且从样本分散。此外，基于电子束的成像系统可经配置以使用多个模式以如在本文中进一步描述的产生样本的图像(例如，具有不同照明角度、收集角度等)。基于电子束的成像系统的多个模式可以是在成像系统的任何图像产生参数中不同的。

计算机子系统124可以如上文所描述的耦合到检测器134。检测器可检测从样本的表面返回的电子由此形成样本的电子束图像。电子束图像可包含任何合适的电子束图像。计算机子系统124可经配置以使用通过检测器134产生的输出执行本文中进一步描述的一或多个功能以用于样本。计算机子系统124可经配置以执行本文中所描述的任何额外步骤。包含图1a中所示的成像系统的系统可以如本文中所描述的被进一步配置。

应注意在本文中提供图1a以大体上说明可以包含在本文中所描述的实施例中的基于电子束的成像系统的配置。如同上文所描述的基于光学的成像系统，本文中所描述的基于电子束的成像系统配置可以得到改变以如同在设计市售成像系统时通常所执行的来优化成像系统的性能。此外，本文中所描述的系统可以是使用现有系统来实施的(例如，通过添加本文中所描述的功能到现有系统)，例如，可购自KLA-Tencor的eSxxx和eDR-xxxx系列的工具。对于一些此类系统，本文中所描述的实施例可以提供为系统的可选的功能(例如，除了系统的其它功能之外)。替代地，本文中所描述的系统可以是“从头开始”设计的以提供完全新的系统。

虽然上文将成像系统描述为基于光学的或基于电子束的成像系统，但是成像系统可以是基于离子束的成像系统。此类成像系统可以如图2中所示配置，不同之处在于电子束源可由所属领域中已知的任何合适的离子束源代替。此外，成像系统可以是任何其它合适的基于离子束的成像系统，例如，包含在市售的聚焦离子束(FIB)系统、氦离子显微镜(HIM)系统和次级离子质谱分析(SIMS)系统中的那些。

如上文所指出，成像系统经配置以用于在样本的物理版本上扫描能量(例如，光或电子)，由此产生用于样本的物理版本的实际图像。以此方式，成像系统可以经配置为“实际”系统，而非“虚拟”系统。举例来说，存储媒体(未示出)和图1中所示的计算机子系统102可以经配置为“虚拟”系统。确切地说，存储媒体和计算机子系统并不是成像系统10的部分并且并不具有用于处理样本的物理版本的任何能力。换句话说，在经配置为虚拟系统的系统中，其一或多个“检测器”的输出可以是通过实际系统的一或多个检测器先前产生的并且存储在虚拟系统中的输出，并且在“扫描”期间，虚拟系统可重放所存储的输出如同样本正在被扫描。以此方式，通过虚拟系统扫描样本可呈现为与通过实际系统扫描物理样本相同的，然而实际上，“扫描”涉及按照可以与扫描样本相同的方式简单地重放样本的输出。在共同转让的2012年2月28日颁布给Bhaskar等人的第8,126,255号美国专利和2015年12月29日颁布给Duffy等人的第9,222,895号美国专利中描述了经配置为“虚拟的”检查系统的系统和方法，所述两个美国专利如同在本文中完全地阐述般以参考的方式并入。本文中所描述的实施例可以如在这些专利中所描述的被进一步配置。举例来说，本文中所描述的一或多个计算机子系统可以如在这些专利中所描述的被进一步配置。此外，将一或多个虚拟系统配置为中央计算和存储(CCS)系统可如在上文参考的授予Duffy的专利中所描述的来执行。本文中所描述的永久性存储机构可以具有分布式计算和存储，例如，CCS架构，但是本文中所描述的实施例不限于该架构。

如上文进一步提到，成像系统可经配置以通过多个模式产生样本的图像。一般来说，“模式”可以由用于产生样本的图像的成像系统的参数的值或用于产生样本的图像的输出来定义。因此，不同的模式可以是在用于成像系统的成像参数中的至少一个的值中不同的。举例来说，在基于光学的成像系统的一个实施例中，多个模式中的至少一个使用光的至少一个波长用于照明，所述光的至少一个波长不同于用于多个模式中的至少一个其它模式的照明的光的至少一个波长。如在本文中针对不同模式进一步描述在照明波长中模式可以是不同的(例如，通过使用不同的光源、不同的光谱滤波器等)。在另一实施例中，多个模式中的至少一个使用成像系统的照明通道，所述照明通道不同于用于多个模式中的至少一个其它模式的成像系统的照明通道。举例来说，如上文所指出，成像系统可包含多于一个照明通道。由此，不同照明通道可以用于不同模式。

在一个实施例中，成像系统是检查系统。举例来说，本文中所描述的光学和电子束成像系统可以经配置为检查系统。在另一实施例中，成像系统是缺陷复查系统。举例来说，本文中所描述的光学和电子束成像系统可以经配置为缺陷复查系统。在另一实施例中，成像系统是计量系统。举例来说，本文中所描述的光学和电子束成像系统可以经配置为计量系统。确切地说，本文中所描述的并且在图1和1a中所示出的成像系统的实施例取决于它们将使用的应用可以在一或多个参数中修改以提供不同的成像能力。在一个此类实例中，如果图1中所示的成像系统将用于缺陷复查或计量而非用于检查，那么图1中所示的成像系统可经配置以具有较高分辨率。换句话说，图1和1a中所示的成像系统的实施例描述了用于成像系统的一些一般和各种配置，这些配置可以对所属领域的技术人员显而易见的多个方式定制以产生具有或多或少适合于不同应用的不同成像能力的成像系统。

一或多个计算机子系统经配置以用于获取样本的低分辨率图像。获取低分辨率图像可使用本文中所描述的成像系统中的一个执行(例如，通过将光或电子束引导到样本并且相应地检测来自样本的光或电子束)。以此方式，获取低分辨率图像可使用物理样本本身和一些类别的成像硬件执行。然而，获取低分辨率图像不必包含使用成像硬件对样本进行成像。举例来说，另一系统和/或方法可产生低分辨率图像并且可在一或多个存储媒体中存储所产生的低分辨率图像，所述存储媒体例如，如本文中所描述的虚拟的检查系统或本文中所描述的另一存储媒体。因此，获取低分辨率图像可包含从已经存储低分辨率图像的存储媒体中获取低分辨率图像。

在一些实施例中，低分辨率图像是通过检查系统产生的。举例来说，如本文中所描述，低分辨率图像可以是通过经配置以具有较低分辨率以由此增大其处理量的检查系统产生的。检查系统可以是光学检查系统或电子束检查系统。检查系统可能具有本文中进一步描述的任何配置。

在一个实施例中，低分辨率图像是通过基于电子束的成像系统产生的。在另一实施例中，低分辨率图像是通过基于光学的成像系统产生的。举例来说，低分辨率图像可以是通过本文中所描述的基于电子束或基于光学的成像系统中的任一个产生的。

在一个实施例中，低分辨率图像是通过成像系统的单个模式产生的。在另一实施例中，一或多个低分辨率图像是通过成像系统的多个模式针对样本产生的。举例来说，如在本文中进一步描述输入到深度卷积神经网络(深度CNN)的低分辨率图像可包含通过成像系统的仅单个模式产生的单个低分辨率图像。替代地，如在本文中进一步描述输入到深度CNN的低分辨率图像可包含通过成像系统的多个模式产生的多个低分辨率图像(例如，第一图像通过第一模式产生，第二图像通过第二模式产生等等)。单个模式和多个模式可包含本文中进一步描述的模式中的任一个。

通过计算机子系统(例如，计算机子系统36和/或计算机子系统102)执行的组件(例如，图1中所示的组件100)包含深度CNN 104。深度CNN包含经配置以用于产生低分辨率图像的表示的一或多个第一层以及经配置以用于从低分辨率图像的表示中产生用于样本的高分辨率图像的一或多个第二层。以此方式，本文中所描述的实施例可使用本文中所描述的深度CNN中的一个(例如，一或多个机器学习技术)以用于将样本的低分辨率图像变换成样本的高分辨率图像。举例来说，如图2中所示，深度CNN示出为图像变换网络200。在生产和/或运行时间期间(即，在图像变换网络已经建立和/或训练之后，其可如在本文中进一步描述的执行)，到图像变换网络的输入可以是输入低分辨率(高处理量)图像202，并且图像变换网络的输出可以是输出高分辨率(高灵敏度)图像204。

一或多个第二层包含经配置以输出高分辨率层的最终层，并且最终层经配置为子像素卷积层。图3说明可以是适合用于本文中所描述的实施例中的图像变换网络架构的一个实施例。在此实施例中，图像变换网络是具有子像素层作为最终层的深度CNN。在此架构中，输入可以是低分辨率图像300，其在图3中简单地示出为像素的网格并且不表示可以通过本文中所描述的实施例产生的任何特定低分辨率图像。低分辨率图像可以输入到一或多个第一层302和304，其可以经配置为经配置以用于特征地图提取的卷积层。这些第一层可形成图像变换网络架构的隐蔽层。

通过一或多个第一层产生的低分辨率图像的表示可因此是一或多个特征和/或特征地图。特征可能具有如本文中进一步描述的可以从输入中推断的并且用于产生输出的所属领域中已知的任何合适的特征类型。举例来说，特征可包含每像素的强度值的向量。特征还可包含本文中所描述的任何其它类型的特征，例如，标量值的向量、独立分布、联合分布的向量，或所属领域中已知的任何其它合适的特征类型。如在本文中进一步描述，特征是在训练期间通过网络习得的并且可能或可能不与所属领域中已知的任何实际特征相关。

一或多个第二层包含最终层306，其经配置为在单个步骤中聚集来自低分辨率空间的特征地图并且构建高分辨率图像308的子像素卷积层。子像素卷积层学习升级滤波器的阵列以将最终低分辨率特征地图升级成高分辨率输出图像。以此方式，图像变换网络可能获得有噪声的、不充分地解析的高处理量输入图像，计算跨越许多卷积层的特征地图，并且随后使用子像素层将特征地图变换成相对安静的、超级解析的图像。子像素卷积层有利地提供专门训练用于每个特征地图的相对复杂的升级滤波器同时还降低了整体操作的计算复杂度。本文中所描述的实施例中所使用的深度CNN可以进一步经配置为如同Shi等人在“使用有效的子像素卷积神经网络的实时单个图像和视频超分辩率(Real-Time SingleImage and Video Super-Resolution Using an Efficient Sub-Pixel ConvolutionalNeural Network)”，2016年9月，arXiv：1609.05158v2中所描述的，所述文章如同在本文中完全地阐述般以参考的方式并入。

本文中所描述的深度CNN可以大体上被分类为深度学习模型。一般来说，“深度学习”(也被称为深度构造学习、阶层学习或深度机器学习)是基于尝试在数据中的对高层级抽象进行建模的算法的集合的机器学习的分支。在简单的情况中，可能存在神经元的两个集合：一个接收输入信号并且一个发送输出信号。当输入层接收输入时，它将输入的经修改的版本传递到下一个层。在深度网络中，在输入与输出之间存在许多层(并且所述层并不由神经元组成但是以这种方式考虑它可以是有帮助的)，允许算法使用由多个线性和非线性变换组成的多个处理层。

深度学习是基于数据的学习表示的机器学习方法的更广的家族的部分。可以多种方式表示观察结果(例如，图像)，例如，每像素的强度值的向量，或在更为抽象的方式中表示为边缘的集合、特定形状的区等。一些表示与其它表示相比在简化学习任务(例如，面部识别或面部表情识别)方面是更好的。深度学习的承诺中的一个是用用于无监督或半监督特征学习和阶层特征提取的有效的算法代替手工制作的特征。

此领域中的研究尝试作出更好的表示并且创建模型以从大规模未标记数据中学习这些表示。表示中的一些是由神经科学中的进展启发的并且松散地基于神经系统中的信息处理和通信模式的解译，例如，尝试定义各种刺激与大脑中的相关联的神经元响应之间的关系的神经译码。

本文中所描述的深度CNN也可以被分类为机器学习模型。机器学习可以大体上被定义为在不明确地编程的情况下向计算机提供学习能力的人工智能(AI)的类型。机器学习聚焦于当暴露于新数据时可以教导它们自身成长和改变的计算机程序的研发。换句话说，机器学习可以被定义为“在不明确地编程的情况下给予计算机学习能力”的计算机科学的子领域。机器学习探索可以从数据中学习并且对数据进行预测的算法的研究和构造，此类算法通过作出数据驱动预测或决策胜过以下精确地静态的程序指令，方法是从样本输入中构建模型。

本文中所描述的机器学习可以如在Sugiyama的“统计机器学习的介绍(Introduction to Statistical Machine Learning)”，摩根考夫曼，2016年，第534页；Jebara的“可识别的、生成性的和模仿性的学习(Discriminative,Generative,andImitative Learning)”，MIT论文，2002年，第212页；以及Hand等人的“数据挖掘的原理(适应性计算和机器学习)(Principles of Data Mining(Adaptive Computation andMachine Learning))”,MIT出版社，2001年，第578页中所描述的来进一步执行，所述文章如同在本文中完全地阐述般以参考的方式并入。本文中所描述的实施例可以进一步如在这些参考中所描述的来配置。

深度CNN也是生成性的模型。“生成性”模型大体上可以被定义为本质为概率性的模型。换句话说，“生成性”模型并不是执行正向模拟或基于规则的方法的一个模型，并且由此在产生实际图像(针对其产生模拟图像)中涉及的过程的物理的模型并不是必需的。替代地，如在本文中进一步描述，“生成性”模型可以基于数据的合适的训练集习得(因为可以习得其参数)。

在一个实施例中，深度CNN是深度生成性模型。举例来说，深度CNN可经配置以具有深度学习架构，因为模型可包含多个层，这些层执行多个算法或变换。深度CNN的一侧或两侧上的层的数目可能不同于本文中所描述的图式中所示的那些。出于实用的目的，两侧上合适的层范围是从2层到几十层。

深度CNN也可以是具有一组权重的深度神经网络，所述深度神经网络根据已经接收并训练的数据对世界进行建模。神经网络大体上可以被定义为计算方式，所述计算方式是基于神经单元的相对较大集合，其通过由轴突连接的生物神经元的相对较大群集对生物大脑解决问题的方法进行松散地建模。每个神经单元与许多其它神经单元连接，并且链接对连接的神经单元的激活状态可以具有强制或抑制作用。这些系统是自我学习和训练的，而非明确地编程，尤其适合解决方案或特征检测难以在传统计算机程序中表达的区域。

神经网络通常由多个层组成，并且信号路径贯穿前后层。神经网络的目标是以与人类大脑解决问题相同的方法解决问题，然而若干神经网络抽象得多。现代的神经网络项目通常用几千到几百万神经单元和数百万连接工作。神经网络可能具有所属领域中已知的任何合适的架构和/或配置。

本文中所描述的实施例可能或可能不经配置以用于训练用于从低分辨率图像产生高分辨率图像的深度CNN。举例来说，另一方法和/或系统可经配置以产生经训练的深度CNN，其可以随后被存取并且供本文中所描述的实施例使用。一般来说，训练深度CNN可包含获取数据(例如，低分辨率图像和高分辨率图像两者，其可包含本文中所描述的低分辨率图像和高分辨率图像中的任一个)。可随后使用输入元组和预期输出元组的列表构建训练、测试和验证数据集。输入元组可能具有低分辨率图像的形式，并且输出元组可以是对应于低分辨率图像的高分辨率图像。可随后使用训练数据集来训练深度CNN。

在一个实施例中，一或多个组件包含经配置以训练深度CNN的情境感知损失模块，并且在深度CNN的训练期间，一或多个计算机子系统将通过一或多个第二层产生的高分辨率图像和用于样本的对应的已知的高分辨率图像输入到情境感知损失模块中，并且情境感知损失模块确定与对应的已知的高分辨率图像相比的通过一或多个第二层产生的高分辨率图像中的情境感知损失。举例来说，如图4中所示，深度CNN网络示出为图像变换网络400。此图示出了在训练期间或在设置时间的深度CNN。到图像变换网络的输入是低分辨率(高处理量)图像402，其可如在本文中进一步描述的产生。图像变换网络可随后如在本文中进一步描述的输出高分辨率(高灵敏度)图像404。输出高分辨率图像和对应的已知的高分辨率图像(例如，“地面实况”高灵敏度图像)406可以被输入到情境感知损失模块408。以此方式，本文中所描述的实施例的完整的网络架构可包含两个块，图像变换网络和情境感知损失。情境感知损失模块408可比较它作为输入接收的两个图像(即，通过图像变换网络产生的高分辨率图像和高分辨率图像地面实况图像，例如，通过成像系统产生)以确定两个输入图像之间的一或多个差异。情境感知损失模块可以如本文中所描述的进一步配置。

以此方式，在设置时间，实施例获得有噪声的不充分地解析的和安静的超级解析的图像对并且随后使用情境感知损失通过神经网络学***台中的任一个，比如，电子束、BBP工具、有限分辨率成像工具等。一旦完成训练，则网络学习从有噪声的不充分地解析的图像到安静的超级解析的图像的变换同时维持空间保真度。以此方式，本文中所描述的实施例使用数据驱动方式以利用在半导体图像中观察到的数据冗余，方法是学习有噪声的不充分地解析的图像到安静的超级解析的图像之间的变换。经训练的网络可以随后部署在生产中，其中成像系统产生有噪声的高处理量数据，随后使用经训练的图像变换网络将所述数据变换为对应的低噪声的超级解析的数据。一旦在生产中，则网络执行比如典型的后处理算法。

在一个此类实施例中，情境感知损失包含内容损失、风格损失和总变化(TV)规则化。图5示出了一个此类实施例。确切地说，图4中所示的情境感知损失模块408可包含内容损失模块500、风格损失模块502和TV规则化模块504，如图5中所示。举例来说，情境感知损失是通用架构并且通过风格和内容损失表示。深度神经网络倾向于渐进地学习图像特征，从边缘、低层中的轮廓开始到比如表面或可能稍后层中的整个物体的更复杂的特征。这与生物视觉很好地相关。我们假设卷积网络学习特征的低层被视作在感知上重要的。我们因此在习得的网络的激活完成之后设计我们的情境感知损失。情境感知损失主要由风格、内容和规则化损失组成。

在一个此类实施例中，内容损失包含在对应的已知的高分辨率图像的低层级特征中的损失。举例来说，图像的内容被定义为较低层级特征，比如，边缘、轮廓等。内容损失的最小化帮助保留对于产生计量质量、超级解析的图像重要的这些低层级特征。更清楚地说，内容损失包含在损失函数中以在图像中保留边缘和轮廓，因为这些是对用于在高分辨率图像上的测量值等中重要的。并不需要比如双三次插值等或通过L2损失训练的传统的技术以确保边缘和轮廓的此类保留。

损失的下一个主要部分被称作风格转换损失。在一个此类实施例中，风格损失包含在质量上定义对应的已知的高分辨率图像的一或多个抽象实体中的损失。举例来说，我们将风格定义为在质量上定义图像的抽象实体，包含比如清晰度、纹理、色彩等的性质。使用如本文中所描述的深度学习的一个原因在于本文中所描述的低分辨率/高分辨率图像之间的差异并不仅是分辨率，而是它们可以具有不同的噪声特性、装填伪影、纹理等。因此，仅对低分辨率图像进行超级解析并不是足够的，并且从低分辨率到高分辨率图像的映射是使用深度学习习得的。图像的风格的特性在于经训练网络的上部层激活。风格和内容损失组合起来使得图像变换网络有可能学习有噪声的不充分地解析的图像与安静的超级解析的图像之间的变换。一旦图像变换网络是使用情境感知损失训练的，则它可以部署在生产中以从有噪声的不充分地解析的高处理量的图像中产生安静的超级解析的图像同时维持空间保真度。在一些实施例中，风格转换损失被定义为超分辩率高分辨率图像(即，通过一或多个第二层产生的图像)与地面实况高分辨率图像的最终层特征之间的损失，当我们想要在超级解析的高分辨率图像上进行分类时尤其是这种情况。

在另一此类实施例中，情境感知损失模块包含预先训练的VGG网络。图6示出了来自预定义网络的激活如何用于计算风格和内容损失。举例来说，如图6中所示，预先训练的VGG网络600可以耦合到内容损失模块500和风格损失模块502。VGG16(也被称为OxfordNet)是以研发它的来自牛津的视觉几何形状群组命名的卷积神经网络架构。VGG网络也可以如通过Simonyan等人在“用于大规模图像识别的非常深卷积网络(Very Deep ConvolutionalNetworks for Large-Scale Image Recognition)”，arXiv:1409.1556v6，2015年4月，第14页中所描述的来进一步配置，所述文章如同在本文中完全地阐述般以参考的方式并入。如图6中所示，预先训练的VGG网络可获得到多个层的图像输入，所述层包含卷积层(例如，conv-64、conv-128、conv-256和conv-512)、maxpool层、全连接层(例如，FC-4096)和softmax层，所有的这些层可能具有所属领域中已知的任何合适的配置。

来自VGG网络的激活可以是通过内容损失模块500和风格损失模块502获取的以由此计算风格和内容损失。因此本文中所描述的实施例定义用于使用预先训练的网络训练神经网络的新颖损失架构。这帮助优化神经网络同时保留所产生的图像中的使用情况关键特征。

因此本文中所描述的实施例使用预先训练的深度学习网络引入使用情况依赖性损失函数。传统的技术包含比如双三次插值等和在训练深度网络时的L2损失的方法，但是在训练我们的网络期间我们引入不同的损失。举例来说，双三次插值减小清晰边缘上的对比度损失，而完整图像上的L2损失聚焦在保留图像的所有方面上，但是保留它们的大部分不必是对本文中所描述的实施例的使用情况的要求，并且我们可以取决于我们想要保留图像中的哪些特征来创建损失函数。在一些此类实例中，内容损失可用于确保保留边缘和轮廓，并且风格损失可用于确保保留纹理、色彩等。

本文中所描述的实施例可使用来自预先训练的网络层的输出以定义用于训练网络的使用情况依赖性损失函数。如果使用情况是临界尺寸均匀度或计量测量值，那么实施例可以将权重给予内容损失，并且如果图像将被“美化”，那么风格损失可用于保留纹理、色彩等。此外，对于分类重要的情况，最后一个层特征可以在所产生的高分辨率图像与地面实况图像之间匹配，并且可以定义预先训练的网络的特征的最后一个层上的损失，因为这些是用于分类的特征。

在信号处理中，总变化去噪(也被称为总变化规则化)是在数字图像处理中最常用的具有在噪声移除中的应用的过程。它是基于具有过量的和可能地伪细节的信号具有高总变化的原理，也就是说，信号的绝对梯度的积分高。根据此原理，减少经受它的信号的总变化是原始信号的接近的匹配，移除不需要的细节同时保留例如边缘的重要细节。所述概念是由Rudin、Osher和Fatemi在1992年开创的并且因此今天被称为ROF模型。

此噪声移除技术具有优于例如线性平滑化或中值滤波的简单技术的优点，所述线性平滑化或中值滤波减少噪声但是同时以更大或更小程度消除边缘。通过对比，总变化去噪在同步保留边缘同时消除平坦区中的噪声方面是明显地有效的，甚至以相对低的信噪比。

在一些此类实施例中，一或多个组件包含经配置以基于情境感知损失确定深度CNN的一或多个参数的调谐模块。举例来说，如图4中所示，一或多个组件可包含经配置以用于通过情境感知损失模块确定的错误的反向传播和/或改变网络参数的调谐模块410。上文所描述的深度CNN的层中的每一个可能具有一或多个参数，例如，权重W和偏置B，其值可以通过训练模型确定，其可如在本文中进一步描述的执行。举例来说，包含在深度CNN中的各种层的权重和偏置可以是在训练期间通过最小化情境感知损失确定的。

在一个实施例中，深度CNN经配置使得通过一或多个第二层产生的高分辨率图像具有与低分辨率图像相比较少的噪声。举例来说，本文中所描述的实施例提供用于使用习得的表示将有噪声的且不充分解析的图像变换成低噪声超级解析的图像的一般化的架构。

在另一实施例中，深度CNN经配置使得通过一或多个第二层产生的高分辨率图像保持低分辨率图像的结构和空间特征。举例来说，本文中所描述的实施例提供用于使用习得的表示将有噪声的且不充分解析的图像变换成低噪声超级解析的图像同时保持结构和空间保真度的一般化的架构。

在一些实施例中，深度卷积神经网络以高于用于通过高分辨率成像系统产生高分辨率图像的处理量的处理量输出高分辨率图像。举例来说，本文中所描述的实施例可用于基于深度学习的超分辩率以用于电子束工具上的较高处理量。本文中所描述的实施例可因此在可能有利的是使用相对低计量(电子束、光等)以用于图像获取以防止对样本作出改变(例如，损坏、污染等)时是尤其有用的。然而，使用相对低剂量以避免对样本的改变通常产生低分辨率图像。因此挑战是在不引起对样本的改变的情况下产生高分辨率图像。本文中所描述的实施例提供此能力。确切地说，可以在较高处理量和较低分辨率(或较低质量)下获取样本图像，并且本文中所描述的实施例可以将那些较高处理量、较低质量图像转换成超级解析的或较高质量图像而不引起对样本的改变(因为产生超级解析的或较高质量图像并不需要样本本身)。

因此本文中所描述的实施例对于晶片可能经历检查(例如，BBP检查)和电子束复查序列的复查使用情况是尤其有用的。此外，在一些例子中，用户想要在检查之后将晶片放回在检查工具上以尝试另一检查配方条件(例如，以优化用于在检查中检测到的缺陷的检查配方条件并且可能地在复查中分类)。然而，如果电子束(或其它)复查损坏或改变被复查的位置，那么那些场所不再是对灵敏度分析有效的(即，检查配方更改和/或优化)。因此，通过使用低帧平均电子束图像获取防止对样本的损坏或改变是电子束复查图像的基于深度学***均图像)。因此，深度学习分类和深度学习图像改进可以可论证地组合使用。基于深度学习的缺陷分类可通过本文中所描述的实施例执行，如在共同转让的2017年9月6日由He等人递交的第15/697,426号美国专利申请中所描述，所述美国专利申请如同在本文中完全地阐述般以参考的方式并入。本文中所描述的实施例可以如在此专利申请中所描述的来进一步配置。

图7说明可以是使用本文中所描述的实施例产生的结果的实例。结果示出了有噪声的不充分地解析的高处理量图像702的水平廓线700、较高质量的更好的解析的低处理量图像706的水平廓线704和使用本文中所描述的实施例通过低分辨率图像的处理获取的安静的超级解析的图像710的水平廓线708之间的比较。高处理量图像702和低处理量图像706是如本文中所描述的相应地通过低分辨率成像系统和高分辨率成像系统产生的。以此方式，图7中所示的结果说明沿通过图像的相同线廓线在不同图像之间的水平变化。图7中所示的结果展现本文中所描述的实施例从较低质量图像产生基本上无噪声的高分辨率图像同时维持图像中的结构和空间保真度的能力，如通过由本文中所描述的实施例产生的超级解析的图像和通过成像系统产生的高分辨率图像的廓线(708和704)中的相关性所确认。

在一个实施例中，一或多个计算机子系统经配置以基于通过一或多个第二层产生的高分辨率图像执行用于样本的一或多个计量测量。图8证明本文中所描述的实施例通过用地面实况数据关闭环路工作。为了在现实世界计量使用情况中进一步测试本文中所描述的实施例，在图7中所示的三个图像集合上执行上覆测量并且在图8中对结果进行编译。图8中的曲线800和802相应地描绘了在高分辨率成像系统产生的图像与通过本文中所描述的深度CNN实施例产生的高分辨率图像之间沿x和y轴的上覆测量中的相关性，并且图8中的曲线804和806相应地描绘了在高分辨率成像系统产生的图像与较低分辨率图像之间沿x和y轴的上覆测量中的相关性。用于计算相关性的度量是R²，r的平方。1的r的平方值描绘完美的适配。在成像系统产生的高分辨率图像与深度CNN产生的高分辨率图像之间的接近完美的R²值(>0.99)示出了在计量测量中深度CNN产生的图像可以代替较高分辨率成像系统产生的图像而不影响性能。考虑到在计量使用情况中所需的相对高的精确度，在低分辨率和高分辨率成像系统产生的图像的情况下约0.8的R²值被证明是对于获得精确的测量值过低的，并且因此需要从较高分辨率图像获取测量值，这显著降低了使用情况处理量(例如，在本文中所描述的实验中从每小时约18K缺陷到每小时约8K缺陷)。

在另一实施例中，深度CNN独立于产生低分辨率图像的成像系统起作用。在一些实施例中，低分辨率图像是通过具有第一成像平台的一个成像系统产生的，一或多个计算机子系统经配置以用于获取通过具有不同于第一成像平台的第二成像平台的另一成像系统针对另一样本产生的另一低分辨率图像，一或多个第一层经配置以用于产生另一低分辨率图像的表示，并且一或多个第二层经配置以用于从另一低分辨率图像的表示产生用于另一样本的高分辨率图像。举例来说，本文中所描述的实施例的重要的益处在于相同网络架构可用于增强来自不同平台的图像，比如BBP工具、专门针对低分辨率成像配置的工具等。此外，优化和学习表示的全部负担被移位到离线，因为训练仅在配方设置时间期间发生。一旦训练完成，则运行时间计算急剧减少。学习过程也有助于适应性地增强图像而不需要如同在旧方法的情况下所需要的每次改变参数。

在一个此类实施例中，第一成像平台是电子束成像平台，并且第二成像平台是光学成像平台。举例来说，本文中所描述的实施例可以变换使用电子束成像系统和光学成像系统产生的低分辨率图像。本文中所描述的实施例也能够执行用于其它不同类型的成像平台(例如，其它充电粒子类型成像系统)的变换。

在另一此类实施例中，第一成像平台和第二成像平台是不同的光学成像平台。在又一此类实施例中，第一成像平台和第二成像平台是不同的电子束成像平台。举例来说，第一成像平台和第二成像平台可以是相同类型的成像平台，但是它们的成像能力可以显著不同。在一个此类实例中，第一光学成像平台和第二光学成像平台可以是激光散射成像平台和BBP成像平台。这些成像平台显然具有基本上不同的能力并且将产生基本上不同的低分辨率图像。尽管如此，本文中所描述的实施例可以使用通过训练深度CNN产生的习得的表示产生针对所有此类低分辨率图像的高分辨率图像。

经配置以从样本的低分辨率图像产生样本的高分辨率图像的系统的另一实施例包含经配置以用于产生样本的低分辨率图像的成像子系统。成像子系统可能具有本文中所描述的任何配置。系统还包含一或多个计算机子系统，例如，图1中所示的计算机子系统102，其可以如本文中进一步所描述的配置，以及通过一或多个计算机子系统执行的一或多个组件，组件100，所述组件可包含本文中所描述的组件中的任一个。组件包含深度CNN，例如，深度CNN 104，其可以如本文中所描述的配置。举例来说，深度CNN包含经配置以用于产生低分辨率图像的表示的一或多个第一层以及经配置以用于从低分辨率图像的表示中产生用于样本的高分辨率图像的一或多个第二层。一或多个第二层包含经配置以输出高分辨率图像的最终层。最终层也经配置为子像素卷积层。一或多个第一层以及一或多个第二层可以如本文中进一步描述的进一步配置。此系统实施例可以如本文中所描述的进一步配置。

本文中所描述的实施例具有如可从上文所提供的描述中看出的多个优点。举例来说，本文中所描述的实施例提供通用的平台不可知的数据驱动架构。在设置时间期间实施例使用训练数据学***台不可知的。因为实施例是通用的且平台不可知的，所以相同架构可用于在不同平台上产生计量质量图像，所述不同平台比如电子束、BBP、激光散射、低分辨率成像和计量平台。实施例也能够通过在生产中使用仅低质量(高处理量)图像产生所需的质量图像实现较高处理量。与输入图像相比实施例也在输出图像中获得噪声减少而不影响比如图像中的边缘和轮廓的重要特征。

上文所描述的系统中的每一个的实施例中的每一个可以一起组合到一个单个实施例中。

另一实施例涉及用于从样本的低分辨率图像产生样本的高分辨率图像的计算机实施的方法。方法包含获取样本的低分辨率图像。方法还包含通过将低分辨率图像输入到深度CNN的一或多个第一层中产生低分辨率图像的表示。此外，方法包含基于表示产生样本的高分辨率图像。产生高分辨率图像是通过深度CNN的一或多个第二层执行的。一或多个第二层包含经配置以输出高分辨率图像的最终层，并且最终层经配置为子像素卷积层。获取、产生表示和产生高分辨率图像步骤是通过一或多个计算机系统执行的。一或多个组件通过一或多个计算机系统执行，并且一或多个组件包含深度CNN。

方法的步骤中的每一个可以如在本文中进一步描述的来执行。方法还可包含可通过本文中所描述的系统、计算机系统或子系统和/或成像系统或子系统执行的任何其它步骤。一或多个计算机系统、一或多个组件和深度CNN可以是根据本文中所描述的实施例中的任一个配置的，例如，计算机子系统102、组件100和深度CNN 104。此外，上文所描述的方法可以由本文中所描述的系统实施例中的任一个执行。

本文中所描述的所有方法可包含在计算机可读存储媒体中存储方法实施例的一或多个步骤。结果可包含本文中所描述的结果中的任一个并且可以所属领域中已知的任何方式存储。存储媒体可包含本文中所描述的任何存储媒体或所属领域中已知的任何其它合适的存储媒体。在已经存储结果之后，结果可以在存储媒体中存取并且供本文中所描述的方法或系统实施例中的任一个使用、经格式化以供显示给用户、供另一软件模块、方法或系统等使用。举例来说，所产生的高分辨率图像可用于在样本上执行计量测量，以对在样本上检测到的一或多个缺陷进行分类，以验证在样本上检测到的一或多个缺陷，和/或以基于上述内容中的一或多个确定用于在样本上形成经图案化特征的过程是否应该以某一方式改变以由此改变在相同过程中形成在其它样本上的经图案化特征。

额外实施例涉及存储程序指令的非暂时性计算机可读媒体，所述程序指令可在一或多个计算机系统上执行以用于执行用于从样本的低分辨率图像产生样本的高分辨率图像的计算机实施的方法。在图9中示出一个此类实施例。确切地说，如图9中所示，非暂时性计算机可读媒体900包含可在计算机系统904上执行的程序指令902。计算机实施的方法可包含本文中所描述的任何方法的任何步骤。

实施例如本文中所描述的那些方法的方法的程序指令902可存储在计算机可读媒体900上。计算机可读媒体可以是例如磁盘或光盘、磁带的存储媒体，或所属领域中已知的任何其它合适的非暂时性计算机可读媒体。

程序指令可以各种方式中的任一种来实施，包含基于过程的技术、基于组件的技术和/或面向对象的技术等等。举例来说，程序指令按需要可使用ActiveX控件、C++对象、JavaBeans、微软基础类(MFC)、SSE(流式传输SIMD扩展)或其它技术或方法来实施。

计算机系统904可以根据本文中所描述的实施例中的任一个来配置。

对于考虑到本说明书的所属领域的技术人员而言，本发明的各种方面的另外修改和替代实施例将是显而易见的。举例来说，提供用于从样本的低分辨率图像产生样本的高分辨率图像的方法和系统。相应地，本说明书应理解为仅为说明性的并且出于教示所属领域的技术人员执行本发明的通用方式的目的。应理解，在本文中示出且描述的本发明的形式被视为当前优选实施例。元件和材料可以取代本文中所说明和所描述的那些，部分和过程可以颠倒，并且本发明的某些特征可以独立地利用，所有对于在具有本发明的本说明书的益处之后的所属领域的技术人员将是显而易见的。在不脱离如在所附权利要求书中描述的本发明的精神和范围的情况下，可以对本文中所描述的元件进行改变。