具体实施方式

根据所公开的主题的一些实施例，提供了用于荧光显微镜检查的机构(该机构可以包括系统、方法、设备、装置等)，所述荧光显微镜检查使用非相干照明技术来激发样本的特定层或包含在样本中的材料以使它们发荧光并且根据所产生的荧光自动地检测样本的特征。相同的机构也可用于使用不引起荧光的照明技术来检查样本的特征。此外，在一些实施例中，可以将颜料添加到样本中，并且可以使用非相干照明技术来瞄准颜料以使其发出荧光。检查(有时称为检验)是指使用所公开的用于荧光成像的非相干显微镜检查机构对样本进行扫描、成像、分析、测量和任何其它合适的复查。

图1A和1B示出了根据所公开的主题的一些实施例的使用非相干照明来自动分析从样本发射的荧光的荧光显微镜检查系统(本文中称为“FMIS 100”)的示例。在高层次上，根据一些实施例，FMIS 100的基础组件包括用于提供非相干光的一个或更多个照明源(例如，光源25、25a和28)，用于找到样本的对焦平面的聚焦机构32，照明器22，成像装置6，一个或更多个物镜35，台30，一个或更多个滤光器机构15，明场/暗场滑动器40以及包括硬件、软件和/或固件以及计算机分析系统115的控制模块110。如图所示，控制模块110和计算机分析系统115通过通信通道120耦接到检查系统100上。应当理解，通信通道120可以包括一个或更多个信号传输装置，例如总线或无线RF信道。还应理解，FMIS 100可包括本领域公知的附加显微镜组件。例如，FMIS 100可包括FMIS 100的各种组件(例如，一个或更多个照明源、聚焦机构、照明器、成像装置、一个或更多个物镜、台、一个或更多个滤光器机构、明场/暗场滑动器、控制模块、换镜旋座、分束器)可连接到其上的(例如，为了便携性、稳定性、模块化支撑等的)框架(未示出)。在一些实施例中，计算机分析系统可以连接到框架，而在一些实施例中，计算机分析系统可以不连接到框架。本文没有列出的但在本领域中公知的其它显微镜组件也可连接到框架上。

FMIS 100可以作为任何合适类型的显微镜的一部分来实现。例如，在一些实施例中，FMIS 100可被实现为使用(如图1A所示的)反射光和/或(如图1B所示的)透射光的光学显微镜的一部分。更特别地，FMIS 100可以作为从Cuyahoga Falls,OH的Nanotronics成像公司获得的光学显微镜的一部分来实现。

在一些实施例中，XY平移台可以用于台30。XY平移台可以由步进电机、伺服电机、线性电机、压电电机和/或任何其它合适的机构驱动。在一些实施例中，XY平移台可被配置以在任何合适的控制器的控制下在X轴和/或Y轴方向上移动样本。

在一些实施例中，耦接到台30的聚焦机构32可用于在Z方向上朝向和远离物镜35调整台。聚焦机构32可以用于进行距离为例如0到5mm、0到10mm、0到30mm和/或任何其它合适范围的粗略聚焦调整。聚焦机构32也可用于上下移动台30以允许将不同厚度的样本放置在台上。在一些实施例中，聚焦机构32也可以用于提供距离为例如0到50μm、0到100μm、0到200μm和/或任何其它合适范围的精确聚焦。在一些实施例中，聚焦机构32还可以包括定位装置。定位装置可以被配置为在任何合适的时间点确定台30的位置。在一些实施例中，即使在FMIS 100的重置和/或功率循环时，任何合适的位置(例如，当样本处于焦点时台的位置)可以以任何合适的方式被存储，并且随后用于将台带回该位置，。在一些实施例中，定位装置可以是线性编码器、旋转编码器或任何其它合适的机构，以跟踪台30相对于物镜的绝对位置。

根据一些实施例，FMIS 100可包括一个或更多个物镜35。这些物镜可具有不同的放大率和/或被配置成利用荧光、以及明场/暗场、差分干涉对比度(DIC)、偏振光、交叉偏振(cross-polarized)光和/或任何其他合适形式的照明来操作。在一些实施例中，用于检查样本的物镜和/或照明技术可由软件、硬件和/或固件控制。

在一些实施例中，第二聚焦机构(未示出)可用于在Z方向上驱动物镜35朝向和远离台30。第二聚焦机构可设计用于物镜35的粗略或精细聚焦调整。第二聚焦机构可以是步进电机、伺服电机、线性致动器、压电电机和/或任何其它合适的机构。例如，在一些实施例中，可以使用压电电机，并且压电电机可以驱动物镜0至50微米(μm)、0至100μm或0至200μm，和/或任何其他合适的距离范围。

在一些实施例中，控制模块(例如，控制器和控制器接口)和FMIS 100的组件之间的通信可使用任何合适的通信技术，其提供与一个或更多个其他装置通信和/或与计算机网络进行数据交易的能力。作为示例，所实现的通信技术可以包括但不限于：模拟技术(例如，中继逻辑)、数字技术(例如，RS232、以太网或无线)、网络技术(例如，局域网(LAN)、广域网(WAN)、因特网、蓝牙技术、近场通信技术、安全RF技术和/或任何其它合适的通信技术。

在一些实施例中，可以使用任何合适的输入装置(例如，键盘、鼠标、操纵杆、触摸、触摸屏等)将操作者输入传递到控制模块110。

在一些实施例中，计算机分析系统115可以使用任何合适的通信技术以任何合适的方式耦接到FMIS 100或包括在FMIS 100中，该通信技术例如模拟技术(例如中继逻辑)、数字技术(例如RS232、以太网或无线)、网络技术(例如局域网(LAN)、广域网(WAN)、因特网)、蓝牙技术、近场通信技术、安全RF技术和/或任何其他合适的通信技术。计算机分析系统115和计算机分析系统115内的模块可被配置为使用FMIS 100输出的和/或计算机可读介质存储的图像来执行本文进一步描述的多个功能。

计算机分析系统115可以包括任何合适的(在一些实施例中可以执行软件的)硬件，例如计算机、微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和数字信号处理器(DSP)(其中的任何一个可以被称为硬件处理器)、编码器、用于读取编码器的电路、存储器装置(包括一个或更多个EPROM、一个或更多个EEPROM、动态随机存取存储器(“DRAM”)、静态随机存取存储器(“SRAM”)和/或闪存)和/或任何其他合适的硬件元件。

计算机可读介质可以是可由计算机访问的任何非暂时性介质，并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机储存介质和通信介质。计算机储存介质可以包括以用于储存诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机储存介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字视频盘(DVD)或其它光盘储存装置、磁带盒、磁带、磁盘储存装置或其它磁储存装置、或者可用于存储所需信息并可由计算机访问的任何其它介质。

FMIS 100可包括一个或更多个照明源，例如光源25、25a和28。在一些实施例中，例如如图1A所示，可使用反射照明(即，源自样本上方的光)。反射光穿过垂直照明器22到达分束器20。分束器20可以将来自(一个或更多个)照明源的光以90°向下反射通过换镜旋座23并通过物镜35的明场通道42到达样本。在其它实施例中，例如如图1B中所示，可以使用透射照明(即，源自样本下方的光(光源25a))。不同的照明源可以被配置为提供波长彼此不同的照明。还可以调整不同的照明源以控制每单位面积提供的强度。

本文所使用的分束器可以指反射镜、二向色镜、滤光器或传输已知的指定波长的光并且将所传输的光与另一已知的指定波长的光组合的光束组合器。

在一些实施例中，如图1B所示，为了增加样本上的光强度，来自照明源25/28的反射光可以与来自照明源25a的透射光同时投射。在一些方面，各种照明源可以提供相似或相等波长的光。在其它实施例中，FMIS 100可包括可提供不同波长范围的光的单个照明源。

在一些实施例中，例如，第一照明源25提供不可见光8(例如，投射波长范围在10至400纳米(nm)的光)，而第二照明源28提供可见光9(例如，投射具有波长范围在400至740纳米(nm)的光)。在另外的实施例中，照明源可以提供其他合适的波长。

在一些实施例中，如图1A和1B所示，照明源25被定位成使得照明源25的光在基本上水平的方向上朝向垂直照明器22投射。照明源25、25a和28可以包括适合于每个光源的发射光的波长的聚焦透镜。

在使用两个照明源的一些实施例中，在光行进到垂直照明器22之前，分束器60被放置在两个照明源(例如，照明源25和28)的光学路径中。照明源可以被启动，使得它们都在相同时间或在不同时间提供照明。在不脱离所公开的技术的范围的情况下，可以设想照明源的其它放置。注意，在任何合适的配置中，上述装置的组合可以用于反射和透射期望的照明源和波长。在一些实施例中，选择具有特定截止波长的分束器，以便反射由照明源28发射的光的波长，并允许从照明源25发射的光的波长通过。分束器60可以设计成45°入射角，使得来自照明源28的被拒绝的光以90°角反射，并且平行于来自照明源25的光路行进。在不脱离所公开技术的范围的情况下，可以设想其他分束器设计。

注意，在一些实施例中，任何合适的(一个或更多个)非相干照明源可以与照明源25、25a和28一起使用，包括但不限于发光二极管(LED)、卤素灯和/或荧光灯。

在一些实施例中，滤光器机构15可用于允许来自光源25和28的指定范围波长通过到达样本。滤光器机构15(也称为激发滤光器)可以是例如具有不同带通滤光器(例如带通滤光器16和17)的载玻片。每个带通滤光器允许某些波长通过并阻挡所有其它波长。可以使用电机或机械机构来选择和定位带通滤光器之一。在其它实施例中，包括软件、固件和/或硬件的可调谐滤光器可以用于控制期望的波长通过以到达样本。在一些实施例中，所选择的带通滤光器可以基于样本中的材料中的一种或更多种的带隙属性。举例来说，带通滤光器可以被选择为与匹配或超过正被检查的样本中的材料之一的带隙的波长能量相对应。换句话说，可以选择传输到样本的波长能量，使得其引起样本内的目标材料发荧光。每种材料具有与其它材料不同的已知带隙能量。带隙能量是指特定材料的价带顶部与导带底部之间的能量差。当材料中的电子被光波长激发时，产生荧光，使得它们吸收光子并发射激发光(通常所发射的光以比吸收的光更长的波长发射)。除了施加适当的波长以激发样本之外，还必须施加每单位面积足够的强度，以便能够发生荧光。每单位面积的强度的充分性将取决于样本的材料成分，并且通常在1瓦/cm²至11瓦/cm²的范围内。例如，投射365nm波长和4瓦强度的光的照明源可以施加到具有3.26eV带隙能量的碳化硅样本上以激发荧光响应。

在另外的实施例中，所选择的波长能量可对应于引起样本内的目标材料和/或添加到目标样本的颜料发出荧光所需的波长能量。注意，术语“激发”是指引起样本或添加到样本的颜料发荧光(即，发射荧光)的波长能量。

在一些实施例中，可以基于要执行的期望的显微镜检查来使用激发滤光器机构，并且例如仅允许在选择的范围中的波长通过。举例来说，滤光器机构可用于选择不可见范围内的波长(例如，来自照明源25的紫外光)或可见范围内的(例如，来自照明源28的)波长以穿过。在其它实施例中，滤光器机构可用于将特定波长(例如，对应于正被检查的材料的带隙且将激发材料的波长)的光传输到样本。

注意，激发滤光器滑动器15代表一个示例性实施例，并且在光到达样本之前，一个或更多个激发滤光器可以放置在沿着光路的任何适当位置。在一些实施例中，滑动器40可以包括激发滤光器和/或激发滤光器可以被包括在换镜旋座23中。这些不同的实施例将在本文描述。

在另外的实施例中，一个或更多个发射滤光器可以用于允许适当的波长从样本传输到成像装置，使得仅对期望的波长成像。类似于激发滤光器，发射滤光器可以是带通滤光器，该带通滤光器允许某些波长通过并阻挡其他波长。在其它实施例中，包括软件、固件和/或硬件的可调谐滤光器可用于控制通过的期望波长。

一个或更多个发射滤光器(例如，图2中所示的发射滤光器18和19)可以放置在每个成像装置之前，在管透镜90之前(例如，图1A中所示的发射滤光器21)，和/或在换镜旋座23中(例如，图6C中所示的滤光器滑动器52的发射滤光器F3)，以传输样本的荧光响应。在一些实施例中，可以使用发射滤光器轮，该发射滤光器轮进一步过滤某些颜色的波长以防止其到达一个或更多个成像装置。可以选择或控制发射滤光器以允许指定的波长到达成像装置。例如，为了探测碳化硅在不同波长的荧光响应，可以使用不同的发射带通滤光器(或单个波长)，不同的发射带通滤光器(或单个波长)允许不同的波长范围(例如，414-440nm,500-550nm或590-670nm)通过。这些滤光器可以一次应用一个，或者如果存在多个相机，则可以同时地应用它们或作为顺序滑动器的一部分(即，使用允许在每个成像装置前面的不同波长范围的滤光器)。

图2示出了包括两个成像装置6和7的示例性实施例。在一些实施例中，成像装置6和7可以是分别包括图像传感器5和4的相机。成像装置6和7可用于捕获样本的图像。图像传感器5和4可以是例如CCD、CMOS图像传感器和/或将光转换成一个或更多个电信号的任何其它合适的电子器件。这样的电信号可以用于形成样本的图像和/或视频(包括荧光图像和/或视频)。在一些实施例中，成像装置可以是在根据入射光子产生电子电荷方面有效的高量子效率相机。在一些实施例中，传输这种电信号以在连接到FMIS 100的显示屏上显示。在一些实施例中，成像装置可以被用于观察样本的目镜或接目镜或者用于测量来自样本的光谱发射的光谱仪的替代或补充。

成像装置可定位在FMIS 100的共轭焦平面上。在一些实施例中，成像装置可以使用适当的组件安装在其它位置，以使所选择的位置适应系统的光学特性。在另外的实施例中，可以使用多于一个成像装置。在一些实施例中，成像装置可以是包含图像传感器的可旋转相机，所述可旋转相机被配置以允许相机对准样本、台和/或样本上的特征。在标题为“Camera and Object Alignment to Facilitate Large Area Imaging in Microscopy(相机和对象对准以在显微镜下促进大面积成像)”的美国专利No.10,048,477中描述了FMIS 100可使用的用于旋转相机的一些示例方法，该美国专利No.10,048,477的内容通过引用合并于此。

图2包括发射滤光装置18和19，发射滤光装置18和19中的每个都耦接到相应的成像装置。每个滤光装置允许从样本反射和/或发射的某些波长由相关联的成像装置接收，并阻挡所有其它波长。图2包括分束器24，该分束器24在从样本反射/发射的光的光学路径中，在照明器22上方定位。分束器可以被定位使得一定范围内的波长被朝向一个成像装置定向，而不同范围内的波长的光被朝向第二成像装置定向。

FMIS 100对样本的成像可以使用各种观察模式来执行，观察模式包括明场、暗场、差分干涉对比度(DIC)以及本领域技术人员已知的其他模式。

在一些实施例中，FMIS 100可同时或单独提供明场和暗场照明。暗场照明是指使用倾斜照明而不是正交光来照亮样品的照明技术。物镜可以包括围绕明场通道的环形暗场通道，其允许光以小于90度且大于0度，典型地为25至80度的入射角被传输到样品。在一些实施例中，FMIS 100可包括明场/暗场滑动器40或其他合适的机构(例如，笼式立方体)，该其他合适的机构(例如，笼式立方体)仅允许暗场照明、仅明场照明、明场/暗场照明的组合或其他类型的照明(例如，DIC)到达样品。明场/暗场滑动器40的不同配置将结合图2-5进行讨论。在其他实施例中，明场/暗场照明可以通过在暗场通道上耦接光源，并通过控制模块110启动光源来给样品提供暗场照明来实现。结合图2-5讨论了一些示例性实施例。

在一些实施例中，如图3A、3B和3C所示，FMIS 100使用明场/暗场滑动器40。一种滑动器，其包括明场配置43和暗场配置44。明场/暗场滑动器40可沿着行进到样本的光路10定位在任何地方(例如，在垂直照明器中，在分束器20之前或耦接在换镜旋座23的上方或下方)。明场/暗场滑动器40包括两种配置：43和44。在第一位置，如图3A所示，当配置43被定位在光路中时，配置43中心的孔允许光10a穿过并通过物镜35中心的明场通道反射离开分束器20，以提供对样本的明场照明，并阻止光穿过到达暗场通道41。此外，在一些实施例中，配置43中心的孔可以用仅允许特定波长(通过分束器20的反射)到达样本的激发滤光器代替。

在第二位置，如图3B所示，当配置44被定位在光路中时，中心孔闭合，从而阻止光传输到明场通道42，并通过分束器20反射出去，从而将光10b传输通过暗场通道环41，以提供对样本的倾斜照明。可以使用电机或机械机构来选择和定位明场/暗场滑动器配置之一。从样本反射的光10c再通过物镜35行进到(一个或更多个)成像装置。

明场/暗场滑动器40的其他配置也是可能的，例如如图4A(明场/暗场滑动器40a)和4B(明场/暗场滑动器40b)所示。

明场/暗场滑动器40a可以包括配置45(其包括围绕闭合中心的灯环46(例如，LED灯环))和(结合图3A-3C进行描述的)43。当配置45被定位在光路中，并且LED灯46被启动时，倾斜照明可以经由暗场通道41(通过分束器20反射出去)被传输到样本。由于环的中心是闭合的，并且阻挡光(通过分束器20反射出去)进入明场通道，因此没有明场光传输到样本。

如图4B所示，明场/暗场滑动器40b可以包括配置47(其包括围绕孔的LED灯环46)和(结合图3A和3B进行描述的)43。当配置47位于光路中并且LED灯环46被启动时，倾斜照明可以被投射并(经由分束器20反射出去)被传输到样本，同时明场照明可以穿过中心的孔并通过物镜35的明场通道42被传输到样本(如图5B所示)。

在一些实施例中，如图5A(示出示例性FMIS 100)、5B(示出示例性换镜旋座23的细节)、6A(示出示例性暗场插入件51)和6B(示出示例性圆柱体29)所示，圆柱体29(本文也称为“附件”或“圆柱体附件”)可被(例如，通过螺钉或其他紧固件)固定到FMIS 100的换镜旋座23，(包括环形暗场通道41和明场通道42的)物镜35可被固定到暗场通道41上方的圆柱体29。此外，具有灯环46(例如，LED灯46)的暗场插入件51可被固定到暗场通道41上方的原柱体29。这种配置允许圆柱体29被固定到任何换镜旋座中并与任何物镜一起使用。注意，圆柱体29可以是任何合适的形状。进一步地，暗场插入件51上包括的灯环可包括发射一个或更多个波长的任何合适的灯，并且可与具有包括不同类型的灯并发射不同波长(或一组波长)的灯环的另一插入件51灵活地互换。

在一些实施例中，一种具有多个发射/激发滤光器F1、F2、F3……FN的滤光器滑动器52(一种滑动器)，可以耦接到暗场插入件51下面的圆柱体29。在一些实施例中，滑动器52的滤光器F1包括孔，当被启动时，孔允许来自灯46的光通过暗视场通道41未经滤光地到达样本。滑动器52的滤光器F2包括激发滤光器，该激发滤光器仅允许特定的暗场和明场波长到达样本。在一些实施例中，激发滤光器可包括位于中心的孔，且仅过滤到达样本的暗场光。在进一步的实施例中，滤光器F3可包括用于明场和暗场通道的不同滤光器。例如，暗场滤光器可被配置为过滤暗场激发光，而明场滤光器可被配置为发射滤光器，以在从样本发射的光到达一个或更多个成像装置之前对其进行过滤。滑动器52可以包括其它合适的滤光器，该滤光器仅仅使特定激发波长到达样本和/或仅仅使特定发射波长到达一个或更多个成像装置。

注意，上述以任何合适的配置形式的激发和发射滤光器的组合，可以用于反射和传输期望的照明源和波长。

图7A在高层次示出了根据所公开的主题的一些实施例的用于使用FM检查系统来照亮样本以实现期望的光谱发射和用于图像捕获的其他期望的照明的示例性方法700。在一些实施例中，方法700可使用FMIS 100。

在710处，将待检验的样本放置在样本台30上。在一些实施例中，在选择FMIS 100的光源和滤光器之前，使样本聚焦。

在720处，可以调整FMIS 100的设置以用于图像捕获。这可以基于例如正被检查的样本的特征或样本的材料成分手动地或(例如，使用计算机算法)自动地执行。在一些实施例中，控制模块110可以根据所存储的特定样本、样本类别和/或任何其它合适的分类组的信息来启动和调整来自(一个或更多个)光源的光的波长和强度以及对应的激发和发射滤光器。所存储的信息可以包括识别样本上已知特征的类型和位置的图(“样本特征图”或“特征图”)。所存储的信息还可以包括样本的材料成分、用于在不同的感兴趣区域捕获样本的不同图像的最佳FM检查系统设置(例如，通过指定要定向到样本的光的波长和强度，通过选择和调整适当的激发和/或发射滤光器)。此外，所存储的信息可包括关于样本的已知或预期缺陷的类型和位置的信息。结合图8进一步讨论了用于选择合适的所存储的信息的方法。

在730处，根据一些实施例，FMIS 100捕获样本的一个或更多个图像。步骤720和730可以根据需要重复多次以捕获样本的不同图像。例如，可以对光源25、25a和/或28以及对应的激发和发射滤光器的强度和波长进行调整，以捕获样本的不同图像。例如，可以基于样本的所存储的信息(包括样本成分、样本的已知或预期缺陷和/或样本特征图)，来对光源进行调整。此外，光源25、25a和/或28以及对应的滤光器的波长可以针对样本的(如由样本特征图或其他指示的)不同感兴趣区域进行调整，并且可以针对每个感兴趣区域捕获图像。在一些实施例中，可以在适于向样本和/或感兴趣区域提供期望的激发的范围内选择光源25、25a和/或28以及对应的滤光器的波长。此外，通过调整提供给样本的照明类型，例如，施加明场、暗场、明场和暗场的组合、和/或DIC照明，可以捕获样本的不同图像。

图7B示出了根据所公开技术的一些方面的用于识别样本分类并自动调整FMIS100的光源和滤光器的示例性过程705的步骤。过程705开始于步骤740，其中例如由图像处理系统(例如，(如图8所示的)图像处理模块834)接收图像数据。在一些方法中，图像数据可包括在由成像装置拍摄的样本的接收图像中，作为FMIS 100的一部分。图像数据可包括设置在FMIS 100的台上的样本的全部或一部分。

在步骤750中，分析图像数据以识别样本的分类。在一些情况下，可以执行图像分析以识别样本的子集，诸如样本内的特定区域、特征或材料。如下文所论述，机器学习分类器、计算机视觉和/或人工智能可用于对样本及样本上的特征进行识别/分类。图10中示出了使用卷积神经网络(CNN)的示例性分类方法。

随后，可以基于样本(或特征)分类自动选择所存储的信息(步骤760)。样本/特征分类可用于查询含有与以下相关联的所存储的信息的数据库(例如，存储信息数据库836)：样本、样本的材料成分、样本特征类型和/或其他合适的分类组。通过参考在步骤750中确定的样本分类，可以自动识别和检索适合于样本的所存储的信息。如上所述，所存储的信息可包含描述FMIS 100的配置的各种设置数据，该FMIS 100的配置可用于实现对所观察的样本、特征和/或材料的最佳照明和图像捕获。

图7C示出了根据所公开技术的一些方面的用于自动识别和/或分类样本缺陷的示例性过程710的步骤。在一些实施方式中，步骤780可以在以上参照图7B讨论的步骤770之后。然而，应当理解，可以独立于上面讨论的过程700和705的各个步骤来执行过程710。

在步骤780中，在对FM检查系统施加调整/设置之后，从成像装置接收包括荧光的图像数据。在一些方法中，如上文在步骤770中所描述的，可在样本的自动分类之后执行步骤780。因此，在步骤780中接收的图像数据可以表示在优化或改进的照明条件下拍摄的样本的图像，如通过对FM检查系统执行设置选择所实现的。

在步骤785中，将包含荧光的新图像数据提供给缺陷检测分类器，所述缺陷检测分类器被配置为自动识别/检测和/或分类样本的缺陷/特征。可以在不知道样本分类或类型的情况下执行缺陷/特征检测和分类。然而，在一些实施例中，样本分类和/或相关联的所存储的信息可用作缺陷检测分类器的输入，且借此用于报告缺陷/特征检测和识别的过程。

在步骤790中，识别和/或分类样本的一或更多个缺陷/特征。根据期望的实施方式，可以以不同的方式执行识别和/或分类样本缺陷/特征的过程。例如，缺陷/特征识别可用于自动生成或更新与给定样本和/或样本分类相关联的特征图和/或所存储的信息(步骤795)。因此，如过程705中所描述的，新缺陷/特征的识别可用于改进(训练)未来的缺陷/特征分类计算，以及改进调整FM检查系统设置的自动化过程。在一些方面中，缺陷/特征识别和/或分类可用于触发警报，例如以通知FM检查系统的用户关于所检测的缺陷/特征和/或缺陷/特征类型(分类)的存在。

应当理解，在一些实施例中，可以以不限于结合图7A、7B和7C示出和描述的顺序和序列的任何顺序或序列来执行本文描述的方法700、705和710的部分中的至少一些。此外，在一些实施例中，本文描述的过程700、705和710的一些部分可以在适当的情况下基本上同时执行或并行执行。另外或替代地，在一些实施例中，可省略过程700、705及710的一些部分。方法700、705和710可以以任何合适的硬件和/或软件来实现。例如，在一些实施例中，方法700、705和710可以在FM检查系统100中实现。

图8示出了根据所公开主题的一些实施例的计算机分析系统115的实施例的一般配置。尽管计算机分析系统115被示为其中各种组件经由总线805耦接的本地化计算系统，但是可以理解，各种组件和功能计算单元(模块)可被实现为单独的物理或虚拟系统。例如，一个或更多个组件和/或模块可以在物理上分离的和远程的装置中，诸如使用在云环境中实例化的虚拟过程(例如，虚拟机或容器)实现。

计算机分析系统115包括处理单元(例如，CPU和/或处理器)810和总线805，总线805将包括诸如只读存储器(ROM)820和随机存取存储器(RAM)825的系统存储器815的各种系统组件耦接到处理器810。

存储器815可包括具有不同性能特性的各种存储器类型，例如存储器高速缓冲存储器812。处理器810耦接到存储装置830，存储装置830被配置为存储用于实现一个或更多个功能模块和/或数据库系统(例如存储信息数据库836)的软件和指令。这些模块和/或数据库系统中的每一个都可以被配置成控制处理器810以及专用处理器，其中软件指令被结合到实际的处理器设计中。这样，图像处理模块834和存储信息数据库836可以是完全自包含的系统。例如，图像处理模块834可以被实现为离散图像处理系统，而不脱离所公开的技术的范围。

为了使得用户能够与计算机分析系统115交互，输入装置845可以表示任何数量的输入机构，诸如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入等。输出装置835还可以是本领域技术人员已知的多种输出机构中的一种或更多种。在一些情况下，多模态系统可以使用户能够提供多种类型的输入以与计算机分析系统115通信，例如，以传达与样本类型/分类或其他特性相关的样本信息。通信接口840通常可以管理和控制用户输入和系统输出。对任何特定硬件布置的操作没有限制，因此这里的基本特征可以容易地替换为开发的改进的硬件或固件布置。

存储装置830是非暂时性存储器，并且可以是硬盘或能够存储可由计算机访问的数据的其他类型的计算机可读介质，诸如磁带盒、闪存卡、固态存储器装置、数字多功能盘、盒式磁带、随机存取存储器(RAM)825、只读存储器(ROM)820及其混合。

实际上，存储信息数据库836可被配置为接收、存储和更新与样本、样本类别和/或其它合适样本分类相关联的上下文数据。每个样本/样本类别/样本分类的上下文数据都可以包括但不限于：样本和/或样本的特征的计算机辅助设计(CAD)文件，识别特征及其位置的特征图，由FMIS 100捕获的样本/样本的特征的图像，已知样本和/或特征的图像，样本的已知尺寸、材料成分、机械和/或物理属性，已知材料或样本的光谱变化图、常见堆垛层错、结构缺陷或与样本相关联的其它缺陷，样本的特征的最佳FM检查设置，样本或样本分类，感兴趣区域和/或要检验的感兴趣的材料的识别。在一些实施例中，可以在特征图上识别感兴趣区域。存储信息数据库836可以耦接到图像处理模块834，并且可以向图像处理模块834传输数据以及从图像处理模块834接收数据。此外，上下文数据可包括与用于检查样本的FMIS100相关的数据，例如：FMIS 100的光源数量、每个光源的波长范围和强度、成像装置的数量和不同类型的激发/发射滤光器及其位置，样本台30和物镜35之间的可能的距离范围。

处理器810可包含图像处理模块834。图像处理模块834可以与存储信息数据库836结合使用，以基于以下各项对样本进行分类：在(一个或更多个)样本图像中接收的包括荧光的图像数据；从存储信息数据库836检索的上下文数据和/或其它接收的样本特性(例如由用户例如经由输入845手动提供的那些样本特性)。另外，图像处理模块可被配置为对特定样本特征进行分类，确定其它物理和/或机械样本属性(例如，样本反射率、样本尺寸、样本材料成分)。样本类型的分类和样本特征/属性可以存储在存储信息数据库836中。

在一些实施例中，一旦已经(例如，通过图像处理模块834)确定了样本的样本类型、特定特征和/或材料成分，就可以从存储信息数据库836检索与确定的样本类型/特征相关联的附加上下文数据，并且将该附加上下文数据发送到控制模块110以调整FMIS 100的设置，从而捕获特定样本图像和/或指导FMIS 100(例如，通过捕获特定特征和/或感兴趣区域的图像)对样本进行检查。

在一些实施例中，图像处理模块834可接收整个样本扫描，或样本的一个或更多个图像。如图9所示，图像处理模块834可以应用一个或更多个人工智能算法来对样本类型以及样本上的特征进行分类。

如本领域技术人员所理解的，在不背离所公开的技术的情况下，基于人工智能/机器学习的分类技术可以根据期望的实现而变化。例如，机器学习分类方案可以利用单独或组合的以下各项中的一种或更多种：隐马尔可夫模型；循环神经网络；卷积神经网络(CNN)；深度学习；贝叶斯符号方法；通用对抗性网络；支持向量机；图像配准方法；可应用的基于规则的系统。在使用回归算法的情况下，它们可以包括但不限于：随机梯度下降回归器和/或被动进攻回归器等。

机器学习分类模型还可以基于聚类算法(例如，小批量K均值聚类算法)、推荐算法(例如，最小哈希算法或欧几里得LSH算法)和/或异常检测算法(诸如本地离群值因子)。另外，机器学习模型可以采用降维方法，诸如以下中的一个或更多个：小批量字典学习算法、增量主成分分析(PCA)算法、潜在狄利克雷分配算法和/或小批量K均值算法等。

在一些实例中，机器学习模型可用于执行对样本、样本内的材料、样本特征和/或其他样本特性的分类。在一些方面，例如，通过图像处理模块834，来自样本图像的图像数据可以作为输入被提供到机器学习分类系统。分类器输出可以指定样本或特征分类，该样本或特征分类然后可以用于识别样本上的特定感兴趣区域以供LMIS 100进一步检查，并且向LMIS100的控制模块110提供关于应当用于检查那些感兴趣区的光源和滤光器的类型的指令。

这样的算法、网络、机器和系统提供了关于任何“用于使用人工智能确定样本的特征的装置”或“用于使用人工智能确定样本的感兴趣区域以用于进一步检查的装置”或“用于使用人工智能确定样本的特征的装置”使用的结构的示例。

此外，对于样本上的每个特征或感兴趣区域，图像处理模块可以应用一个或更多个人工智能算法来执行以下各项以检查特征/样品/材料：i)检测特征；ii)对特征类型进行分类；iii)确定样本上的特征的位置；iv)确定样本/特征的材料成分；v)确定LMIS 100的最佳设置(例如，波长激发设置、波长发射设置、所应用的照明技术)。在一些实施例中，图像处理模块834所使用的(一个或更多个)算法可以考虑上下文数据，如样本上的特征的位置、被检查的样本的类型、被检查的样本的物理和机械属性、相同或类似样本上的类似特征、所检查的样本的参考特征图、用于生成样本扫描或样本图像的FM检查系统设置。

可由图像处理模块834使用的基于机器学习人工智能的图像处理算法的示例是如下所述的图像配准：Barbara Zitova，“Image Registration Methods:A Survey(图像配准方法：调查)“Image and Vision Computing(图像与视觉计算)，2003年10月11日，第21卷，第11期，第977-1000页，在此通过引用将其整体并入本文。所公开的方法仅仅是示例性的，而不是限制性的。作为示例，可以使用训练数据的多个源来训练机器学习/人工智能模型，训练数据的多个源包括但不限于：样本和/或样本的特征的计算机辅助设计(CAD)文件、识别样本上的特征及其位置的样本特征图、已知样本和/或特征的图像和/或关于已知样本的信息(例如，样本的尺寸、样本的材料成分、样本的机械和/或物理属性、已知材料或样本的光谱变化图、常见堆垛层错、结构缺陷、识别样本分类中的特征通常位于何处的特征图)。

在一些实施例中，如图9中所示，首先用训练数据920训练图像处理算法905，使得图像处理模块834可识别和分类样本，且检测和识别样本上的特征。可以使用多种训练技术，并且可以取决于所使用的特定分类器模型。在一个示例中，可以使用随机梯度下降对诸如13层CNN的CNN训练多个周期以探索对应的误差空间。在一个示例中，80个周期用于训练，并且随机梯度下降可以包括动量因子。另外，可以使用自适应学习速率，例如但不限于，将学习速率从早期周期期间的0.1(例如，作为随机梯度下降中的步长值)调整到后期周期中的0.01。

训练数据920可以包括已知类型的样本和特征的标记示例。对于针对其训练的每个分类(例如，特征、特征类型、缺陷类型等)，训练数据920还可以包括标记的经成像的变形特征(这些变形特征可以是实际变形特征或根据预定义参数模拟的变形特征)，并且训练数据920可以包括这种变形特征的标记图像。训练数据920还可以包括从0-360度旋转的每个缺陷类型的标记图像。训练数据920还可以包括以不同尺寸生成的每个缺陷类型的标记图像。训练数据920的一个示例是包括具有不同结构、形状和尺寸的标记的堆垛层错的图像，以及每种类型堆垛层错的对应荧光发射。此外，标记的图像还可包括附加的上下文数据，如指定FMIS 100的设置(例如，波长激发设置、波长发射设置、应用的照明技术)、特征或样本的材料成分、样本上的特征的位置、特征的物理/机械属性和/或任何其它合适特性的信息。在一些实施例中，训练数据还可以包括未标记数据。

一旦图像处理算法被训练，它就可以由图像处理模块834应用于接收的(一个或更多个)样本扫描或样本的(一个或更多个)图像，以对样本类型进行分类、检测特征、对故障类型进行分类、确定特征和/或故障位置、确定样本成分、以及确定用于检测特征/样本的最优FM检查系统设置。输出数据可以可视化显示、打印或以文件形式生成，并被存储在数据库836中或被传输到其它组件以供进一步处理。

在一些实施例中，输出数据可被发送到特征图生成器模块832以生成样本的特征图。在一些实施例中，输出数据可以包括多个图像。所生成的特征图可识别并定位样本上的特征。所生成的特征图可以被可视化显示、打印或以文件形式生成，并且被存储在存储信息数据库836中或被传输到其它模块以便进一步处理。

此外，所生成的特征图可用于通过FMIS 100将进一步检查集中在样本的特定特征和/或区域上。基于特征和区域的特性，可以从存储信息数据库836中检索所存储的信息。例如，对于每个特征和/或感兴趣区域，可以从存储信息数据库836中检索指令，以便在不同波长和强度水平下应用不同的光源和照明技术，从而使用不同的激发/发射滤光器来捕获不同的图像并将这些图像传输到控制模块110。例如，通过在一个或更多个成像装置之前应用不同的带通发射滤光器，可以检测不同的荧光发射，并且识别样本的不同特征(例如，表面中的不规则或缺陷)。

图10描述了用于训练使用深度卷积网络分类器1005的图像处理模块834的一个实施例。可以使用模拟扩充数据1007来训练分类器1005。例如，不同类型的样本的已知缺陷可以在样本上的不同取向、不同大小、不同像素强度、不同位置处生成(1006和1009)。这些已知缺陷的形状可能是模糊的和/或失真的。一旦被训练，FMIS 100的一个或更多个候选图像可被输入到分类器(1009)中。在一些实施例中，首先通过检测某些区域并从这些区域提取特征(1002和1003)来处理图像(1001)。分类器1005然后用于分析所提取的特征且将特征分类为若干类型且定位样本上的那些特征(1010)。注意，在标题为“Macro InspectionSystems，Apparatus and Methods(宏观检查系统、设备和方法)”的美国专利申请No.16/262,017中描述了FMIS 100可以使用的用于定位样本上的特征的一些示例方法，该申请通过引用整体结合于此。在一些实施例中，已知缺陷包括具有不同结构、尺寸和形状的堆垛层错。

在一些实施例中，任何合适的计算机可读介质可用于存储用于执行本文所述的功能和/或过程的指令。例如，在一些实施例中，计算机可读介质可以是暂时性的或非暂时性的。例如，非暂时性计算机可读介质可以包括诸如非暂时性磁介质(诸如硬盘、软盘等)、非暂时性光学介质(诸如压缩盘、数字视频盘、蓝光盘等)、非暂时性半导体介质(诸如闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等)、在传输期间不稍纵即逝或缺乏任何永久性的外观的任何合适的介质和/或任何合适的有形介质之类的介质。作为另一示例，暂时性计算机可读介质可以包括网络上的信号、电线中的信号、导体中的信号、光纤中的信号、电路中的信号、以及在传输期间稍纵即逝且缺乏任何持久的外观的任何合适的介质中的信号、和/或任何合适的无形介质中的信号。

本文描述的各种系统、方法和计算机可读介质可以被实现为云网络环境的一部分。如本文所使用的，基于云的计算系统是向客户端装置提供虚拟化计算资源、软件和/或信息的系统。计算资源、软件和/或信息可以通过维护边缘装置可以通过诸如网络的通信接口访问的集中式服务和资源来虚拟化。云可以经由云元件提供各种云计算服务，诸如软件即服务(SaaS)(例如，协作服务、电子邮件服务、企业资源规划服务、内容服务、通信服务等)、基础设施即服务(IaaS)(例如，安全服务、联网服务、系统管理服务等)、平台即服务(PaaS)(例如，web服务、流服务、应用开发服务等)和其他类型的服务(诸如桌面即服务(DaaS)、信息技术管理即服务(ITaaS)、受管理软件即服务(MSaaS)、移动后端即服务(MBaaS)等)。

提供本文所述的示例(以及词语为“诸如”、“例如”、“包括”等的从句)不应被解释为将所要求保护的主题限于特定示例；相反，这些示例旨在仅示出许多可能方面中的一些。本领域普通技术人员将理解，术语机构可以涵盖硬件、软件、固件或其任何合适的组合。

除非特别声明，否则如从以上讨论中显而易见的，可以理解，在整个描述中，利用诸如“确定”、“提供”、“识别”、“比较”等术语的讨论指的是计算机系统或类似电子计算装置的动作和过程，其操纵和变换表示为计算机系统存储器或寄存器或其他这样的信息存储装置、传输或显示装置内的物理(电子)量的数据。本公开的某些方面包括本文以算法形式描述的过程步骤和指令。应当注意，本公开的过程步骤和指令可以以软件、固件或硬件来实现，并且当以软件来实现时，可以被下载以驻留在由实时网络操作系统使用的不同平台上并且从这些平台操作。

本公开还涉及用于执行本文的操作的设备。该设备可以是为所需目的而特别构造的，或者该设备可以包括由存储在计算机可读介质上的计算机程序选择性地启动或重新配置的通用计算机，该计算机可读介质可以由计算机访问。这样的计算机程序可以存储在计算机可读存储介质中，例如但不限于任何类型的盘，包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、专用集成电路(ASIC)或适合于存储电子指令的任何类型的非暂时性计算机可读存储介质。此外，说明书中所指的计算机可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的架构。

本文提出的算法和操作并非固有地与任何特定计算机或其他设备相关。各种通用系统也可以根据本文的教导与程序一起使用，或者可以证明构造更专用的设备来执行所需的方法步骤和系统相关动作是方便的。各种这些系统所需的结构以及等效的变型对于本领域技术人员来说是显而易见的。另外，本公开不是参考任何特定编程语言来描述的。应了解，可使用多种编程语言来实现如本文所描述的本公开的教导，且提供对特定语言的任何参考以用于披露本公开的实现和最佳模式。

已经具体参考这些示出的实施例详细描述了FM检查设备、方法和系统。然而，显而易见的是，在如前述说明书中描述的本公开的精神和范围内可以进行各种修改和改变，并且这样的修改和改变将被认为是本公开的等同物和部分。