阅读说明：本技术 用于机器学习的相关切片和视图图像注释 (Related slice and view image annotation for machine learning ) 是由 D·希金斯 B·拉尔森 于 2021-05-28 设计创作，主要内容包括：公开了用于允许用户操作者快速且容易地进行以下操作的方法和系统：(i)检查机器学习算法的产品以评估其准确性,(ii)对此类产品进行校正,以及(iii)编译反馈以用于重新训练算法。示例方法包含：采集样品的多个相关图像；确定所述多个相关图像中的每一图像中的一个或多个特征；并且接着确定所述多个相关图像中的第一图像中的至少第一特征与所述多个图像中的第二图像中的至少第二特征之间的关系。接着,在确定关于所述第一特征的特性信息时,所述特性信息基于所述关系而与所述第一图像中的所述第一特征和所述第二图像中的所述第二特征两者相关联。(Methods and systems are disclosed for allowing a user operator to quickly and easily: (i) checking products of the machine learning algorithm to assess their accuracy, (ii) making corrections to such products, and (iii) compiling feedback for retraining the algorithm. An example method includes: acquiring a plurality of related images of a sample; determining one or more features in each of the plurality of related images; and then determining a relationship between at least a first feature in a first image of the plurality of related images and at least a second feature in a second image of the plurality of images. Then, when determining characteristic information about the first feature, the characteristic information is associated with both the first feature in the first image and the second feature in the second image based on the relationship.)

用于机器学习的相关切片和视图图像注释

背景技术

有监督机器学习有潜力实现用于自动化例如图像注释等特定功能的准确和高效的算法解决方案。然而，有监督机器学习算法的创建需要用户操作者手动注释数千个训练图像以使得可训练算法以执行所要功能。此外，除创建初始训练集之外，构建有监督机器学习算法还需要用户操作者手动地（i）检查算法的产品以评估其准确性，（ii）对此类产品进行校正，以及（iii）编译反馈以用于重新训练算法。因为这些步骤中的每一个都要花费数百到数千个用户小时，所以使用当前过程，目前创建有监督机器学习算法要花费数月的时间。

当前，此资源负担阻碍了有监督机器学习被用于开发针对许多当前问题的算法解决方案。例如，在带电粒子显微镜中，存在许多其中需要注释显微图像以突出不同的感兴趣的特征/特性的用例。虽然此类用例可通过有监督机器学习显著地改进其效率，但许多此类用例发生在小企业或学术界中，其中训练实现其所要功能的有监督机器学习算法的资源支出是不切实际的。因此，为了允许有监督机器学习算法被更广泛地采用，期望具有使训练、评估、优化和重新训练有监督机器学习算法的过程更容易、更快和更便宜的新方法和资源。

发明内容

公开了用于允许用户操作者快速且容易地进行以下操作的方法和系统：（i）检查机器学习算法的产品以评估其准确性，（ii）对此类产品进行校正，以及（iii）编译反馈以用于重新训练算法。示例方法包含：采集样品的多个相关图像；确定多个相关图像中的一个或多个图像中的一个或多个特征；并且接着确定多个相关图像中的第一图像中的至少第一特征与多个图像中的第二图像中的至少第二特征之间的关系。接着，在确定关于第一特征的特性信息时，所述特性信息基于所述关系而与第一图像中的第一特征和第二图像中的第二特征两者相关联。方法和系统还包含呈现图形用户界面的示例方法，所述图形用户界面专门被配置成允许用户快速且容易地检查和编辑样品的多个标记的相关图像。

附图说明

参考附图进行了详细描述。在图式中，附图标记最左侧的一个或多个数字识别首次出现所述附图标记的图式。不同图式中相同的附图标记指示类似或相同的项。

图1说明用于针对涉及相关图像的用例使用、训练、优化和重新训练的有监督机器学习算法的环境。

图2是说明用于针对涉及相关图像的用例使用、训练、优化和重新训练有监督机器学习算法的示例计算架构的示意图。

图3是用于针对涉及相关图像的用例使用、训练、优化和重新训练有监督机器学习算法的说明性过程的流程图。

图4展示说明用于针对涉及相关图像的用例使用、训练、优化和重新训练有监督机器学习算法的过程的简图的集合。

图5展示说明允许用户快速且容易地检查相关图像的集合的表征信息的第一示例过程的简图的集合。

图6展示说明允许用户快速且容易地检查相关图像的集合的表征信息的第二示例过程的简图的集合。

贯穿附图的若干视图，相同的附图标记指代对应部分。通常，在图式中，以实线展示了可能包含在给定示例中的元件，而以虚线展示了对于给定示例而言任选的元件。然而，以实线展示的元件对于本公开的所有示例不是必需的，并且以实线展示的元件可在不脱离本公开的范围的情况下从特定示例中省略。

具体实施方式

本文中公开了用于针对涉及相关图像的用例快速且容易地使用、训练、优化和重新训练有监督机器学习算法的方法和系统。因此，本公开中所描述的方法和系统允许生成有监督机器学习算法且将其应用于当前用户资源负担和/或用户专门知识需求阻碍其利用的具体问题/用例。

在本公开中包含的是允许快速且容易地训练有监督机器学习算法以注释显微领域中的相关图像的方法和系统。通过利用显微镜中生成的样本的相关图像，所公开的方法和系统允许训练、使用和优化有监督机器学习算法以注释个别用户所要的感兴趣的具体特征/特性。在本公开的范围内的相关图像对应于一系列图像，其中所述系列内的图像中所描绘的特征的至少一部分存在于所述系列中的后续图像中。通常，此类一系列图像将对应于感兴趣的对象/区域的多个图像，其中图像的至少一个或多个特性（例如，深度、平移位置、时间、焦点等）在所述系列的图像中的个别图像之间变化。例如，相关图像集可对应于半导体芯片上不同深度处的感兴趣区域的一系列电子显微图像（即，其中从每一图像之间的感兴趣区域的表面去除一层物质）。

本公开中还包含的是用于生成图形用户界面（GUI）的方法和系统，所述图形用户界面允许用户快速且容易地（i）注释相关图像，（ii）检查机器学习算法的产品以评估其准确性，（iii）对此类产品进行校正，（iv）训练有监督机器学习算法以注释相关图像，和/或（v）重新训练此类有监督机器学习算法。

申请人注意到，许多图式和说明书在电子显微镜的上下文中呈现了方法和系统。然而，这仅是本文中所公开的本发明的特定应用的说明，并且方法和系统可用于（i）注释相关图像，（ii）检查机器学习算法的产品以评估其准确性，（iii）对此类产品进行校正，（iv）训练有监督机器学习算法以注释相关图像，和/或（v）针对其它应用重新训练此类有监督机器学习算法。

图1是用于针对涉及相关图像的用例使用、训练、优化和重新训练的有监督机器学习算法的环境100的图示。确切地说，图1展示示例环境102，所述示例环境包含用于生成样品106的相关图像的示例相关图像采集系统104。示例相关图像采集系统104在图1中说明为包含扫描电子显微镜（SEM）柱108和聚焦离子束（FIB）显微镜柱110的双波束显微系统。

其它示例相关图像采集系统104可为或包含一个或多个不同类型的光学和/或带电粒子显微镜，例如但不限于扫描电子显微镜（SEM）、扫描透射式电子显微镜（STEM）、透射式电子显微镜（TEM）、带电粒子显微镜（CPM）、低温兼容显微镜、聚焦离子束（FIB）显微镜、双波束显微系统或其组合。此外，应注意，本公开不限于其中相关图像采集系统104为显微镜系统的环境100。例如，本公开的范围内的其它实施例可包含环境100，所述环境可包含不同类型的相关图像采集系统（例如，相机），或可根本不包含相关图像采集系统104。

示例相关图像采集系统104包含电子源112（例如，热电子源、肖特基（Schottky）发射源、场发射源等），所述电子源沿着电子发射轴线116且朝向样品106发射电子束114。电子发射轴线116是沿着示例相关图像采集系统104的长度从电子源112延行且穿过样品106的中心轴线。

加速器透镜118将电子束114加速/减速、聚焦和/或导向电子聚焦柱120。电子聚焦柱120聚焦电子束110以使得其入射在样品106的至少一部分上。在一些实施例中，电子聚焦柱120可包含光圈、偏转器、转移透镜、扫描线圈、聚光透镜、物镜等中的一个或多个，它们一起将来自电子源112的电子聚焦到样品106上的小点上。可通过经由偏转器和/或扫描线圈调整电子束方向来扫描样品106的不同位置。另外，聚焦柱120可校正和/或调谐电子束114的像差（例如，几何像差、色像差）。例如，聚焦柱120可使得跨越样品106的表面上的感兴趣区域扫描电子束，使得可生成感兴趣区域的图像。

FIB柱110展示为包含带电粒子发射器128，所述带电粒子发射器被配置成沿着离子发射轴线132发射多个离子130。离子发射轴线132是从带电粒子发射器128延行且穿过样品106的中心轴线。FIB柱110进一步包含离子聚焦柱134，所述离子聚焦柱包括光圈、偏转器、转移透镜、扫描线圈、聚光透镜、物镜等中的一个或多个，它们将来自带电粒子发射器128的离子聚焦在样品106上的小点上。以此方式，离子聚焦柱134中的元件可使得多个离子130成像和/或更改样品106的表面。例如，离子聚焦柱134可使得多个离子130经由铣削和/或沉积而改变样品的表面。

可通过显微镜检测系统124检测响应于电子束114或离子束130中的一个入射于样品106上而从样品106发射的电子或带电粒子122。显微镜检测系统124包括一个或多个成像传感器，所述成像传感器被配置成基于其检测的电子和/或带电粒子而生成检测器数据。例如，特定成像传感器可被配置成检测由于用电子束114照射样品而从样品发射的背散射、次级或透射电子。

虽然图1中展示为安装在样品106上方，但所属领域的技术人员将理解，显微镜检测系统124可包含成像传感器，所述成像传感器安装在示例带电粒子显微镜系统104内的其它位置处，例如但不限于样品106下方。

图1进一步说明示例相关图像采集系统104进一步包含样品固持器136、样品操纵探针138和计算装置140。样品固持器136被配置成固持样品106，并且能够相对于示例相关图像采集系统104平移、旋转和/或倾斜样品106。类似地，样品操纵探针138被配置成在示例相关图像采集系统104内固持、运送和/或以其它方式操纵样品106。例如，样品操纵探针138可用于将从较大对象创建的薄片运送到样品固持器136上的位置，在所述位置处，可由相关图像采集系统探究和/或分析所述薄片。

计算装置140被配置成基于由显微镜检测系统124生成的检测器数据而在示例相关图像采集系统104内生成样品106的相关图像。在一些实施例中，图像是展示指示样品的形状和/或材料的对比度的灰度图像。在一些实施例中，计算系统140被配置成使得系统相关图像采集系统104生成样品的相关图像的集合。例如，计算系统140可至少部分地驱动其中跨越样品的表面上的感兴趣区域扫描电子束114以采集多个图像的过程，其中在每一图像的采集之间，通过离子柱110从感兴趣区域去除一层物质。以此方式，相关图像的集合中的每一图像对应于不同深度处的感兴趣区域的图像。替代地或另外，计算系统140可至少部分地驱动其中跨越样品的表面上的感兴趣区域扫描电子束114以采集多个图像的过程，其中在每一图像的采集之间，样品固持器136引起样品相对于相关图像采集系统104的平移。

根据本公开，计算装置140进一步被配置成执行利用有监督机器学习算法来注释相关图像的过程。在一些实施例中，计算装置进一步执行过程以允许用户快速且容易地（i）检查机器学习算法的产品以评估其准确性，（ii）对此类产品进行校正，（iii）训练有监督机器学习算法以注释相关图像，和/或（v）重新训练此类有监督机器学习算法以改进准确性。

图1还描绘用于使用有监督机器学习算法来注释相关图像的过程的可视流程图142，以及用于允许用户进行以下操作的示例GUI 144：（i）注释相关图像，（ii）检查机器学习算法的产品以评估其准确性，（iii）对此类产品进行校正，（iv）训练有监督机器学习算法以注释相关图像，和/或（v）针对其它应用重新训练此类有监督机器学习算法。这些分别是与图4和6相关联地描述的过程和算法的表示。

流程图140以图像146开始，所述图像展示计算装置140采集样品146的多个相关图像。计算装置140可生成图像146（例如，从来自相关图像采集系统104的检测器数据），或图像146可经由网络连接、光盘、便携式驱动器或其它文件传送介质下载到计算装置140上。图像148说明应用机器学习算法以识别相关图像146中的每一个内的特征150的计算装置140。机器学习算法可为已经训练以识别某些类型的特征（即，用户感兴趣的特定特征）的有监督机器学习算法。

图像152展示应用机器学习算法以识别不同图像中的相关特征的计算装置140。确切地说，图像152展示识别一个或多个图像中的特征A-H的机器学习算法。虽然未在图1中描画，但在一些实施例中，相关图像集中的图像中的一个或多个可不具有特征。图像154展示与第一图像156中的特征相关联的分类信息。在各种实施例中，分类信息可由用户输入、由机器学习算法确定、从识别图像146中所描绘的对象的特性的数据文件导入，或其组合。最后，图像158展示使用由机器学习算法确定的关系来将特性传播到相关图像集中的其它图像的计算装置140。以此方式，计算装置140能够快速且容易地将其它特性信息注释和/或输入到整个相关图像集中所描绘的特征。使用现有技术，手动地注释整个图像集中的特征中的每一个的此类过程花费数百个用户小时。

图1还描绘用于允许用户进行以下操作的示例GUI 144：（i）注释相关图像，（ii）检查机器学习算法的产品以评估其准确性，（iii）对此类产品进行校正，（iv）训练有监督机器学习算法以注释相关图像，和/或（v）针对其它应用重新训练此类有监督机器学习算法。

图1展示已由用户选择的所选择特征164，以及呈现用以编辑166与所选择特征164相关联的特性信息的选项的示例GUI 144。示例GUI 144显示相关图像的集合中的个别图像的表示。图1中所描绘的示例GUI 144呈现一个图像的全视图160和多个其它图像的部分视图162。在一些实施例中，相关图像集内以全视图展示的特定图像对应于由用户选择和/或以其它方式与用户交互的图像。例如，以全视图呈现的图像可对应于光标定位于上方的图像。在一些实施例中，计算装置140可任选地基于对所选择特征164的选择而使得基于GUI144显示额外特征信息。

如果用户编辑与所选择特征164相关联的特性信息，则计算装置140可将编辑传播到相关图像集中的相关特征（例如，使用由机器学习算法生成的关系）。替代地，如果用户编辑所选择特征164与另一特征之间的关系，则对应的机器学习生成的关系可经更新以并入所述编辑。例如，在用户识别由有监督机器学习算法生成的不正确特征特性和/或关系的情况下，用户可通过一些快速选择来校正错误。以此方式，用户可快速地检查已由机器学习算法注释的相关图像的较大集合，并且对任何错误进行校正。在一些实施例中，计算装置可使用经由GUI 144接收到的编辑来重新训练机器学习算法。

所属领域的技术人员将了解，图1中所描绘的计算装置140仅是说明性的且并不意图限制本公开的范围。计算系统和装置可包含可执行所指示功能的硬件或软件的任何组合，包含计算机、网络装置、网络家电、PDA、无线电话、控制器等。计算装置140还可连接到未说明的其它装置，或实际上可作为独立的系统操作。

还应注意，计算装置128可为示例相关图像采集系统104的组件，可为与示例相关图像采集系统104分离的装置（其经由网络通信界面与示例相关通信图像采集系统104通信），或其组合。例如，示例相关图像采集系统104可包含第一计算装置128，所述第一计算装置是示例相关图像采集系统104的组件部分，并且充当驱动示例相关图像采集系统104的操作的控制器（例如，通过操作扫描线圈来调整样品106上的扫描位置等）。在此类实施例中，示例相关图像采集系统104还可包含第二计算装置140，所述第二计算装置是与示例相关图像采集系统104分离的台式计算机，并且可执行以处理从显微镜检测系统124接收到的数据，以生成样品106的图像和/或进行其它类型的分析。计算装置140可进一步被配置成经由键盘、鼠标、触摸垫、触摸屏等接收用户选择。

图2是说明用于针对涉及相关图像的用例使用、训练、优化和重新训练有监督机器学习算法的示例计算架构200的示意图。示例计算架构200说明可用于实施本公开中所描述的技术的硬件和软件组件的额外细节。所属领域的技术人员将理解，计算架构200可在单个计算装置中实施，或可在多个计算装置之间实施。例如，计算架构200中所描绘的个别模块和/或数据构造可由不同的计算装置执行和/或存储在不同的计算装置上。另外，在一些实施方案中，由所说明的组件提供的功能性可组合在更少的组件中或分布在额外组件中。类似地，在一些实施方案中，可不提供所说明的组件中的一些的功能性和/或可使用其它额外功能性。以此方式，根据本公开的发明方法的不同处理步骤可由单独的计算装置执行和/或进行。

在示例计算架构200中，计算装置包含一个或多个处理器202和通信地耦合到一个或多个处理器202的存储器204。示例计算架构200可包含特征确定模块206、相关性确定模块208、标记模块210、编辑模块212、任选的控制模块214、任选的训练模块216和存储在存储器204中的任选的相关图像生成模块218。

示例计算架构200进一步被说明为任选地包含存储在存储器204上的训练集220。训练集220是用于特征确定模块206、相关性模块208、标记模块和/或其组件机器学习算法中的一个或多个的数据结构（例如，图像、文件、表等）或数据结构的集合。

例如，训练集220可包含已被标注和/或以其它方式使其中所描绘的特征与特性信息相关联的经标注的相关图像222的集合。个别相关图像集对应于感兴趣的样品或对象的多个图像，其中至少一个或多个图像特性（例如，深度、平移位置、时间、焦点等）在所述系列的图像中的个别图像之间变化。例如，相关图像集可对应于在设置的成像延迟下的细胞培养物的一系列显微镜图像，使得它们共同捕获细胞培养物随时间推移的生长。经标注的相关图像可具有其描绘的组件特征映射，可识别相关图像集中的不同图像中的相关特征之间的关系，并且可具有与个别特征相关联的特性信息。

如本文中所使用，术语“模块”意图表示出于论述目的的可执行指令的示例划分，而并不意图表示任何类型的要求或所要求的方法、方式或组织。因此，虽然描述了各种“模块”，但它们的功能性和/或类似的功能性可以不同方式布置（例如，组合成较少数目的模块、分解成大量模块等）。此外，虽然本文中将特定功能和模块描述为由处理器上可执行的软件和/或固件实施，但在其它实例中，模块中的任一个或所有模块可全部或部分由硬件（例如，专门化处理单元等）实施以执行所描述的功能。如以上在各种实施方案中所论述，本文中与示例计算架构200相关联地描述的模块可跨越多个计算装置执行。

任选的相关图像生成模块218可由处理器202执行以从相关图像采集系统（例如，相关图像采集系统104）的成像传感器接收传感器数据（例如，例如来自显微镜检测系统124的检测器数据）且生成相关图像的集合。例如，在相关图像采集系统包含SEM柱和FIB柱的情况下，相关图像生成模块218可使用传感器数据来生成样品的区域的多个图像，其中每一图像由SEM柱在个别成像会话期间生成的传感器数据生成，并且其中在每一成像会话之间，样品的一部分由FIB柱铣削掉。以此方式，相关图像生成模块218可生成相关图像的集合，其中每一图像对应于在样品内的不同深度处的感兴趣区域。在一些实施例中，相关图像集中的图像为灰度图像，其展示指示样品（例如，TEM薄片）的形状和/或材料的对比度。

特征确定模块206可由处理器202执行以识别相关图像的集合中的个别图像中所描绘的特征。在一些实施例中，相关图像的集合由相关图像生成模块218生成。替代地，相关图像的集合可经由网络连接（例如，无线网络、蓝牙、LAN、因特网等）或物理数据传送装置（例如，拇指驱动器、便携式硬盘驱动器、CD-ROM等）传送和存储在存储器204上。

特征确定模块206可包括经训练机器学习模块（例如，人工神经网络（ANN）、卷积神经网络（CNN）、完全卷积神经网络（FCN）等），其能够识别对应于/限定图像内所描绘的特征的图像内的区域和/或关键点。例如，在一些实施例中，特征确定模块206可通过用神经网络（例如，ANN、CNN、FCN等）处理图像来识别图像内关键点，所述神经网络输出经预测对应于特征的关键点/边缘的图像内的位置的一个或多个坐标。

替代地，特征确定模块206可通过执行图像分段步骤来识别相关图像集中的图像内的关键点。在图像分段步骤中，特征确定模块206可将图像分段为图像的相关联像素的种类。相关联像素的示例类别可包含但不限于对象的主体、对象的边界、对象的表面结构、组成材料、组成特征、边界、前景、背景等。在一些实施例中，特征确定模块206可进一步执行确定其中分段指示一个或多个特征的存在的分段图像的区域的关键点识别步骤。

相关性确定模块208可由处理器202执行以识别第一图像中所描绘的个别特征与在相关图像集中的第二图像中所描绘的个别特征之间的相关性。确切地说，相关性确定模块208识别相关图像集中描绘相同特征的不同图像的区域。例如，相关性确定模块208可确定图像中所描绘的个别特征与相关图像集中的后续和/或先前图像中的那些相同特征的对应位置之间的关系。以此方式，相关性确定模块208能够识别特定特征的位置，如在相关图像集中的多个图像中所描绘的那样。在一些实施例中，相关性确定模块208可包括经训练机器学习模块（例如，人工神经网络（ANN）、卷积神经网络（CNN）、完全卷积神经网络（FCN）等），其经训练以识别相关图像集中的图像之间的此类特征关系。

标记模块210可由处理器202执行以标注相关图像集中的图像中所描绘的个别特征。这可对应于将标注信息添加到图像自身的数据文件（例如，作为元数据），将标注信息添加到单独数据文件。示例单独数据文件可为识别由相关图像集内的图像所描绘的特征、那些特征之间的关系、特征的标注信息等的数据文件（例如，表）。

在一些实施例中，标记模块210可从用户接收将标注分配给相关图像集中的图像中所描绘的特征的输入。例如，用户可与图形用户界面（GUI）交互，所述图形用户界面允许用户选择存在于相关图像集中的图像中的特征，并且接着将标注（或另一件特性信息）分配给所述特征。GUI可呈现在与处理器202中的一个或多个通信地耦合的显示器226上。

替代地或另外，标记模块210可进一步可执行以独立于用户输入识别相关图像集中所描绘的特征的对应标注。例如，标记模块210可包括经训练机器学习模块（例如，人工神经网络（ANN）、卷积神经网络（CNN）、完全卷积神经网络（FCN）等），其经训练以基于其个别特性（例如，大小、形状、周围特征、关键点、纹理、颜色、梯度等）将标注分配给特征，相关图像集中的图像之间的此类特征关系。

在一些实施例中，标记模块210可使用数据结构（例如，表、模型、预期特征图、特征特性表等）中的信息来确定相关图像集中的个别特征的标注。例如，标记模型210可访问识别其相关联特征的标注和特性信息的数据结构，并且使用特性信息来识别和标注相关图像集中的个别图像内的特征。在另一示例中，在图像描绘不同深度处的对象（例如，计算机芯片）的结构的情况下，标记模块210可访问对象的经标注模型（例如，经标注CAD文件），其展示对象的预期结构且识别其对应标注。

另外，标记模块210可使用由相关性确定模块208确定的关系来在整个相关图像集中标注所选择特征的每一实例。以此方式，用户可使用GUI来将标注分配给如相关图像集中的单个图像中所描绘的特征的单个实例，并且标记模块210可执行以使用特征关系来将标注传播到相关图像集内的特征的每次出现。

编辑模块212可由处理器202执行以允许用户快速且容易地编辑由标记模块210分配的标注。编辑模块212可执行以生成编辑GUI，所述编辑GUI允许用户查看相关图像集中的图像、在其中识别的特征，以及个别特征的标注信息。在不存在与特征相关联的标注的情况下，编辑GUI可被配置成向用户呈现用于添加标注信息的选项。编辑GUI进一步允许用户选择个别特征且改变与所选择特征相关联的标注信息。例如，编辑GUI可允许用户通过点击所显示图像内的特征或用光标悬停在特征上方而选择特征。在一些实施例中，响应于接收到对特征的选择，编辑模块212可使得编辑GUI呈现与所述特征相关联的信息，呈现用以改变与所述特征相关联的标注的选项，或其组合。编辑模块212进一步可执行以使用由相关性确定模块208确定的特征关系来将改变传播到相关图像集中的其它相关联特征。以此方式，编辑模块212允许用户用单个选择校正相关图像集内的错误的多个实例。以此方式，编辑模块212使得用户能够在几分钟或更短时间内编辑和/或验证相关图像的整个集合的标注信息，从而节省数十到数百个用户小时。

编辑GUI可允许用户快速浏览相关图像集中的图像、其中的特征和其相关联的标注。例如，编辑GUI可在相关图像集中显示多个缩略图和/或图像的以其它方式减小的版本，使得可同时查看相关图像集中的大部分或全部图像。在一些实施例中，编辑GUI可被配置成接收对个别缩略图的选择且基于所述选择而呈现相关联图像的放大版本。例如，编辑GUI可基于悬停在缩略图上方的光标而呈现与特定缩略图相关联的图像的放大版本。

在一些实施例中，编辑GUI可进一步允许用户检查如相关图像集内所描绘的特定所要特征。在此类实施例中，编辑GUI可允许用户选择所要特征，并且编辑模块212可使得编辑GUI呈现含有所要特征的相关图像集中的多个缩略图和/或图像的部分的减小版本。例如，可识别相关图像集中的个别图像内的所要特征的位置，可裁剪所要特征周围的图像，并且接着呈现经裁剪图像。在一些实施例中，编辑模块212可对准如每一经裁减图像中所描绘的所要特征，使得所要特征跨越缩略图中的每一个呈现在一致位置中。以此方式，编辑GUI使得用户能够快速地检查整个相关图像集中所要特征的每次出现。

另外，在一些实施例中，编辑GUI进一步允许用户改变由相关性确定模块208识别的特征关系。例如，GUI可向用户呈现一个或多个视觉元素，所述视觉元素允许用户指示相关图像集中的两个相关联特征之间的关系是不正确的，和/或允许用户创建一个或多个所选择特征的新关系。

编辑模块212可进一步可执行以基于经由编辑GUI接收到的编辑而生成更新后的经标注图像224。此类更新后的经标注图像224可接着用于重新训练或以其它方式优化特征确定模块206、相关性确定模块208和标记模块210中的一个或多个。以此方式，除大幅度增加检查相关图像的集合的标注信息的速度和简易性之外，当用户检查特征确定模块206、相关性确定模块208和标记模块210的输出时，编辑模块212系统地重新训练这些算法以获得与用户的要求更紧密地匹配的结果（即，对算法进行有监督训练以与用户的所要功能性匹配）。因此，编辑模块212与存在于存储器204上的其它模块组合消除了当前限制用户采用有监督机器学习算法的能力的时间和专门知识障碍。

计算架构200可任选地包含训练模块216，所述训练模块可执行以基于经标注的相关图像222而训练特征确定模块206、相关性确定模块208、标记模块210、其组合和/或其组件机器学习算法中的一个或多个。此外，训练模块216可进一步被配置成用更新后的经标注图像224进行额外训练。以此方式，训练模块216可重新训练特征确定模块206、相关性确定模块208、标记模块210、其组合和/或其组件机器学习算法中的一个或多个，以更可靠地提供匹配特定用户的特定用例/所要输出的功能性。

控制模块214可由处理器202执行以使得计算装置140和/或相关图像采集系统（例如，示例相关图像采集系统104）采取一个或多个动作。例如，控制模块214可致使示例相关图像采集系统104使得样品固持器136或样品操纵探针138将平移、倾斜、旋转或其组合应用于样品106。在此类示例中，控制模块214可进一步使得SEM柱108或FIB柱110中的一个成像、扫描、铣削或以其它方式照射样品106的部分。

如上文所论述，计算架构200包含一个或多个处理器202，所述处理器被配置成执行存储在一个或多个处理器可访问的存储器204中的指令、应用或程序。在一些示例中，一个或多个处理器202可包含硬件处理器，所述硬件处理器包含但不限于硬件中央处理单元（CPU）、图形处理单元（GPU）等。虽然在许多情况下，所述技术在本文中被描述为由一个或多个处理器202执行，但在一些情况下，所述技术可由一个或多个硬件逻辑组件（例如现场可编程门阵列（FPGA）、复杂可编程逻辑装置（CPLD）、专用集成电路（ASIC）、片上系统（SoC）或其组合）来实施。

一个或多个处理器202可访问的存储器204是计算机可读介质的示例。计算机可读介质可包含两种类型的计算机可读介质，即计算机存储介质和通信介质。计算机存储介质可包含在任何方法或技术中实施用于存储如计算机可读指令、数据结构、程序模块或其它数据等信息的易失性和非易失性的以及可移除和不可移除的介质。计算机存储介质包含但不限于随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EEPROM）、快闪存储器或其它存储器技术、压缩光盘只读存储器（CD-ROM）、数字通用光盘（DVD），或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置，或可用于存储所要信息且可由计算装置访问的任何其它非传输介质。一般来说，计算机存储介质可包含计算机可执行指令，其在由一个或多个处理单元执行时使得执行本文中所描述的各种功能和/或操作。相比而言，通信介质体现计算机可读指令、数据结构、程序模块，或例如载波等经调制数据信号中的其它数据，或其它传输机制。如本文中所定义，计算机存储介质不包含通信介质。

本领域技术人员还将理解，出于存储器管理和数据完整性的目的，项目或其部分可在存储器204和其它存储装置之间传送。替代地，在其它实施方案中，软件组件中的一些或全部可在另一装置上的存储器中执行并与计算装置通信。系统组件或数据结构中的一些或全部还可存储（例如，作为指令或结构化数据）在非暂时性计算机可访问介质或便携式制品上，以由适当的驱动器读取，所述适当的驱动器的各种示例在上文描述。在一些实施方案中，可将存储在与计算装置分离的计算机可访问介质上的指令经由传输介质或经由例如无线链路的通信介质传达的例如电、电磁或数字信号的信号传输到计算装置。各种实施方案可进一步包含接收、发送或存储根据前述描述在计算机可访问介质上实施的指令和/或数据。

图3是以逻辑流程图描绘为块的集合的说明性过程的流程图，所述块表示可实施在硬件、软件或其组合中的操作序列。在软件的上下文中，块表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，其在由一个或多个处理器执行时执行所叙述的操作。通常，计算机可执行指令包含执行特定功能或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的次序并不意图解释为限制，并且任何数目的所描述块可以任何次序和/或并行组合以实施所述过程。

确切地说，图3是用于针对涉及相关图像的用例使用、训练、优化和重新训练有监督机器学习算法的说明性过程300的流程图。过程300可在环境100中和/或由一个或多个计算装置140，和/或由计算架构200和/或在其它环境和计算装置中实施。

在302处，任选地采集相关图像的集合。在一些实施例中，相关图像的集合可通过网络连接（例如，无线网络、蓝牙、LAN、因特网等）或物理数据传送装置（例如，拇指驱动器、便携式硬盘驱动器、CD-ROM等）传送和存储在可访问的存储器上。替代地，基于来自相关图像采集系统的成像传感器的传感器数据而生成相关图像的集合。例如，在相关图像采集系统是显微镜系统的情况下，可基于在多个样品时间下获取的图像传感器数据而生成相关图像，其中在每一样品时间之间，所设置持续时间流逝和/或样品从先前样品时间平移已知距离。

在304处，确定相关图像中存在的特征。例如，经训练机器学习模块（例如，人工神经网络（ANN）、卷积神经网络（CNN）、完全卷积神经网络（FCN）等）可用于识别对应于/限定相关图像集中的图像内所描绘的特征的图像内的区域和/或关键点。例如，在一些实施例中，特征确定模块206可通过用进行图像分段的神经网络（例如，ANN、CNN、FCN等）处理图像来识别图像内的关键点，其中图像被分段成图像的相关联像素的种类。相关联像素的示例种类可包含但不限于对象的主体、对象的边界、对象的表面结构、组成材料、组成特征、边界、前景、背景等。

在306处，确定不同图像中的特征之间的关系。也就是说，确定其中相关图像集中的多个图像中描绘相同特征的实例，并且所述相同特征的每一实例彼此相关联。在一些实施例中，经训练机器学习模块（例如，人工神经网络（ANN）、卷积神经网络（CNN）、完全卷积神经网络（FCN）等）可识别与相关图像集中的不同图像中所描绘的相同特征之间的关系。

在308处，将分类分配给特征。分配分类可对应于将标注信息应用于图像自身的数据文件（例如，作为元数据），或将标注信息添加到识别由相关图像集内的图像描绘的特征、那些特征之间的关系、特征的标注信息等的单独数据文件。

在一些实施例中，分类可基于来自用户的将标注分配给相关图像集中的图像中所描绘的特征的输入而分配。例如，用户可与图形用户界面（GUI）交互，所述图形用户界面允许用户选择存在于相关图像集中的图像中的特征，并且接着将标注（或另一件特性信息）分配给所述特征。替代地或另外，分类可由算法和/或经训练机器学习模块（例如，人工神经网络（ANN）、卷积神经网络（CNN）、完全卷积神经网络（FCN）等）分配，其经训练以基于其个别特性（例如，大小、形状、周围特征、关键点、纹理、颜色、梯度等）将标注分配给特征，相关图像集中的图像之间的此类特征关系。例如，算法和/或经训练机器学习模块可使用数据结构（例如，表、模型、预期特征图、特征特性表等）中的信息来确定相关图像集中的个别特征的标注。

在310处，将分类传播到其它图像中的一个或多个相关特征。在步骤306中确定的关系用以在整个相关图像集中标注所选择特征的每一实例。以此方式，用户可使用GUI将标注分配给如相关图像集中的单个图像中所描绘的特征的单个实例，并且将标注传播到相关图像集中的所述特征的每次出现。

在312处，接收针对图像中的特定特征的分类的改变。显示编辑GUI，其允许用户查看相关图像集中的图像、在其中识别的特征，以及个别特征的标注信息。在不存在与特征相关联的标注的情况下，编辑GUI可被配置成向用户呈现用于添加标注信息的选项。编辑GUI进一步允许用户选择个别特征且改变与所选择特征相关联的标注信息。例如，编辑GUI可允许用户通过点击所显示图像内的特征或用光标悬停在特征上方而选择特征。

在314处，对分类的改变应用于特定特征且传播到其它图像中的一个或多个相关特征。使用在步骤306中确定的关系将改变传播到一个或多个相关特征。以此方式，用户能够用单个选择校正相关图像集内的错误的多个实例，从而将编辑和/或验证相关图像的整个集合的标注信息所必需的时间从数百个用户小时减少到几分钟或更少。

图4是说明用于针对涉及相关图像的用例使用、训练、优化和重新训练有监督机器学习算法的样品过程400的简图。确切地说，图4展示图3中所展示的过程的示例执行的图形描绘，所述过程用于薄片上的感兴趣区域的多个相关图像，其中在每一图像之间去除一层薄片。

图像402展示由半导体芯片形成的薄片上的感兴趣区域的相关图像的集合。图像402将相关图像展示为包含三个图像，然而，任何数目的图像可包含在集合中。个别图像展示为使用带电粒子显微镜系统生成的灰度图像。在相关图像的集合中的每一图像的采集之间，使用激光或聚焦离子束铣削掉一层薄片。图像404说明在通过特征确定算法确定图像内所描绘的特征406之后的相关图像的集合。

图像408展示个别图像中所描绘的特征与相关图像集中的其它图像中所描绘的特征之间的关系。确切地说，图像408展示此关系的图形描绘，其中每一唯一特征与一字母相关联。以此方式，在整个相关图像集上用相同字母标注对应于彼此的特征。在一些实施例中，使用相关性确定算法生成关系。

图像410展示与相关图像集中的第一图像412相关联的表征信息。通过如第一图像412中所描绘的对应特征的图案化，在图像410中以图形方式展示表征信息。示例表征信息可包含类型、名称、标注、组成或其它信息。在所公开的发明的各种实施例中，可通过计算机算法（例如，机器学习算法）、通过用户输入（例如，经由GUI或语音命令）或其组合（例如，算法选择由用户选择验证的一个或多个最佳猜测）将表征分配给第一图像412中的特征。

图414展示在与第一图像412中的特征相关联的表征信息传播到图像集中的相关特征之后的相关图像集。通过使用关系（在图4中由字母表示）的标记算法执行此传播以确保相关图像集内的唯一特征的每次出现都标注有对应的表征信息。图414通过使与一字母相关联的每一特征具有相同图案化形式来直观地说明此情况。

图像416展示对与特征418相关联的表征信息进行的编辑。例如，用户可在经由编辑GUI进行的检查步骤期间输入改变。图420展示了对特征418的编辑被传播到相关图像集中的特征（即，特征E）的每次出现。使用特征关系传播编辑。

图5和6是说明用于快速且容易地检查算法输出、校正错误以及生成用于算法的额外训练数据的示例编辑GUI 500和600的简图。

图5展示根据本公开的第一示例编辑GUI 500。确切地说，图5展示说明允许用户快速且容易地检查相关图像的集合的表征信息的第一示例过程的示例编辑GUI 500的三个图像。

图像502展示当没有选择相关图像集中的个别图像以供检查时的编辑GUI 500。在一些实施例中，在没有选择以供检查时，集合中的个别相关图像展示为减小的大小/缩略图版本。在相关图像的整个集合无法放入到编辑GUI 500中时，编辑GUI 500可包含允许用户改变所显示的相关图像集的子集的可选元件504。此类可选元件504可包含所属领域中已知的可选图标、下拉菜单、滚动条、搜索框等。图5将可选元件504说明为当用户用光标506选择和/或悬停在图标上方时改变由GUI 500显示的图像的图标。

为了易于理解，图5中所描绘的相关图像集对应于图4中所描绘的相关图像集。然而，编辑GUI 500可与根据本公开标注的相关图像的任何集合一起使用，并且不限于与用带电粒子显微镜系统采集的相关图像一起使用。

在图5中，图像的相关集合中的每一图像描绘先前已使用根据本公开的过程识别为相关的多个特征508。在示例编辑GUI 500中，以图形方式说明所选择特征510的仅表征信息。然而，在其它实施例中，其它特征508中的一些或全部可以以图形方式展示其对应的表征信息的方式显示。图像502将所选择特征展示为存在于多个初始图像512中，但不存在于后续图像514中。在后续图像514中，展示不相关特征516。因为编辑GUI 500中所展示的相关图像集对应于薄片的相关图像的集合，其中在图像之间铣削掉一层薄片，所以特征508停止显示意味着在与图像512与图像514之间的过渡相关联的某一深度处特征508不再存在于薄片中。图像502还将编辑GUI 500展示为显示用于相关图像集的集合识别符518和用于每一所显示图像的个别图像识别符520。

图像530展示在已选择相关图像集中的特定图像之后的编辑GUI 500。在从用户接收到对特定图像的选择时，在编辑GUI 500上呈现图像的放大版本532。在示例实施例中，选择特定图像可对应于用户使用光标534点击或悬停在与特定图像相关联的缩略图或图像识别符上方。在一些实施例中，除显示特定图像的放大版本532之外，编辑GUI 500还可响应于接收到对特定图像的选择而展示额外图像信息536。

图像560展示在已选择相关图像集中的放大图像内的特定特征562之后的编辑GUI500。在示例实施例中，选择特定特征562可对应于用户使用光标564点击或悬停在与特定图像相关联的缩略图或图像识别符上方。在一些实施例中，响应于接收到对特定特征562的选择，编辑GUI 500可以图形方式改变特定特征562的呈现（例如，放大、压印等）、呈现额外特征信息566，或这两者。替代地或另外，在接收到对特定特征562的选择之后，编辑GUI 500可向用户呈现用于编辑特定特征562的特性信息的可选工具568。所属领域的技术人员将理解，可选工具568可对应于下拉菜单、可选图标、键入快捷键、语音命令或经设计以指示编辑关于特定特征562的表征信息的需要的其它用户输入中的任一个。在各种实施例中，编辑特性信息可对应于改变分配给特定特征562的特性，或改变相关图像集中的特定特征562与其它特征之间的关系。在一些实施例中，编辑GUI 500可呈现可选选项570以基于针对特定特征562的特性信息的改变而重新训练特征确定算法、关系确定算法和标记算法中的一个或多个。以此方式，相关图像集的修改后的标注/表征信息可用于重新训练一个或多个机器学习组件，使得其性能与用户的要求更紧密地匹配。因此，除加快检查/编辑使用机器学习算法标注的相关图像集的过程之外，编辑GUI 500还使用户容易训练有监督机器学习算法以执行他或她的所要功能。

图6展示根据本公开的第二示例编辑GUI 600。确切地说，图6展示说明允许用户快速且容易地检查相关图像的集合的表征信息的第二示例过程的示例编辑GUI 600的三个图像。

图像602展示当没有选择相关图像集中的个别图像以供检查时的编辑GUI 600。在图6中，在没有选择时，编辑GUI 600显示相关图像集中的每一图像的裁剪版本。确切地说，图6展示示例GUI 600的实施例，其中相关图像经裁剪和对准以允许对相关图像集的先前已使用根据本公开的过程识别为相关的特定特征604进行快速任何容易的检查。在示例编辑GUI 600中，以图形方式说明所选择特征604的仅表征信息。然而，在其它实施例中，其它特征中的一些或全部可以以图形方式展示其对应的表征信息的方式显示。

在一些实施例中，作为生成的示例GUI 600的部分，相关联计算装置可接收对特定特征604的选择，可识别个别图像中的特定特征604的位置，基于特定特征604的位置而裁剪个别图像，并且对准图像的裁剪版本，使得特征以一致方式呈现在由编辑GUI 600呈现的裁剪版本中的每一个中。在相关图像的整个集合的裁剪版本无法放入到编辑GUI 600中时，编辑GUI 600可包含允许用户改变所显示的相关图像集的子集的可选元件606。此类可选元件606可包含所属领域中已知的可选图标、下拉菜单、滚动条、搜索框等。图6将可选元件606说明为当用户用光标608选择和/或悬停在图标上方时改变由GUI 600显示的图像的图标。

为了易于理解，图6中所描绘的相关图像集对应于图4和5中所描绘的相关图像集。然而，编辑GUI 600可与根据本公开标注的相关图像的任何集合一起使用，并且不限于与用带电粒子显微镜系统采集的相关图像一起使用。

图像602将所选择特征604展示为存在于多个初始图像610中，但不存在于图像612中。在图像612中，展示不相关特征614。因为编辑GUI 600中所展示的相关图像集对应于薄片的相关图像的集合，其中在图像之间铣削掉一层薄片，所以特征604停止显示意味着在与图像610与图像612之间的过渡相关联的某一深度处特征604不再存在于薄片中。图像602还将编辑GUI 600展示为显示用于相关图像集的集合识别符616和用于每一所显示图像的个别图像识别符618。

图像630展示已选择相关图像集中的特定图像之后的编辑GUI 600。在从用户接收到对特定图像的选择时，在编辑GUI 600上呈现图像的放大版本632。在示例实施例中，选择特定图像可对应于用户使用光标634点击或悬停在与特定图像相关联的缩略图或图像识别符上方。在一些实施例中，除显示特定图像的放大版本632之外，编辑GUI 600还可响应于接收到对特定图像的选择而展示额外图像信息636。

图像660展示在已选择相关图像集中的放大图像内的特定特征662之后的编辑GUI600。在示例实施例中，选择特定特征662可对应于用户使用光标664点击或悬停在与特定图像相关联的缩略图或图像识别符上方。在一些实施例中，响应于接收到对特定特征662的选择，编辑GUI 600可以图形方式改变特定特征662的呈现（例如，放大、压印等）、呈现额外特征信息666，或这两者。替代地或另外，在接收到对特定特征662的选择之后，编辑GUI 600可向用户呈现用于编辑特定特征662的特性信息的可选工具668。所属领域的技术人员将理解，可选工具668可对应于下拉菜单、可选图标、键入快捷键、语音命令或经设计以指示编辑关于特定特征662的表征信息的需要的其它用户输入中的任一个。在各种实施例中，编辑特性信息可对应于改变分配给特定特征662的特性，或改变相关图像集中的特定特征662与其它特征之间的关系。

在以下列举的段落中描述了根据本公开的发明主题的示例。

A1.一种用于标注样品的多个相关图像的方法，其包括：采集所述样品的多个相关图像；确定所述多个相关图像中的每一图像中的一个或多个特征；确定所述多个相关图像中的第一图像中的至少第一特征与所述多个图像中的第二图像中的至少第二特征之间的关系；确定与所述第一特征相关联的特性信息；以及基于所述关系而使所述第二图像中的所述第二特征与所述特性信息相关联。

A2.根据段落A1所述的方法，其中采集所述样品的所述多个相关图像包括以下操作中的一个：导入所述多个相关图像；以及用相关图像采集系统生成所述多个相关图像。

A2.1.根据段落A2所述的方法，其中用所述相关图像采集系统生成所述多个相关图像包括随时间推移生成样品的一系列图像。

A2.2.根据段落A2-A2.1中任一段所述的方法，其中设定的时间周期发生在所述系列图像中的每一图像的生成之间。

A2.3.根据段落A2-A2.2中任一段所述的方法，其中在所述系列图像中的每一图像的所述生成之间平移和/或旋转所述样品。

A2.4.根据段落A2-A2.3中任一段所述的方法，其中在所述系列图像中的每一图像的所述生成之间去除所述样品的一部分。

A2.4.1.根据段落A2.4所述的方法，其中用带电粒子束或激光中的一个去除所述样品的所述部分。

A2.4.1.1.根据段落A2.4.1所述的方法，其中所述带电粒子束是离子束。

A2.5.根据段落A2-A2.4.1.1中任一段所述的方法，其中所述相关图像采集系统是带电粒子显微镜。

A3.根据段落A1-A2.5中任一段所述的方法，其中使用一个或多个机器学习算法确定每一图像中的所述一个或多个特征。

A3.1.根据段落A3所述的方法，其中所述机器学习算法包含有监督机器学习算法。

A4.根据段落A1-A3.1中任一段所述的方法，其中确定所述关系包括确定所述第一图像中的所述第一特征和所述第二图像中的所述第二特征描绘所述样品的相同成分。

A4.1.根据段落A4所述的方法，其中确定所述关系包括进一步确定相关图像集中描绘所述样品的所述相同成分的一个或多个额外特征。

A4.2.根据段落A4-A4.1中任一段所述的方法，其中使用一个或多个机器学习算法确定所述第一图像中的所述第一特征与所述第二图像中的所述第二特征之间的所述关系。

A4.3.根据段落A1-A2.5中任一段所述的方法，其中确定所述关系进一步包括确定所述第一图像中的第三特征与所述第二图像中的第四特征之间的额外关系。

A4.3.1.根据段落A4.3所述的方法，其中确定所述额外关系包括确定所述第一图像中的所述第三特征和所述第二图像中的所述第四特征描绘所述样品的额外相同成分。

A4.4.根据段落A4-A4.3.1中任一段所述的方法，其中所述关系由一个或多个机器学习算法确定。

A4.4.1.根据段落A4.4所述的方法，其中所述机器学习算法包含有监督机器学习算法。

A5.根据段落A1-A4.4.1中任一段所述的方法，其中确定与所述第一特征相关联的特性信息包括接收指示所述特性信息的用户输入。

A5.1.根据段落A5所述的方法，其中接收所述用户输入包括：呈现以图形方式显示所述第一图像中的所述第一特征的GUI；经由所述GUI接收对所述第一特征的选择；以及接收对与所述第一特征相关联的所述特性信息的选择。

A5.2.根据段落A5-A5.1中任一段所述的方法，其中确定与所述第一特征相关联的特性信息包括访问描述所述样品的一个或多个成分的数据结构，以及所述样品的所述一个或多个成分的特性信息。

A5.2.1.根据段落A5.2所述的方法，其中所述数据结构是表、模型和/或其元数据中的一个。

A5.2.2.根据段落A5.2-A5.2.1中任一段所述的方法，其中使与所述第一特征相关联的特性信息相关联包括将所述数据结构中所描述的所述样品的成分映射到所述第一图像中的所述第一特征。

A5.2.2.1.根据段落A5.2.2所述的方法，其中与所述第一特征相关联的所述特性信息由一个或多个机器学习算法相关联。

A6.根据段落A1-A5.2.2.1中任一段所述的方法，其中相关图像集对应于多个顺序相关图像。

A6.1.根据段落A6所述的方法，其中确定所述关系包括确定顺序图像中的特征之间的一个或多个关系。

A7.根据段落A1-A6.1中任一段所述的方法，其中所述样品是薄片。

A8.根据段落A1-A6.1中任一段所述的方法，其中所述样品是半导体的至少一部分。

A9.根据段落A1-A6.1中任一段所述的方法，其中所述样品是生物样品。

A10.根据段落A1-A6.1中任一段所述的方法，其中所述样品是多个单元。

A11.根据段落A1-A10中任一段所述的方法，其进一步包括接收对以下各者中的一个的编辑：与所述第一特征相关联的所述特性信息；以及所述关系。

A11.1.根据段落A11所述的方法，其中所述编辑包括对与所述第一特征相关联的所述特性信息的改变，并且所述方法进一步包括基于所述关系而使所述第二图像中的所述第二特征与对所述特性信息的所述改变相关联。

A11.2.根据段落A11-A11.1中任一段所述的方法，其中所述编辑包括对所述关系的改变，并且其中所述方法进一步包括基于所述编辑而改变与所述第二图像中的所述第二特征相关联的所述特性信息。

A11.3.根据段落A11-A11.2中任一段所述的方法，其中所述编辑包括对所述关系的改变，并且其中所述方法进一步包括基于对所述关系的所述改变而使所述多个相关图像中的第三图像中的第三特征与所述特性信息相关联。

A11.4.根据段落A11-A11.3中任一段所述的方法，其中接收输入包括在显示器上呈现图形用户界面（GUI），所述图形用户界面允许用户检查所述样品的所述多个相关图像。

A11.4.1.根据段落A11.4所述的方法，其中所述GUI包括允许输入所述编辑的可选元件。

A11.4.2.段落A11.4-A11.4.1中任一段所述的方法，其中所述GUI被配置成：显示至少所述第一图像和所述第二图像的较小图形表示；以及响应于接收到对所述第一图像的用户输入选择，显示所述第一图像的较大图形表示。

A11.4.2.1.根据段落A11.4.2所述的方法，其中所述较小图形表示对应于所述第一图像和所述第二图像的较低分辨率版本、裁剪版本和/或较小大小版本中的一个或多个。

A11.4.2.2.根据段落A11.4.2-A11.4.2.1中任一段所述的方法，其中所述第一图像的所述较大图形表示对应于为所述第一图像的所述较小图形表示的较高分辨率、未裁减版本和/或较大版本的图形表示。

A11.4.2.3.根据段落A11.4.2-A11.4.2.2中任一段所述的方法，其中至少所述第一图像和所述第二图像的所述较小图形表示分别为包含所述第一特征和所述第二特征的所述第一图像和所述第二图像的裁剪版本。

A11.4.2.3.1.根据段落A11.4.2.3所述的方法，其中至少所述第一图像和所述第二图像的所述较小图形表示定位于所述GUI中，使得所述第一特征与所述第二特征对准。

A11.4.2.3.1.1.根据段落A11.4.2.3.1所述的方法，在附属于段落A4.2时，其中所述GUI进一步包含经裁减以包含所述第三特征的所述第三图像的较小图形表示，并且其中所述第一图像、所述第二图像和所述第三图像的所述较小图形表示定位于所述GUI中，使得所述第一特征、所述第二特征和所述第三特征对准。

A11.4.2.3.1.2.根据A11.4.2.3.1-A11.4.2.3.1.1中任一段所述的方法，其进一步包括接收对所述第一特征的用户输入选择，其中使得所述第一特征、所述第二特征和所述第三特征对准的所述第一图像、所述第二图像和所述第三图像的所述较小图形表示的所述定位是基于对所述第一特征的所述用户选择。

A11.4.2.4.根据段落A11.4.2-A11.4.2.3.1.1中任一段所述的方法，其中接收对所述第一图像的所述用户输入选择包括光标选择和/或悬停在所述第一图像的所述较小图形表示上方。

A11.4.2.4.1.根据段落A11.4.2.4所述的方法，其进一步包括响应于接收到光标不再悬停在所述第一图像的所述较大图形表示上方的信息，使得所述GUI不再显示所述第一图像的所述较大图形表示。

A11.4.2.4.2.根据段落A11.4.2.4所述的方法，其进一步包括响应于接收到光标已选择不同图像的不同图形表示的信息，使得所述GUI不再显示所述第一图像的所述较大图形表示。

A11.4.2.5.根据段落A11.4.2-A11.4.2.4.2中任一段所述的方法，其进一步包括接收对所述第一图像的所述较大图形表示中的所述第一特征的选择。

A11.4.2.5.1.根据段落A11.4.2.5所述的方法，其中基于对所述第一图像的所述较大图形表示中的所述第一特征的所述选择，使得所述GUI呈现以下各者中的一个或多个：允许输入所述编辑的所述可选元件；与第一特征相关联的所述特性信息的图形表示。

A11.4.2.6.根据段落A11.4.2-A11.4.2.5.1中任一段所述的方法，其中呈现所述第一图像的所述较大图形表示包括呈现与所述第一特征相关联的所述特性信息的图形表示。

A11.4.2.7.根据段落A11.4.2-A11.4.2.6中任一段所述的方法，其中呈现所述第一图像和所述第二图像的所述较小图形表示包括呈现与所述第一特征和所述第二特征相关联的所述特性信息的图形表示。

A11.5.根据段落A11-A11.4.2.7中任一段所述的方法，其中至少部分地基于接收到所述编辑，基于所述编辑和相关图像集而生成更新后的训练数据集以用于训练机器学习算法。

B1.一种用于检查相关图像的标注集合的方法，所述方法包括：在显示器上呈现图形用户界面，所述图形用户界面允许用户检查至少部分地使用段落A1-A10中所描述的所述方法中的任一个生成的样品的所述多个相关图像。

B1.1.根据段落B1.4所述的方法，其中所述GUI包括允许用户输入对以下各者中的一个的编辑的可选元件：与所述第一特征相关联的所述特性信息；以及所述关系。

B1.1.1.根据段落B1.1所述的方法，其中所述编辑包括对与所述第一特征相关联的所述特性信息的改变，并且所述方法进一步包括基于所述关系而使所述第二图像中的所述第二特征与对所述特性信息的所述改变相关联。

B1.1.2.根据段落B1.1-B1.1.1中任一段所述的方法，其中所述编辑包括对所述关系的改变，并且其中所述方法进一步包括基于所述编辑而改变与所述第二图像中的所述第二特征相关联的所述特性信息。

B1.1.3.根据段落B1-B1.1.2中任一段所述的方法，其中所述编辑包括对所述关系的改变，并且其中所述方法进一步包括基于对所述关系的所述改变而使所述多个相关图像中的第三图像中的第三特征与所述特性信息相关联。

B1.2.根据段落B1-B1.1中任一段所述的方法，其中所述GUI被配置成：显示至少所述第一图像和所述第二图像的较小图形表示；以及响应于接收到对所述第一图像的用户输入选择，显示所述第一图像的较大图形表示。

B1.2.1.根据段落B1.2所述的方法，其中所述较小图形表示对应于所述第一图像和所述第二图像的较低分辨率版本、裁剪版本和/或较小大小版本中的一个或多个。

B1.2.2.根据段落B1.2-B1.2.1中任一段所述的方法，其中所述第一图像的所述较大图形表示对应于为所述第一图像的所述较小图形表示的较高分辨率、未裁减版本和/或较大版本的图形表示。

B1.2.3.根据段落B1.2-B1.2.2中任一段所述的方法，其中至少所述第一图像和所述第二图像的所述较小图形表示分别为包含所述第一特征和所述第二特征的所述第一图像和所述第二图像的裁剪版本。

B1.2.3.1.根据段落B1.2.3所述的方法，其中至少所述第一图像和所述第二图像的所述较小图形表示定位于所述GUI中，使得所述第一特征与所述第二特征对准。

B1.2.3.1.1.根据段落B1.2.3.1所述的方法，在附属于段落A4.2时，其中所述GUI进一步包含经裁减以包含所述第三特征的所述第三图像的较小图形表示，并且其中所述第一图像、所述第二图像和所述第三图像的所述较小图形表示定位于所述GUI中，使得所述第一特征、所述第二特征和所述第三特征对准。

B1.2.3.1.2.根据B1.2.3.1-B1.2.3.1.1中任一段所述的方法，其进一步包括接收对所述第一特征的用户输入选择，其中使得所述第一特征、所述第二特征和所述第三特征对准的所述第一图像、所述第二图像和所述第三图像的所述较小图形表示的所述定位是基于对所述第一特征的所述用户选择。

B1.2.4.根据段落B1.2-B1.2.3.1.1中任一段所述的方法，其中接收对所述第一图像的所述用户输入选择包括光标选择和/或悬停在所述第一图像的所述较小图形表示上方。

B1.2.4.1.根据段落B1.2.4所述的方法，其进一步包括响应于接收到所述光标不再悬停在所述第一图像的所述较大图形表示上方的信息，使得所述GUI不再显示所述第一图像的所述较大图形表示。

B1.2.4.2.根据段落B1.2.4所述的方法，其进一步包括响应于接收到所述光标已选择不同图像的不同图形表示的信息，使得所述GUI不再显示所述第一图像的所述较大图形表示。

B1.2.5.根据段落B1.2-B1.2.4.2中任一段所述的方法，其进一步包括接收对所述第一图像的所述较大图形表示中的所述第一特征的选择。

B1.2.5.1.根据段落B1.2.5所述的方法，其中基于对所述第一图像的所述较大图形表示中的所述第一特征的所述选择，使得所述GUI呈现以下各者中的一个或多个：允许输入所述编辑的所述可选元件；与所述第一特征相关联的所述特性信息的图形表示。

B1.2.6.根据段落B1.2-B1.2.5.1中任一段所述的方法，其中呈现所述第一图像的所述较大图形表示包括呈现与所述第一特征相关联的所述特性信息的图形表示。

B1.2.7.根据段落B1.2-B1.2.6中任一段所述的方法，其中呈现所述第一图像和所述第二图像的所述较小图形表示包括呈现与所述第一特征和所述第二特征相关联的所述特性信息的图形表示。

C1.一种计算系统，其被配置成执行根据段落A1-A11.5或B1-B1.2.7所述的方法中的任一个。

D1.一种根据段落C1所述的计算系统的用途，其用以执行根据段落A1-A11.5或B1-B1.2.7所述的方法中的任一个。

E1.一种含有指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使得根据段落C1所述的计算系统执行根据段落A1-A11.5或B1-B1.2.7所述的方法中的任一个。

在本文中所描述的系统、设备和方法不应解释为以任何方式进行限制。实际上，本公开针对各种所公开实施例的所有新颖和非显而易见的特征和方面，无论是单独地还是以彼此形成的各种组合和子组合。所公开的系统、方法和设备不限于任何具体方面或特征或其组合，所公开的系统、方法和设备也不要求存在任何一个或多个具体优点或解决任何一个或多个具体问题。任何操作理论均是为了便于阐释，但所公开的系统、方法和设备不限于此类操作理论。

尽管为了便于呈现而以特定的顺序次序来描述所公开的方法中的一些的操作，但应理解，除非下文所陈述的具体语言要求特定排序，否则此描述方式涵盖重新布置。例如，在一些情况下，可重新布置或同时执行顺序描述的操作。此外，为了简单起见，附图可能没有显示所公开的系统、方法和设备可与其它系统、方法和设备结合使用的各种方式。另外，描述内容有时使用比如“确定”、“识别”、“产生”和“提供”等术语来描述所公开的方法。这些术语是所执行的实际操作的高级抽象化。对应于这些术语的实际操作将取决于特定实施方案而变化，并且容易由所属领域的技术人员辨别。