阅读说明：本技术 基于图像的平台检验 (Image-based platform inspection ) 是由 蒂莫西·P·谢里尔 约瑟夫·D·施赖纳 罗伯特·P·米勒 于 2019-01-31 设计创作，主要内容包括：公开了一种为过程准备平台的方法。平台可以被准备有任何必要的组件,之后成像设备可以摄取平台的图像。可以将该图像与参考图像进行对比,并识别出任何差异。该差异可以指示在图像中并显示给操作人员,以便操作人员可以修正与差异相关联的任何错误。(A method of preparing a platform for a process is disclosed. The platform may be prepared with any necessary components, after which the imaging device may take an image of the platform. The image can be compared to a reference image and any differences identified. The discrepancy may be indicated in the image and displayed to the operator so that the operator may correct any errors associated with the discrepancy.)

基于图像的平台检验

相关申请的交叉引用

本申请要求2018年2月1日提交的美国临时专利申请号62/625,191的优先权，出于一切目的，其内容通过引用整体并入本文。

背景技术

样本处理系统可用于分析生物样本。一旦对样本处理系统进行了编程，并以特定方式布置了必要的材料，系统就可以自动对样本进行分析或其他处理。例如，试管中的生物样本可以在平台上的指定位置装配和摆放(stage)。同样，移液器吸头可以在平台上的另一个位置装配和摆放(stage)，并且诸如微孔板之类的检测容器可以被放置在平台上的又一个位置。然后，当分析过程开始时，机械臂可以取下一个或多个移液器吸头，并根据需要使用吸头从一些试管中转移一部分样本，并将它们运输到检测容器进行进一步处理。

尽管这些自动化系统在正确设置后可以有效地分析生物样本，但它们仍依赖于操作人员在分析过程开始之前对系统进行正确准备。如果操作人员将试管阵列放置在错误的区域中，或者忘记准备试管，则系统可能无法完成分析过程和/或可能导致系统故障。这种人为错误很常见，尤其是对于经常重新配置以运行不同实验的系统、以及对于涉及需要放置在特定位置的多种类型组件的过程而言。因此，人为准备的错误经常导致自动生物样本分析过程失败。

已有某些技术被使用来解决此人为错误问题。例如，使用网格状图示和虚拟表示物来向操作人员显示应将不同组件放置在摆放区中的哪个位置。但是，即使使用这样的工具，操作人员仍然会犯错误，因为他们难以将图示与现实世界环境联系起来。例如，操作人员可以以相似的方式放置组件，但却不小心将每个组件都向一侧移动了一个位置。此外，又引入了扫描仪，该扫描仪可在站之间移动，以检查放置在每个站中的组件的类型，以确保已准备好每个必需的组件并将其放置在了正确的位置。但是，要有效地检查整个摆放区，扫描过程会花费太多的时间。因此，仍然需要一种改进的方法来准备组件和平台摆放区。

此外，对于某些技术而言，某些组件的替代版本可能是可接受的。组件的全自动扫描或识别系统可能会将可接受的替代组件标识为与协议的要求不同。这可能会导致系统不必要地中止那些本可以成功运行的协议。因此，在用于准备或检验平台摆放区内的组件的改进方法中，存在人为判断的地方。

本发明的实施例单独地并且共同地解决了这些和其他挑战。

发明内容

本发明的一些实施例将成像设备结合到处理系统中。所述成像设备摄取平台或其他摆放区的图像。当最初配置实验或其他过程时，成像设备可以摄取正确准备的平台的图像。之后，当操作人员为该过程的另一次执行准备平台时，成像设备可以摄取另一个图像。可以将第二图像与第一图像进行对比以识别图像之间的任何差异。差异可以指示准备平台时的人为错误，例如将组件包放置在了错误的区域中。可以修改平台的现实世界图像以向操作人员突出显示该差异，并且操作人员可以继续检查平台上突出显示的位置并进行任何必要的修正。突出显示差异的现实世界图像使操作人员更容易理解，由此，操作人员很有可能成功修正错误。

本发明的一个实施例涉及一种方法，该方法包括使成像设备摄取结构的平台的第二图像。平台包括多个离散的平台位置，其中，在离散的平台位置中分别有多个不同的组件。该方法还包括，将第二图像与存储在计算机装置的存储器中的第一图像进行对比，确定第二图像与第一图像之间是否存在任何差异，以及输出第二图像与第一图像之间可能导致装置上运行的过程中断或失败的任何差异的指示(indication)。

本发明的另一个实施例涉及一种被配置为执行上述方法的系统。

下面参考附图进一步详细描述本发明的这些和其他实施例。

附图说明

图1示出根据本发明的实施例的处理系统的框图。

图2示出根据本发明的实施例的平台的示意图。

图3示出根据本发明的实施例的平台检验过程的流程图。

图4示出根据本发明的实施例的平台的示例参考图像。

图5示出根据本发明实施例的参考图像和新图像之间的对比的示例。

图6A-图6B示出根据本发明的实施例的可以供操作人员使用的不同的平台检验视图的示例。

具体实施方式

本发明的实施例可以用于准备平台或摆放区，平台或摆放区用于分析或其他过程。例如，在操作人员将不同的组件放置在平台上不同的位置之后，成像设备可以摄取准备好的平台的图像。可以将该图像与另一幅显示平台的正确设置的图像进行对比。当前图像和先前图像之间的差异可以突出显示给操作人员。然后，操作人员可以在现实世界中检查与图像突出显示的区域相对应的区域，并进行任何必要的修正(例如，将不正确的组件替换为正确的组件)。

可以快速摄取和分析图像，从而促成快速修正过程。另外，对操作人员来说，现实世界图像比平台图示更好理解，从而可以快速有效地修正任何错误。

在讨论本发明的具体实施例之前，可以详细描述一些术语。

“组件”可以包括部件(part)、零件(piece)或元件(element)。组件可以包括用于完成诸如生物学实验或制造过程之类的程序的工具和构成要件。组件的示例包括用于生物实验的用品，例如样本管，移液器吸头，生物样本，试剂，化学药品，微孔板和任何其他相适的材料或实验室用具。有时可以将组件组合在一个托盘或其他适当的封装中。在一些实施例中，通常可以在唯一配置的封装或具有特定标签的封装中找到某种类型的组件。

图1示出根据本发明的实施例的处理系统100的框图。处理系统100包括可操作地耦接到结构140的控制计算机108，运输设备141，处理装置101和成像设备107。其中每一个设备中都可以有输入/输出接口，以允许所示设备与任何外部设备之间的数据运输。一种示例性处理系统是由加利福尼亚州布雷亚的贝克曼库尔特公司(Beckman Coulter，Inc.)销售的Biomek i7自动工作站。

本发明的实施例可以包括对平台进行成像，以便确定组件是否已经正确地布置在平台上。出于说明的目的，处理系统100将主要被描述为用于处理和分析生物样本的样本处理系统。然而，实施例可以应用于任何其他涉及具有预加载组件的平台的相适类型的过程。

结构140可以包括支撑腿、电源、平台105和任何其他相适的特征。平台105可以包括物理表面(例如，平面物理表面)，可以在其上放置和取用组件以进行实验、分析和处理。在某些情况下，平台105可以是地板或桌面表面。平台105可再分为多个离散的平台位置，用于放置不同的组件。这些位置可以直接相邻，也可以隔开。每个平台位置可包括分隔件，嵌件和/或用于分离不同平台位置并容纳组件的任何其他支撑结构。出于示例性目的，图1示出了平台上的第一位置105A，第二位置105B和第三位置105C，但是也可以包括其他位置。

运输设备141(可以代表多个运输设备)可以在平台105和处理装置101之间以及平台105上的不同位置之间准备和/或运输组件。运输设备的示例可以包括输送机、样本轨道、抓取和放置抓具、可以独立移动的实验室运输元件(例如圆盘)、机械臂以及其他管体或组件输送机构。在一些实施例中，运输设备141包括配置为运输液体的移液头。这种移液头可以在可移液的移液器尖端内转移液体，并且可以包括适合于抓握或松释其他实验室用具的夹具，例如微孔板。

处理装置101可以包括用于执行任何相适的过程的任何数量的机器或仪器。例如，处理装置101可以包括分析仪，该分析仪可以包括能够分析诸如生物样本之类的样本的任何相适的仪器。分析仪的示例包括分光光度计、光度计、质谱仪、免疫分析仪、血液分析仪、微生物分析仪和/或分子生物学分析仪。在一些实施例中，处理装置101可以包括样本摆放装置。样本分级装置可以包括：样本呈现单元，用于接收带有生物样本的样本管、样本存储单元，用于临时存储样本管或样本保留容器、用于等分样本的部件(或设备)(例如等分器)、以及用于容纳至少一个试剂盒的装置，该试剂盒包括分析仪所需的试剂以及任何其他相适的特征。

成像设备107可以是用于摄取平台105和平台105(或整个结构140)上的任何组件的图像的任何相适的设备。例如，成像设备107可以是任何相适类型的照相机，例如照相照相机，摄像机，三维图像照相机，红外照相机等。一些实施例还可包括三维激光扫描仪，红外光深度感测技术或用于创建物体和/或室的三维表面图的其他工具。

控制计算机108可以控制在处理系统100上运行的过程、初始配置过程、并且检查是否已经为过程正确准备了组件的设置。控制计算机108可以控制消息和/或将消息发送到处理装置101、运输设备141和/或成像设备107。控制计算机108可以包括数据处理器108A，非暂时性计算机可读介质108B和耦合到数据处理器108A的数据存储器108C，一个或多个输入设备108D以及一个或多个输出设备108E。

尽管在图1中将控制计算机108描述为单个实体，但是，应当理解，控制计算机108可以存在于分布式系统或基于云技术的环境中。另外，实施例允许控制计算机108、处理装置101、运输设备141和/或成像设备107中的一些或全部被组合为单个设备中的组成部分。

输出设备108E可以包括可以输出数据的任何相适的设备。输出设备108E的示例可以包括显示屏、扬声器和数据传输设备。

输入设备108D可以包括能够将数据输入到控制计算机108中的任何相适的设备。输入设备的示例包括按钮(例如键盘和鼠标)、触摸屏、触摸板、麦克风等。

数据处理器108A可以包括任何相适的数据计算设备或其组合。一种示例性的数据处理器可以包括一个或多个微处理器，它们协同工作以实现期望的功能。数据处理器108A可以包括CPU，该CPU包括至少一个高速数据处理器，该高速数据处理器能够执行用于执行用户和/或系统生成的请求的程序组件。CPU可以是微处理器，例如AMD的Athlon、Duron和/或Opteron；IBM和/或摩托罗拉的PowerPC；IBM和Sony的Cell处理器；英特尔的Celeron、Itanium、Pentium、Xeon和/或XScale；和/或类似处理器。

计算机可读介质108B和数据存储器108C可以是任何适当的设备或是可以存储电子数据的设备。存储器的示例可以包括一个或多个存储器芯片、磁盘驱动器等。这样的存储器可以使用任何适当的电、光和/或磁操作模式来操作。

计算机可读介质108B可以包括可由数据处理器108A执行以执行任何相适的方法的代码。例如，计算机可读介质108B可以包括可由处理器108A执行的代码，以使处理系统100执行方法，方法包括使成像设备摄取结构的平台的第二图像，该平台包括多个离散的平台位置，在离散的平台位置分别有多个不同的组件；将第二图像与存储在计算机装置的存储器中的第一图像进行对比；确定第二图像与第一图像之间是否存在差异；并且输出第二图像和第一图像之间可能导致在装置上运行的过程中断或失败的任何差异的指示(indication)。

计算机可读介质108B可以包括可由数据处理器108A执行的代码，以接收和存储用于一个或多个协议(例如，用于分析生物样本的协议)的过程步骤、以及控制结构140、运输设备141和/或处理装置101以执行一个或多个协议的过程步骤。计算机可读介质108B还可包括可由数据处理器108A执行的代码，用于从处理装置101接收结果(例如，来自生物样本分析的结果)并转发结果或将结果用于其他分析(例如，诊断患者)。另外，计算机可读介质108B可以包括可由数据处理器108A执行的代码，用于对比平台的两个图像，识别两个图像之间的差异，以及将包含被指示出来的差异的图像显示给用户。

数据存储组件108C可以在控制计算机108内部或外部。数据存储组件108C可以包括一个或多个存储器，包括一个或多个存储器芯片，磁盘驱动器等。数据存储组件108C还可以包括常规的、容错的、关系型的、可扩展的，安全的数据库，例如市场上Oracle^TM或Sybase^TM的数据库。在一些实施例中，数据存储器108C可以存储协议108F和图像108G。

数据存储组件108C中的协议108F可以包括关于一个或多个协议的信息。协议可以包括信息，信息有关一个或多个要完成的处理步骤、在过程中使用的组件、组件位置布局和/或用于完成过程的任何其他相适信息。例如，方案可包括一个或多个用于分析生物样本的有序步骤。协议还可以包括用于在开始过程之前准备组件的列表的步骤。可以将组件映射到平台105上的特定位置，运输设备141可以在其中获取组件，以便将它们传输到处理装置101。该映射可以被编码为用于操作运输设备141的指令，并且映射还可以由向用户示出的虚拟图像来表示，以使得用户可以将组件放置在平台105上。实施例允许处理系统100被多个过程使用(例如，多个不同的生物学分析)。因此，可以在需要时存储和检索关于多个协议108F的信息。当从第一过程改变为第二过程或者重新开始第一过程时，可以根据需要重新排列、更换和/或补充平台105上的组件。

图像可以包括对一个或多个对象的描绘。作为示例，图像可以包括数字图片或照片、视频、三维图片和视频，彩色照片、黑白照片、高动态范围图像(例如，将按照不同的曝光量对同一对象拍摄的多个图像组合在一起)等。数据存储器108C中的图像108G可以包括平台105的现实的可视表示物。在每个图像中，可以显示平台105处于绪状态以开始某个过程，其中，所有必要的组件都放置在其适当的位置。图像108G中的每一个可以与来自存储的协议108F的特定协议相关联。在一些实施例中，对于某一个协议可能存在单个图像。在其他实施例中，对于某一个协议可以有多个图像(例如，来自不同角度的、具有不同照明水平的或在某些位置有合理的实验室用具的替换的)。图像108G可以被存储为各种类型或格式的图像文件，包括JPEG、TIFF、GIF、BMP、PNG和/或RAW图像文件、以及AVI、WMV、MOV、MP4和/或FLV视频文件。

正如以上提到的，平台105可再分为多个离散的平台位置，用于放置不同的组件。离散位置可以具有任何适当的尺寸。图2示出具有多个位置的平台105的示例。图2中的平台105示出了编号为P1至P30以及TL1至TL5、TR1的独立区域以及一个清洗站，其中每个区域可作为不同类型的组件或组件包的独立位置运作。图2中的某些单独区域的编号被重叠的组件所遮盖：这些位置可以用顺着那些带有可见编号的单独区域相关联的编号的编号标识。实施例允许平台105按照期望具有附加位置或更少的位置。尽管可以对这些位置进行编号或命名，但是在现实世界中，在平台105上，它们可能会也可能不会被物理标注(labeled)或标记(marked)。

根据一定的协议，实施例允许一些或所有位置被预定类型的组件占据。例如，图2示出了位置P2，P3，P4，P5，P16，P23，P24，TL4和TL5，每个均加载有第一协议指定的组件包。一些位置可能包含相同类型的组件。例如，位置P2，P3和P4都包含标记为BC230的组件类型，它可以代表一定类型的试管、微孔板、移液器吸头或任何其他适当的实验室用具组件。

在一些实施例中，一个或多个位置可能不是结构140或平台105物理上的一部分，而可能在与结构140和/或平台105相邻的另一表面上或地板上。可以把这些位置包括进来，是因为它们也可以被运输设备141访问。例如，位置TL1至TL5、TR1和/或清洗站可以与结构140和/或平台105物理上分开。

图3示出根据本发明的实施例的平台检验过程的概略流程图(high levelflowchart)。

在步骤302，在配置新协议(例如，称之为第一协议)期间，操作人员可以在平台上物理地配置第一组组件的布局。例如，操作人员可以确定在哪里将第一类组件(例如，移液器吸头之类的实验室用具)放置在一个或多个第一位置中，在哪里将第二类组件(例如，采样管之类的实验室用具)放置在一个或多个第二位置中，依此类推。例如，处理装置和平台可以用于执行多个过程，并且处理装置、运输设备和/或控制计算机可以被编程为允许用户配置位于多个离散位置的多类组件，以便不同的过程可以在所述装置上运行。

在步骤304，操作人员可以基于所建立的组件的位置配置来对第一协议进行编程。例如，控制计算机(和/或处理装置)可以从操作人员接收关于特定位置的信息，其中，在第一过程期间，所述特殊位置将被放置不同类型的组件以供使用。可以使用允许用户将组件表示物拖放到特定位置的菜单来完成此操作。操作人员还可以对第一过程的步骤(例如，执行一定类型的生物样本分析所需的步骤)以及在第一个过程中使用组件的方式进行编程。实施例允许在步骤306摄取第一图像之前或之后进行协议编程这一步骤。

在步骤306，控制计算机可以使成像设备(例如照相机)摄取该结构的平台的第一图像。可以从静态相机位置获取图像，并将其用作以后的参考。可以在平台上已经满载了组件和在步骤308中执行的第一过程尚未开始时(例如，组件还尚未被使用、移动或干扰)摄取所述图像。因此，图像可以摄取多个离散的平台位置以及分别在离散的平台位置中的第一多个不同组件。

在步骤308，控制计算机可以执行第一协议所限定的第一过程。例如，运输设备可以根据第一过程将组件从平台运输到处理装置的一个或多个仪器，并且处理装置可以操纵组件以执行第一过程，并将任何结果返回给控制计算机。例如，处理装置可以是分析仪，并且第一过程可以包括生物样本的分析。步骤308可以在步骤306之后进行，使得图像反映出在过程开始之前呈现出的平台的配置。

在步骤310，控制计算机可以存储(例如，在数据存储器(data storage)或其他存储器(memory)中)平台的第一图像。可以将第一图像存储为与第一协议相关联，并且可以用作第一过程将来执行的参考图像。在一些实施例中，如果第一过程成功完成，则操作人员和/或控制计算机可以在步骤308之后决定存储第一图像。如果第一过程未成功完成，则可以丢弃不成功的第一过程使用的第一图像，可以重新配置平台上的组件布局和/或调整第一过程，并可以摄取另一个第一图像。一旦成功完成了第一过程，就可以连同与成功的第一协议相对应的摄取的第一图像将第一协议保存在数据存储存储器(data storage memory)中。

在步骤312，之后，控制计算机可以接收第一协议的选择。例如，输出设备可以为操作人员提供选择窗口以在各种协议中进行选择，并且操作人员可以选择(例如，经由输入设备)第一协议以便运行第一过程。该步骤可以在处理系统上运行了其他过程之后进行。

在步骤314，控制计算机可以经由输出设备显示由所选择的第一协议指定的第一协议平台的配置。显示可以包括平台的虚拟表示物、不同的平台位置以及要放置在每个位置的组件。例如，显示可以类似于图2。在一些实施例中，控制计算机还可以显示所存储的图像以及任何其他适当类型的信息，以指示操作人员如何准备系统。

在步骤316，操作人员或在操作人员控制下的机器可以物理上将第二组组件放置在平台上。操作人员可以使用协议说明和显示的组件图作为将特定类型的组件放置在特定位置的指南。如果操作人员正确放置了组件，则每个位置将具有与协议的初始配置期间(例如，在步骤302中)预先摆放的相同类型的组件。

在步骤318，控制计算机可以使成像设备摄取该结构的平台的第二图像。在一些实施例中，平台的第二图像是在操作人员完成放置第二组组件之后、并且在执行该过程之前摄取的。因此，第二图像可以摄取多个离散的平台位置以及分别在离散的平台位置中的第二多个不同组件。可以使用相同的相机从相同的位置和角度和/或以与第一图像相同的方式拍摄第二图像。结果，可以对比第二图像和第一图像以识别差异。在某些情况下，可以从不同角度(angles)或视角(perspectives)拍摄多个图像。

在步骤320，控制计算机可以基于对第一协议的选择，从数据存储器(datastorage)(或其他存储器(memory))检索所存储的第一图像。

在步骤322，控制计算机可以将第一图像与第二图像进行对比以便识别任何相关的差异。例如，控制计算机可以针对平台上的每个位置识别第二图像中所示的组件是否不同于第一图像中所示的组件。在一些实施例中，控制计算机可以分析每个图像中的像素或物体、以识别颜色、形状、组件标签或任何其他适当的指示符(indicators)的差异。这些差异可以指示出第二图像中的不正确的组件。在一些实施例中，控制计算机可以基于图像特征(例如，颜色、形状等)确定每个图像中的组件的实际类型，并确定组件是否相同。下面考虑图5讨论关于图像对比的附加细节。

在步骤324，控制计算机可以基于图像对比，确定第一图像和第二图像之间是否存在任何差异(例如，一个或多个差异)。另外，控制计算机可以确定在图像中是否任何位置是不可见的(例如，由于照相机的位置和角度的原因)。

在一些实施例中，图像之间是否存在差异可以以相似性阈值作为依据。例如，如果两个图像的部分相似度为98％，则这足以使控制计算机得出结论，认为没有有意义的差异。

在步骤326，控制计算机可以向操作人员显示或以其他方式(例如，经由输出设备)输出任何被确定的差异的指示(indication)。如果允许处理装置不进行修正而运行，则这样的差异可能会导致过程中断或失败。输出可以包括第一图像和/或第二图像，以及图像上的差异指示符(indicators)。例如，可以把所讨论的组件和位置突出显示、圈出或以其他方式标识给操作人员。指示符(indicators)可以向操作人员显示例如在第二图像和第一图像中有不同的组件的平台位置。输出还可以包括来自步骤314的虚拟表示物。

如果没有发现差异，则该方法可以继续到执行过程的步骤330。例如，输出可以指示第二图像和第一图像之间没有任何可以引起在该装置上运行的过程的中断或失败的差异，然后操作人员可以启动第一过程的执行。

在步骤328，操作人员可以基于显示的差异在物理上修正一个或多个组件的配置错误。向用户显示带有突出的差异的第一和/或第二图像可以促使操作人员更好地响应，因为现实世界图像比虚拟表示物更容易让人理解。图像中的差异可能并非全部需要修正。例如，可能使用了正确类型的组件，却也可能因为它具有不同的颜色可能不会影响过程)而会对其进行标记。因此，操作人员可以进行一个或多个修正(例如，在某些位置交换某些组件)，但是可能不会对有图像指示出差异的每一个位置的组件都作更换。

在步骤330，处理系统可以使用放置在平台上的第二组件来执行第一过程。由于图像对比可能使操作人员能够识别和修正任何准备错误，过程有可能成功地完成。

实施例允许在第一过程和/或替代过程的每个后续运行之前验证平台设置。例如，每次执行第一过程时，都可以重复步骤312-330。

如关于步骤306所描述的，成像设备可以摄取并存储平台的第一图像，该第一图像将被用作与后面的图像进行对比的参考。根据本发明的实施例，图4中示出此种参考图像410的示例。可以从任何适当的视角，例如使组件的视图最优化的视角，或从成像设备最不可能受到干扰的位置拍摄参考图像410。参考图像410可以包括一些或所有平台位置(例如，根据摄像机角度、位置和视场)。某些位置可能被组件或其他遮挡物遮挡而不可见。在一些实施例中，可以从多个构图视角获取多个参考图像，以便示出所有位置和组件。此外，可以将多个图像组合在一起以创建一个具有更大包括性的视角(persepectives)的较大图像。

可以基于尺寸、形状、颜色(例如，移液器吸头架颜色)、孔密度、层叠板的数量(例如，一个位置可以包括三个移液器吸头的层叠托盘)、和/或组件或组件容器的任何其他适当的物理特征来区分参考图像410中所示的组件。另外，组件容器可以包括标签、条形码或其他可识别的特征。

因为参考图像410可以是现实世界图像，所以参考图像410可以包括除了部件和平台以外的对象。例如，图像的背景可以包括图像中可能存在的其他实验室器材、走道、阴影和人员等。在一些实施例中，这样的额外信息可以在对比过程中被控制计算机用阴影遮蔽或以其他方式忽略。这可以在将参考图像410与后续图像进行对比时，防止控制计算机在背景中找到并显示无关的差异。

图5示出了根据本发明实施例的第一图像510(例如，参考图像)和第二图像520(例如，新图像)之间的对比的示例。向用户呈现的显示(例如以上关于步骤326所述)可以包括所述图像中的一者或两者。

如图5所示，可以在第一图像510和/或第二图像520中指示出一个或多个位置。可以将位置指示出来，因为它们在第一图像510和第二图像520中含有不同的内容。例如，可以指示出第一图像510和第二图像520之间的第一差异531，因为平台位置在两个图像中不具有相同的外观。类似地，可以指示出第二差异532、第三差异533以及任何其他适当数量的差异。

在图5中，通过在平台位置上叠放矩形框来指示差异。实施例允许使用替代性的指示，诸如突出显示、箭头、着色、增强的亮度、位置列表和/或任何其他适当的指示(indication)。在一些实施例中，第二图像520可以被制作为部分透明的，然后被叠放在第一图像510上，使得图像不匹配的部分不会混在一起，因而对观察者来说也变得显而易见。此外，当以这种方式在同一空间中示出第一图像510和第二图像520时，可以使用滑动控件工具来调节任一图像的显示强度。例如，向左滑动可以使第一图像510更加强烈地显示，而第二图像520更加透明，而向右滑动可以使第二图像520更加强烈地显示，而第一图像510更加透明。

在一些实施例中，指示出的一些或所有差异可以是指示性的或是平台设置的问题(例如，放置在位置上的组件不正确，一个位置不够有一个组件，应该有组件的位置上没有组件，位置上的组件类型不正确等)，并且如果不修正平台设置，则问题可能会导致过程的中断或失败。实施例还允许控制计算机识别图像差异而无需确定差异是否会引起问题。例如，差异可以表示建议操作人员进行检查的可能发生的问题(例如，组件封装颜色不同，而这可能表明也可能不表明组件类型错误)。此外，可以识别出差异以外的其他关注点，例如图像中看不到的平台位置。

控制计算机还可以同时输出协议的平台配置的虚拟表示物，例如图2所示。这可以为操作人员提供额外的视角，并可以帮助操作人员识别分配给指定位置的组件的类型。控制计算机还可以提供与可能存在的错误有关的详细信息列表，列表描述可能存在的错误的位置以及有关是什么引导了对可能存在的错误的诊断的信息(例如，意料之外的颜色或形状)

在一些实施例中，控制计算机可以仅对比包括平台和/或组件的图像的一部分，并且控制计算机可以不考虑图像的其他部分(例如，背景、走道周界等)。另外，第一图像510和/或第二图像520的不相关部分可以被擦除、涂黑、用阴影遮蔽、蒙盖或以其他方式被遮盖，以使得操作人员的注意力不会从相关的部分(例如，平台和组件)上转移开。如图所示，因为与图4所示的原始参考图像相比，图5中的图像的非必要的周边区域变暗了。

当确定第一图像510和第二图像520之间的差异时，控制计算机可以使用任何适当的图像对比技术以及任何适当的图像对比软件。在一个示例中，控制计算机可以对比分配给两个图像中的每个像素的颜色值，并识别相异的值。图像中的差异可以由单个像素不同引起，也可以由一组相邻像素(例如10、20或100)全部不同引起。

在一些实施例中，控制计算机可以识别图像中的每个平台位置和/或组件包(例如，基于组件包的周界轮廓)，而不是对比一小组像素，并且可以确定在两个图像之间位置或组件包的呈现是否有所不同。可识别的差异可以包括封装的颜色、封装的形状、组件标签或条形码、孔的密度、堆叠的板数、孔的形状(是否盖有实验室器具)或任何其他视觉上可识别的差异。某些差异(例如颜色)可能表示组件不正确，或者可能是同一组件具有不同封装颜色的结果。无论哪种方式，都可以向操作人员指示出差异，以便操作人员可以确定是否需要修正。

在一些实施例中，控制计算机可以将一定范围的像素映射到平台位置。例如，控制计算机可以将离散平台位置中的一个映射到第一图像或第二图像中的一个像素范围。因此，控制计算机可以确定哪个位置(例如，位置P14)与第二图像520中所标识的差异是相关联的。这样，控制计算机就可以用位置编号来标注(label)差异，以协助操作人员识别相关位置。

控制计算机可能能够分析图像并确定在每个位置中呈现了哪种类型的组件。结果，控制计算机可以识别是否某个位置在例如第一图像510中含有试管，但是同一位置在第二图像520中含有移液器吸头。

作为示例，第一差异531可以表示在任一图像中都不可见的平台位置，第二差异532可以表示在第二图像520中具有不同颜色或不同组件类型的组件包，而第三差异533可以表示第二图像520中错误地为空的平台位置。

在一些实施例中，部件外观的某些差异可以忽略。例如，如果不希望被识别，则控制计算机可以不报告液体颜色的差异(例如，孔、管或储蓄器中的液体)，因为液体颜色会随着过程的运行而改变。同样，液体量的差异可以忽略，手写信息的差异可以忽略，其他任何可能不会引起任何过程问题的适当变化也可以忽略。

在一些实施例中，例如，如果操作人员指示，则控制计算机可能能够丢弃第一图像510并将第二图像520用作新参考。可选地，操作人员可以选择添加第二图像520作为除了第一图像510之外的另一个可接受的平台的参考(例如，而非丢弃第一图像510)。另外，操作人员可以指示控制计算机在不对平台进行任何更改的情况下接受当前设置并继续该过程。

图6A-图6B示出根据本发明的实施例的可以供操作人员使用的不同的平台检验视图的示例。控制计算机可以以多种方式向操作人员输出呈现图像差异和/或平台设置错误的多个显示。操作人员可以在这些不同的显示之间切换。

图6A示出了可以含有第一现实图像610和第二现实图像620的第一显示。类似于图5，第一现实图像610可以是在过程的初始配置期间拍摄的平台的现实图像(例如，用相机拍摄的)。第二现实图像620可以是在之后为随后执行过程而准备平台时拍摄的平台的另一现实图像(例如，用相机拍摄的)。

图6B示出了第二显示，其用第一虚拟图像630代替了第一现实图像610。第一虚拟图像可以包括平台的非现实图形描绘，其演示了给每个位置分配了哪种类型的组件。例如，第一现实图像610可以是平台的俯视图的虚拟表示。实施例允许第一虚拟图像630包括可能包括错误(例如，根据图像差异)的平台位置的指示(indication)(例如，突出显示)。

结果，操作人员可以在观看正确的平台配置的现实图像(例如，第一现实图像610)和正确的平台配置的虚拟表示(例如，第一虚拟图像630)之间切换。尽管操作人员可以在这些选项之间进行切换(例如，使用类型切换按钮640)，但是输出设备可以持续地显示当前平台设置的现实图像(例如，第二现实图像620)。这些不同的图像可以为操作人员提供平台的多种视角和描绘，以及在正确的平台设置和当前平台设置之间进行多次对比，从而使操作人员可以更好地了解平台的外观以及确切地哪些平台位置可能需要修正。

实施例还允许操作人员以其他方式来操纵显示。例如，操作人员可以在由具有不同平台视角的不同成像设备摄取的不同现实图像之间切换。这由视角切换按钮650示出，其可以在来自左照相机的图像和来自右照相机的图像之间切换。作为另一个示例，操作人员可以对某一图像进行放大和缩小，以及重置为完整的照相机视图。

除了在第一现实图像610和第一虚拟图像630之间切换第一显示区域之外，输出还可以被配置为在第二现实图像620和第一现实图像610之间切换第二显示区域。因此，操作人员可以在同一空间中，在当前平台设置和正确平台设置之间切换。以这种方式切换时，正确配置的区域可能会显示相同，并且未正确准备的位置可以更改。观看者可以清楚地看到在图像之间切换时随时间变化的显示区域。

另外，在一些实施例中，当用户在突出显示的平台位置(或列出的通知)上选择或移动鼠标指针时，输出设备可以显示关于该位置的附加信息，例如该位置的预期组件的类型。此外，显示可以包括通知列表(例如，图像差异或错误)，并且如果操作人员在通知列表中选择条目，则可以将图像修改为聚焦于与通知相关联的位置(例如，通过对平台位置进行放大和/或选择最佳摄像机视角)。

本发明的实施例提供了许多优点。例如，实施例方便地为用户/操作人员提供直观和可理解的工具，用于识别和修正与平台结构上组件的准备有关的错误。人类通常难以理解书面指令、字母数字零件号、物理空间和网格的虚拟表示以及其他指示如何准备用于执行过程的处理系统的信息的典型来源。结果，操作人员在加载组件以及要不然在设置处理系统时经常会出错，而这会导致过程失败或延误。本发明的实施例通过结合成像系统，在不同时间拍摄平台的图像并分析图像的差异来克服该问题。例如，实施例包括拍摄正确准备的系统的现实图像，在以后第二次准备系统时拍摄另一现实图像，然后找出图像之间的差异。这为人类操作者提供了可以快速、轻松地查看和理解的有标记的照片，从而使操作人员能够以较高的成功率修正差异。由于可以在过程开始之前修正任何错误，因此可以以较高的成功率、较低的失败率和延误来完成过程。

以上描述是说明性的而非限制性的。通过阅读本公开，本发明的许多变种对于本领域技术人员将变得显而易见。因此，本发明的范围不应参考以上的描述来确定，而应参考所附的权利要求书及其全部范围或等同方案来确定。

任何实施例中的一个或多个特征可以与任何其他实施例中的一个或多个特征组合而不脱离本发明的范围。

除非特别指出相反，否则“一个”或“该”旨在表示“一个或多个”。

上面提到的所有专利、专利申请、出版物和描述均以引用整体在此纳入。