阅读说明：本技术 用于跟踪机器人操纵的手术器械的位置的系统和方法 (System and method for tracking the position of a robotically-manipulated surgical instrument ) 是由 S·森 B·D·霍夫曼 G·A·理查蒙德 于 2019-07-27 设计创作，主要内容包括：一种示例性手术器械跟踪系统包括至少一个物理计算装置,该至少一个物理计算装置基于手术区域的内窥镜图像并使用经训练的神经网络,确定对内窥镜图像中所示的感兴趣的对象的观察,基于位于手术区域的机器人操纵的手术器械的概率框架和运动,将对感兴趣的对象的观察与机器人操纵的手术器械关联,并且基于机器人操纵的手术器械的运动和与机器人操纵的手术器械关联的观察,确定机器人操纵的手术器械在手术区域的物理位置。(An exemplary surgical instrument tracking system includes at least one physical computing device that determines an observation of an object of interest shown in an endoscopic image based on the endoscopic image of a surgical area and using a trained neural network, associates the observation of the object of interest with a robotically-manipulated surgical instrument based on a probabilistic framework and motions of the robotically-manipulated surgical instrument located in the surgical area, and determines a physical location of the robotically-manipulated surgical instrument in the surgical area based on the motions of the robotically-manipulated surgical instrument and the observations associated with the robotically-manipulated surgical instrument.)

具体实施方式

本文描述了用于跟踪机器人操纵的手术器械的位置的系统和方法。如下面将更详细地描述，在某些实施方式中，示例性手术器械跟踪系统可以经配置基于手术区域的内窥镜图像并使用经训练的神经网络确定对内窥镜图像中所示的感兴趣的对象的观察，基于位于手术区域的机器人操纵的手术器械的概率框架(probabilistic framework)和运动将对感兴趣的对象的观察与机器人操纵的手术器械关联，并且基于机器人操纵的手术器械的运动和与机器人操纵的手术器械关联的观察确定机器人操纵的手术器械在手术区域的物理位置。

如将在本文更详细地描述，在某些实施方式中，示例性手术器械跟踪系统可以经配置基于手术区域的内窥镜图像并使用经训练的神经网络确定对内窥镜图像中所示的感兴趣的对象的观察，并且基于位于手术区域的机器人操纵的手术器械的运动将对感兴趣的对象的观察与机器人操纵的手术器械关联或者将对感兴趣的对象的观察与假阳性指定(false positive designation)关联。当对感兴趣的对象的观察与机器人操纵的手术器械关联时，手术器械跟踪系统可以基于机器人操纵的手术器械的运动和与机器人操纵的手术器械关联的观察，确定机器人操纵的手术器械在手术区域的物理位置。当对感兴趣的对象的观察与假阳性指定关联时，手术器械跟踪系统可以避免使用观察来确定机器人操纵的手术器械在手术区域的物理位置。

如本文所用，器械的位置可以指该器械的所需部分的三维(“3D”)位置和/或取向，如末端执行器(例如，钳口、剪刀等)、远端工具尖端、腕部、轴和/或该器械的另一结构组件。例如，器械的位置可以指该器械的组件在3D空间内的3D位置和/或取向，如在由3D坐标系限定的3D空间内的3D位置和/或取向。

如本文所述，通过确定机器人操纵的手术器械的物理位置，示例性手术器械跟踪系统和方法可以以促进机器人手术系统的一个或多个特征、益处和/或优点的水平的精确性、准确性、效率和/或可靠性来跟踪手术器械位置。在某些实施方式中，此类精确性、准确性、效率和/或可靠性可以由示例性手术器械跟踪系统提供，而不需在手术器械上使用专用的计算机视觉标记(例如，集成在手术器械上或者以其他方式附接到手术器械的条形码、颜色、图案等)，这可以称为手术器械的“无标记”跟踪。在某些实施方式中，此类精确性、准确性、效率和/或可靠性可以由示例性手术器械跟踪系统实时地或接近实时地使用有限的计算资源提供。

现在参照附图，将更详细地描述各种实施例。本文所述的系统和方法可以提供上面提到的益处和/或将在本文变得显而易见的各种附加和/或可替代的益处中的一个或多个益处。

本文所述的手术器械跟踪系统和方法可以作为机器人手术系统的一部分或者与机器人手术系统结合操作。因此，为了促进对本文所述的手术器械跟踪系统和方法的理解，现在将描述示例性机器人手术系统。所描述的示例性机器人手术系统是说明性的，而不是限制性的。本文所述的手术器械跟踪系统和方法可以作为其他合适的机器人手术系统的一部分或者与其他合适的机器人手术系统结合操作。

图1示出了示例性机器人手术系统100。如图所示，机器人手术系统100可以包括彼此通信地耦接的患者侧系统102(有时称为患者侧推车)、外科医生控制台104和视觉推车106。机器人手术系统100可以由手术团队使用，以在患者108上执行机器人使能的手术过程。如图所示，手术团队可以包括外科医生110-1、助手110-2、护士110-3和麻醉师110-4，所有这些人统称为“手术团队成员110”。作为可以服务特定实施方式，附加或可替代的手术团队成员可以在外科手术期间出现。虽然图1示出了正在进行的微创手术过程，但是将理解的是机器人手术系统100可以类似地用于执行开放式手术过程，或者可以类似地执行从机器人手术系统100受益的其他类型的手术过程。另外，将理解的是，可以采用机器人手术系统100的外科手术过程不仅可以包括如图1中所示的手术过程的操作阶段，而且还可以包括手术过程的术前、术后和/或其他合适阶段。

如图所示，患者侧系统102可以包括可以与多个机器人操纵的手术器械114(例如，手术器械114-1至114-4)耦接的多个机械臂112(例如，机械臂112-1至112-4)。每个手术器械114可以包括可以用于在患者108上的机器人使能的手术过程(例如通过至少部分地插入患者108体内以在患者108上执行机器人使能的手术过程)的任何合适的手术工具、医疗工具、监视仪器(例如，内窥镜)、诊断仪器等。注意，虽然为了示例性目的在本文将患者侧系统102示出和描述为具有多个机械臂112的推车，但是在各种其他实施例中，患者侧系统102可以包括一个或多个推车，每个推车具有一个或多个机械臂112，一个或多个机械臂112安装在诸如手术台或天花板的手术室内的独立结构和/或任何其他支撑结构上。患者侧系统102将在下面更详细地描述。

手术器械114可以每个定位在与患者关联的手术区域。如本文所用，在某些示例中，与患者关联的“手术区域”可以整体地设置在患者体内，并且可以包括在患者体内的区域，在该区域附近计划要执行、正在执行或者已经执行的手术过程。例如，对于正在患者外部的组织上执行的微创手术过程，手术区域可以包括其中正在用于执行手术过程的手术器械位于的组织以及在该组织周围的空间。在其他示例中，手术区域可以至少部分地设置在患者外部。例如，机器人手术系统100可以用于执行开放式手术过程，使得手术区域的一部分(例如，正在进行手术的组织)是在患者内部，而手术区域的另一部分(例如，其中可以设置一个或多个手术器械的在组织周围的空间)是在患者外部。当手术器械的至少一部分(例如，手术器械的远端)设置在手术区域内时，手术器械(例如，手术器械114中的任何手术器械)可以称为正在“位于”手术区域处(或“位于”手术区域内)。

外科医生控制台104可以经配置促进由机械臂112和手术器械114的外科医生110-1进行的控制。例如，外科医生控制台104可以向外科医生110-1提供如由内窥镜捕获的与患者108关联的手术区域的图像(例如，高清3D图像)。外科医生110-1可以利用该图像用手术器械114执行一个或多个过程。

为了促进手术器械114的控制，外科医生控制台104可以包括一组主控件116(在特写视图118中示出)。主控件116可以由外科医生110-1操纵，以便控制手术器械114的运动。主控件116可以经配置检测由外科医生110-1进行的各种各样的手部运动、腕部运动和手指运动。以这种方式，外科医生110-1可以直观地执行使用手术器械114中的一个或多个的过程。例如，如特写视图120中所示，分别耦接到机械臂112-1和112-4的手术器械114-1和114-4的功能尖端可以模拟外科医生110-1的手部、腕部和手指在多个运动自由度上的灵活性，以便执行一个或多个手术过程(例如，切口过程、缝合过程等)。虽然为了示例性目的在本文将外科医生控制台104示出和描述作为单个单元，但是在各种其他实施例中，外科医生控制台104可以包括各种分立组件，如有线或无线主控件116、(一个或多个)单独的显示元件(例如，投影仪或头戴式显示器)、单独的数据/通信处理硬件/软件和/或外科医生控制台104的任何其他结构或功能元件。外科医生控制台104将在下面更详细地描述。

视觉推车106可以经配置向手术团队成员110呈现视觉内容，手术团队成员110不可以访问在外科医生控制台104向外科医生110-1提供的图像。为此，视觉推车106可以包括显示监测器122，该显示监测器122经配置可以作为服务特定实施方式来显示一个或多个用户界面，如手术区域的图像(例如，2D图像)、与患者108和/或手术过程关联的信息和/或任何其他视觉内容。例如，显示监测器122可以显示手术区域的图像以及叠加在图像上方或以其他方式同时显示的附加内容(例如，图形内容、上下文信息等)。在一些实施例中，显示监测器122由可以与手术团队成员110交互(例如，通过触摸手势)的触摸屏显示器实施，以向机器人手术系统100提供用户输入。

患者侧系统102、外科医生控制台104和视觉推车106可以以任何合适的方式彼此通信地耦接。例如，如图1中所示，患者侧系统102、外科医生控制台104和视觉推车106可以通过控制线124通信地耦接，这可以如可以服务特定实施方式，表示任何有线或无线通信连杆。为此，患者侧系统102、外科医生控制台104和视觉推车106可以各自包括一个或多个有线或无线通信接口，如一个或多个局域网络接口、WiFi网络接口、蜂窝接口等。

患者侧系统102、外科医生控制台104和视觉推车106可以各自包括经配置控制、引导和/或促进机器人手术系统100的操作的至少一个计算装置。例如，外科医生控制台104可以包括计算装置，该计算装置经配置通过控制线124中的一个或多个控制线传输指令到患者侧系统102，以便根据由主控件116的外科医生110-1进行的操纵，控制机械臂112和/或手术器械114的运动。在一些示例中，视觉推车106可以包括经配置执行机器人手术系统100的主要处理操作的一个或多个计算装置。在此类配置中，视觉推车106中包括的一个或多个计算装置可以控制和/或协调由机器人手术系统100的各种其他组件(例如，由患者侧系统102和/或外科医生控制台104)执行的操作。例如，外科医生控制台104中包括的计算装置可以通过视觉推车106中包括的一个或多个计算装置传输指令到患者侧系统102。

图2示出了患者侧系统102的透视图。如图所示，患者侧系统102包括由基座204支撑的推车柱202。在一些示例中，推车柱202可以包括保护盖206，该保护盖206保护设置在推车柱202内的配重子系统和制动子系统的组件免受污染。

推车柱202可以支撑安装在其上的多个设置臂208(例如，设置臂208-1至208-4)。每个设置臂208可以包括允许设置臂208的手动定位的多个连杆和接头，并且可以各自连接到机械臂112之一。在图2的示例中，患者侧系统102包括四个设置臂208和四个机械臂112。然而，将认识到，患者侧系统102可以包括任何其他数量的设置臂208和机械臂112以可以服务特定实施方式。

设置臂208可以是非机器人可控的，并且经配置将每个机械臂112静态地保持在由设置或重新配置患者侧系统102所需的相应位置中。设置臂208可以耦接到滑架壳体210，并且在外科手术的术前、术中或术后阶段期间手动移动并放置。例如，当机器人手术系统100正在准备和/或瞄准用于要执行的手术过程时，设置臂208可以在术前阶段期间移动并放置。相反，机械臂112可以机械地控制(例如，如上所述，响应于主控件116的操纵)。

如图所示，每个机械臂112可以具有与其耦接的手术器械114。在某些示例中，四个机械臂112中的三个机械臂可以经配置以手术工具的形式移动和/或定位手术器械114，这些手术工具用于操纵患者组织和/或手术区域内的其他对象(例如，缝合材料、修补材料等)。具体地，如图所示，机械臂112-1、112-3和112-4可以分别地用于移动和/或定位手术器械114-1、114-3和114-4。第四机械臂112(例如，在图2的示例中的机械臂112-2)可以用于移动和/或定位监视仪器(例如，立体内窥镜)，如将在下面更详细地描述。

机械臂112可以各自包括用于生成原始的(即未校正的)运动信息以帮助控制和跟踪手术器械114的一个或多个位移换能器、取向传感器和/或位置传感器(例如，传感器212)。例如，由患者侧系统102中的换能器和传感器生成的运动信息，如用于机械臂112的基于运动的位置或其他运动信息，可以传输到机器人手术系统100的手术器械跟踪系统(例如，视觉推车106中包括的计算装置)。在某些实施方式中，每个手术器械114可以类似地包括位移换能器、位置传感器和/或取向传感器(例如，传感器214)，其每个可以向跟踪系统提供附加运动信息，如用于手术器械114的基于运动的位置或其他运动信息。该跟踪系统可以处理从机械臂112和/或手术器械114上包括的传感器接收的运动信息，以执行各种操作，例如如本文所述，确定机械臂112和/或手术器械114的物理位置。

图3示出了示例性机械臂112(例如，机械臂112-1至112-4中的任何一个机械臂)的透视图。如图所示，手术器械114可以可移动地耦接到机械臂112。在图3的示例中，手术器械114是一种内窥镜装置(例如，立体腹腔镜、关节镜、宫腔镜或另一种类型的立体或单视内窥镜)。可替代地，手术器械114可以是不同类型的成像装置(例如，超声装置、荧光检查装置、MRI装置等)、抓握仪器(例如，钳子)、针头驱动器(例如，用于缝合的装置)、能量仪器(例如，烧灼仪器、激光仪器等)、牵开器、施夹器、探针夹持器、心脏稳定器或任何其他合适的仪器或工具。

在一些示例中，可以期望的是机械臂112和耦接到机械臂112的手术器械114围绕单个固定中心点302移动，以便限制中心点302的运动。例如，中心点302可以定位在手术器械114到患者108体内的插入点处或者定位在其附近。例如，在某些外科手术(例如，与腹腔镜手术过程关联的外科手术)中，中心点302可以是与切口点对准到由套管针或套管在腹壁处进行的内部手术部位。如图所示，中心点302可以位于与手术器械114关联的插入轴线304上。

机械臂112可以包括多个连杆306(例如，连杆306-1至306-5)，该多个连杆306枢转地串联耦接在连杆306的相应端部附近的多个接头308(例如，接头308-1至308-4)处。例如，如图所示，连杆306-1在连杆306-1的第一端附近的接头308-1处枢转地耦接到驱动安装件310，同时在连杆306-1的第二端附近的接头308-2处枢转地耦接到连杆306-2。连杆306-3在连杆306-3的第一端附近枢转地耦接到连杆306-2，同时在连杆306-3的第二端附近的接头308-4处枢转地耦接到连杆306-4。通常地，如图所示，连杆306-4可以基本上平行于手术器械114的插入轴线304。连杆306-5可滑动地耦接到连杆306-4，以如图所示，允许手术器械114安装到连杆306-5并沿连杆306-5滑动。

如上所述，机械臂112可以经配置通过驱动安装件310安装到设置臂208(或与其连接的接头)，以便由设置臂208支撑并保持在适当位置中。驱动安装件310可以枢转地耦接到连杆306-1，并且可以包括第一内部电动机(未明确示出)，该第一内部电动机经配置围绕中心点302的偏转轴线偏转机械臂112。以类似的方式，连杆306-2可以容纳第二内部电动机(未明确示出)，该第二内部电动机经配置围绕中心点302的俯仰轴线驱动机械臂112的连杆机构和使该连杆机构俯仰。同样地，连杆306-4可以包括第三内部电动机(未明确示出)，该第三内部电动机经配置沿插入轴线304滑动连杆306-5和手术器械114。机械臂112可以包括传动系统，该传动系统由这些电动机中的一个或多个电动机驱动，以便以可以服务特定实施方式的任何方式控制连杆306围绕接头308的枢转。因此，如果手术器械114被机械地移动，则耦接到传动系的电动机中的一个或多个电动机可以通电，以移动机械臂112的连杆306。

图4示出了外科医生控制台104的透视图。如图所示，外科医生控制台104可以包括立体观看器402、手臂支撑件404、其内设置主控件116(图4中未示出)的控制器工作空间406、脚踏板408和头部传感器410。

在一些示例中，立体观看器402具有两个显示器，其中与患者108关联并由立体内窥镜生成的手术区域的立体图像可以由操作员(例如，外科医生110-1)在外科手术期间观看。当使用外科医生控制台104时，操作员可以移动他或她的头部以与立体观看器402对准，以观看手术区域的立体图像。为了确保操作员在控制患者侧系统102的手术器械114时正在观看手术区域，外科医生控制台104可以使用放置在立体观看器402附近的头部传感器410。具体地，当操作员将他或她的眼睛与立体观看器402的双目目镜对准以观看手术区域的立体图像时，操作员的头部可以激活头部传感器410，这启用通过主控件116进行的手术器械114的控制。当操作员的头部从立体观看器402的区域移开时，头部传感器410可以自动地停用，这可以防止通过主控件116进行的手术器械114的控制。以这种方式，当机器人手术系统100检测到操作员未积极地参与尝试控制手术器械114时，手术器械114的位置可以保持静止。

手臂支撑件404可以用于在操作员操纵主控件116时支撑操作员的肘部和/或前臂，以便控制机械臂112和/或手术器械114。另外，操作员可以使用他或她的脚控制脚踏板408。脚踏板408可以经配置改变机器人手术系统100的配置或操作模式，以生成用于控制手术器械114的附加控制信号，以促进从一个手术器械114到另一个手术器械的切换控制，或者以执行任何其他合适的操作。

图5示出了包括在机器人手术系统100内并位于与患者关联的示例性手术区域的示例性立体内窥镜500。立体内窥镜500可以是上面描述的手术器械114中的任何一个手术器械。

如图所示，立体内窥镜500可以包括经配置插入患者体内的具有远侧尖端的管502和经配置位于患者外部的摄像机头504。管502可以在近端处耦接到摄像机头504，并且可以是刚性的(如图5中所示)、有接缝的和/或柔性的，如可以服务特定实施方式。

管502可以包括多个通道506(例如，右侧成像通道506-R、左侧成像通道506-L和照明通道506-I)，该多个通道506经配置在患者内部的手术区域和摄像机头504之间传导光。每个通道506可以包括一根或多根光纤，该一根或多根光纤经配置沿管502传输光，使得在摄像机头504内生成的光可以由照明通道506-I传输以在管502的远端处输出，并且在从患者解剖体和/或手术区域内的其他对象反射之后，可以由成像通道506-R和506-L从管502的远端传输回到摄像机头504。图5中的通道506内所示的箭头经示出指示光可以在每个通道内行进的方向。另外，将理解的是，如可以服务特定实施方式，管502可以与一个或多个透镜或其他合适的光学器件(未明确示出)关联(例如，包括一个或多个透镜或其他合适的光学器件)，用于聚焦、扩散或以其他方式处理由通道506传输的光。在各种其他实施例中，可以有附加的成像通道和/或照明通道。在其他实施例中，一个或多个图像传感器和/或照明器可以更靠近管502的远端定位，从而最小化或者甚至消除对通过管502的成像通道和/或照明通道的需要。

在一些示例中，立体内窥镜500可以耦接到机器人手术系统的机械臂(例如，机器人手术系统100的机械臂112之一)，并且定位成使得管502的远端设置在患者的手术区域处。在此配置中，立体内窥镜500可以称为定位在手术区域处或者定位在手术区域内，即使立体内窥镜500的一部分(例如，摄像机头504和管502的近侧部分)可以位于手术区域外部。当立体内窥镜500位于手术区域处时，在立体内窥镜500的视场内从手术区域反射的光可以由管502的远侧尖端捕获，并且通过成像通道506-R和506-L传输到摄像机头504。

摄像机头504可以包括经配置促进立体内窥镜500的操作的各种组件。例如，如图所示，摄像机头504可以包括图像传感器508(例如，与右侧成像通道506-R关联的图像传感器508-R和与左侧成像通道506-L关联的图像传感器508-L)。图像传感器508可以实施作为任何合适的图像传感器，如电荷耦接器件(“CCD”)图像传感器、互补金属氧化物半导体(“CMOS”)图像传感器等。另外，一个或多个透镜或其他光学器件可以与图像传感器508(未明确示出)关联。摄像机头504可以进一步包括照明器510，该照明器510经配置生成光以经由成像通道506-I从摄像机头504行进到手术区域，以便照亮手术区域。

摄像机头504可以进一步包括设置在其中的摄像机控制单元512。具体地，摄像机控制单元512-R可以通信地耦接到图像传感器508-R，并且摄像机控制单元512-L可以通信地耦接到图像传感器508-L。摄像机控制单元512可以通过通信连杆514同步地耦接到彼此，并且可以由软件和/或硬件实施，该软件和/或硬件经配置控制图像传感器508，以便基于由图像传感器508感测的光，生成相应的图像516(即与右侧关联的图像516-R和与左侧关联的图像516-L)。因此，成像通道506、图像传感器508、摄像机控制单元512和关联的光学器件的每个相应组合可以统称为包括在立体内窥镜500内的摄像机。例如，立体内窥镜500可以包括两个此类摄像机，一个用于左侧且一个用于右侧。可以说此类摄像机才能够从其相应的成像通道506的远端处的有利点捕获图像516。在由立体内窥镜500生成时，图像516可以由手术器械跟踪系统访问，且/或以本文所述的任何其他方式使用。例如，图像516可以由手术器械跟踪系统使用，以本文所述的任何方式确定位于手术区域的机器人操纵的手术器械的位置。

图6示出了经配置跟踪位于手术区域的手术器械的示例性手术器械跟踪系统600(“跟踪系统600”或“系统600”)。如图所示，系统600可以包括但不限于彼此选择性地且通信地耦接的图像处理设施602、关联设施604、位置确定设施606和存储设施608。将认识到，尽管设施602至608在图6中示出为单独的设施，但是设施602至608可以组合成更少的设施，如组合成单个设施，或者可以分成多个设施，以可以服务特定实施方式。设施602至608中的每个可以由计算硬件和/或软件的任何合适的组合实施。

系统600可以以任何合适的方式与机器人手术系统，如机器人手术系统100关联。例如，系统600可以由机器人手术系统实施，或者可以包括在机器人手术系统内。为了说明，系统600可以由包括在机器人手术系统100的患者侧系统102、外科医生控制台104和/或视觉推车106内的一个或多个计算装置实施。在一些示例中，系统600可以至少部分地由通信地耦接到但不包括在机器人手术系统中的一个或多个计算装置(例如，通过网络通信地耦接到机器人手术系统100的一个或多个服务器)实施。

图像处理设施602可以经配置访问内窥镜图像(有时称为“内窥镜图像”)，该内窥镜图像可以包括由位于与患者关联的手术区域的内窥镜捕获的图像或者从由位于与患者关联的手术区域的内窥镜捕获的图像导出的一组一个或多个图像。该一组一个或多个内窥镜图像可以包括2D图像、3D图像、从2D图像导出的3D图像、一对或多对暂时对准的立体图像、视频的帧、图像的序列、聚集或组合图像(例如，通过将多个图像组合在一起形成的图像)或以任何其他合适形式的图像。内窥镜图像可以表示为以任何合适的数据格式的图像数据(例如，表示具有任何合适数量的图像通道的RGB图像的数据)，该图像数据可以由图像处理设施602访问。

例如，在某些实施方式中，图像处理设施602可以访问由包括在立体内窥镜(例如，立体内窥镜500)内并位于手术区域的第一摄像机从第一有利点捕获的第一图像(例如，图像516-L)和由包括在立体内窥镜内的第二摄像机从与第一有利点成立体的第二有利点捕获的第二图像(例如，图像516-R)。图像处理设施602可以以任何合适的方式访问图像。例如，通过从内窥镜接收图像，或者通过从存储设施108或其他计算机存储器(例如，存储缓冲器)访问图像，图像处理设施602可以访问图像。

虽然某些示例在本文参照由内窥镜捕获的内窥镜图像进行描述，但是在其他示例中，图像处理设施602可以处理手术区域的任何合适图像。例如，图像处理设施602可以处理由一个或多个非内窥镜摄像机、多个内窥镜或至少一个内窥镜和至少一个非内窥镜摄像机的组合捕获的手术区域图像。

图像处理设施602可以处理内窥镜图形，以确定对内窥镜图像中所示的感兴趣的对象的观察。内窥镜图像的处理可以包括从内窥镜图像提取表示感兴趣的对象的特征的图像处理设施602。如本文所用，“感兴趣的对象”是指内窥镜图像中所示的任何对象或其他特征，并且被限定为对图像处理设施602感兴趣。在某些示例中，感兴趣的对象可以由可以与手术器械关联的内窥镜图像中所示的任何特征表示。例如，特征可以是可以由图像处理设施602准确地或不准确地确定的内窥镜图像中所示的手术器械、内窥镜图像中所示的手术器械的组件或内窥镜图像中所示的任何对象的视觉表示，以表示手术器械或手术器械的组件。

在某些实施方式中，感兴趣的对象可以是手术器械的无标记组件。手术器械的无标记组件可以是不包括专用计算机视觉标记(例如，条形码、颜色等)的手术器械的物理组件。通过处理内窥镜图像以提取无标记的感兴趣的对象而不是专用计算机视觉标记，图像处理设施602可以克服与专用计算机视觉标记的使用关联的一个或多个问题，诸如制造标记的成本、标记的有限使用寿命、无法在所有手术器械上使用标记、由解剖组织、血液、碎屑或其他器械从摄像机视角遮挡标记和与标记的常规检测关联的效率低下的计算。

在某些实施方式中，感兴趣的对象可以是手术器械的远端U形夹。手术器械的远端U形夹可以是手术器械的最远侧接头的中心，并且远端U形夹的位置可以用于确定手术器械的远侧尖端的位置。在一些实施方式中，从内窥镜图像的手术器械的远端U形夹的提取可以比从内窥镜图像的手术器械的小远侧尖端的提取更准确、容易和/或可靠。在其他实施方式中，手术器械的附加或可替代组件(例如，手术器械的轴)可以被限定为感兴趣的对象。

一旦图像处理设施602已经从内窥镜图像提取感兴趣的对象，图像处理设施602就可以限定对感兴趣的对象的观察。该观察可以指示已经从内窥镜图像导出的感兴趣的对象的位置。因为该位置从内窥镜图像导出，所以该位置可以称为“基于图像的位置”。在某些示例中，可以限定观察，以表示作为2D空间中的2D区域或3D空间中的3D区域的位置。例如，观察可以指示在投影的2D图像平面上(例如，从内窥镜摄像机的有利点投影)的限定的像素面积区域。作为另一示例，观察可以指示限定的3D区域，如在由与机器人手术系统100关联的世界3D坐标系限定的3D空间内的3D区域。

在某些示例中，除了表示感兴趣的对象的位置，由图像处理设施602限定的观察(例如，作为神经网络的输出)可以指示感兴趣的对象的一个或多个其他属性。例如，观察可以指示(可以从一序列的图形，如一序列的视频帧导出的)与感兴趣的对象关联的运动提示(例如，速度、加速度等)、与感兴趣的对象关联的手术器械的类型(例如，该感兴趣的对象附接到针头驱动器、抓紧器或烧灼类型的手术工具)、与感兴趣的对象关联的附加位置(例如，感兴趣的对象的另一组件的位置)、相对于该感兴趣的对象的位置的另一感兴趣的对象的位置(例如，相对于手术器械的远端U形夹的手术器械尖端、轴等的位置)和/或与感兴趣的对象关联的取向(例如，远端U形夹的取向)。

图像处理设施602可以经配置使用经训练的神经网络来确定对感兴趣的对象的观察。例如，图像处理设施602可以使用卷积神经网络(“CNN”)或另一个深层前馈人工神经网络以提取感兴趣的对象并限定对感兴趣的对象的观察。

为此，可以训练神经网络，使得该神经网络经配置确定对内窥镜图像中所示的感兴趣的对象的观察。可以以任何合适的方式，如通过使用标记的(例如，手标记的)数据作为训练集执行训练。此类数据可以包括已经用内窥镜图像中所示的对任何感兴趣的对象的观察标记的内窥镜图像。例如，训练图像可以包括示出感兴趣的对象的图像和指示与感兴趣的对象关联的基于图像的位置的标记。该标记可以是以任何合适的形式，如限定与感兴趣的对象在位置上关联的矩形区域(例如，像素区域)的边界框，或与感兴趣的对象在位置上关联的图像的区域的任何其他合适限定。在训练图像中的其他图像可以类似地标记，以指示与感兴趣的对象关联的位置。训练图像中的其他图像可以标记(或不标记)，以指示图像中未示出感兴趣的对象。在一些示例中，附加标记可以添加到训练图像，以指示感兴趣的对象的其他属性，如指示手术器械和/或手术器械的附加组件的类型的标签。可以使用的其他标记的示例包括但不限于指示手术器械上的关键点(例如，器械尖端、诸如徽标或器械表面上的其他标记的器械表面上的特征、器械轴、器械轴轴线等)的标记和指示器械或器械的各组件的每像素分段(例如，器械主体或器械主体的各部分)。可以基于图像的内容和用于手术器械的对应运动之间的差异，选择训练图像中的某些图像用于在训练神经网络中使用，如当对应运动指示手术器械应该在捕获图像的内窥镜的视图内时不示出手术器械的图像。

在已经训练了神经网络之后，图像处理设施602可以使用经训练的神经网络确定对内窥镜图像中所示的感兴趣的对象的观察。在某些示例中，图像处理设施602可以通过提供内窥镜图像作为到经训练的神经网络的输入做到这一点，该设施可以处理内窥镜图像并输出对图像中所示且由经训练的神经网络提取的感兴趣的对象的确定观察。经训练的神经网络可以通过从先前生成的(例如，在神经网络的训练期间标记的)对历史的和/或训练的内窥镜图像的观察选择最可能地或更可能地与正在处理的内窥镜图像匹配的对象，确定对感兴趣的对象的观察。在其他示例中，代替输出对感兴趣的对象的观察，经训练的神经网络可以输出指示所提取的感兴趣的对象的数据，并且图像处理设施602可以使用来自经训练的神经网络的这种输出，以限定或补充对感兴趣的对象的观察，如通过限定涵盖感兴趣的对象的区域且/或向该观察添加另一属性。在本文示出了确定对内窥镜图像中所示的感兴趣的对象的观察的图像处理设施602的示例。

由图像处理设施602确定的对感兴趣的对象的观察可以考虑为指示用于手术器械的候选的基于图像的位置，至少因为图像处理设施602尚未将由图像处理设施602确定和输出的观察与手术区域处的任何特定手术器械关联。图像处理设施602可以提供表示对由关联设施604进行的访问和使用的观察的数据，以将该观察与由关联设施604确定以由感兴趣的对象表示的适当手术器械关联，或者与当关联设施604确定感兴趣的对象不表示手术区域处的手术器械时的假阳性指定关联。

关联设施604可以从图像处理设施602访问表示对感兴趣的对象的观察的数据表示，并且基于在手术区域的一个或多个手术器械的运动，将对感兴趣的对象的观察与特定手术器械关联，或者与假阳性指定关联。在某些实施方式中，关联设施604可以经配置确定基于在手术区域的一个或多个手术器械的概率框架和运动作出的关联。作为示例，关联设施604可以基于在手术区域的一个或多个手术器械的运动，确定用于对感兴趣的对象的观察与在手术区域的每个手术器械以及与假阳性指定的潜在关联的概率。然后，关联设施604可以选择最高的概率关联，并且将观察与手术器械或具有最高概率的假阳性指定关联。作为另一示例，关联设施604可以基于在手术区域的一个或多个手术器械的运动，确定用于在观察和手术器械或假阳性指定之间的每个可能的一组一对一关联的概率。然后，关联设施604可以选择最高概率组的一对一关联，并且根据所选择的一组关联将观察与相应的手术器械或假阳性指定关联。本文描述了使用概率框架和运动将观察与手术器械或假阳性指定关联的关联设施604的示例。

关联设施604可以输出表示由关联设施604作出的关联的数据，如表示观察和关联的手术器械的数据。在一些示例中，关联设施604可以避免输出表示与假阳性指定关联的观察的数据。

位置确定设施606可以访问由关联设施604输出的数据，如表示观察和关联的手术器械的数据。位置确定设施606可以使用所访问的数据，以基于手术器械的运动和与手术器械关联的观察，确定手术器械在手术区域的物理位置。

在某些示例中，位置确定设施606可以实施并使用非线性估计器，如无味的卡尔曼过滤器或其他贝叶斯过滤器，以基于手术器械的运动和与手术器械关联的观察，确定手术器械在手术区域的物理位置。例如，位置确定设施606可以将观察和运动输入无味的卡尔曼过滤器中，该过滤器可以使用观察和运动确定并输出手术器械在手术区域的物理位置。手术器械在手术区域的物理位置可以以任何合适的方式表示，包括表示手术器械的组件在3D空间，如与机器人手术系统100关联的世界3D空间中的3D位置(例如，手术器械的远端U形夹或远侧尖端的3D位置)的坐标。

在某些实施方式中，位置确定设施606可以经配置通过校正由运动表示的手术器械的基于运动的位置，基于由观察表示的感兴趣的对象的基于图像的位置确定手术器械的物理位置。例如，无味的卡尔曼过滤器可以经配置基于由观察指示的感兴趣的对象的基于图像的位置，调整手术器械的基于运动的位置。该调整可以以任何合适的方式作出，如通过将校正变换应用于基于运动的位置。在某些实施方式中，位置确定设施606可以经配置尽可能快地将校正变换应用于基于运动的位置，这可以与图像处理设施602一样快地能够从内窥镜图像提取感兴趣的对象并确定对相关的感兴趣的对象的观察。通过校正基于运动的位置与所观察的基于图像的位置，当观察不可用时，如当手术器械从内窥镜图像不可提取时(例如，当手术器械隐藏在组织后面时，当手术区域中有大量烟雾时，当手术器械是在内窥镜的视野之外时等)，跟踪系统600能够使用运动。当表示手术器械的对感兴趣的对象的观察是可用的且用于校正手术器械的基于运动的位置时，跟踪系统600能够用比当单独使用运动而无观察时更多的准确性和/或精确性跟踪手术器械的物理位置。这可以有助于消除或减少在基于运动的位置中的错误(例如，由沿机器人系统运动链的在接合编码器中的错误的累积引起的在器械尖端位置中的错误)，如当单独基于运动确定全球3D世界坐标系中的绝对位置时可以发现的刚性错误和/或可以由手术器械(可以安装在长的运动链上)的大运动引起的错误。

由位置确定设施606确定的手术器械的物理位置可以用于在外科手术期间在手术区域处跟踪该手术器械。通过以这种方式跟踪手术器械，机器人手术系统100可以提供利用手术器械的所跟踪的物理位置的一个或多个特征。此类特征的示例在本文进行了描述。

存储设施608可以存储并维持由设施602至606在特定实施方式中接收、生成、管理、维持、使用和/或传输的任何数据。例如，存储设施608可以存储用于执行本文所述的操作的程序指令(例如，计算机代码)、图像数据、观察数据、运动数据、位置数据和/或如可以服务特定实施方式的任何其他数据。

现在将参照图7至图10描述通过确定手术器械的物理位置跟踪手术器械的系统600的示例。图7示出了手术器械在手术区域内的视图700。如图所示，手术器械可以包括内窥镜702和以一个或多个手术工具的形式的一个或多个其他手术器械704(例如，手术器械704-1至704-3)。虽然图7示出了一个内窥镜702和位于手术区域的三个手术工具，但是任何数量和/或组合的内窥镜和手术工具可以在外科手术期间处于手术区域。组织706表示在手术区域处的解剖组织。

内窥镜702可以捕获在手术区域处的内窥镜图像。在内窥镜702的视野内的任何手术器械704和/或组织706可以在由内窥镜702捕获的内窥镜图像中示出。

图8示出了如由包括在内窥镜702内的摄像机从立体有利点捕获的手术区域的示例性图像802(即图像802-L和802-R)，该内窥镜702在此示例中是立体内窥镜。图像802-L和图像802-R可以分别实施如上面所述的图像516-L和图像516-R。如图所示，每个图像802示出了在内窥镜702的视场内的组织706和手术器械704-1的一部分。

如图所示，图像802是相对地彼此类似。然而，将理解的是由于从其捕获每个图像802的有利点的立体本质，图像802之间也存在稍微差异。因此，当图像802-L呈现给用户(例如，外科医生110-1)的左眼而图像802-R呈现给该用户的右眼时，图像802可以呈现为三维的图像。

至于图像516，图像802中的一个或多个图像可以由系统600以任何合适的方式和/或在任何合适的显示屏上呈现。例如，图像802中的一个或两个图像可以在视觉推车106的显示监测器122上、在外科医生控制台104上的立体观看器402上、在由内窥镜702提供的单视显示器上和/或在与机器人手术系统100或跟踪系统600关联的任何其他显示屏上。

图像处理设施602可以处理图像802中的一个或两个图像，以确定对图像802中所示的任何感兴趣的对象的观察。例如，图像处理设施602可以提供图像802作为到经训练的神经网络的输入，这可以从图像802提取图像802中所示的任何感兴趣的对象。例如，使用经训练的神经网络，图像处理设施602可以提取感兴趣的对象804，该感兴趣的对象804表示图像802中的每个图像中的手术器械704-1的远端U形夹。然后，图像处理设施602可以基于图像802和所提取的感兴趣的对象804，限定对感兴趣的对象804的观察。例如，图像处理设施602可以限定包括边界框806的观察，该边界框806表示图像802中的每个图像中的远端U形夹的基于图像的位置。虽然矩形边界框806在图8中示出以表示由对感兴趣的对象804的观察指示的基于图像的位置，但是任何合适的几何区域(例如，椭圆)、坐标点或其他位置指示器可以在其他示例中使用，以表示由对感兴趣的对象的观察指示的基于图像的位置。例如，可以限定边界框或其他位置指示器，以识别任何器械部件(例如，器械尖端、轴、标记等)。在某些其他示例中，观察可以限定形成器械“骨架(skeleton)”的线，或者观察可以限定器械件或器械的各部件的每像素分段(例如，其中表示器械部件的像素和不表示该器械部件的像素表示为诸如黑白颜色值的不同的二进制值的图像)。另外，虽然远端U形夹由感兴趣的对象804在图像802中的每个图像中表示，但是任何合适的感兴趣的对象，如手术器械的附加或另外的组件可以被限定为由经训练的神经网络可提取的感兴趣的对象。

在某些示例中，使用经训练的神经网络的图像处理设施602可以基于指示感兴趣的对象可以表示手术器械的特征提取感兴趣的对象，即使该感兴趣的对象实际上不表示手术器械。例如，使用经训练的神经网络，图像处理设施602可以提取感兴趣的对象808，该感兴趣的对象808实际上是组织706的一部分，该部分具有指示该感兴趣的对象808可以表示手术器械的特征。然后，图像处理设施602可以基于图像802和所提取的感兴趣的对象808，限定对感兴趣的对象808的观察。例如，如图8中所示，图像处理设施602可以限定包括边界框810的观察，该边界框810表示图像802中的每个图像的感兴趣的对象808的基于图像的位置。

图像处理设施602可以类似地提取图像802中所示的任何其他感兴趣的对象(例如，如果另一手术器械在内窥镜702的视场内表示另一手术器械的感兴趣的对象)，并且限定对于那个感兴趣的对象的观察。

由图像处理设施602确定的对感兴趣的对象的观察可以以任何合适的方式表示该感兴趣的对象的基于图像的位置。例如，观察可以表示在图像内的2D区域(例如，从诸如内窥镜702的视点的视点投影的投影平面上的像素区域或其他2D区域)。作为另一示例，观察可以表示由世界3D坐标系统表示的3D空间内的3D区域，该3D区域可以从内窥镜图像内的所识别的2D区域导出(例如，从立体内窥镜图像中的2D区域导出)。作为另一示例，观察可以是单个坐标位置或一组在2D区域或3D空间的一个或多个坐标位置。此类观察的示例在本文更详细地描述。

在某些示例中，图像处理设施602可以不具有手术器械704的信息或手术器械704的运动，并且可以仅基于内窥镜图像并使用经训练的神经网络(例如，通过将内窥镜图像输入到经训练的神经网络，后者输出观察)来确定观察。因此，图像处理设施602不可以确定该观察是否表示手术器械或假阳性指定，或者具体的手术器械由该观察表示。

关联设施604可以基于手术器械中的一个或多个手术器械在手术区域的概率框架和运动(例如，内窥镜702和/或手术器械704中的一个或多个手术器械的运动)，将每个确定的观察与手术器械704中的特定一个手术器械或假阳性指定关联。在某些实施方式中，这可以包括用于由图像处理设施602确定的观察的关联设施604，该关联设施604确定每个潜在关联的概率并选择具有最高概率的潜在关联。

作为示例，关联设施604可以基于考虑到一个或多个手术器械在手术区域的运动(例如，由运动指示的基于3D运动的位置)的一个或多个合适的概率算法，确定边界框806表示手术器械704-1的概率、边界框806表示手术器械704-2的概率、边界框806表示手术器械704-3的概率和边界框806表示假阳性的概率。然后，关联设施604可以选择所确定的最高概率，并且将边界框806与手术器械704或具有最高概率的假阳性指定关联。对于图8中所示的情景，关联设施604可以至少部分地基于手术器械704-1的基于运动的位置(如由运动指示)和由边界框806表示的观察的基于图像的位置之间的接近的距离关系(例如，与由边界框806表示的观察的基于图像的位置和手术器械704-2和704-3的基于运动的位置之间的更远的关系相比)，确定边界框806与手术器械704-1的关联具有最高概率。

图9示出了在上述示例中的可以由关联设施604使用以将边界框806与手术器械704-1关联的示例性概率框架900。在所示的概率框架900中，关联设施604确定用于边界框806与手术器械704-1的潜在关联902-1的概率P1、用于边界框806与手术器械704-2的潜在关联902-2的概率P2、用于边界框806与手术器械704-3的潜在关联902-3的概率P3和用于边界框806与假阳性指定904的潜在关联902-1的概率P4。在图9中，框906包含所确定的用于相应的潜在关联的概率P1、P2、P3和P4。关联设施604可以从P1、P2、P3和P4选择最高概率值，并且根据具有最高概率的潜在关联，限定边界框806与特定手术器械704或假阳性指定904的关联。

作为使用此类概率框架的另一示例，关联设施604可以基于考虑到一个或多个手术器械在手术区域的运动的一个或多个合适的概率算法，确定边界框810表示手术器械704-1的概率、边界框810表示手术器械704-2的概率、边界框810表示手术器械704-3的概率和边界框810表示假阳性的概率。然后，关联设施604可以选择所确定的最高概率，并且将边界框810与手术器械704或具有最高概率的假阳性关联。对于图8中所示的情景，关联设施604可以至少部分地基于由边界框810表示的观察的基于图像的位置和手术器械704的基于运动的位置之间的接近的距离关系的缺少，确定边界框810与假阳性指定的关联具有最高概率。

在某些实施方式中，关联设施604可以确定并作出分别用于由图像处理设施602确定的每个观察的基于最高概率的关联，如在上述的示例中。在作出此类用于观察的关联中，关联设施604可以确定观察的潜在关联的概率，而不考虑从内窥镜图像确定的其他观察。因此，观察与手术器械或假阳性指定的关联可以独立于从内窥镜图像确定的任何其他观察的关联作出。例如，由边界框806表示的观察可以独立于由边界框810表示的观察和/或独立于由边界框810表示的观察与手术器械或假阳性指定的关联，与手术器械704或假阳性指定关联。

在其他实施方式中，当确定观察的基于最高概率的关联时，关联设施604可以考虑一个或多个其他观察和/或这些观察的关联。此类其他观察可以包括从相同的内窥镜图像(例如，从相同的内窥镜图像)确定的观察、从诸如立体图像等另一内窥镜图像确定的观察和/或从诸如先前视频帧的较早的内窥镜图像确定的观察。

在某些实施方式中，关联设施604可以经配置通过共同地考虑由图像处理设施602从内窥镜图像确定的所有观察，确定并作出基于最高概率的关联。例如，作为确定由图像处理设施602从内窥镜图像确定的观察的潜在关联的概率的一部分，关联设施604可以确定并考虑由图像处理设施602从内窥镜图像确定的一个或多个观察的潜在关联的概率。关联设施604可以共同地考虑概率，以确定观察的最高概率关联。

在某些示例中，关联设施604可以通过确定用于观察和手术器械或假阳性之间的每个潜在组的关联的概率，共同地确定潜在关联的概率。例如，对于图8中所示的情景，关联设施604可以确定用于边界框806和810与手术器械704或假阳性的每个潜在组的关联的概率，并且选择具有最高概率的一组关联。例如，关联设施604可以确定其中边界框806与手术器械704-1关联和边界框810与假阳性指定关联的一组关联具有比每个其他的潜在组的关联更高的概率(作为一组)。

图10示出了在上述示例中可以用于将边界框806与手术器械704-1关联和将边界框810与假阳性指定关联的示例性概率框架1000。基于所示的概率框架1000，关联设施604可以确定用于第一组潜在关联1002-1的概率PR1和用于第二组潜在关联1002-2的概率PR2。如图所示，第一组潜在关联1002-1包括边界框806与手术器械704-1的潜在关联1004-1和边界框810与手术器械704-2的潜在关联1004-2。第一组潜在关联1002-1包括与手术器械704-3的无潜在关联或与假阳性指定的无潜在关联。还如图所示，第二组潜在关联1002-2包括边界框806与手术器械704-1的潜在关联1006-1和边界框810与假阳性指定1008的潜在关联1006-2。第二组潜在关联1002-2包括与手术器械704-2和704-3的无潜在关联。第一组潜在关联1002-1和第二组潜在关联1002-2表示边界框806和810与手术器械704-1、704-2和704-3或假阳性指定之间的两个可能组的潜在一对一关联。关联设施604可以确定用于每个可能组的潜在关联的概率，包括用于第一组潜在关联1002-1和第二组潜在关联1002-2的概率。

在图10中，为了说明性目的，框1010仅包含用于相应组的潜在关联1002-1和1002-2的所确定的概率PR1和PR2。关联设施604可以从PR1和PR2(和用于任何其他组的潜在关联的概率)选择最高概率值，并且根据具有最高概率的一组潜在关联，限定边界框806和边界框810与相应的手术器械704或假阳性指定1008的关联。例如，关联设施604可以基于一个或多个手术器械704-1、704-2和704-3的概率框架和运动选择具有最高概率的第二组潜在关联1002-2，并且可以将边界框806与手术器械704-1关联并将边界框810与假阳性指定1008关联。

概率框架的上述示例仅是说明性的。关联设施604可以实施任何合适的概率算法和/或概率框架，以确定潜在关联的概率和/或各组潜在关联的概率。概率算法可以经配置考虑到概率确定中的一个或多个手术器械的基于运动的位置。在某些实施方式中，给定潜在关联或各组潜在关联，每个潜在关联的概率或每组潜在关联的概率可以是在条件上独立的，并且用于此类条件独立性的适当概率算法可以用作由关联设施604进行的概率框架。

关联设施604可以使用任何合适的运动信息，以确定观察与手术器械或假阳性的潜在关联的概率。例如，在某些实施例中，关联设施604可以使用内窥镜702的运动和/或其他属性(例如，取向、视场、透镜属性等)，以确定潜在关联的概率。例如，关联设施604可以使用内窥镜702的基于运动的位置和取向和手术器械704的基于运动的位置和/或取向(例如，诸如器械轴、尖端、U形夹等具体器械部件的位置和/或取向)，以确定手术器械704在内窥镜702的视场内的概率，该概率可以由关联设施604使用，以确定边界框806对应于手术器械704或假阳性的概率和/或边界框810对应于手术器械704或假阳性的概率。

关联设施604可以经配置使用关于手术器械的任何合适信息，以确定观察与手术器械或假阳性的潜在关联的概率。例如，关联设施604可以使用由运动信息指示的关于手术器械的类型的信息、由观察指示的关于所观察的手术器械类型的信息和/或由运动信息和/或观察指示的关于手术器械部件(例如，手术器械的轴、尖端、U形夹等)的位置和/或取向的信息。

由关联设施604使用的概率框架可以包括观察模型，该观察模型限定要由关联设施604使用的条件概率函数，以基于机器人手术系统的当前状态(例如，基于手术器械的运动和/或用于机器人手术系统的任何其他状态信息)，确定观察表示手术器械或假阳性的概率。

在某些可替代的实施方式中，关联设施604可以经配置基于手术器械在手术区域的运动将观察与手术器械或假阳性指定关联而不使用概率框架。例如，关联设施604可以经配置将观察与在预先限定的距离阈值内的更接近的手术器械关联，或者将观察与当无手术器械在预先限定的距离阈值时的假阳性指定关联。

关联设施604可以以任何合适的方式，如通过将表示观察的数据与表示对应的手术器械的数据或假阳性指定关联，限定或者以其他方式建立关联。关联设施604可以输出表示观察和手术器械之间的所确定的关联的数据。在一些示例中，关联设施604可以避免输出表示观察和假阳性指定之间的所确定的关联的数据，使得位置确定设施606访问并仅使用关联设施604已经与位于手术区域的手术器械关联的观察。

位置确定设施606可以经配置访问并使用表示观察和关联的手术器械的数据，以基于用于关联的手术器械的观察和运动，确定手术器械在手术区域的物理位置。例如，位置确定设施606可以基于用于手术器械704-1的边界框806和运动，确定手术器械704-1在手术区域的物理位置。因为关联设施604已经限定观察和手术器械之间的关联，所以位置确定设施606能够选择并与观察结合使用用于观察的适当的对应手术器械的运动，以确定手术器械的物理位置。

在某些示例中，位置确定设施606可以实施非线性估计器，如无味的卡尔曼过滤器、颗粒过滤器或其他贝叶斯过滤器，以基于手术器械的运动和与手术器械关联的一个或多个观察，确定手术器械的物理位置。位置确定设施606可以通过提供用于手术器械的运动和一个或多个观察作为到非线性估计器的输入做到这一点，该非线性估计器可以处理输入并生成和输出手术器械的所确定的物理位置。

如由位置确定设施606确定的手术器械的物理位置可以表示手术器械的任何合适部件(例如，手术器械的远端U形夹或器械尖端)。在某些示例中，如由位置确定设施606确定的手术器械的物理位置可以指示用于诸如机器人手术系统100等机器人手术系统的在世界3D空间内的3D位置。该物理位置可以以任何合适的方式且/或使用任何合适的数据格式表示。

图11至图14示出了包括经训练的神经网络、概率框架和过滤器的跟踪系统600的示例性实施方式。在此类实施方式中，图像处理设施602可以实施经训练的神经网络，关联设施604可以实施概率框架，并且位置确定设施606可以实施过滤器，该过滤器可以是无味的卡尔曼过滤器或其他贝叶斯过滤器。图11至图14中所示的实施方式可以经配置使用各种形式的内窥镜图像和观察，以确定手术器械的物理位置。因此，图11至图14示出了与跟踪系统600的示例性实施方式关联的数据流。

图11示出了包括经训练的神经网络1102、概率框架1104和过滤器1106的示例性实施方式1100。如图所示，手术区域的内窥镜图像1108可以输入到神经网络1102，该神经网络1102可以基于内窥镜图像1108以本文所述的任何方式确定观察1110。然后，一个或多个手术器械的观察1110和运动1112可以输入到概率框架1104，该概率框架1104可以用于基于运动1112，将观察1110与特定手术器械或假阳性指定关联。例如，关联设施604可以基于运动1112并使用概率框架1104，确定用于观察1110的潜在关联的概率并选择具有最高概率的关联。

当观察1110与使用概率框架1104的特定手术器械关联时，表示观察1110和关联的手术器械的数据1114可以输出用于作为到过滤器1106的输入使用。过滤器1106可以接收并使用用于关联的手术器械的运动1116和表示与手术器械关联的观察1110的数据1114，以确定并输出手术器械在手术区域的物理位置1118。

图12示出了包括经训练的神经网络1202、概率框架1204和过滤器1206的示例性实施方式1200。在所示的示例中，内窥镜图像可以包括可以输入到神经网络1202的内窥镜图像1208，例如，左内窥镜图像1208-L和右内窥镜图像1208-R(可以是彼此成立体的一对2D图像)。神经网络1202可以基于内窥镜图像1208以本文所述的任何方式确定观察1210。如图所示，观察1210可以包括左观察1212-L和右观察1212-R(统称为“观察1212”)。神经网络1202可以基于左内窥镜图像1208-L确定左观察1212-L，并基于右内窥镜图像1208-R确定右观察1212-R。神经网络1202可以经配置独立地一次或并行地处理左内窥镜图像1208-L和右内窥镜图像1208-R，以确定左观察1212-L和右观察1212-R。

一个或多个手术器械的观察1212和运动1214可以输入到概率框架1204，该概率框架1204可以用于基于运动1214将观察1212中的每个观察与特定手术器械或假阳性指定关联。例如，关联设施604可以基于运动1214并使用概率框架1204，确定用于观察1212中的每个观察的潜在关联的概率，并且对于观察1212中的每个观察，选择具有最高概率的潜在关联。

当观察1212均与使用概率框架1204的特定手术器械关联时，表示观察1212和关联的手术器械的数据1216可以输出用于作为到过滤器1206的输入使用。例如，数据1216可以表示左观察和关联的手术器械以及右观察和关联的手术器械，该数据1216可以输出用于作为到过滤器1206的输入使用。

过滤器1206可以接收并使用用于关联的手术器械的运动1218和表示与手术器械关联的观察1212的数据，以确定并输出手术器械在手术区域的物理位置1220。过滤器1206可以以任何合适的方式，包括通过使用一对观察1212-L和1212-R作为到过滤器1206的单独的和独立的输入模型以校正关联的手术器械的运动1218(例如，基于运动的位置)，基于用于关联的手术器械的观察1212和运动1218，确定手术器械的物理位置1220。这可以包括使用观察1212-L和1212-R作为立体图像和在观察1212-L和1212-R上执行一个或多个立体配对的操作，以确定观察1212-L和1212-R中所示的表面的深度并生成如由观察1212-L和1212-R表示的手术器械的基于3D图像的位置(例如，3D坐标或3D盒、球体、椭圆球体等的体积)。过滤器1206可以使用所生成的基于图像的基于3D图像的位置，以校正由运动1218指示的手术器械的基于运动的3D位置来确定在世界3D空间中的物理位置1220。

在所示的示例中，左内窥镜图像1208-L可以由神经网络1202独立于右内窥镜图像1208-R处理，以确定左观察1212-L，该左观察1212-L可以独立于右观察1212-R处理，以将手术器械与左观察1212-L关联。类似地，右内窥镜图像1208-R可以独立于左内窥镜图像1208-R处理，以确定右观察1212-R，该右观察1212-R可以独立于左观察1212-L处理，以将手术器械与右观察1212-R关联。左观察1212-L和右观察1212-R可以输入到过滤器1206(作为独立的观察)并由过滤器1206使用，以基于观察1212和运动1218，确定物理位置1220。

通过允许使用2D数据而不是3D数据执行跟踪系统600的某些操作以确定手术器械的所估计的3D物理位置1220，2D内窥镜图像的此类独立处理可以节省计算资源。此外，甚至当两个观察1212之一是不可用的或者不示出手术器械时，过滤器1206可以确定物理位置1220。例如，如果手术器械在左内窥镜图像1208-L中表示但不在右内窥镜图像1208-R中表示(例如，因为手术器械被组织阻挡了右摄像机的视野)，左内窥镜图像1208-L和右内窥镜图像1208-R可以由神经网络1202处理，以确定与手术器械或假阳性指定关联的观察1212-L和1212-R并输入到过滤器1206。过滤器1206可以处理观察1212-L和1212-R作为输入，以生成手术器械的物理位置1220，即使右观察1212-R不与手术器械关联。可替代地，当右观察1212-R通过关联设施604不与手术器械关联(例如，因为手术器械是在左摄像机视野的视场内但被组织阻挡了右摄像机视野)时，过滤器1206可以仅使用左观察1212-L且不使用右观察1212-R作为输入。由手术器械的过滤器1206确定的物理位置1220的精确性可以维持用于至少一些时间，即使手术器械仅在内窥镜图像1208之一中暂时地示出时也如此。

图12示出了其中一对立体图像1208-L和1208-R输入到神经网络1202中的实施方式1200，该一对立体图像基于相应的立体图像1208-L和1208-R确定一对独立的观察1212-L和1212-R。在其他实施方式中，跟踪系统600可以经配置处理其他形式的内窥镜图像，且/或确定其他格式的其他观察，并且使用其他格式的其他观察来确定手术器械的物理位置。例如，系统600的其他实施方式可以经配置处理组合内窥镜图像，该组合内窥镜图像可以包括组合成(堆叠成)聚集的内窥镜图像的多个内窥镜图像，如堆叠成组合图像的一对立体内窥镜图像，或堆叠成组合图像的一序列的多个内窥镜图像(例如，一序列的两个、三个或更多个视频帧)。另外地或可替代地，系统600的其他实施方式可以经配置确定指示内窥镜图像中所示的感兴趣的对象的基于3D图像的位置的观察。

图13示出了包括经训练的神经网络1302、概率框架1304和过滤器1306的示例性实施方式1300。在所示的示例中，内窥镜图像可以包括彼此成立体的左2D内窥镜图像1308-L和右2D内窥镜图像1308-R。图像处理设施602可以组合内窥镜图像1308-L和1308-R，以形成组合内窥镜图像1308-C。这可以以任何合适的方式执行，如通过图像处理设施602堆叠内窥镜图像1308-L和1308-R以形成组合内窥镜图像1308-C。例如，如果内窥镜图像1308-L和1308-R每个包括3通道RGB图像，图像处理设施602可以堆叠该3通道RGB图像，以形成6通道组合图像。

图像处理设施602可以将组合内窥镜图像1308-C输入到神经网络1302中，该神经网络可以适当地配置以基于组合内窥镜图像1308-C，以本文所述的任何方法确定观察1310。在某些示例中，神经网络1302可以经配置确定观察1310，使得观察1310指示组合内窥镜图像1308-C中所示的感兴趣的对象在3D空间中的基于3D图像的位置(例如，通过执行立体配对操作，以从表示示出感兴趣的对象的组合立体图像的组合内窥镜图像1308-C确定用于感兴趣的对象的表面的深度值)。

在可替代的实施方式中，图像处理设施602可以接收内窥镜图像1308-L和1308-R而不是组合内窥镜图像1308-C，并且在内窥镜图像1308-L和1308-R上执行立体配对操作，以从内窥镜图像1308-L和1308-R确定用于感兴趣的对象的表面的深度值。使用所确定的深度值，神经网络1302可以确定观察1310，使得观察1310指示感兴趣的对象在3D空间中的基于3D图像的位置。

然后，一个或多个手术器械的观察1310和运动1312可以输入到概率框架1304，该概率框架1304可以用于基于运动1312将观察1310与特定手术器械或假阳性指定关联，如通过关联设施604基于运动1312并使用概率框架1304确定用于观察1310的潜在关联的概率以及选择具有最高概率的关联。因为观察1310指示感兴趣的对象在3D空间中的基于3D图像的位置，所以关联设施604可以使用3D空间数据执行某些操作。例如，关联设施604可以相对于一个或多个手术器械在3D空间中的一个或多个基于3D运动的位置分析感兴趣的对象在3D空间中的基于3D图像的位置，该基于3D运动的位置由运动1312指示。关联设施604可以使用分析的结果(例如，所确定的距离)，以确定用于观察1310的潜在关联的概率。

当观察1310与使用概率框架1304的特定手术器械关联时，表示观察1310和关联的手术器械的数据1314可以输出用于作为到过滤器1306的输入使用。过滤器1306可以访问并使用用于关联的手术器械的运动1316和表示与手术器械关联的观察1310的数据1314，以确定并输出手术器械在手术区域的物理位置1318。因为观察1310指示感兴趣的对象在3D空间中的基于3D图像的位置，所以过滤器1306可以使用3D空间数据执行某些操作。例如，过滤器1306可以通过调整如由运动1316指示的手术器械的基于3D运动的位置与如由观察1310指示的感兴趣的对象的基于3D图像的位置确定手术器械的物理位置1318，以确定手术器械在诸如与机器人手术系统关联的全球3D空间的3D空间中的3D物理位置。

通过执行在3D空间中的某些操作，实施方式1300可以确定手术器械的高度精确物理位置1318，特别是相对于手术器械的深度。另外或可替代地，通过使用由观察1310指示的基于3D图像的位置，实施方式1300可以最小化从2D空间到3D空间的平移的数量，这些平移经执行确定手术器械的物理位置1318。

图14示出了包括经训练的神经网络1402、概率框架1404和过滤器1406的示例性实施方式1400。在所示的示例中，内窥镜图像可以包括随时间捕获的一序列的内窥镜图像(例如，一序列的视频帧)，如在时间T1、T2和T3处捕获的内窥镜图像1408-T1、1408-T2和1408-T3。图像处理设施602可以组合内窥镜图像1408-T1、1408-T2和1408-T3，以形成组合内窥镜图像1408-C。这可以以任何合适的方式执行，如通过图像处理设施602堆叠内窥镜图像1408-T1、1408-T2和1408-T3，以形成组合内窥镜图像1408-C。例如，如果内窥镜图像1408-T1、1408-T2和1408-T3每个包括3通道RGB图像，图像处理设施602可以堆叠该3通道RGB图像，以形成9通道组合图像。

图像处理设施602可以将组合内窥镜图像1408-C输入到神经网络1402中，该神经网络可以适当地配置，以基于组合内窥镜图像1408-C，以本文所述的任何方式确定观察1410。在某些示例中，神经网络1402可以经配置确定观察1410，使得观察1410指示组合内窥镜图像1408-C中所示的感兴趣的对象的基于图像的位置。神经网络1402可以经配置从表示在不同时间处捕获的一序列的内窥镜图像的组合内窥镜图像1408-C识别感兴趣的对象的运动(例如，速度、加速度等)，并使用所识别的运动确定感兴趣的对象的基于图像的位置。在一些示例中，这可以包括使用所识别的运动来确定用于感兴趣的对象的表面的深度点，以及确定感兴趣的对象的基于3D图像的位置，这些可以特别地有利于从相同的有利点捕获的一序列2D图像估计深度(例如，当手术器械是在仅一个摄像机的视场内时)。基于运动的提示的使用可以有助于感兴趣的对象的基于图像的位置的精确性。该感兴趣的对象的基于图像的位置可以包括基于2D图像或3D图像的位置，如本文所述的位置。

然后，一个或多个手术器械的观察1410和运动1412可以输入到概率框架1404，该概率框架1404可以用于基于运动1412，如通过关联设施604基于运动1412并使用概率框架1404确定用于观察1410的潜在关联的概率并且选择具有最高概率的关联，将观察1410与特定的手术器械或假阳性指定关联。

当观察1410与使用概率框架1404的特定手术器械关联时，表示观察1410和关联的手术器械的数据1414可以输出用于作为到过滤器1406的输入使用。过滤器1406可以访问并使用用于关联的手术器械的运动1416和表示与手术器械关联的观察1410的数据1414，以确定并输出手术器械在手术区域的物理位置1418。

虽然图11至图14示出了经配置处理各种形式的内窥镜图像且/或确定各种观察的跟踪系统600的示例性实施方式，该示例是说明性的。其他实施方式可以经配置处理其他形式的图像(例如，其他形式的内窥镜图像和/或非内窥镜图像)，且/或确定其他合适的观察。为此，神经网络可以适当地配置，以适合特定实施方式。

通过如本文所述，使用手术器械的基于图像的观察和运动的组合来跟踪手术器械，某些技术益处可以由跟踪系统600提供。例如，与使用仅基于图像的跟踪或仅基于运动的跟踪相比，可以提高跟踪手术器械的准确性、精确性、效率和/或可靠性。例如，由手术器械的运动指示的基于运动的位置可以用于将手术器械的物理位置确定为某一精确性水平(例如，在适当的一厘米内)。通过如本文所述，校正手术器械的基于运动的位置与由观察指示的基于图像的位置，手术器械的物理位置可以被确定并且可以具有改进的精确性水平(例如，在适当的一厘米内)。

图15示出了手术器械的所确定的物理位置的此类改进的精确性水平的示例。图15示出了手术区域的内窥镜图像1500。内窥镜图像1500示出了位于手术区域的手术器械1502。为了示出仅基于运动确定的与手术器械1502的物理位置关联的精确性水平，指示器1504(例如，表示椭圆体的椭圆)覆盖在内窥镜图像1500上，并且通过指示器1504的尺寸和/或由指示器1504覆盖的区域，指示用于手术器械1502的基于运动的位置的精确性水平。为了示出基于两个运动和一个或多个基于图像的观察确定的手术器械1502的物理位置关联的改进的精确性水平，指示器1506(例如，表示球体的圆)覆盖在内窥镜图像1500上，并且通过指示器1506的尺寸和/或由指示器1506覆盖的区域，指示如本文所述，基于两个运动和一个或多个基于图像的观察确定的用于手术器械1502的物理位置的精确性水平。

在某些实施方式中，跟踪系统600可以经配置选择性地捕获并使用内窥镜图像，以跟踪手术器械。例如，跟踪系统600可以经配置使用用于手术器械的运动，以当捕获并使用内窥镜图像时选择跟踪手术器械。为了说明，跟踪系统600可以选择性地使用内窥镜图像，以响应于如由用于手术器械的运动指示的手术器械的运动和/或响应于如由用于内窥镜的运动指示的内窥镜的取向、角度、位置或其他属性的变化，跟踪该手术器械。因此，跟踪系统600可以经配置在单独使用运动而不使用基于图像的观察跟踪该手术器械和如本文所述使用运动和基于图像的观察跟踪该手术器械之间切换。此类实施方式可以节省跟踪系统600和/或机器人手术系统的资源(例如，计算资源、能量等)。

如本文所述的手术器械的跟踪可以提供机器人手术系统的一个或多个益处。例如，如本文所述的手术器械的跟踪可以促进机器人手术系统的一个或多个特征。在某些实施方式中，如本文所述确定的手术器械的物理位置的精确性水平可以促进要求高精确性水平的机器人手术系统的某些特征。

作为示例，如本文所述的手术器械的跟踪可以由机器人手术系统使用，以相对于手术器械的物理位置或相对于已经由手术器械触摸的具体组织的物理位置，将某些用户界面内容(例如，图像、图标、指示器等)放置在显示屏上。为了说明，机器人手术系统可以以靠近手术器械的尖端定位用户界面内容而不从外科医生或其他手术团队成员的视线遮挡该手术器械的方式，在显示屏上将用户界面内容与手术器械的视觉表示并置。例如，可以放置指示器，以使该指示器容易由外科医生看见而不要求外科医生从手术器械的邻近区域移开视线的方式，向外科医生指示操作模式(例如，用于烧灼的高能量模式)，或者可以放置指示器，以指示已经由探针触摸的具体组织，以帮助外科医生查看该探针已经对哪些组织进行了分析。可以向手术团队和因此向患者提供益处的用户界面内容的这种紧密放置可以由手术器械的物理位置的精确确定促进，如本文所述。

作为其他示例，如本文所述的手术器械的跟踪可以由机器人手术系统使用，以警告或防止手术器械和/或机械臂的碰撞，自动化手术器械的运动，使得机器人手术系统可以控制手术器械的某些运动(例如，通过自动化诸如癌症探针等探针的运动以系统地触摸组织的表面点，如基于手术工具的运动自动化内窥镜的运动等)，认识到某些任务正在外科手术期间执行(例如，通过认识手术过程的限定的分段何时执行)，校正手术器械的运动的不精确性，如由长运动链引起的不精确性和/或手术器械的柔性轴(例如，单端口进入系统中使用的柔性轴)的柔性，并且校准手术器械和/或机械臂(例如，通过将手术器械移动到内窥镜的视场中并使用从该情景的一个或多个图像提取的信息，以校准手术器械)，这与传统的校准技术相比可以改进用于校准的工作流。这些示例仅是说明性的。如本文所述的手术器械的跟踪可以由机器人手术系统以任何其他合适的方式使用。

在某些示例中，内窥镜图像可以(例如，由跟踪系统600使用)用于在摄像机(例如，内窥镜的摄像机)和安装在分开的患者侧系统(例如，分开的患者侧推车)上的机械臂之间的摄像机臂配准。在内窥镜和手术器械安装到相同的患者侧推车的机械臂的实施方式中，如在上面描述的那些实施方式中，连接内窥镜和手术器械的运动链是已知的，并且基于已知的运动链的内窥镜和手术器械的运动可以由跟踪系统600访问和使用，以如本文所述，跟踪器械位置。然而，在内窥镜和手术器械安装到分开的未连接的患者侧推车的机械臂的其他实施方式中，不存在连接内窥镜和手术器械的已知的完整运动链，因为患者侧推车之间的运动链中的链接是未知的。也就是说，患者侧推车之间的物理关系是未知的，并且因此不可由跟踪系统600访问。在具有分开的患者侧推车的此类实施方式中，跟踪系统600可以经配置使用由内窥镜捕获的内窥镜图像，以执行配准过程，以将安装在一个患者侧推车上的手术器械与安装在另一个患者侧推车上的内窥镜配准。跟踪系统600可以经配置一次地和/或在初始配准之后周期地或连续地执行配准过程(例如，作为校准、设置过程或其他初始配准的一部分)，以完善初始配准(例如，考虑到物理位置的变化，这些变化可以具有各种运动错误)且/或以考虑到患者侧推车位置的物理调整(例如，患者侧推车的术中调整)。

为了执行该配准过程，跟踪系统600可以基于手术区域的内窥镜图像并使用经训练的神经网络，确定手术器械的位置(例如，手术器械轴在左内窥镜图像和右内窥镜图像中的位置)。在某些示例中，这可以包括跟踪系统600使用经训练的神经网络确定对内窥镜图像中所示的感兴趣的对象的观察，以任何合适的方式(例如，对象识别)将对感兴趣的对象的观察与手术器械关联，以及(例如，基于图像的位置)确定手术器械的位置。

然后，跟踪系统600可以执行约束的优化，以将手术器械的模型(例如，手术器械的轴的模型)配合到手术器械的所确定的位置(例如，配合到手术器械轴在左内窥镜图像和右内窥镜图像中的位置)。跟踪系统600可以经配置约束优化，以仅搜索解决方案，这些解决方案是在放置有患者推车的地板的平面上的旋转和平移。该约束的优化可以提供比在所有六个自由度中执行的传统优化更快和/或更精确的结果。

跟踪系统600可以一次对一个手术器械或同时对多个器械执行配准过程。如果单个手术器械安装在单个患者侧推车上且/或单独安装或配准，观察与手术器械的关联可以是简单的。如果两个或更多个手术器械各自安装在分开的患者侧推车上且/或同时地安装或配准，跟踪系统600可以经配置以任何合适的方式(包括通过如本文所述使用概率框架)将从内窥镜图像确定的观察与手术器械关联。

配准过程可以由跟踪系统600使用，以确定将安装在分开的患者侧推车上的内窥镜和手术器械连接的运动链中的缺少的链接。跟踪系统600可以将该缺少的链接表示为限定患者侧推车之间的估计的物理关系的变换。该变换可以限定旋转和平移，该旋转和平移可以应用于将数据点从一个患者侧推车的参考框架转换为另一个患者侧推车的参考框架(例如，将坐标点从一个患者侧推车的坐标系转换为另一患者侧推车的坐标系)，反之亦然。

跟踪系统600可以使用缺少的链接来完成将安装在分开的患者侧推车上的内窥镜和手术器械连接的运动链，使得该完整的运动链是已知的且可访问跟踪系统600。然后，跟踪系统600可以使用内窥镜和/或手术器械的运动，以跟踪手术器械的位置，如本文所述。例如，跟踪系统600可以如本文所述，使用内窥镜图像，以校正手术器械的运动位置。

在某些示例中，如本文所述的神经网络的使用可以提供优于常规计算机视觉技术的一个或多个优点。例如，如本文所述，确定对内窥镜图像中所示的感兴趣的对象的观察的神经网络的使用可以显著地比常规计算机视觉技术(例如，其中从图像提取具体特征的算法是人工设计的传统纯视觉方法)更快和/或更精确。已经发现，确定对手术器械的远端U形夹的观察的神经网络的某些实施方式大约是常规的基于标记的计算机视觉技术的速度的十倍(例如，与1Hz相比的10Hz的速度)。

如本所用，神经网络可以包括输入层、任何合适数量的隐藏层和输出层。在其中多个隐藏层包括在神经网络中的示例性实施方式中，多个隐藏层可以以任何合适的方式分层。包括多个隐藏层的神经网络可以称为“深层神经网络”。

虽然本文描述了包括和/或使用神经网络的示例性实施例，但是可替代的实施方式可以使用其他合适的机器学习模型，这些其他合适的机器学习模型经配置学习从内窥镜图像提取具体特征的方式用于对象检测和/或分类。

图16示出了跟踪机器人操纵的手术器械的位置的示例性方法1600。虽然图16示出了根据一个实施例的示例性操作，但是其他实施例可以省略、添加到、重新排序和/或修改图16中所示的任何操作。图16中所示的操作中的一个或多个操作可以由诸如系统600的跟踪系统、其中包括的任何组件和/或它们的任何实施方式执行。

在操作1602中，跟踪系统可以基于手术区域的内窥镜图像并使用经训练的神经网络，确定对内窥镜图像中所示的感兴趣的对象的观察。操作1602可以以本文所述的任何方式执行。

在操作1604中，该跟踪系统可以基于位于手术区域的机器人操纵的手术器械的概率框架和运动，将对感兴趣的对象的观察与机器人操纵的手术器械关联。操作1604可以以本文所述的任何方式执行。

在操作1606中，该跟踪系统可以基于机器人操纵的手术器械的运动和与机器人操纵的手术器械关联的观察，确定机器人操纵的手术器械在手术区域的物理位置。操作1606可以以本文所述的任何方式执行。

图17示出了跟踪机器人操纵的手术器械的位置的另一示例性方法1700。虽然图17示出了根据一个实施例的示例性操作，但是其他实施例可以省略、添加到、重新排序和/或修改图17中所示的任何操作。图17中所示的操作中的一个或多个操作可以由诸如系统600的跟踪系统、其中包括的任何组件和/或它们的任何实施方式执行。

在操作1702中，跟踪系统可以基于手术区域的内窥镜图像并使用经训练的神经网络，确定对内窥镜图像中所示的感兴趣的对象的观察。操作1702可以以本文所述的任何方式执行。

在操作1704中，该跟踪系统可以基于位于手术区域的机器人操纵的手术器械的运动，将对感兴趣的对象的观察与机器人操纵的手术器械或假阳性指定关联。操作1704可以以本文所述的任何方式执行。

在操作1706中，当在操作1704中将感兴趣的观察与机器人操纵的手术器械关联时，该跟踪系统可以基于机器人操纵的手术器械的运动和与机器人操纵的手术器械关联的观察，确定机器人操纵的手术器械在手术区域的物理位置。操作1706可以以本文所述的任何方式执行。

在操作1708中，当在操作1704中将感兴趣的对象的观察与假阳性指定关联时，该跟踪系统可以避免使用观察确定机器人操纵的手术器械在手术区域的物理位置。操作1706可以以本文所述的任何方式执行。

在某些实施例中，本文所述的系统、组件和/或过程中的一个或多个可以由一个或多个适当配置的计算装置实施和/或执行。为此，上述的系统和/或组件中的一个或多个可以包括或者由在至少一个非暂时性计算机可读介质上实施的任何计算机硬件和/或计算机实施的指令(例如，软件)实施，该至少一个非暂时性计算机可读介质经配置执行本文所述的过程中的一个或多个。特别地，系统组件可以在一个物理计算装置上实施，或者可以在一个以上的物理计算装置上实施。因此，系统组件可以包括任何数量的计算装置，并且可以采用大量计算机操作系统中的任何计算机操作系统。

在某些实施例中，本文所述的过程中的一个或多个可以至少部分地实施为在非暂时性计算机可读介质中实施并由一个或多个计算装置可执行的指令。通常地，处理器(例如，微处理器)从非暂时性计算机可读介质(例如，存储器等)接收指令，并且执行那些指令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。此类指令可以使用各种已知的计算机可读介质中的任何计算机可读介质存储和/或传输。

计算机可读介质(也称为处理器可读介质)包括参与提供数据(例如，指令)的任何非暂时性介质，该数据可以由计算机(例如，由计算机的处理器)读取。此类介质可以采取许多形式，包括但不限于非易失性介质和/或易失性介质。非易失性介质可以包括例如光盘或磁盘和其他永久性存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(“DRAM”)。计算机可读介质的常见形式可以包括例如磁盘、硬盘、磁带、任何其他磁介质、光盘只读存储器(“CD-ROM”)、数字视频光盘(“DVD”)、任何其他光学介质、随机存取存储器(“RAM”)、可编程只读存储器(“PROM”)、电可擦除可编程只读存储器(“EPROM”)、闪存-EEPROM、任何其他存储芯片或盒式磁带、或计算机可以读取的任何其他有形介质。

图18示出了可以具体地配置以执行本文所述的过程中的一个或多个过程的示例性计算装置1800。如图18中所示，计算装置1800可以包括经由通信基础结构1810通信地连接的通信接口1802、处理器1804、存储装置1806和输入/输出(“I/O”)模块1808。虽然图18中示出了示例性计算装置1800，但是图18中所示的组件不意在限制。附加或可替代的组件可以在其他实施例中使用。现在将另外详细地描述图18中所示的计算装置1800的组件。

通信接口1802可以经配置与一个或多个计算装置通信。通信接口1802的示例包括但不限于有线的网络接口(如网络接口卡)、无线网络接口(如无线网络接口卡)、调制器、音频/视频连接件和任何其他合适的接口。

处理器1804通常表示任何类型或形式的处理单元，该处理单元能够处理数据或者解释、执行和/或引导本文所述的指令、过程和/或操作中的一个或多个的执行。处理器1804可以引导根据一个或多个应用1812的操作或诸如可以存储在存储装置1806或另一计算机可读介质中的其他计算机可执行指令的执行。

存储装置1806可以包括一个或多个数据存储介质、装置或配置，并且可以采用任何类型、形式的数据存储介质和/或装置和数据存储介质和/或装置的组合。例如，存储装置1806可以包括但不限于，硬盘驱动器、网络驱动器、闪存驱动器、磁盘、光盘、RAM、动态RAM、其他非易失性和/或易失性数据存储单元、或它们的组合或子组合。包括本文所述的数据的电子数据可以暂时地和/或永久地存储在存储装置1806中。例如，表示经配置引导处理器1804执行本文所述的任何操作的一个或多个可执行应用1812的数据可以存储在存储装置1806中。在一些示例中，数据可以布置在驻留在存储装置1806的一个或多个数据库中。

I/O模块1808可以包括经配置接收用户输入并提供用户输出的一个或多个I/O模块。一个或多个I/O模块可以用于接收用于单个虚拟现实体验的输入。I/O模块可以包括支持输入和输出能力的任何硬件、固件、软件或它们的组合。例如，I/O模块1808可以包括用于捕获用户输入的硬件和/或软件，该硬件和/或软件包括但不限于键盘或小键盘、触摸屏组件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。

I/O模块1808可以包括用于向用户呈现输出的一个或多个装置，该一个或多个装置包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，I/O模块1808经配置向用于向用户呈现的显示器提供图形数据。图形数据可以表示一个或多个图形用户界面和/或如可以服务特定实施方式的任何其他图形内容。

在一些示例中，本文所述的任何设施可以由计算装置1800的一个或多个组件实施，或者在计算装置1800的一个或多个组件内实施。例如，驻留在存储装置1806内的一个或多个应用1812可以经配置引导处理器1804执行系统600的关联设施602至606的一个或多个过程或功能。同样地，系统600的存储设施608可以由存储装置1806或其组件实施。

在前面的描述中，已经参照附图描述了各种示例性实施例。然而，将显而易见的是，在不脱离所附权利要求书中阐述的本发明的范围的情况下，可以对其进行各种修改和改变，并且可以实施附加的实施例。例如，本文所述的一个实施例的某些特征可以与本文所述的另一实施例的特征结合或者替代本文所述的另一实施例的特征。因此，本说明书和附图应在说明性而非限制性的意义上考虑。