具体实施方式

本文描述了用于促进外科手术器械插入到外科手术空间中的系统和方法。如下文将更详细地描述的，示例性系统包括存储指令的存储器以及通信耦合到存储器并被配置为执行指令的处理器。由处理器执行的指令指示处理器确定外科手术器械在被插入到外科手术空间中时预计遵循的插入轨迹，并且提供图像用于由显示设备(例如，显示监控器、立体图像观看器、虚拟或增强现实耳机等)显示，该图像描绘由成像设备(例如，内窥镜)捕获的外科手术空间的一部分以及外科手术空间中的插入轨迹的表示图的至少一部分。

各种优点和益处与本文所述的系统和方法相关联。例如，通过向如本文所述的计算机辅助外科手术系统的用户(例如，外科医生和/或与外科手术程序相关联的另一用户)提供用于显示的插入轨迹的表示图，当外科手术器械被插入到外科手术空间中时，插入轨迹可视化系统允许用户快速并轻松地观看外科手术器械预计遵循的轨迹(例如，不用用户必须花费大量时间寻找外科手术器械将通过其进入外科手术空间的开口)。这反过来允许用户调整外科手术器械的插入轨迹以避免接触解剖结构和/或避免与已经被插入外科手术空间内的一个或多个其他外科手术器械的碰撞。另外，本文所述的系统和方法可以包括鼓励和/或要求用户使用插入轨迹的表示图来观看外科手术器械将通过其被插入的开口的特征，这促使安全的外科手术实践。可以通过本文所述的系统和方法实现的这些和其他益处将从随后的公开中变得明显。

图1示出示例性插入轨迹可视化系统100(“系统100”)。如所示，系统100可以包括但不限于存储设施102和处理设施104，该存储设施102和处理设施104选择性地并通信地相互耦合。设施102和104可以各自包括硬件和/或软件部件或由硬件和/或软件部件(例如，处理器、存储器、通信接口、存储在存储器中用于由处理器执行的指令等)实现。在一些示例中，设施102和104可以分布在多个设备和/或多个位置之间，如可以用作特定实施方式。

存储设施102可以维护(例如，存储)由处理设施104使用以执行本文所述的操作中任一个的可执行数据。例如，存储设施102可以存储由处理设施104执行以执行本文所述的任何操作的指令106。指令106可以由任何合适的应用、软件、代码和/或其他可执行数据实例来实施。

存储设施102还可以维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。例如，如下文将更详细地描述的，存储设施102可以维护运动学数据、外科手术器械模型数据、外科手术器械插入数据、表示图数据和类似物。

处理设施104可以被配置为执行(例如，执行存储在存储设施102中以便执行的指令106)与提供用于由显示设备显示的插入轨迹的表示图相关联的各种处理操作。例如，处理设施104可以确定外科手术器械在被插入到外科手术空间中时预计遵循的插入轨迹。当插入轨迹延伸到成像设备的视野中时，处理设施104可以提供图像用于由显示设备显示，该图像描绘由成像设备捕获的外科手术空间的一部分以及插入轨迹的表示图，该插入轨迹的表示图沿着外科手术器械在被插入到外科手术空间中时预计遵循的插入轨迹被插入到外科手术空间中。这些和其他操作可以由本文所述的处理实施104执行。

在一些实施方式中，系统100(例如，处理设施104)可以作为计算机辅助外科手术系统的一部分或与其结合操作。这样，现在将描述示例性计算机辅助外科手术系统。所描述的示例性计算机辅助外科手术系统是说明性的而非限制性的。系统100可以作为本文所述的计算机辅助外科手术系统的一部分或与其结合和/或与其他合适的计算机辅助外科手术系统一起操作。

图2图示出示例性计算机辅助外科手术系统200(“外科手术系统200”)。如所示，外科手术系统200可以包括相互通信耦合的操纵系统202、用户控制系统204和辅助系统206。在一些示例中，系统100可以由这些部件中的一个或多个实施。

外科手术团队可以利用外科手术系统200对患者208执行计算机辅助外科手术程序。如所示，外科手术团队可以包括外科医生210-1、助理210-2、护士210-3和麻醉师210-4，所有这些人都可以被统称为“外科手术团队成员210”。附加或替代的外科手术团队成员可以在外科手术程序会话/会期(surgical session)期间出现，如可以用作特定实施方式。

虽然图2示出正在进行的微创外科手术程序，外科手术系统200可以类似地被用于执行开放式外科手术程序或可以类似地受益于外科手术系统200的准确性和便利性的其他类型的外科手术程序。另外，将应理解，贯穿可以采用外科手术系统200的外科手术会期不会仅包括如图2所示的外科手术的操作阶段，而是还可以包括外科手术程序的术前、术后和/或其他合适的阶段。外科手术程序可以包括对患者使用手动和/或器械技术(例如，远程操作器械技术)来调查、诊断或治疗患者的身体状况的任何程序。另外，外科手术程序可以包括不对活体患者执行的任何程序，诸如校准程序、训练程序和实验或研究程序。

如图2所示，操纵系统202可以包括多个操纵器臂212(例如，操纵器臂212-1至212-4)，多个外科手术器械(未示出)可以耦连到所述多个操纵器臂212。每个外科手术器械可以由任何合适的外科手术工具(例如，具有组织相互作用功能的工具)、医疗工具、监控器械(例如，诸如内窥镜的成像设备)、感测器械(例如，力感测外科手术器械)、诊断器械或可以被用于计算机辅助外科手术(例如，通过至少部分地被插入到患者208中并被操纵以对患者208执行计算机辅助外科手术程序)的类似物来实施。虽然操纵系统202在本文中被描绘和描述为包括四个操纵器臂212，但是将应认识到操纵系统202可以仅包括单个操纵器臂212或如可以用作特定实施方式的任何其他数量的操纵器臂。

操纵器臂212和/或附接到操纵器臂212的外科手术器械可以包括一个或多个位移换能器、取向传感器和/或位置传感器(以下简称为“外科手术系统传感器”)，它们用于生成原始(即未校正的)运动学信息。外科手术系统200中的一个或多个部件可以被配置为使用运动学信息来跟踪(例如，确定外科手术器械的位置)和/或控制外科手术器械。

另外，操纵器臂212可以各自包括或以其他方式与控制操纵器臂212和/或附接到其上的外科手术器械的移动的多个马达相关联。例如，操纵器臂212-1可以包括或以其他方式与第一内部马达(未明确示出)相关联，该第一内部马达被配置为使操纵器臂212-1绕偏转轴线偏转。以相似的方式，操纵器臂212-1可以与第二内部马达(未明确示出)相关联，该第二内部马达被配置为驱动操纵器臂212-1并使其绕俯仰轴线俯仰。同样地，操纵臂212-1可以与第三内部马达(未明确示出)相关联，该第三内部马达被配置为使操纵臂212-1沿着插入轴线滑动。操纵器臂212可以各自包括由这些马达中的一个或多个驱动的传动系系统，以便以如可以用作特定实施方式的任何方式控制操纵器臂212的枢转。这样，如果例如附接到操纵器臂212-1的外科手术器械要被机械地移动，则可以对耦合到传动系的一个或多个马达通电以移动操纵器臂212-1。

在某些示例中，操纵器臂212可以具有一个或多个离合器模式，其促进操纵器臂212与操纵器臂212中的一个或多个马达脱离。操纵器臂212可以具有如可以用作特定实施方式的任何合适数量的离合器模式。例如，第一离合器模式可以被接合以允许操纵器臂212-1绕偏转轴线手动旋转，第二离合器模式可以被接合以允许操纵器臂212-1绕俯仰轴线手动旋转，并且第三离合器模式可以被接合以允许操纵器臂212-1沿着插入轴线手动移动。任何合适数量的离合器模式可以在特定时间被接合以促进用户手动重新定位附接到操纵器臂212的外科手术器械的插入轨迹。

附接到操纵器臂212的外科手术器械可以各自被定位在与患者相关联的外科手术空间处。在某些示例中，“外科手术空间”可以完全设置在患者内并且可以包括在患者内的一区域，外科手术程序在该区域或附近计划执行、正在执行或已经执行完。例如，对于在患者内部的组织上执行的微创外科手术程序，外科手术空间可以包括组织、潜在组织下方的解剖结构以及组织周围的空间，例如正被用于执行外科手术程序的外科手术器械位于该空间。在其他示例中，外科手术空间可以至少部分地设置在患者外部，在该处或附近外科手术程序对患者计划执行、正在执行或已经执行完。例如，外科手术系统200可以被用于执行开放式外科手术程序，使得外科手术空间的一部分(例如，正被操作的组织)在患者内部，同时外科手术空间的另一部分(例如，一个或多个外科手术器械可以设置在该处的组织周围的空间)在患者外部。当外科手术器械的至少一部分(例如，外科手术器械的远侧部分)位于外科手术空间内时，外科手术器械可以被称为被定位在或位于外科手术空间处或其内。

用户控制系统204可以被配置为促进外科医生210-1控制操纵器臂212以及附接到操纵器臂212的外科手术器械。例如，外科医生210-1可以与用户控制系统204交互以远程地移动或操纵(一个或多个)操纵器臂212和外科手术器械。为此，用户控制系统204可以为外科医生210-1提供有如由成像设备捕获的与患者208相关联的外科手术空间的图像(例如，高清晰度三维(3D)图像)。在某些示例中，用户控制系统204可以包括具有两个显示器的立体图像观看器，在显示器的立体图像观看器中与患者208相关联并且由立体成像系统生成的外科手术空间的立体图像(例如，3D图像)可以被外科医生210-1观看。外科医生210-1可以利用图像来用附接到操纵器臂112的一个或多个外科手术器械执行一个或多个程序。

为了促进控制外科手术器械，用户控制系统204可以包括一组主控制器(未示出)。这些主控制器可以由外科医生210-1操纵以控制外科手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控制器可以被配置为检测外科医生210-1的各种各样的手、手腕和手指移动。以这种方式，外科医生210-1可以使用一个或多个外科手术器械来直观地执行外科手术程序。

用户控制系统204可以进一步被配置为促进外科医生210-1控制外科手术系统200的其他部件。例如，外科医生210-1可以与用户控制系统204交互，以便：改变外科手术系统200的配置或操作模式，改变外科手术系统200的显示模式，生成用于控制附接到操纵器臂212的外科手术器械的附加控制信号，促进从一个外科手术器械到另一个外科手术器械的控制切换，启动插入轨迹的表示图的显示，或执行任何其他合适的操作。为此，用户控制系统204还可以包括一个或多个输入设备(例如，踏板、按钮、开关等)，其被配置为接收来自外科医生210-1的输入。

辅助系统206可以包括一个或多个计算设备，这些计算设备被配置为执行外科系统200的主要处理操作。包括在辅助系统206中的一个或多个计算设备可以控制和/或协调由外科手术系统200的各种其他部件(例如，操纵系统202和/或用户控制系统204)执行的操作。例如，包括在用户控制系统204中的计算设备可以经由包括在辅助系统206中的一个或多个计算设备将指令传输到操纵系统202。作为另一示例，辅助系统206可以从操纵系统202接收并处理图像数据，该图像数据表示由附接到操纵器臂212中的一个的成像设备捕获的图像。

在一些示例中，辅助系统206可以被配置为向可能无法访问在用户控制系统204处提供给外科医生210-1的图像的外科手术团队成员210呈现视觉内容。为此，辅助系统206可以包括显示监控器214，该显示监控器214被配置为显示一个或多个用户界面，诸如外科手术空间的图像(例如，2D图像)、与患者208和/或外科手术程序相关联的信息和/或如可以用作特定实施方式的任何其他视觉内容。例如，显示监控器214可以连同与图像同时显示的附加内容(例如，插入轨迹的表示、图形内容、上下文信息等)一起显示外科手术空间的图像。在一些实施例中，显示监控器214由触摸屏显示器实施，外科手术团队成员210可以与其交互(例如，通过触摸手势)以向外科手术系统200提供用户输入。

操纵系统202、用户控制系统204和辅助系统206可以以任何合适的方式相互通信耦连。例如，如图2所示，操纵系统202、用户控制系统204和辅助系统206可以经由控制线216通信耦连，控制线216可以表示如可以用作特定实施方式的任何有线或无线通信链路。为此，操纵系统202、用户控制系统204和辅助系统206可以各自包括一个或多个有线或无线通信接口，诸如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。

图3示出视图300，其包括可以耦连到外科手术系统200的操纵器臂212并被提供在外科手术空间内的各种外科手术器械。如所示，外科手术器械可以包括成像设备302和一个或多个外科手术工具形式的一个或多个外科手术器械304(例如，外科手术器械304-1至304-3)。虽然图3示出一个成像设备302和位于外科手术空间的三个外科手术工具，但是在外科手术会期期间任何数量、类型和/或组合的成像设备和外科手术工具可以在外科手术空间处。例如，在某些实施方式中，与图3中所示的那些不同的其他类型的外科手术工具(例如，诊断工具、治疗工具等)在外科手术程序期间可以被另外或可替代地提供在外科手术空间内。组织306表示外科手术空间处的解剖组织。

成像设备302可以捕获外科手术空间处的图像。在成像设备302的视野内的外科手术器械304中的任一个和/或组织306可以被描绘在成像设备302捕获的图像中。

成像设备302可以提供表示外科手术空间的可见光数据的数据。例如，成像设备302可以捕获外科手术空间的可见光图像，该可见光图像表示由成像设备302感测到的可见光。可见光图像可以包括使用任何合适的颜色和/或灰度调色板来表示外科手术空间的基于可见光的视图的图像。

成像设备302还可以提供表示外科手术空间的深度数据的数据或可以被处理以得出外科手术空间的深度数据的数据。例如，成像设备302可以捕获表示由成像设备302感测的深度的外科手术空间的图像。可替代地，成像设备302可以捕获可以被处理以得出外科手术空间的深度数据的外科手术空间的图像。深度信息可以被表示为深度图像(例如，使用Z缓冲区获得的深度映射图像，其指示从成像设备302到外科手术空间的图像上的每个像素点的距离)，其可以被配置为以任何合适的方式在视觉上指示外科手术空间中的对象，诸如通过使用不同的灰度值来表示不同的深度值。由成像设备(例如，由成像设备302)捕获和/或从由成像设备捕获的图像(例如，可见光图像和深度图像)中得出的图像可以被用于促进外科手术器械在外科手术空间中的插入，诸如本文所述的。

在外科手术会期期间，外科手术器械(例如，外科手术器械304中的一个和/或一些其他外科手术器械)可能需要被插入或被重新插入到外科手术空间中。为了促进外科手术器械这样插入到外科手术空间中，系统100被配置为提供插入轨迹的表示图，如此用户(例如，外科医生210-1、助理210-2等)可以在外科手术器械被插入到外科手术空间中之前看到外科手术器械预计遵循的插入轨迹。

为此，系统100被配置为确定外科手术器械预计遵循的插入轨迹。系统100可以以任何合适的方式并使用与外科手术器械相关联的任何合适的信息来确定插入轨迹。例如，系统100可以基于外科手术器械耦连到的操纵器臂(例如，操纵器臂212-1)的运动学来确定插入轨迹。操纵器臂212的运动学可以由运动学数据定义，该运动学数据可以表示外科手术系统200的部件和/或耦连到外科手术系统200的部件的位置、姿态和/或取向。例如，运动学数据可以表示操纵器臂212-1和/或耦连到操纵器臂212-1的外科手术器械的位置、姿态和/或取向。

另外或可替代地，系统100可以基于耦连到外科手术器械的操纵器臂的捕获的图像数据(例如，由被提供在外科手术空间内和/或外科手术空间外的一个或多个成像设备捕获的一个或多个图像)来确定插入轨迹。捕获的图像数据可以示出操纵器臂相对于外科手术空间的位置、姿态和/或取向。系统100可以以任何合适的方式处理捕获的图像数据以确定外科手术器械在进入外科手术空间时预计遵循的插入轨迹。

另外或可替代地，系统100可以基于外科手术器械在被插入外科手术空间内时的最后已知的位置来确定插入轨迹。系统100可以以任何合适的方式确定最后已知的位置。例如，系统100可以利用外科手术器械插入数据来确定外科手术器械预计遵循的插入轨迹，该外科手术器械插入数据包括指示外科手术器械在外科手术空间内的先前位置、先前姿态和/或先前取向的信息。

通过系统100对预计插入轨迹的确定包括系统100确定外科手术器械相对于外科手术空间的预计插入轨迹的定位。例如，系统100可以生成表示外科手术空间(例如，整个外科手术空间或外科手术空间的一部分)的3D坐标空间。系统100可以以任何合适的方式生成表示外科手术空间的3D坐标空间。例如，由一个或多个成像设备捕获的运动学数据和/或成像数据可以被系统100用来生成表示外科手术空间的3D坐标空间，诸如通过将运动学数据和成像数据配准到共同的3D坐标系。配准可以包括将外科手术器械的预计插入轨迹配准到表示外科手术空间的3D坐标空间。

为了说明一个示例，成像设备302可以捕获包括与外科手术空间相关联的可见光数据和深度数据的图像。基于捕获的图像，系统100可以生成表示外科手术空间的3D坐标空间。系统100可以将外科手术器械的预计插入轨迹映射到3D坐标空间，以促进外科手术器械插入到外科手术空间中，该映射可以以任何合适的方式使用，诸如本文所述的。

在替代示例中，系统100可以访问指示外科手术器械耦连到的操纵器臂的姿态、位置和/或取向的运动学数据。基于运动学数据，系统100可以生成表示外科手术空间的3D坐标空间。系统100可以以任何合适的方式将成像设备302捕获的图像映射到基于运动学数据生成的3D坐标空间，以促进外科手术器械插入到外科手术空间中。

在某些替代示例中，系统100可以基于由成像设备302捕获的图像和与外科手术器械耦连到的操纵器臂相关联的运动学数据的组合来生成3D坐标空间。例如，系统100最初可以以任何合适的方式基于运动学数据生成表示外科手术空间的3D坐标空间。继基于运动学数据生成3D坐标空间之后，系统100可以使用由成像设备302捕获的图像来校正、更新和/或微调3D坐标空间。例如，基于运动学数据生成的3D坐标空间可以准确地表示一个或多个外科手术器械在外科手术空间内的相对位置。然而，由成像设备302捕获的图像可以提供关于外科手术空间内解剖结构的当前位置的进一步信息。在这样的示例中，3D坐标空间可以基于捕获的图像来更新以准确地反映解剖结构相对于一个或多个外科手术器械的相对位置的当前位置。

当成像设备302在外科手术会期期间捕获外科手术空间的一部分的图像并且外科手术器械的预计插入轨迹延伸到成像设备302的视野中时，系统100可以提供沿着预计插入轨迹的插入轨迹的表示图的至少一部分，用于由显示设备(例如，被提供为用户控制系统204和/或显示监控器214的一部分的立体图像观看器)显示。系统100可以以任何合适的方式提供沿着预计插入轨迹的插入轨迹的表示图用于显示，使得插入轨迹的表示图连同成像设备302捕获的图像一起被显示。这样做，观看显示设备的用户可以看到外科手术器械预计遵循的插入轨迹。

如本文所使用的，“插入轨迹的表示图”可以对应于任何合适的图像、图形或动画，这些可以被用于指示外科手术器械在被插入到外科手术空间中时预计将遵循的插入轨迹。插入轨迹的表示图可以具有如可以用作特定实施方式的任何合适的形状、大小和/或视觉外观。例如，插入轨迹的表示图可以是透明的、半透明的、不透明的、彩色的和/或图案化的。在某些示例中，插入轨迹的表示图在由显示设备显示时可以具有3D外观。

在一些示例中，插入轨迹的表示图可以是沿着外科手术器械在被插入到外科手术空间中时预计遵循的插入轨迹被插入的外科手术器械的虚拟表示图。在某些示例中，外科手术器械的这样的虚拟表示图可以是外科手术器械的真实表示图(例如，可以具有与由虚拟表示图表示的外科手术器械相同的视觉外观)。例如，如果要被插入到外科手术空间中的外科手术器械是一对外科手术剪刀，则虚拟表示图可以具有至少与这对外科手术剪刀相同的轮廓。在某些示例中，外科手术器械的虚拟模型(例如，3D模型)可以被系统100用于创建外科手术器械的真实虚拟表示图。这样的虚拟模型可以基于由存储设施102存储的外科手术器械模型数据来生成。

可替代地，插入轨迹的表示图在本质上可以是更示意性的，以便具有与外科手术器械不同的视觉外观。例如，在某些实施方式中插入轨迹的表示图可以由沿着预计插入轨迹提供的点线或虚线来表示。可替代地，在某些实施方式中插入轨迹的表示图的更示意性版本可以具有通用外观(例如，杆状外观)。

插入轨迹的表示图在特定实施方式中可能具有的视觉外观可以由存储设施102存储的表示图数据限定。这样的表示图数据可以包括与插入轨迹的表示图相关联的任何数据。例如，存储设施102中存储的表示图数据可以指示由系统100提供用于显示的表示图将具有特定颜色、大小、形状、半透明、亮度等。在某些示例中，系统100可以提供一个或多个用户界面，这些用户界面允许用户调整与插入轨迹的表示图相关联的任何合适的设置。例如，一个或多个用户界面可以允许用户调整视觉外观(例如，颜色、形状、大小、半透明、亮度等)，插入轨迹的表示图在被提供用于由显示设备显示时将具有该视觉外观。

在某些示例中，插入轨迹的表示图可以被颜色编码以指示要沿着预计插入轨迹被插入的外科手术器械的类型。例如，插入轨迹的表示图在表示第一种类型的外科手术器械时可以具有第一颜色，并且在表示第二种类型的外科手术器械时可以具有与第一颜色不同的第二颜色。

插入轨迹的表示图可以被提供用于由显示设备显示，从而以任何合适的方式图形地图示出外科手术器械的预计插入轨迹。例如，插入轨迹的表示图可以以任何合适的方式覆盖在由成像设备302捕获并由显示设备显示的图像上面。可替代地，由成像设备302捕获的图像可以以任何合适的方式被修改，以在图像被提供用于由显示设备显示之前和/或与其一起包括插入轨迹的表示图。作为一个示例，系统100可以在表示外科手术区域的虚拟3D坐标空间内的预计插入轨迹处插入外科手术器械的3D模型表示图，使得当外科手术区域的视图被渲染并且表示在预定插入轨迹处的外科手术器械的3D模型表示图在正被渲染的视图内时，该渲染可以包括3D模型作为如3D坐标空间中表示的外科手术空间的自然部分。系统100可以使用任何合适的渲染模型和/或表示外科手术器械的虚拟表示图的数据，以便提供虚拟表示图用于显示。例如，系统可以使用任何合适的3D渲染模块(例如，Qt3D)和/或任何合适的3D文件格式(例如，glTF)。

在某些示例中，系统100可以选择性地提供插入轨迹的表示图用于由与外科手术系统200相关联的显示设备的子集显示。例如，当插入轨迹的表示图被提供用于在用户控制系统204提供的立体图像观看器上显示时，插入轨迹的表示图可能过度模糊外科医生210-1的外科手术视图。在这样的示例中，插入轨迹的表示图可以仅被提供用于在显示监控器214上显示而不是被提供用于用户控制系统204和显示监控器214都提供的立体图像观看器上显示。

在某些示例中，系统100可以另外或可替代地提供插入轨迹的表示图用于由一个或多个附加显示设备(例如，平板电脑、智能手机等)显示，这些附加显示设备不是外科手术系统200的一部分，但是其通信耦连到外科手术系统200。

在某些示例中，系统100可以提供插入轨迹的表示图用于在图形用户界面中显示，该图形用户界面同时显示由多个不同成像设备捕获的外科手术空间的多个不同视图。例如，这样的图形用户界面可以同时显示第一视图和第二视图，该第一视图包括由成像设备302捕获的外科手术空间的图像，该第二视图包括由附加成像设备捕获的外科手术空间的图像。在某些示例中，由附加成像设备捕获的图像可以包括外科手术器械将通过其被插入到外科手术空间中的开口(例如，套管)的图像。这样的图形用户界面可以被提供用于用户控制系统204提供的立体图像观看器上、在显示监控器214上和/或通过可以是外科手术系统200的一部分或通信耦连到外科手术系统的任何其他合适的显示设备显示。用户用这样的图形用户界面可能不必移动成像设备(例如，成像设备302)来观看外科手术器械将通过其被插入到外科手术空间中的开口。

系统100可以在任何合适的时间和/或响应于由用户提供的任何合适的输入提供插入轨迹的表示图用于显示。例如，外科医生210-1可以通过用户控制系统204提供任何合适的输入以启动插入轨迹的表示图由显示设备显示。可替代地，助理210-2可以经由显示监控器214提供任何合适的输入(例如，触摸输入)以启动插入轨迹的表示图由显示设备显示。如果预计插入轨迹当前不在成像设备的视野内，则用户可以调整成像设备的视野，直到插入轨迹的表示图被显示设备显示。可替代地，如果预计插入轨迹当前在成像设备的视野内，则插入轨迹的表示图可以被提供用于由显示设备显示。

系统100可以在任何合适的时间和/或响应于用户提供的任何合适的输入来停止提供用于由显示设备显示的插入轨迹的表示图。例如，系统100可以通过用户控制系统204检测到由外科医生210-1提供的指令，该指令指导系统100停止显示插入轨迹的表示图。另外或可替代地，系统100可以通过辅助系统206检测到由助理210-1或一些其他用户提供的指令，该指令指导系统100停止显示插入轨迹的表示图。在某些示例中，当外科手术器械开始被插入到外科手术空间中时，系统100可以自动停止提供用于显示的插入轨迹的表示图，而不需要来自用户的进一步输入(例如，当外科手术器械的远侧部分离开套管并进入外科手术空间时)。在某些示例中，当实际外科手术器械进入到成像设备的视野中时，或者当实际外科手术器械处于沿着插入轨迹的任何其他合适的点时，系统100可以自动停止提供用于显示的插入轨迹的表示图。在某些示例中，系统100可以在任何合适的时间自动重新开始提供用于显示的插入轨迹的表示图。例如，如果成像设备的视野被改变使得被插入的外科手术器械不再在当前视野中，则系统100可以重新开始提供用于显示的插入轨迹的表示图。

在某些示例中，系统100可以提供用于由显示设备显示的插入轨迹的更新表示图。例如，虽然插入轨迹的表示图被提供用于由显示设备显示并且在外科手术器械被插入到外科手术空间中之前，用户(例如，助理210-2或某个其他用户)可以改变例如外科手术器械附接到的操纵器臂212-1的位置。操纵器臂212-1的位置的变化改变操纵器臂212-1的运动学。基于操纵器臂212-1的运动学的改变，系统100可以确定外科手术器械在被插入到外科手术空间中时预计遵循的更新的插入轨迹。系统100然后可以提供沿着更新的插入轨迹的插入轨迹的更新表示图，用于由显示设备实时显示，外科手术器械在被插入到外科手术空间中时预计遵循该更新的插入轨迹。也就是，在某些示例中，被提供用于由显示设备显示的插入轨迹的表示图可以响应于用户改变操纵器臂212-1的位置而实时移动。这可以允许用户实时看到操纵臂212-1的运动学的改变如何影响预计插入轨迹。这可以帮助用户调整操纵器臂212-1的位置，以有利于外科手术器械的插入(例如，当外科手术器械最终被插入到外科手术空间中时，防止外科手术器械与另一外科手术器械碰撞和/或接触解剖结构)。

在某些示例中，系统100可以确定外科手术器械在被插入到外科手术空间中时预计达到的插入深度。系统100可以以任何合适的方式确定插入深度。例如，系统100可以基于由成像设备302捕获的深度数据、基于外科手术器械的先前插入深度、基于外科手术器械附接到的操纵器臂的运动学和/或基于任何其他合适的信息来确定插入深度。在某些替代示例中，系统100可以基于由用户具体提供的输入来确定插入深度。例如，系统100可以被配置为促进用户以任何合适的方式放置虚拟别针以指定外科手术器械将被插入到外科手术空间内的位置和插入深度。可替代地，系统100可以基于成像设备302捕获的深度数据来自动将插入深度确定为距组织至少预定义距离。当插入轨迹延伸到成像设备的视野中时，系统100可以提供插入轨迹的表示图的至少一部分以虚拟地表示延伸到确定插入深度的预计插入轨迹(例如，通过视觉上表示沿着预计插入轨迹并以确定的插入深度被插入到外科手术空间中的外科手术器械)。

在某些替代示例中，插入轨迹的表示图在被提供用于由显示设备显示时可以延伸超过所确定的插入深度。这样做时，系统100可以在插入轨迹在成像设备的视野内延伸的实例中提供插入轨迹的表示图的可视化，但是确定的插入深度不足以深到使得被提供的表示图能在成像设备302的当前视野内显示。现在将参考图4A至图9描述沿着预计插入轨迹被插入的示例性表示图。

在图4A至图9中，描绘了外科手术器械和预计插入轨迹的各种示例性虚拟表示图。应当理解，在某些示例中外科手术器械的示例性虚拟表示图和/或示例性预计插入轨迹可以被视为插入轨迹的表示图。此外，尽管参考外科手术器械的虚拟表示图描述了图4A至图9和随附描述，但是应当理解，在某些示例中诸如本文所述的插入轨迹的任何合适的表示图可以被提供在图4A至图9所示的示例中。

图4A和图4B示出由成像设备302捕获的外科手术空间的一部分的图像400的示例性序列400(例如，图像400-1和400-2)。图4A和图4B中所示的图像400的序列图示出外科手术器械(例如，外科手术器械304-2)进入成像设备302的视野内的外科手术空间的虚拟表示图402的动画。如图4A和图4B所图示，虚拟表示图402被示出为沿着预计插入轨迹404沿箭头408的方向朝向预计插入深度406进入外科手术空间。虚拟表示图402是通用杆状表示图的示例，其具有与在被插入到外科手术空间中时预计遵循预计插入轨迹404的外科手术器械不同的视觉外观。在图4A和图4B中所示示例中，随着图像400从图4A中所示的图像400-1转变为图4B所示的图像400-2时，虚拟表示图402被示出为沿着预计插入轨迹404移动。在某些示例中，虚拟表示图402可以继续沿着预计插入轨迹404移动，直到虚拟表示图402到达预计插入深度406。可替代地，如上所解释的，在某些实施方式中，虚拟表示图402可以延伸超过预计插入深度406。

在图4A和图4B中所示的示例中，箭头408、指示预计插入轨迹404的虚线和指示预计插入深度406的线连同虚拟表示图402被一起示出以促进解释虚拟表示图402可以如何被描绘在成像设备302捕获的图像内。然而，应当理解，在某些实施方式中，箭头408、指示预计插入轨迹404的虚线和指示预计插入深度406的线可以不被提供用于在图像400内连同虚拟表示图402一起显示。也就是，在图4A和图4B所示的示例中，在某些示例中仅虚拟表示图402可以被提供用于在图像400内显示。可替代地，在某些示例中仅指示预计插入轨迹404的虚线可以被提供用于在图像400内显示。

在某些替代示例中，预计插入轨迹404可以不在成像设备302的当前视野内。在这样的示例中，用户可以提供任何合适的指令以引起虚拟表示图402被提供用于显示。例如，用户可以重新定位成像设备302的视野以找到虚拟表示图402在外科手术空间内位于何处。在这样的示例中，当视野平移到虚拟表示图402位于的位置时，虚拟表示图402可能看起来已经被插入到外科手术空间内，而不是被提供用于显示为描绘虚拟表示图402沿着预计插入轨迹404被插入的动画。

在某些示例中，在外科手术器械沿着预计插入轨迹被插入到外科手术空间中之前，可视化外科手术器械将通过其被插入的开口可能是有帮助的。在当预计插入轨迹不清楚(例如，被解剖结构和/或一个或多个其他外科手术器械阻碍)和/或以促使安全的外科手术实践时，这可能是有益的。系统100可以以任何合适的方式促进开口的可视化。例如，被提供用于显示的外科手术器械的虚拟表示图可以被系统100用于在虚拟表示图的近侧方向上引导成像设备302的视野朝向开口返回。

为了说明，图5描绘了在成像设备302的视野从图4A和图4B中所示的视野沿着虚拟表示图402的长度移动之后的由成像设备302捕获的外科手术空间的一部分的图像500。如图5A所示，视野沿着虚拟表示图402的长度的移动导致套管504的开口502的可视化，外科手术器械304-2通过该开口502被提供。通过使用虚拟表示图402作为引导，成像设备302的视野可以被远程操纵以容易且快速地定位套管504的开口502并确保器械304-2可以沿着预计插入轨迹404被安全地插入到外科手术空间中(例如，不接触外科手术空间内的解剖结构和/或其他外科手术器械)。

在某些示例中，系统100可以防止外科手术器械沿着预计插入轨迹被插入到外科手术空间中，直到已经作出确定成像设备302已经被用于可视化外科手术工具将通过其被插入的开口。这可以以任何合适的方式完成。例如，系统100可以引起包括在与外科手术器械耦连的操纵器臂(例如，操纵器臂212-2)中的或与其相关联的一个或多个马达被锁定到位以防止操纵器臂的移动。系统100可以以任何合适的方式验证开口已经用成像设备302可视化。例如，系统100可以利用任何合适的图像识别技术来确定套管被包括在由成像设备302捕获的图像中。可替代地，系统100可以通过检测套管上的专用计算机视觉标记(例如，集成在套管上或以其他方式附接到套管上的条形码、颜色、图案等)来确定成像设备302已经可视化开口。在系统100确定成像设备302已经被用于可视化开口之后，系统100可以引起包括在操纵臂中的或与其相关联的一个或多个马达被解锁以允许外科手术器械沿着预计插入轨迹被插入。

在某些示例中，系统100可以以诸如本文所述的任何合适的方式确定附加外科手术器械在被插入到外科手术空间中时预计遵循的附加插入轨迹。系统100可以提供沿着附加插入轨迹被插入到外科手术空间中的附加外科手术器械的附加虚拟表示图用于由显示器显示，附加外科手术器械在被插入到外科手术空间中时预计遵循该附加插入轨迹。在这样的示例中，外科手术器械的虚拟表示图可以在第一时间段期间被提供用于由显示设备显示，并且附加外科手术器械的附加虚拟表示图可以在第二时间段期间被提供用于由显示设备显示，该第二时间段期间不与该第一时间段期间重叠。可替代地，外科手术器械的虚拟表示图和附加外科手术器械的附加虚拟表示图可以被提供用于由显示设备同时显示。

为了说明，图6A和图6B示出由成像设备302捕获的外科手术空间的一部分的图像600的示例性序列(例如，图像600-1和600-2)。图6A和图6B中所示的图像600的序列图示出同时进入外科手术空间的外科手术器械(例如，外科手术器械304-2和304-3)的虚拟表示图602(例如，虚拟表示图602-1和602-2)的动画。如图6A和图6B所示，虚拟表示图602-1被示出为沿着预计轨迹604-1朝向预计插入深度606-1进入外科手术空间，并且虚拟表示图602-2被示出为沿着预计插入轨迹604-2朝向预计插入深度606-2进入外科手术空间。类似于图4A和图4B所示的示例，由成像设备302捕获的图像从图6A中所示的图像600-1转变为图6B中所示的图像600-2以描绘虚拟表示图602-1和602-2分别沿箭头608-1和608-2的方向被插入到外科手术空间中的动画。

当外科手术器械的虚拟表示图被提供用于由显示设备同时显示时，虚拟表示图可以以任何合适的方式视觉上不同于彼此。在图6A和图6B中所示的示例中，被提供在虚拟表示图602-1和602-2上的阴影是不同的以促进用户区分这两者。

图7A和图7B示出由成像设备302捕获的外科手术空间的一部分的图像700的示例性序列(例如，图像700-1和700-2)，并且其在外科手术器械的虚拟表示图具有一个相对更逼真的视觉外观时可以被提供用于显示。如图7A和图7B所示，外科手术器械的虚拟表示图702被示出为沿着预计插入轨迹704沿箭头708的方向朝向预计插入深度706被插入。在图7A和图7B所示的示例中，虚拟表示图702具有与外科手术器械304-2类似的轮廓，但是以虚线示出以指示虚拟表示图702至少部分透明，这促进用户区分虚拟表示图702与实际外科手术器械304-2。

在某些示例中，系统100可以确定外科手术器械预计遵循的插入轨迹不清楚(例如，诸如另一外科手术器械和/或解剖结构的对象可能正阻碍预计插入轨迹)。这可以以任何合适的方式完成。例如，系统100可以利用包括在成像设备302和/或一个或多个其他外科手术器械304中的一个或多个深度传感器来确定例如在预计插入轨迹内的附加外科手术器械和/或解剖结构。另外或可替代地，系统100可以利用与附加外科手术器械相关联的运动学数据来确定预计插入轨迹内的附加外科手术器械。在某些示例中，系统100可以提供一个或多个通知以促进防止外科手术器械接触妨碍预计插入轨迹的解剖结构和/或另一外科手术器械。例如，系统100可以提供连同外科手术器械的虚拟表示图一起用于由显示设备显示的通知，该通知指示如果沿着外科手术器械预计遵循的插入轨迹被插入，则外科手术器械预计接触附加外科手术器械。这样的通知可以具有任何合适的形状或形式并且可以被提供用于在由成像设备302捕获的图像内的任何合适的位置处显示。

为了说明，图8示出由成像设备302捕获的外科手术空间的一部分的图像800。如图8所示，外科手术器械的虚拟表示图802被描绘为沿着预计插入轨迹804朝向预计插入深度806进入外科手术空间。然而，因为预计插入轨迹804将导致由虚拟表示图802表示的外科手术器械接触外科手术器械304-1，图8包括通知808以指示如果外科手术器械沿着预计插入轨迹804被插入，则预计要发生碰撞。在图8中所示的示例中，通知808被提供用于沿着插入轨迹804显示。然而，在某些实施方式中通知808和/或附加通知可以被提供在其他位置处。响应于通知808，用户然后可以将外科手术器械304-1重新定位在套管内和/或改变外科手术器械将沿插入轨迹804被插入的插入深度以避免接触外科手术器械304-1。

在某些示例中，系统100可以被配置为提供连同外科手术器械的虚拟表示图一起用于由显示器显示的指示器，该指示器指导或鼓励用户使用成像设备302遵循预计插入轨迹，以观看外科手术器械将通过其被插入到外科手术空间中的开口。这样的指示器可以以任何合适的方式提供以用于显示。例如，指示器可以被提供在外科手术器械的虚拟表示图的顶部或侧面上。为了说明，图9示出由成像设备302捕获的外科手术空间的一部分的示例性图像900，并且其包括沿着预计插入轨迹904朝向预计插入深度906被提供的虚拟表示图902。如图9所示，指示器908被提供在虚拟表示图902的顶部上并且包括眼睛图标以提醒用户调整成像设备302的视野以便观看将由虚拟表示图902表示的外科手术器械将通过其被插入的开口。

系统100可以被配置为提供指示器(诸如指示器908)，用于在任何合适的时间和/或响应于任何合适的事件显示。在某些示例中，系统100可以默认连同沿着预计插入轨迹904的外科手术器械的虚拟表示图902一起显示指示器908。在其他示例中，系统100可以响应于事件(诸如由系统100检测到解剖结构或另一外科手术器械可能阻碍预计插入轨迹904)连同虚拟表示图902一起显示指示器908。

在某些示例中，当预计插入轨迹被调整以便与外科手术空间内的预定义位置相交时，系统100可以向用户提供指示。例如，系统100可以确定用户已经将虚拟别针放置在外科手术空间内以定义外科手术器械要被插入到的特定位置和插入深度。用户可以接合一个或多个离合器模式以离合外科手术器械附接到的操纵器臂并且手动移动操纵器臂以调整外科手术器械的预计插入轨迹。当操纵器臂移动时，系统100可以提供外科手术器械的虚拟表示图，用于由供任何合适的显示设备显示，该虚拟表示图被示出为基于被离合的操纵器臂的移动来实时移动。当外科手术器械的虚拟表示图与由用户放置的虚拟别针相交时，系统100可以向用户提供指示。例如，系统100可以改变虚拟表示图的颜色、纹理、大小和/或任何其他视觉方面。另外或可替代地，系统100可以通过向用户提供的触觉反馈来提供指示。系统100可以以任何合适的方式提供这样的触觉反馈。例如，当用户手动移动操纵器臂时，系统100可以引起操纵器臂振动，以阻止进一步的移动，和/或在当外科手术器械的虚拟表示图与由用户放置的虚拟别针相交时锁定到位。另外或可替代地，系统100可以通过用户控制系统204提供的主控制件来提供这样的触觉反馈。例如，当外科手术器械的表示图与由用户放置的虚拟别针相交时，用户控制系统204提供的主控制件可以振动和/或提供任何其他合适类型的触觉反馈。这样的反馈可以帮助用户容易地确定操纵器臂何时被定位成使得插入轨迹将与外科手术空间内的预定义位置相交。在操纵器臂被定位之后，用户然后可以脱离一个或多个离合器模式以将操纵器臂锁定回原位，使得外科手术器械可以沿着到预定义位置的插入轨迹被插入到外科手术空间中。

在某些示例中，当外科手术器械沿着预计插入轨迹被插入时，外科手术器械的一个或多个部分在位于外科手术空间中的对象后面或内侧时可能被遮盖。因此，在某些示例中，当插入轨迹的表示图沿着外科手术器械的预计插入轨迹被插入时，为了真实地将插入轨迹的表示图显示为在这样的对象的后面或内侧虚拟地延伸，系统100可以提供仅未被外科手术空间中的一个或多个其他对象遮盖的插入轨迹的虚拟表示图的一个或多个部分，用于由显示器显示。例如，外科手术器械的预计插入轨迹可以在位于外科手术空间中的另一外科手术器械后面延伸。另外或可替代地，外科手术器械(例如，其远侧部分)的预计插入轨迹可以延伸到外科手术空间中的组织中。在这样的示例中，系统100可以仅提供未被外科手术空间中的其他对象遮盖的插入轨迹的虚拟表示图(例如，外科手术器械的虚拟表示图)的(一个或多个)部分，用于由显示设备显示。因为这样，系统100可以被配置成将插入轨迹的虚拟表示图真实地表示为在外科手术空间中的一个或多个对象后面和/或内延伸，同时插入轨迹的虚拟表示图沿着预计插入轨迹被插入。

虽然本文所述的外科手术器械的示例性虚拟表示图是在外科手术器械插入的背景下提供的，但是应当理解，诸如本文所述的那些原理也可以应用于其他背景以促进外科手术器械在外科手术空间内的可视化。例如，在某些实施方式中，外科手术器械的虚拟表示图可以指示已经被插入到外科手术空间中的外科手术器械的一部分或全部的位置。在这样的示例中，外科手术器械的虚拟表示图可以描绘在外科手术空间内组织和/或另一外科手术器械后面提供的外科手术器械的一部分。

图10示出用于促进外科手术器械插入到外科手术空间中的示例性方法。虽然图10示出根据一个实施例的示例性操作，其他实施例可以省略、添加、重新排序和/或修改图10中所示的操作中的任一个。图10中所示的操作中一个或多个可以由诸如系统100的系统、包括在其中的任何部件和/或其任何实施方式来执行。

在操作1002中，系统(例如，插入轨迹可视化系统100)可以确定外科手术器械在被插入到外科手术空间中时预计遵循的插入轨迹。操作1002可以以本文所述的方式中的任一种来执行。

在操作1004中，系统可以提供图像用于由显示设备显示，该图像描绘由成像设备捕获的外科手术空间的一部分以及外科手术空间中的预计插入轨迹的表示图的至少一部分(例如，沿着插入轨迹被插入到外科手术空间中的外科手术器械的虚拟表示图，外科手术器械在被插入到外科手术空间中时预计遵循该插入轨迹)。如本文所述，在某些示例中，当插入轨迹延伸到成像设备的视野中时，插入轨迹的表示图被提供用于显示。如果插入轨迹不在成像设备的当前视野内延伸，则成像设备的视野可以以任何合适的方式被调整，直到插入轨迹的表示图在成像设备捕获的图像内可见。操作1004可以以本文所述的方式中的任一种来执行。

在一些示例中，存储计算机可读指令的非暂时性计算机可读介质可以根据本文所述原理提供。指令在被计算设备的处理器执行时可以指示处理器和/或计算设备执行一个或多个操作，包括本文所述的操作中的一个或多个。这样的指令可以使用多种已知的计算机可读介质中的任一种来存储和/或传输。

如本文所指的非暂时性计算机可读介质可以包括任何非暂时性存储介质，该非暂时性存储介质参与提供可以由计算设备(例如，由计算设备的处理器)读取和/或执行的数据(例如，指令)。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“RAM”)和光盘(例如，压缩盘、数字视频盘、蓝光光盘等)。示例性易失性存储介质包括但不限于RAM(例如，动态RAM)。

图11示出示例性计算设备1100，该计算设备1100可以被具体地配置为执行本文所述的处理中的一个或多个。如图11所示，计算设备1100可以包括经由通信基础设施1110相互通信连接的通信接口1102、处理器1104、存储设备1106和输入/输出(“I/O”)模块1108。虽然示例性设备1100在图11中被示出，但是图11中所图示的部件并非旨在是限制性的。在其他实施例中可以使用附加或替代的部件。现在就附加细节描述图11中所示的计算设备1100的部件。

通信接口1102可以被配置为与一个或多个计算设备通信。通信接口1102的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。

处理器1104通常表示任何类型或形式的处理单元，其能够处理数据和/或解释、执行和/或指挥本文所述的指令、处理和/或操作中的一个或多个的执行。处理器1104可以通过执行存储在存储设备1106中的计算机可执行指令1112(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。

存储设备1106可以包括一个或多个数据存储介质、设备或配置并且可以采用任何类型、形式的数据存储介质和/或设备及其组合。例如，存储设备1106可以包括但不限于本文所述的非易失性介质和/或易失性介质的任何组合。包括本文所述的数据的电子数据可以被临时和/或永久地存储在存储设备1106中。例如，表示计算机可执行指令1112的数据可以被存储在存储设备1106内，该计算机可执行指令1112被配置为指示处理器1104执行本文所述的操作中的任一个。在一些示例中，数据可以被安排在驻留在存储设备1106内的一个或多个数据库中。

I/O模块1108可以包括一个或多个I/O模块，这些I/O模块被配置为接收用户输入并提供用户输出。一个或多个I/O模块可以被用于接收用于单个虚拟体验的输入。I/O模块1108可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1108可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。

I/O模块1108可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，I/O模块1108被配置为向显示器提供图形数据用于呈现给用户。图形数据可以表示一个或多个图形用户界面和/或如可以用作特定实施方式的任何其他图形内容。

在一些示例中，本文所述的任何系统、计算设备和/或其他部件可以由计算设备1100实施。例如，存储设施102可以由存储设备1106实施，并且处理设施104可以由处理器1104实施。

在上述实施例收集、存储和/或采用由个人提供的个人信息的意义上，应当理解，可以根据所有适用的有关保护个人信息的法律来使用此类信息。另外，此类信息的收集、存储和使用可能服从于个人同意此类活动，例如通过如可以适用于具体情况和类型信息的“选择加入”或“选择退出”处理。个人信息的存储和使用可以以适当安全的方式反映信息的类型，例如，通过用于特别敏感信息的各种加密和匿名化技术。

在前面的描述中，已经参考附图描述了各种示例性实施例。然而，将明显的是，在不脱离如所附权利要求中阐述的本发明的范围的情况下可以对其作出各种修改和改变，并且附加实施例可以被实施。例如，本文所述的一个实施例的某些特征可以与本文所述的另一实施例的特征组合或替换。因此，描述和附图被认为是说明性的而不是限制性的。