阅读说明：本技术 用于监测图像引导程序的图形用户界面 (Graphical user interface for monitoring image-guided procedures ) 是由 V·多文戴姆 L·L·埃尔格 C·比安奇 C·R·卡尔森 E·克鲁斯二世 S·S·埃切卡瓦 于 2018-04-18 设计创作，主要内容包括：用于监测程序的系统和方法包括医疗设备。所述医疗设备包括：细长设备,所述细长设备包括柔性主体；跟踪系统,所述跟踪系统沿着所述柔性主体的至少一部分设置；以及一个或多个处理器,所述一个或多个处理器被通信地耦接到所述跟踪系统。所述一个或多个处理器被配置成：接收到解剖结构中的目标定位的路线；基于第一解剖表示确定所述路线的一个或多个特征；基于所述路线的所述一个或多个特征生成缩减的解剖表示；从所述跟踪系统接收实时位置信息；将所述实时位置信息与所述缩减的解剖表示相关联；以及利用所述相关联的实时位置信息动态显示所述缩减的解剖结构。(Systems and methods for monitoring a procedure include a medical device. The medical device includes: an elongated device comprising a flexible body; a tracking system disposed along at least a portion of the flexible body; and one or more processors communicatively coupled to the tracking system. The one or more processors are configured to: receiving a route of target localization in an anatomical structure; determining one or more features of the route based on a first anatomical representation; generating a reduced anatomical representation based on the one or more features of the route; receiving real-time location information from the tracking system; associating the real-time location information with the reduced anatomical representation; and dynamically displaying the reduced anatomical structure using the associated real-time location information.)

用于监测图像引导程序的图形用户界面

相关申请的交叉引用

本公开要求2017年4月18日提交的标题为“用于监测图像引导程序的图形用户界面(Graphical User Interface for Monitoring an Image-GuidedProcedure)”的美国临时专利申请62/486,879的优先权，该专利申请通过引用整体并入本文。

技术领域

本公开涉及用于执行医疗程序的系统和方法，并且更具体地，涉及用于使用图形用户界面来监测图像引导程序的系统和方法。

背景技术

微创医疗技术旨在减小在医疗程序期间受损的组织的量，由此减小患者恢复时间、不适和有害的副作用。可以通过患者解剖结构中的自然孔口或通过一个或多个手术切口来执行此类微创技术。临床医生可以通过这些自然孔口或切口***微创医疗器械(包括手术器械、诊断器械、治疗器械或活检器械)以到达目标组织定位。一种这样的微创技术是使用柔性和/或可转向的设备(诸如导管)，其能够被***解剖通道中并导航到患者解剖结构内的感兴趣区域。在图像引导程序期间医疗人员对这种设备的控制涉及若干自由度的管理，至少包括对细长设备的***和缩回以及对设备的转向和/或弯曲半径的管理。此外，还可以支持不同的操作模式。

因此，提供图形用户界面将是有利的，该图形用户界面支持适合在微创医疗技术期间使用的医疗器械的直观控制和管理，这些医疗器械包括柔性和/或可转向的细长设备(诸如可转向导管)。

发明内容

本发明的实施例由说明书之后的权利要求书最好地概括。

根据一些实施例，一种用于显示解剖结构的方法可以包括：提供图形用户界面；接收第一解剖表示，所述第一解剖表示包括所述解剖结构中的多个通道的3D表示以及到所述多个通道内的目标定位的路线；基于所述多个通道的子集生成缩减解剖表示，其中所述多个通道的所述子集包括直接连接到所述路线的路径通道；以及将所述缩减解剖表示显示为线性解剖表示。实施方式可包括以下特征中的一个或多个：所述方法，其中所述解剖结构对应于肺，并且其中所述解剖结构中的所述多个通道对应于所述肺的气道；所述方法，其中所述目标定位包括病变、结节和肿瘤中的一个或多个；所述方法，其中所述路径通道的宽度在所述线性解剖表示中由具有分层间隔的垂直间隔的线指示；所述方法，其中对于具有更高分支生成的路径通道，将所述垂直间隔的线的所述分层间隔向下分层；所述方法，其中所述路径通道的分支的定位被包括在所述线性解剖表示中；所述方法，其中所述分支的所述定位包括修剪分支，而没有所述分支的完整分支结构；所述方法还包括显示替代路线指示符，所述替代路线指示符表示到所述目标定位的替代路线；所述方法还包括当所述分支中的一个或多个通向第二目标定位时显示目标图标；所述方法还包括显示从所述路线的一端到所述目标定位的***轨迹；所述方法还包括识别与所述路线相关联的危险，并且显示所述危险相对于所述***轨迹的定位；所述方法，其中所述危险包括胸膜、血管、大疱和心脏中的一个或多个；所述方法还包括在遍历所述路线期间接收与器械相关联的实时位置信息，将所述实时位置信息映射到所述缩减解剖表示，以及利用所述缩减解剖表示来动态显示所述实时位置信息；所述方法，其中动态显示所述实时位置信息包括当检测到异常时显示一个或多个指示符；所述方法，其中当所述异常包括使所述器械沿着不正确的通道转向时，所述一个或多个指示符包括错误转弯指示符；所述方法，其中当所述异常包括驱动所述器械超出所述路线的一端时，所述一个或多个指示符包括反向指示符；所述方法，其中当所述异常包括所述器械的极小弯曲半径时，所述一个或多个指示符包括过度弯曲指示符；所述方法，其中当所述异常包括所述器械的极小弯曲半径时，修改所述器械在缩减的解剖模型中的外观。

根据一些实施例，一种医疗设备可以包括：细长设备，所述细长设备包括柔性主体；跟踪系统，所述跟踪系统沿着所述柔性主体的至少一部分设置；以及一个或多个处理器，所述一个或多个处理器被通信地耦接到所述跟踪系统。所述一个或多个处理器被配置成：接收到解剖结构中的目标定位的路线；基于第一解剖表示确定所述路线的一个或多个特征；基于所述路线的所述一个或多个特征生成缩减解剖表示；从所述跟踪系统接收实时位置信息；将所述实时位置信息与所述缩减解剖表示相关联；以及利用相关联的实时位置信息动态显示所述缩减解剖结构。实施方式可包括以下特征中的一个或多个：所述医疗设备，其中所述解剖结构对应于肺，并且其中所述第一解剖表示包括所述解剖结构中的与所述肺的气道相对应的多个通道；所述医疗设备，其中将所述缩减解剖表示显示为线性解剖表示；所述医疗设备，其中所述路线的所述一个或多个特征包括沿所述路线的分支的定位；所述医疗设备，其中在所述缩减解剖表示中的所述分支的所述定位包括修剪分支，而没有所述分支的完整分支结构；所述医疗设备，其中显示替代路线指示符以表示到所述目标定位的替代路线；所述医疗设备，其中当所述分支中的一个或多个通向第二目标定位时显示目标图标；所述医疗设备，其中所述路线的所述一个或多个特征包括从所述路线的一端到所述目标定位的***轨迹；所述医疗设备，其中所述路线的所述一个或多个特征包括与所述路线相关联的危险；所述医疗设备，其中动态显示所述实时位置信息包括当检测到异常时显示一个或多个指示符；所述医疗设备，其中所述一个或多个指示符包括错误转弯指示符、反向指示符和过度弯曲指示符中的一个或多个。

根据一些实施例，一种用于显示解剖结构内的目标的方法可以包括：提供图形用户界面；经由所述图形用户界面接收解剖表示；确定相对于所述解剖表示的目标；确定与所述目标相关联的不确定区；以及显示相对于所述解剖表示的所述目标，其中所述不确定区被显示为至少部分地围绕所述目标。实施方式可包括以下特征中的一个或多个：所述方法，其中所述解剖表示被配准到解剖结构，并且其中基于配准不确定性来确定所述不确定区；所述方法，其中基于所述目标的预定大小确定所述不确定区；所述方法，其中基于所述目标的可及性确定所述不确定区；所述方法还包括确定潜在危险的定位；所述方法，其中所述潜在危险的所述定位相对于所述目标的位置；所述方法，其中相对于所述目标显示所述潜在危险；所述方法，其中所述潜在危险包括患者肺内的胸膜、血管和大疱中的一个或多个。

根据一些实施例，一种系统可以包括显示系统、用户输入设备以及被配置成执行操作的一个或多个处理器。所述操作可包括：接收解剖表示；经由所述用户输入设备接收与相对于所述解剖表示的目标相关联的用户输入；确定与所述目标相关联的不确定区；以及经由所述显示系统显示相对于所述解剖表示的所述目标，其中所述不确定区被显示为至少部分地围绕所述目标。实施方式可包括以下特征中的一个或多个：所述系统，其中解剖模型被配准到解剖结构，并且其中基于配准不确定性来确定所述不确定区；所述系统，其中基于所述目标的预定大小确定所述不确定区；所述系统，其中基于所述目标的可及性确定所述不确定区；所述系统还包括确定潜在危险的定位；所述系统，其中所述潜在危险的所述定位相对于所述目标的位置；所述系统，其中相对于所述目标显示所述潜在危险；所述系统，其中所述潜在危险包括患者肺内的血管、大疱和胸膜中的一个或多个。

应当理解的是，前面的一般描述和下面的详细描述在本质上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。就这一点而言，根据以下详细描述，本公开的其他方面、特征和优点对于本领域技术人员将是显而易见的。

附图说明

本专利或申请文件包含至少一张彩色附图。在请求和支付必要费用后，专利局将会提供具有(一张或多张)彩色附图的本专利或专利申请公开的副本。

图1是根据一些实施例的远程操作医疗系统的简化图。

图2A是根据一些实施例的医疗器械系统的简化图。

图2B是根据一些实施例的具有延伸的医疗工具的医疗器械的简化图。

图3A和图3B是根据一些实施例的患者坐标空间的侧视图的简化图，该患者坐标空间包括安装在***组件上的医疗器械。

图4是根据一些实施例的可在显示系统上显示的图形用户界面的简化图。

图5A-5D是根据一些实施例的在多种模式下的图形用户界面的简化图。

图6A-6B是根据一些实施例的在配准过程期间在两个不同时间的动态点云视图的简化图。

图7A-7B是根据一些实施例的在两个不同时间的动态配准引导视图的简化图。

图8是根据一些实施例的驱动力指示符的简化图。

图9是根据一些实施例的弯曲指示符的简化图。

图10是根据一些实施例的全局解剖表示(例如，模型)的简化图。

图11A-11C是根据一些实施例的在三个不同时间的缩减解剖表示(例如，模型)的简化图。

图12A-12B是根据一些实施例的在两个不同时间的现场相机反馈的简化图。

图13A-13D是根据一些实施例的在两个不同时间的虚拟远侧视图的简化图。

图14是根据一些实施例的在其中导管被***超出规划路线端部的情境期间的一组视图的简化图。

图15A-15C是根据一些实施例的在多种模式下的远程图像视图的简化图。

图16是根据一些实施例的用于显示图形用户界面的双屏显示器的简化图。

图17是根据一些实施例的用于监测医疗程序的方法的简化图。

图18是根据一些实施例的用于使用图形用户界面来监测医疗程序的方法的简化图。

图19是根据一些实施例的用于使用图形用户界面来显示患者解剖结构的方法的简化图。

图20是根据一些实施例的用于使用图形用户界面来显示患者解剖结构内的目标的方法的简化图。

通过参考下面的详细描述，将最好地理解本公开的实施例及其优点。应当理解，相同附图标记用于标识在一个或多个附图中示出的相同元件，其中附图中的展示是为了说明本公开的实施例而不是为了限制本公开。

具体实施方式

在以下描述中，阐述了描述与本公开一致的一些实施例的具体细节。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域的技术人员将显而易见的是，可以在没有一些或所有这些具体细节的情况下实践一些实施例。本文所公开的具体实施例意在说明而非限制。尽管在这里没有具体描述，但本领域的技术人员可以实现在本公开的范围和精神内的其他元件。此外，为了避免不必要的重复，除非另外特别说明或者如果一个或多个特征会使实施例不起作用，否则与一个实施例相关联示出和描述的一个或多个特征可以合并到其他实施例中。

在一些情况下，没有详细描述公知的方法、程序、部件和电路以免不必要地混淆实施例的各方面。

本公开依据各种器械和器械的部分在三维空间中的状态来描述它们。如本文所使用的，术语“位置”是指物体或物体的一部分在三维空间中的定位(例如，沿着笛卡尔x坐标、y坐标和z坐标的三个平移自由度)。如本文所使用的，术语“定向”是指物体或物体的一部分的旋转放置(三个旋转自由度，例如，滚动、俯仰和偏航)。如本文所使用的，术语“姿态”是指物体或物体的一部分在至少一个平移自由度中的位置以及该物体或物体的一部分在至少一个旋转自由度中的定向(最多总共六个自由度)。如本文所使用的，术语“形状”是指沿着物体测量的一组姿态、位置或定向。

图1是根据一些实施例的远程操作医疗系统100的简化图。在一些实施例中，远程操作医疗系统100可以适用于例如手术程序、诊断程序、治疗程序或活检程序。如图1所示，医疗系统100通常包括远程操作操纵器组件102，以用于在对患者P执行各种程序时操作医疗器械104。远程操作操纵器组件102安装到手术台T或其附近。主组件106允许操作员(例如，如图1所示的外科医生、临床医生或医师O)查看介入部位并控制远程操作操纵器组件102。

主组件106可以位于外科医生的控制台处，所述外科医生的控制台通常与手术台T位于相同房间，例如在患者P所位于的外科手术台的一侧。然而，应当理解，医师O能够位于与患者P不同的房间或完全不同的建筑物中。主组件106通常包括用于控制远程操作操纵器组件102的一个或多个控制设备。控制设备可以包括任意数量的各种输入设备，诸如操纵杆、轨迹球、数据手套、触发枪、手动控制器、语音识别设备、身体运动或存在传感器和/或诸如此类。为了向医师O提供直接控制器械104的强烈感觉，可以为控制设备提供与相关联的医疗器械104相同的自由度。以这种方式，控制设备向医师O提供远程呈现或控制设备与医疗器械104一体的感觉。

在一些实施例中，控制设备可以具有比相关联的医疗器械104更多或更少的自由度，并且仍然为医师O提供远程呈现。在一些实施例中，控制设备可以任选地是手动输入设备，该手动输入设备利用六个自由度移动，并且还可以包括用于致动器械(例如，用于闭合抓紧钳口、向电极施加电势、递送药物治疗和/或诸如此类)的可致动手柄。

远程操作操纵器组件102支撑医疗器械104，并且可以包括一个或多个非伺服控制的连杆(例如，可以手动定位并锁定在适当位置的一个或多个连杆，通常称为装配结构)的运动学结构和远程操作操纵器。远程操作操纵器组件102可以任选地包括多个致动器或马达，所述致动器或马达响应于来自控制系统(例如，控制系统112)的命令而驱动医疗器械104上的输入。致动器可以任选地包括驱动系统，所述驱动系统在耦接到医疗器械104时可以使医疗器械104前进到自然或手术创建的解剖孔口中。其他驱动系统可以使医疗器械104的远端以多个自由度移动，该多个自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴的线性运动)和在三个旋转运动度(例如，围绕X、Y、Z笛卡尔轴的旋转)中。另外，致动器能够用于致动医疗器械104的可铰接的末端执行器，以用于将组织抓紧在活检设备和/或类似物的钳口中。致动器位置传感器(诸如分解器、编码器、电位计和其他机构)可以向医疗系统100提供描述马达轴的旋转和定向的传感器数据。该位置传感器数据可以用于确定由致动器操纵的物体的运动。

远程操作医疗系统100可以包括传感器系统108，所述传感器系统108具有用于接收关于远程操作操纵器组件102的器械的信息的一个或多个子系统。此类子系统可以包括：位置/定位传感器系统(例如，电磁(EM)传感器系统)；用于确定远端和/或沿着可构成医疗器械104的柔性主体的一个或多个区段的位置、定向、速度、速率、姿态和/或形状的形状传感器系统；和/或用于从医疗器械104的远端捕获图像的可视化系统。

远程操作医疗系统100还包括显示系统110，以用于显示由传感器系统108的子系统生成的手术部位和医疗器械104的图像或表示。显示系统110和主组件106可以被定向成使得医师O能够利用远程呈现的感知来控制医疗器械104和主组件106。

在一些实施例中，医疗器械104可以具有可视化系统(在下面更详细地讨论)，该可视化系统可包括观察镜组件，该观察镜组件记录手术部位的并发(concurrent)或实时图像并通过医疗系统100的一个或多个显示器(诸如显示系统110的一个或多个显示器)将图像提供给操作员或医师O。并发图像可以是例如由定位在手术部位内的内窥镜捕获的二维或三维图像。在一些实施例中，可视化系统包括内窥镜部件，所述内窥镜部件可以整体地或可移除地耦接到医疗器械104。然而，在一些实施例中，附接到单独操纵器组件的单独内窥镜可以与医疗器械104一起使用以对手术部位成像。可视化系统可以被实现为与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行的硬件、固件、软件或其组合，这些计算机处理器可以包括控制系统112的处理器。

显示系统110还可以显示由可视化系统捕获的手术部位和医疗器械的图像。在一些示例中，远程操作医疗系统100可以配置医疗器械104以及主组件106的控件，使得医疗器械的相对位置类似于医师O的眼睛和手的相对位置。以这种方式，医师O能够操纵医疗器械104和手动控件，就好像查看基本上真实呈现的的工作空间一样。真实呈现是指图像的呈现是模拟正在物理操纵医疗器械104的医师的视角的真实透视图像。

在一些示例中，显示系统110可以使用来自成像技术的图像数据来呈现术前或术中记录的手术部位的图像，所述成像技术诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、温度记录法、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。术前或术中图像数据可以被呈现为二维、三维或四维(包括例如基于时间或基于速率的信息)图像和/或被呈现为来自根据术前或术中图像数据集创建的表示(例如，模型)的图像。

在一些实施例中，通常出于图像引导医疗程序的目的，显示系统110可以显示虚拟导航图像，在该虚拟导航图像中，医疗器械104的实际定位与来自表示(例如，模型)的术前图像或并发图像配准(即，动态参考)。可以这样做，以从医疗器械104的视角向医师O呈现内部手术部位的虚拟图像。在一些示例中，视角可以来自医疗器械104的尖端。医疗器械104的尖端的图像和/或其他图形或字母数字指示符可以被叠加在虚拟图像上以辅助医师O控制医疗器械104。在一些示例中，医疗器械104可能在虚拟图像中不可见。

在一些实施例中，显示系统110可以显示虚拟导航图像，其中将医疗器械104的实际位置与术前图像或并发图像配准，以从外部视点向医师O呈现外科手术部位内的医疗器械104的虚拟图像。医疗器械104的一部分的图像或其他图形或包括文字与数字的指示符可以叠加在虚拟图像上以辅助医师O控制医疗器械104。如本文所述，数据点的视觉表示可以被渲染到显示系统110。例如，本文描述的测量数据点、移动数据点、配准数据点和其他数据点可以以视觉表示显示在显示系统110上。数据点可以在用户界面中由显示系统110上的多个点或圆点可视地表示，或者表示为渲染表示(例如，模型)，诸如基于数据点集创建的网格或线模型。在一些示例中，可以根据数据点所表示的数据对数据点进行颜色编码。在一些实施例中，在已经实现了每个处理操作以改变数据点之后，可以在显示系统110中刷新视觉表示。

远程操作医疗系统100也可以包括控制系统112。控制系统112包括至少一个存储器和至少一个计算机处理器(未示出)，以用于在医疗器械104、主组件106、传感器系统108和显示系统110之间实现控制。控制系统112还包括用于实施根据本文公开的方面描述的一些或全部方法的编程指令(例如，存储指令的非暂时性机器可读介质)，包括用于向显示系统110提供信息的指令。尽管在图1的简化示意图中将控制系统112示为单个框，但该系统可以包括两个或更多个数据处理电路，其中处理的一部分任选地在远程操作操纵器组件102上或附近执行，处理的另一个部分在主组件106处执行和/或诸如此类。控制系统112的处理器可以执行指令，所述指令包括与本文公开并在下面更详细描述的过程相对应的指令。可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以被实现为若干单独程序或子例程，或者它们可以集成到本文所述的远程操作系统的若干其他方面。在一个实施例中，控制系统112支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE802.11、DECT和无线遥测。

在一些实施例中，控制系统112可以从医疗器械104接收力和/或扭矩反馈。响应于反馈，控制系统112可以将信号传输到主组件106。在一些示例中，控制系统112可以传输指示远程操作操纵器组件102的一个或多个致动器移动医疗器械104的信号。医疗器械104可以经由患者P体内的开口延伸到患者P体内的内部手术部位。可以使用任何合适的常规和/或专用致动器。在一些示例中，所述一个或多个致动器可以与远程操作操纵器组件102分开或集成。在一些实施例中，所述一个或多个致动器和远程操作操纵器组件102被设置为远程操作推车的一部分，该远程操作推车被定位成邻近患者P和手术台T。

控制系统112可以任选地进一步包括虚拟可视化系统，以便在图像引导医疗程序期间控制医疗器械104时向医师O提供导航辅助。使用虚拟可视化系统的虚拟导航可以基于对所获取的解剖通道的术前或术中数据集的参考。虚拟可视化系统处理使用成像技术进行成像的手术部位的图像，所述成像技术诸如计算机断层扫描(CT)、磁共振成像(MRI)、荧光镜检查、温度记录法、超声、光学相干断层扫描(OCT)、热成像、阻抗成像、激光成像、纳米管X射线成像和/或诸如此类。可与手动输入结合使用的软件用于将记录的图像转换成部分或整个解剖器官或解剖区域的分段的二维或三维合成表示。图像数据集与合成表示相关联。合成表示和图像数据集描述了通道的各种定位和形状及其连通性。在临床程序期间，可以在术前或术中记录用于生成合成表示的图像。在一些实施例中，虚拟可视化系统可以使用标准表示(即，非患者专用的)或标准表示与患者专用数据的混合。该合成表示和由该合成表示生成的任何虚拟图像可以表示一个或多个运动阶段期间(例如，在肺的吸气/呼气周期期间)的可变形解剖区域的静态姿势。

在虚拟导航程序期间，传感器系统108可用于计算医疗器械104相对于患者P的解剖结构的大概定位。该定位可用于产生患者P的解剖结构的宏观层面(外部)的跟踪图像和患者P的解剖结构的虚拟内部图像。系统可以实现一个或多个电磁(EM)传感器、光纤传感器和/或其他传感器以与术前记录的手术图像一起配准和显示医疗器械。例如，通过引用整体并入本文的美国专利申请No.13/107,562(2011年5月13日提交)(公开了“提供用于图像引导手术的解剖结构的模型的动态配准的医疗系统(Medical System ProvidingDynamicRegistration of a Model of an Anatomic Structure for Image-GuidedSurgery)”)公开了一种这样的系统。远程操作医疗系统100可以进一步包括任选的操作和支持系统(未示出)，诸如照明系统、转向控制系统、冲洗系统和/或抽吸系统。在一些实施例中，远程操作医疗系统100可以包括多于一个远程操作操纵器组件和/或多于一个主组件。远程操作操纵器组件的确切数量将取决于医疗程序和手术室内的空间约束等因素。主组件106可以并置或者它们可以位于不同的定位。多个主组件允许多于一个操作员以各种组合控制一个或多个远程操作操纵器组件。

图2A是根据一些实施例的医疗器械系统200的简化图。在一些实施例中，医疗器械系统200可以在利用远程操作医疗系统100执行的图像引导医疗程序中用作医疗器械104。在一些示例中，医疗器械系统200可用于非远程操作探索程序或用在涉及传统手动操作的医疗器械的程序(诸如内窥镜检查)中。任选地，医疗器械系统200可以用于收集(即，测量)与患者(诸如患者P)的解剖通道内的定位相对应的一组数据点。

医疗器械系统200包括耦接到驱动单元204的细长设备202。细长设备202包括具有近端217和远端或尖端部分218的柔性主体216。在一些实施例中，柔性主体216具有约3mm的外径。其他柔性主体外径可以更大或更小。

医疗器械系统200还包括跟踪系统230，以用于使用一个或多个传感器和/或成像设备来确定柔性主体216在远端218处的和/或沿着柔性主体216的一个或多个区段224的位置、定向、速度、速率、姿态和/或形状，如下面进一步详细描述的。柔性主体216的在远端218和近端217之间的整个长度可以被有效地分成区段224。如果医疗器械系统200与远程操作医疗系统100的医疗器械104一致，跟踪系统230。跟踪系统230可以任选地被实现为与一个或多个计算机处理器交互或以其他方式由一个或多个计算机处理器执行的硬件、固件、软件或其组合，这些计算机处理器可以包括图1中的控制系统112的处理器。

跟踪系统230可以任选地使用形状传感器222来跟踪远端218和/或区段224中的一个或多个。形状传感器222可以任选地包括与柔性主体216对准的光纤(例如，设置在内部通路(未示出)内或外部安装)。在一个实施例中，光纤的直径约为200μm。在另一些实施例中，尺寸可以更大或更小。形状传感器222的光纤形成用于确定柔性主体216的形状的光纤弯曲传感器。在一个替代方案中，包括光纤布拉格光栅(FBG)的光纤用于提供一维或多维结构的应变测量。在美国专利申请No.11/180,389(2005年7月13日提交)(公开了“光纤位置和形状感测设备及相关方法(Fiber optic position and shapesensing device and methodrelating thereto)”)、美国专利申请No.12/047,056(2004年7月16日提交)(公开了“光纤形状和相对位置感测(Fiber-optic shapeand relative position sensing)”)以及美国专利No.6,389,187(1998年6月17日提交)(公开了“光线弯曲传感器(Optical Fibre BendSensor)”)中描述了用于监测光纤在三维中的形状和相对位置的各种系统和方法，所述专利申请和专利通过引用整体并入本文。在一些实施例中，传感器可以采用其他合适的应变感测技术，诸如瑞利散射、拉曼散射、布里渊散射和荧光散射。在一些实施例中，可以使用其他技术来确定柔性主体216的形状。例如，柔性主体216的远端姿态的历史可用于在时间间隔内重建柔性主体216的形状。在一些实施例中，跟踪系统230可以任选地和/或附加地使用位置传感器系统220来跟踪远端218。位置传感器系统220可以是带有位置传感器系统220的EM传感器系统的部件，EM传感器系统包括可经受外部生成的电磁场的一个或多个导电线圈。EM传感器系统220的每个线圈然后产生感应电信号，该感应电信号具有取决于线圈相对于外部生成的电磁场的位置和定向的特性。在一些实施例中，位置传感器系统220可以被配置和定位成测量六个自由度(例如，三个位置坐标X、Y、Z和指示基点的俯仰、偏航和滚动的三个定向角)或五个自由度(例如，三个位置坐标X、Y、Z和指示基点的俯仰和偏航的两个定向角)。在通过引用整体并入本文的美国专利No.6,380,732(1999年8月11日提交)(公开了“具有在被跟踪的物体上的无源应答器的六个自由度跟踪系统(Six-Degree of FreedomTracking System Having a Passive Transponderon the Object Being Tracked)”)中提供了位置传感器系统的进一步说明。

在一些实施例中，跟踪系统230可替代地和/或附加地依赖于针对器械系统的沿着交替运动(诸如呼吸)周期的已知点存储的历史姿态、位置或定向数据。该存储数据可以用于开发关于柔性主体216的形状信息。在一些示例中，诸如与位置传感器220中的传感器类似的电磁(EM)传感器的一系列位置传感器(未示出)可以沿着柔性主体216定位并然后用于形状感测。在一些示例中，在程序期间获取的来自这些传感器中的一个或多个的数据的历史可以用于表示细长设备202的形状，特别是如果解剖通道是大体静态的。

柔性主体216包括通路221，该通路的尺寸和形状被设计成接收医疗器械226。图2B是根据一些实施例的具有延伸的医疗器械226的柔性主体216的简化图。在一些实施例中，医疗器械226可以用于诸如手术、活检、消融、照明、冲洗或抽吸的程序。医疗器械226能够通过柔性主体216的通路221来部署，并且能够在解剖结构内的目标定位处使用。医疗器械226可以包括例如图像捕获探针、活检器械、激光消融纤维和/或其他手术、诊断或治疗工具。医疗工具可以包括具有单个工作构件(诸如手术刀、钝刀、光纤、电极和/或类似物)的末端执行器。其他末端执行器可以包括例如镊子、抓钳、剪刀、施夹器和/或类似物。其他末端执行器可以进一步包括电激活的末端执行器，诸如电外科电极、换能器、传感器和/或类似物。在各种实施例中，医疗器械226是活检器械，其可以用于从目标解剖定位去除样本组织或细胞取样。医疗器械226可以与也在柔性主体216内的图像捕获探针一起使用。在各种实施例中，医疗器械226可以是包括具有立体或单视场相机的远侧部分的图像捕获探针，其在柔性主体216的远端218处或附近以用于捕获图像(包括视频图像)，这些图像由可视化系统231处理以用于显示和/或提供给跟踪系统230以支持对远端218和/或一个或多个区段224的跟踪。图像捕获探针可以包括耦接至相机以用于传输所捕获的图像数据的电缆。在一些示例中，图像捕获器械可以是耦接到可视化系统231的光纤束(诸如纤维镜)。图像捕获器械可以是单谱或多谱的，例如在可见光谱、红外光谱和/或紫外光谱中的一个或多个中捕获图像数据。可替代地，医疗器械226本身可以是图像捕获探针。医疗器械226可以从通路221的开口前进以执行程序，并且然后在完成程序时缩回到通路中。可以从柔性主体216的近端217或从沿着柔性主体216的另一任选器械端口(未示出)移除医疗器械226。

医疗器械226可以附加地容纳在其近端和远端之间延伸以可控地弯曲医疗器械226的远端的电缆、连杆或其他致动控件(未示出)。在美国专利No.7,316,681(2005年10月4日提交)(公开了“用于进行具有增强的敏捷性和敏感性的微创手术的铰接式手术器械(Articulated Surgical Instrument forPerforming Minimally Invasive Surgerywith Enhanced Dexterity andSensitivity)”)以及美国专利申请No.12/286,644(2008年9月30日提交)(公开了“手术器械的被动预紧和绞盘驱动(Passive Preload and CapstanDrivefor Surgical Instruments)”)中详细了描述可转向器械，所述专利及专利申请整体通过引用并入本文。

柔性主体216还可以容纳在驱动单元204和远端218之间延伸以可控地弯曲远端218(例如通过远端218的虚线描绘219所示的)的电缆、连杆或其他转向控件(未示出)。在一些示例中，至少四个电缆用于提供独立的“上下”转向以控制远端218的俯仰，并且提供“左右”转向以控制远端281的偏航。在通过引用整体并入本文的美国专利申请No.13/274,208(2011年10月14日提交)(公开了“带有可移除视觉探针的导管(Catheter withRemovableVision Probe)”)中详细描述了可转向导管。在其中医疗器械系统200由远程操作组件致动的实施例中，驱动单元204可以包括可移除地耦接到远程操作组件并从远程操作组件的驱动元件(诸如致动器)接收动力的驱动输入。在一些实施例中，医疗器械系统200可以包括抓握特征、手动致动器或用于手动控制医疗器械系统200的运动的其他部件。细长设备202可以是可转向的，或者可替代地，该系统可以是不可转向的，其中没有用于操作员控制远端218的弯曲的集成机构。在一些示例中，在柔性主体216的壁中限定一个或多个管腔，医疗器械能够通过所述一个或多个管腔部署并在目标手术定位处使用。

在一些实施例中，医疗器械系统200可包括用于肺的检查、诊断、活检或治疗的柔性支气管器械，诸如支气管镜或支气管导管。医疗器械系统200还适用于在各种解剖系统(包括结肠、肠、肾脏和肾盏、大脑、心脏、包括脉管系统的循环系统和/或诸如此类)中的任何一种中经由自然或手术创建的连接通道进行其他组织的导航和治疗。

来自跟踪系统230的信息可以被发送到导航系统232，在此将其与来自可视化系统231的信息和/或术前获得的表示(例如，模型)进行组合以向医师、临床医生、外科医生或其他操作员提供实时位置信息。在一些示例中，实时位置信息可以显示在图1的显示系统110上以用于控制医疗器械系统200。在一些示例中，图1的控制系统116可以利用位置信息作为用于定位医疗器械系统200的反馈。在通过引用整体并入本文的美国专利申请No.13/107,562(2011年5月13日提交)(公开了“提供用于图像引导手术的解剖结构的模型的动态配准的医疗系统(Medical System Providing Dynamic Registration of aModel of anAnatomic Structure for Image-Guided Surgery)”)中提供了用于使用光纤传感器来利用手术图像配准和显示手术器械的各种系统。

在一些示例中，医疗器械系统200可以在图1的医疗系统100内远程操作。在一些实施例中，图1的远程操作操纵器组件102可以由直接操作员控件代替。在一些示例中，直接操作员控件可以包括用于器械的手持操作的各种手柄和操作员界面。

图3A和图3B是根据一些实施例的患者坐标空间的侧视图的简化图，该患者坐标空间包括安装在***组件上的医疗器械。如图3A和图3B所示，手术环境300包括患者P位于平台302上。在总体患者移动受到镇静、约束和/或其他手段的限制的意义上，患者P在手术环境内可能静止不动。除非患者P被要求屏住他或她的呼吸以暂时中止呼吸运动，否则包括该患者的呼吸和心脏运动的循环解剖运动可继续。因此，在一些实施例中，可以在呼吸的特定阶段收集数据，并用该阶段标记和识别该数据。在一些实施例中，可以根据从患者P收集的生理信息推断出收集数据的阶段。在手术环境300内，点收集器械304被耦接到器械滑架306。在一些实施例中，点收集器械304可以使用EM传感器、形状传感器和/或其他传感器模态。器械滑架306被安装至固定在手术环境300内的***台308。可替代地，***台308可以是可移动的，但在手术环境300内具有已知定位(例如，经由跟踪传感器或其他跟踪设备)。器械滑架306可以是远程操作操纵器组件(例如，远程操作操纵器组件102)的部件，其耦接到点收集器械304以控制***运动(即，沿A轴线的运动)以及任选地控制细长设备310的远端318在包括偏航、俯仰和滚动的多个方向上的运动。器械滑架306或***台308可以包括控制器械滑架306沿***台308的运动的致动器，诸如伺服马达(未示出)。

细长设备310被耦接到器械主体312。器械主体312相对于器械滑架306被耦接并固定。在一些实施例中，光纤形状传感器314被固定在器械主体312上的近侧点316处。在一些实施例中，光纤形状传感器314的近侧点316可以与器械主体312一起移动，但近侧点316的定位可以是已知的(例如，经由跟踪传感器或其他跟踪设备)。形状传感器314测量从近侧点316到另一个点(诸如细长设备310的远端318)的形状。点收集器械304可基本上类似于医疗器械系统200。

在器械主体312沿***轴线A在***台308上移动时，位置测量设备320提供关于器械主体312的位置的信息。位置测量设备320可包括分解器、编码器、电位计和/或确定控制器械滑架306的运动并因此控制器械主体312的运动的致动器的旋转和/或定向的其他传感器。在一些实施例中，***台308是线性的。在一些实施例中，***台308可以是弯曲的或具有弯曲部段和线性部段的组合。

图3A示出了沿着***台308处于缩回位置的器械主体312和器械滑架306。在该缩回位置中，近侧点316在轴线A上的位置L0处。在沿着***台308的该位置中，近侧点316的定位的A分量可以被设置为零和/或另一参考值以提供基本参考来描述器械滑架306(以及因此近侧点316)在***台308上的位置。通过器械主体312和器械滑架306的该缩回位置，细长设备310的远端318可刚好被定位在患者P的进入孔口内。同样在该位置中，位置测量设备320可以被设置为零和/或另一个参考值(例如，I＝0)。在图3B中，器械主体312和器械滑架306已经沿着***台308的线性轨道前进，并且细长设备310的远端318已经前进到患者P中。在该前进位置中，近侧点316在轴线A上的位置L1处。在一些示例中，编码器和/或来自控制器械滑架306沿着***台308的移动的一个或多个致动器和/或来自与器械滑架306和/或***台308相关联的一个或多个位置传感器的其他位置数据用于确定近侧点316相对于位置L0的位置Lx。在一些示例中，位置LX还可以进一步用作细长设备310的远端318***患者P的解剖结构的通道中的距离或***深度的指示符。

在说明性应用中，医疗器械系统(诸如医疗器械系统200)可以包括用于肺活检程序的机器人导管系统。机器人导管系统的导管为诸如内窥镜、支气管内超声(EBUS)探针、治疗工具和/或活检工具之类的工具提供了管道，以便将这些工具递送至气道内的存在肺活检的一个或多个目标(诸如病变、结节、肿瘤和/或类似物)的定位。当导管被驱动通过解剖结构时，通常安装内窥镜，使得临床医生(诸如外科医生O)能够监测导管远端的现场相机反馈。现场相机反馈和/或其他实时导航信息可以经由图形用户界面显示给临床医生。

在使用机器人导管系统来执行活检程序之前，可以执行术前规划步骤以规划活检程序。术前规划步骤可包括对患者CT扫描进行分割以创建解剖结构的三维(3D)表示(例如，3D模型)、在3D模型内选择目标、确定模型中的气道、使气道增长以形成连接的气道树以及规划通过连接树到达目标的路径。这些步骤中的一个或多个步骤可以在用于执行活检的同一个机器人导管系统上、在不同的医疗器械系统上、在独立的处理器(诸如专用于术前规划的工作站)和/或类似物上执行。活检程序的规划可以被保存(例如，作为一个或多个数字文件)并被转移到用于执行活检程序的机器人导管系统。所保存的规划可以包括3D模型、气道的识别、目标定位、到目标定位的路径和/或类诸如此类。在代理人案卷号为ISRG10600PROV/US/70228.613PV01的同时提交的美国临时专利申请中涵盖了支持术前规划步骤的图形用户界面的示例，该专利申请在上面通过引用并入。

当规划被转移到机器人导管系统时，解剖结构的3D模型将被配准到实际患者解剖结构和/或患者解剖结构内的导管。因此，导管的实时位置和定向可以被投射到3D模型上并经由图形用户界面显示。然后，临床医生能够继续驱动导管通过解剖结构，同时在图形用户界面上监测导航进度。例如，临床医生可以沿着所保存的规划中的预定路径驱动导管，以导航到目标定位和/或在目标定位处执行活检。

下面提供用于监测医疗程序(包括但不限于上述肺活检程序)的图形用户界面的说明性实施例。图形用户界面可以包括用于监测3D模型到解剖结构的配准的配准模式、用于监测医疗器械到解剖结构中的目标定位的导航的导航模式以及用于监测在目标定位处的介入步骤的执行的执行模式。图形用户界面的一些方面类似于以下专利申请中描述的特征：2016年6月30日提交并且标题为“用于在图像引导程序期间显示引导信息的图形用户界面(GraphicalUser Interface for Displaying Guidance Information During andImage-GuidedProcedure)”的美国临时专利申请62/357,217以及2017年6月30日提交并且标题为“用于在图像引导程序期间以多种模式显示引导信息的图形用户界面(GraphicalUser Interface for Displaying Guidance Information in a Plurality ofModesDuring and Image-Guided Procedure)”的美国临时专利申请62/357,258，这些专利申请通过引用整体并入本文。

图4是根据一些实施例的可显示在显示系统(诸如显示系统110)上的图形用户界面400的简化图。图形用户界面400以临床医生(诸如外科医生O)可见的一个或多个视图显示与医疗程序相关联的信息。尽管在图4中描绘了视图的说明性布置，但应当理解，图形用户界面400可能以任何合适的布置并且/或者在任何合适数量的屏幕上显示任何合适数量的视图。在一些示例中，同时显示的视图的数量可以通过以下方式改变：打开和关闭视图，最小化和最大化视图，在图形用户界面400的前景和背景之间移动视图，在屏幕之间切换，和/或以其他方式完全或部分遮盖视图。类似地，视图的布置(包括其大小、形状、定向、排序(在重叠视图的情况下)和/或诸如此类)可以改变和/或可以由用户配置。

在一些示例中，显示视图的图形用户界面400可以以有组织的方案布置以便于快速访问相关信息。尽管图4描绘了一种这样的组织方案的说明性示例，但许多其他组织方案也是可能的。如图4所示，图形用户界面400包括显示一个或多个全局视图410的上部、显示一个或多个紧凑视图420的中间部分以及显示一个或多个局部视图430的下部。全局视图410通常显示医疗程序的全局方面以向临床医生提供医疗程序的当前状态的详细图片。紧凑视图420通常以简化、整洁的格式显示关于医疗程序的缩减信息集以便于临床医生的快速理解。局部视图430通常显示医疗程序的局部方面以实时监测由医疗器械执行的移动和/或介入步骤。下面参照图5A-5D更详细地讨论全局视图410、紧凑视图420和局部视图430的示例。

在一些示例中，全局视图410、紧凑视图420和局部视图430可以以不同于图4中描绘的那些配置的各种配置来布置。例如，图形用户界面400可以具有横向布局，在该横向布局中，全局视图410位于左侧，紧凑视图420被垂直定向在中间，并且局部视图430位于右侧。在一些示例中，全局视图410、紧凑视图420和局部视图430可以分布在整个图形用户界面400中，使得图形用户界面400可以不被分成如图4所描绘的专用区域。在一些示例中，除了图4中描绘的那些视图之外，图形用户界面400还可以包括各种视图、控件、指示符和/或类似物。例如，图形用户界面400可以包括页眉、页脚、一个或多个侧边栏、消息栏、弹出窗口、背景、覆盖物和/或类似物。

图形用户界面400可以在医疗程序的各个阶段以不同模式操作。在一些示例中，组织方案可以基于图形用户界面400的模式而变化。在每种模式下，可以选择视图的布置以传达在医疗程序的当前阶段可用和/或相关的信息。在一些示例中，模式可以包括配准模式、导航模式和/或执行模式，如下面讨论的。在一些示例中，各种模式可以彼此重叠和/或彼此间无缝转换以便表现为单个模式。例如，导航模式和执行模式可以无缝转换，使得它们可以被认为是单个混合的导航和执行模式。

图5A-5D是根据一些实施例的在多种模式下的图形用户界面500的简化图。根据与图4一致的一些实施例，图形用户界面500可以对应于图形用户界面400。因此，图形用户界面500以临床医生(诸如外科医生O)可见的一个或多个视图显示与医疗程序相关联的信息。在一些示例中，图形用户界面500和/或全局视图510、紧凑视图520和局部视图530内的选择窗口或视图可以被显示在诸如触摸屏的I/O设备上，以接收用于控制和/或配置图形用户界面500的用户输入。例如，用户输入可以允许临床医生控制图形用户界面500的配置和/或外观的布置、缩放、视角、旋转、配色方案和/或其他方面。在一些示例中，可以经由诸如独立控制台的单独输入设备来接收用户输入。在一些示例中，例如当图形用户界面500无法由用户配置时，可以省略用户输入设备。

图5A示出了在配准模式下的图形用户界面500。配准模式用于在医疗程序开始时监测和辅助将3D模型配准到解剖结构。在示例性配准过程中，临床医生将器械(例如，具有定位传感器的导管，诸如形状传感器、电磁(EM)传感器和/或类似物)驱动到解剖结构的各个部分以收集配准数据。例如，当解剖结构对应于肺时，临床医生可以将导管驱动到肺的对应于右中叶、左中叶、主干支气管和/或类似物的部分。定位传感器(诸如形状传感器222)用于确定一系列点，这些点限定在将导管驱动到解剖结构的各个部分时导管在传感器参考系中的位置和定向。另外或替代地，例如使用***位置、仰角位置和/或装配接头轴线编码器位置，该一系列点可以以机器人传感器坐标系作为参考。该一系列点形成点云，该点云使用配准技术(诸如迭代最近点(ICP)算法和/或其他类似算法)被配准到3D模型。在一些实施例中，可以将关于在何处驱动导管以便加速和/或改善配准的准确性的引导信息提供给临床医生。

因此，在配准模式下的图形用户界面500可以示出便于监测配准过程的一个或多个视图。在一些示例中，图形用户界面500可以显示与全局视图410相对应的一个或多个全局视图510。如图5A所描绘的，配准模式下的全局视图510包括分别来自前视角和侧视角的一对动态点云视图511和512。应当理解，可以使用其他视角，包括用户可配置的视角和/或可由临床医生实时调整的视角(例如，使用控件来调整缩放、旋转、外观和/或诸如此类)。动态点云视图511和512显示点云的三维表示并随着更多点被添加到点云而不断更新。在一些示例中，当点云包括足够量的数据以合理准确地将表示配准到解剖结构时，点云的三维表示可以在动态点云视图511和512中呈现。在下面关于图6A-6B更详细地讨论动态点云视图的示例。

在一些示例中，在配准模式下的图形用户界面500可能不显示与紧凑视图420相对应的紧凑视图。具体地，在完成配准之前，紧凑视图420的一个或多个部分可能不可用。反而，在配准模式下的图形用户界面500可以显示状态信息521。如图5A所描绘的，状态信息521包括“构建气道信息”的消息和等待图标。

在一些示例中，在配准模式下的图形用户界面500可以显示与局部视图410相对应的一个或多个局部视图530。如图5A所描绘的，局部视图530包括现场相机反馈531和动态配准引导视图532。现场相机反馈531显示从定位在医疗器械的远端处的内窥镜接收到的实时图像。下面参考图7A-7B进一步详细讨论动态配准引导视图的示例。下面参考图12A-12B进一步详细讨论现场相机反馈的示例。

如图5A所描绘的，图形用户界面500还包括页眉541和消息栏542。页眉541显示标题(例如，“执行气道配准”)和患者信息。在一些示例中，页眉541可以包括模式转换按钮以在图形用户界面500的模式之间转换。消息栏542显示一个或多个消息，所述一个或多个消息可用于告知临床医生程序的后续步骤(例如，“在控制器屏幕上确认配准以开始导航至目标”)、向临床医生发送提醒(例如，“在配准期间使用屏住呼吸计时器”)、向临床医生发出危险警报和/或诸如此类。在一些实施例中，消息栏542的外观(例如，颜色、大小、纹理、字体等)可以根据消息的类型而改变。例如，警报消息可以显示为红色。当没有消息要显示时，消息栏542可以被隐藏。

在一些示例中，图形用户界面500可以包括驱动力指示符543和弯曲指示符544。在一些实施例中，当导管被定位在解剖结构中使得导管的一个或多个区段以太小而无法使工具(诸如活检针)穿过导管的半径弯曲时，弯曲指示符544可以用于警告临床医生。例如，当在导管中检测到极小弯曲半径时(例如，当弯曲半径低于预定阈值时)，弯曲指示符544会出现，否则会被隐藏。在一些实施例中，弯曲指示符544可以在一般情况下显示为导管尖端的当前形状的指示，以改善用户对远端配置的感知。就这一点而言，弯曲指示符544的形状可以根据导管的实际测量形状来计算并且/或者可以是抽象的图标指示符。下面分别参考图8和图9更详细地讨论驱动力指示符和弯曲指示符的示例。

当配准完成时，图形用户界面500从配准模式转换到导航模式。在一些示例中，图形用户界面500可以响应于检测到配准完成而自动从配准模式转换到导航模式。在一些示例中，可以手动执行转换，例如响应于临床医生点击图形用户界面500中的按钮(例如，页眉541中的模式转换按钮)、在单独输入设备(例如，控制台的触摸屏)上激活输入和/或诸如此类，以进入导航模式。

图5B示出了根据一些实施例的在导航模式下的图形用户界面500。在一些示例中，导航模式可以用于监测和辅助导管到目标定位的导航。例如，当临床医生正沿着在规划医疗程序期间选定的路线来驱动导管时，可以使用导航模式。导航模式可以进一步包括针对临床医生的指示符，其提供沿着路线到目标的方向引导。

在图5B所描绘的示例中，在导航模式下的全局视图510分别包括来自前视角和侧视角的一对全局解剖模型513和514。在另一个示例中，临床医生能够使用诸如滚轮、鼠标或触摸屏的输入设备来旋转全局解剖模型513和/或514的视角，以将全局解剖模型513和/或514拖动到期望的定向。在一些实施例中，临床医生可以旋转一个视图(例如，全局解剖模型513)，并且作为响应，另一个视图(例如，全局解剖模型514)能够自动旋转以提供相应的正交定向视图。下面参考图10更详细地描述了全局解剖模型的示例。在一些示例中，在导航模式下的图形用户界面500可以显示与紧凑视图420相对应的一个或多个紧凑视图520。如图5B所描绘的，紧凑视图520包括缩减的解剖模型522。缩减的解剖模型522显示到目标定位的规划路线的拉长表示，其中沿路线的各种特征(包括目标定位)以简化格式示出。下面参考图11A-11C更详细地描述了缩减的解剖模型的示例。类似于配准模式，在导航模式下的局部视图530包括现场相机反馈531。在一些示例中，如下面参考图12A-12B所讨论的，可以在导航模式下将补充引导信息叠加在现场相机反馈531上。局部视图530可以包括虚拟远侧视图533，虚拟远侧视图533从导管的远端的视角显示3D模型的呈现。参考图13A-13D进一步详细讨论虚拟远侧视图的示例。

当导管的远端接近目标定位时(例如，当远端在目标定位的指定范围内时)，可以显示图形用户界面500的替代配置，如图5C所描绘的。在一些示例中，响应于检测到导管在阈值内接近目标定位和/或在阈值内与目标定位对准，图形用户界面500可以自动从图5B中描绘的配置转换到图5C中描绘的替代配置。在一些示例中，可以手动执行转换，例如响应于临床医生点击图形用户界面500中的和/或单独输入设备上的按钮以进入执行模式。

如图5C所描绘的，全局视图510和紧凑视图520类似于图5B，尽管可以对所显示的视图进行各种调整(例如，显示全局视图510的放大版本)。然而，可以显示局部视图530的各种配置，以在导管位于目标定位附近时帮助临床医生将导管与目标定位对准。例如，代替现场内窥镜视图和/或除了现场内窥镜视图之外，可以显示远程图像视图534，诸如现场荧光镜视图，如下面将更详细描述的。为了适应远程图像视图534，可以将现场内窥镜视图531调整大小和/或重定位到例如显示器的左下角。在一些示例中，虚拟远侧视图533的外观可以被改变以帮助临床医生识别并对准目标定位，包括显示半透明的通道壁、目标指示符、不确定区和/或十字准线指示符。

当临床医生准备在目标定位处执行介入步骤时，图形用户界面500从导航模式转换到执行模式。在一些示例中，响应于检测到相机探针从导管移除(由此消除现场内窥镜视图)和/或用于执行介入步骤的医疗器械被***导管中，图形用户界面500可以自动从导航模式转换到执行模式。在一些示例中，可以手动执行转换，例如响应于临床医生点击图形用户界面500中的和/或单独输入设备上的按钮。

图5D示出了根据一些实施例的在执行模式下的图形用户界面500。执行模式用于监测目标定位处的介入步骤的执行。例如，介入步骤可以对应于活检、消融、化学递送、组织的物理操纵、生物医学设备的安装或移除和/或诸如此类。在一些实施例中，被***通过导管以在导航过程期间提供现场相机反馈的内窥镜在介入步骤的执行期间被移除，并且被更换为用于执行介入步骤的工具。当内窥镜被移除时，导管保持停放在目标定位附近以提供用于使工具到达目标定位的管道。在一些实施例中，在***工具之前、期间和/或之后，可以在移除内窥镜之后将探针(诸如支气管内超声(EBUS)探针)***停放的导管中。例如，径向EBUS探针可以延伸到刚好超过导管的远侧尖端以提供360度的超声视图。临床医生可以使用超声视图来验证目标定位相对于导管远端的位置。例如，在配准不准确和/或解剖结构自从执行配准以来已移位和/或变形的情况下，导管可能相对于目标定位对偏。就这一点而言，超声视图可用于重新定位导管以更好地与目标对准。一旦临床医生准备执行介入步骤，用于导航和/或精细对准的探针(例如，内窥镜或EBUS探针)可以被抽出并更换为程序特定工具(诸如活检针)。

如图5D所描绘的，在执行模式下的全局视图510和紧凑视图520类似于导航模式，但可以对显示的视图进行各种调整(例如，在执行模式下显示全局视图510的放大版本)。调整可由临床医生手动进行和/或由显示系统自动进行。如图5D所描绘的，在执行模式下的局部视图530包括远程图像视图534。在该示例中，远程图像视图534包括被定向成捕获导管的远端附近的解剖结构的荧光镜检查图像。参考图15A-15C进一步详细讨论远程图像视图的示例。在执行模式下的局部视图530中包括的其他视图通常类似于导航模式，但它们可以被调整大小和/或重新定位以适应远程图像视图534。

图6A-6B是根据一些实施例的在配准过程期间在两个不同时间的动态点云视图600的简化图。根据与图5A一致的一些实施例，动态点云视图600可以对应于图形用户界面400的动态点云视图511和/或512中的一个或多个。然而，应当理解，动态点云视图600可以显示在不同于图形用户界面500的背景中，包括作为独立图形用户界面部件和/或与不同于图形用户界面500中描绘的那些视图的视图结合。

动态点云视图600描绘了与使用位置探针620捕获的配准数据相对应的点云610。如图6A-6B所描绘的，使用蓝色圆点来显示点云610，并且将位置探针620显示为绿线。右上角的定向图标630指示绘图相对于解剖结构的定向。图6A描绘了配准过程早期的动态点云视图600，此时点云610对应于沿解剖结构内的单个未分支路径捕获的配准数据。在一些示例中，解剖结构内的单个未分支路径可能不足以执行合理准确的配准。因此，在图6A中没有呈现3D模型。

图6B描绘了配准过程后期的动态点云视图600，此时点云610已经增长为跨越多个分支(例如，多个气道)和/或多个分区(例如，多个肺叶)。当点云610包括足够量的配准数据以执行配准时，使用诸如ICP的配准算法来计算模型630相对于点云610的估计位置。一旦计算出估计位置，模型630就会呈现在动态点云视图600中。如图6B所描绘的，模型630被显示为半透明的灰色。随着点云继续增长，模型630的估计位置会不断更新。还可以响应于配准过程的完成水平来调整模型630的颜色和/或半透明度，例如，随着配准质量提高和/或随着模型的点云覆盖范围增加，模型会变得更加不透明。

临床医生可以通过识别动态点云视图600中的异常来视觉评估配准的准确度。例如，在图6B中，当点云610和/或位置探针610的部分不位于模型630的内部时，临床医生可确定配准不准确，因为通常预期点云610和位置探针620落在模型630的边界内。在配准准确度不令临床医生满意的情况下，临床医生可以继续捕获额外的点以尝试提高配准准确度，可以重新开始配准过程，和/或可以选择进入程序的下一阶段。

图7A-7B是根据一些实施例的在两个不同时间的动态配准引导视图700的简化图。根据与图5A一致的一些实施例，动态配准引导视图700可以对应于动态配准引导视图532。然而，应当理解，动态配准引导视图700可以显示在不同于图形用户界面500的背景中，包括作为独立视图和/或与不同于图形用户界面500中描绘的那些视图的视图结合。

动态配准引导视图700显示被动态更新以反映配准进度的信息和/或指令。在一些示例中，动态配准引导视图700可以包括书面指令710，书面指令710描述配准过程中的当前步骤和/或提供在解剖结构中的应收集额外点的建议区域。在当前步骤完成时，指令710的内容可以被自动更新以描述配准过程中的下一步骤。

在一些示例中，动态配准引导视图700可以包括解剖结构的示意表示720。示意表示720的每个区段对应于解剖结构的一部分。如图7A-7B所描绘的，这些区段包括各种肺叶、主气道(例如，主干支气管)以及肺的主隆突周围的区域。当已经从解剖结构的特定区段获取足够量的配准数据时，可以更新该区段的一个或多个属性(例如，颜色、形状、大小、纹理、文本标签和/或诸如此类)以指示相对于解剖结构的该部分配准已完成。例如，当从区段收集阈值量的配准数据时，区段可以从未填充(例如，无颜色)转换到已填充(例如，纯色)。附加地或可替代地，随着从区段收集更多的配准数据，区段的外观可以逐渐转换。在一些示例中，可以识别具有最少量的配准数据的一个或多个区段。通过监测示意表示720中的区段的外观变化，当相对于每个区段配准已完成时将通知临床医生，并且临床医生可以采取步骤以将位置探针移动到解剖结构中尚未有足够量的配准数据的部分。因此，可以加快配准过程，因为临床医生被指示在配准数据最稀疏和/或在其他方面尚不足以执行准确配准的区域中使配准点云增长。

图7A描绘了在已经从任何区段中捕获足够配准数据之前在配准过程早期的示意表示720。相应地，没有任何区段被填充。相比之下，图7B描绘了在已经从所有区段捕获足够配准数据之后在配准过程后期的示意表示720。相应地，示意表示720的每个区段被涂成纯蓝色。目标指示符730出现在图7B中以指示哪个区段包括医疗程序的目标定位。当医疗程序包括多于一个目标定位时，可能会出现多个目标指示符。在替代性示例中，(一个或多个)目标指示符可以覆盖在区段上，和/或可以通过改变对应区段的颜色、重量、色调和/或透明度来指示目标的定位。

图8是根据一些实施例的驱动力指示符800的简化图。根据与图5A-5D一致的一些实施例，驱动力指示符800可以对应于驱动力指示符543。然而，应当理解，驱动力指示符800可以显示在不同于图形用户界面500的背景中，包括作为独立视图和/或与不同于图形用户界面500中描绘的那些视图的视图结合。

驱动力指示符800显示在操作期间(例如，在从患者解剖结构***和/或抽出导管期间)施加到导管的轴向驱动力的视觉和/或包括字母数字表示。例如，在将导管***比导管直径窄的通道中时，和/或当导管以其他方式被障碍物阻碍时，可以施加大的驱动力。用于监测所施加的驱动力的许多技术是可能的。如图8所描绘的，使用对称条形图将驱动力绘制为时间的函数。最近的驱动力测量值在右侧，并且历史测量值绘制在左侧。在一些实施例中，可以使用各种其他绘制技术，诸如单侧条形图、线形图、散布图和/或诸如此类。可替代地或附加地，当前驱动力可以使用仪表、字母数字文本和/或类似物显示。在一些示例中，驱动力指示符800的外观(例如，颜色、纹理、大小和/或诸如此类)可以根据驱动力和/或时间而变化。如图8所描绘的，条的颜色基于驱动力的量值而在灰色、黄色或红色之间变化，并且时间越往回退，条的厚度逐渐减小。在一些示例中，驱动力指示符800可以定位在描绘导管的表示的视图(诸如缩减解剖视图522)附近和/或之内。在这种布置中，驱动力指示符800可以传达将导管推入解剖结构中的视觉印象。在美国临时专利申请62/357,258中进一步描述了驱动力指示符的各种示例，该专利如上所述通过引用并入本文。

图9是根据一些实施例的弯曲指示符900的简化图。根据与图5A-5D一致的一些实施例，弯曲指示符900可以对应于弯曲指示符544。然而，应当理解，弯曲指示符900可以显示在不同于图形用户界面500的背景中，包括作为独立视图和/或与不同于图形用户界面500中描绘的那些视图的视图结合。如先前所讨论的，当在导管中检测到极小弯曲半径时(例如，当弯曲半径低于预定阈值时)，弯曲指示符900会出现，否则会被隐藏。可替代地，当不存在极小弯曲时(例如，数值弯曲半径910)，弯曲指示符900的选定部分可以被隐藏。

弯曲指示符900提供导管的示意性弯曲表示910。当导管的远侧尖端弯曲时，出现弯曲线925，该弯曲线指示导管远端弯曲的方向。例如，如图9所描绘的，弯曲线925出现在环915的右上方，指示导管向右弯曲。因此，为了拉直导管，可将导管转向到左下方以减少弯曲。在一些示例中，当导管远端是直的时，弯曲线925可以被隐藏。

在一些示例中，示意性弯曲表示910可以包括从通过导管的远侧尖端向上且向后看导管管子(从远侧尖端朝向导管的近侧部分)的视角对导管的远端的呈现。与此类示例一致，环915可以被解释为对应于导管的远侧尖端。当导管弯曲时，导管的部分在远侧尖端(即环915)的后面变得可见。因此，由于导管的弯曲，弯曲线925可对应于导管远端的在远侧尖端(即，环915)后面可见的部分。

在替代性示例中，示意性弯曲表示910可以包括从沿着导管的近侧位置朝向远侧尖端向下且向前看导管管子的视角对导管的远端的呈现。与此类示例一致，环915可以被解释为对应于导管的在近侧位置处的横截面切口。当导管弯曲时，远端的部分在横截面切口(即，环915)的后面变得可见。因此，由于导管的弯曲，弯曲线925可以对应于导管的在横截面切口(即，环915)后面可见的部分。

在一些示例中，弯曲指示符900可以显示沿导管检测到的最低弯曲半径或最小弯曲半径的视觉和/或字母数字表示。当最低弯曲半径下降到阈值数值以下时，弯曲指示符900可以通过显示字母数字值和/或以其他方式改变外观来警告临床医生已经突破了预定阈值。在一些实施例中，可以基于工具是否能够穿过导管来确定阈值数值。在一些实施例中，可以基于可能发生导管的弯折和/或损坏的半径来确定阈值数值。阈值数值可以手动选择、自动确定、基于导管和/或工具的类型确定和/或使用一般经验法则设置。如图9中所描绘的，当最低的检测到的弯曲半径低于阈值数值时，弯曲指示符900包括指示最低弯曲半径的实时数值的数字920，并且弯曲指示符900的部分变成不同的颜色(诸如图9中所示的红色)。在一些实施例中，红色部分的定位可以反映由马达之一施加到在导管的该部段中的导管拉线的力的量值。例如，在图9中，左上方的拉线被更用力地拉，如由示意性弯曲表示910中出现的红色楔形物所指示的。在一些示例中，弯曲指示符900可以包括外环930，外环930基于最低弯曲半径是接近还是超过阈值数值来动态地改变颜色。在一些示例中，动态变化可以由弯曲指示符900的部分在透明度、纹理、线宽和/或颜色等方面的外观变化表示。在美国临时专利申请62/357,217中进一步描述了弯曲指示符以及用于监测除弯曲以外的参数的相关指示符的各种示例，该专利如上所述通过引用并入本文。

图10是根据一些实施例的全局解剖模型1000的简化图。根据与图5B-5D一致的一些实施例，全局解剖模型1000可以对应于全局解剖模型513和/或514中的一个或多个。然而，应当理解，全局解剖模型1000可以显示在不同于图形用户界面500的背景中，包括作为独立视图和/或与不同于图形用户界面500中描绘的那些视图的视图结合。

全局解剖模型1000显示解剖通道的3D模型1010。在一些示例中，3D模型1010可以被解剖结构的相关部分(在这种情况下，肺)的边界1020包围。例如，边界1020可以使用半透明填充和/或线栅来显示。如图10所描绘的，边界1020被显示为水平线栅。边界1020的外观(例如，颜色、纹理、哈希标记(hash mark)的间距和/或诸如此类)可以变化以指示潜在危险。如图10所描绘的，危险1025对应于在目标定位1030附近的边界1020的一部分，当临床医生在目标定位1030处导航和/或执行介入步骤时，该部分被涂成红色以警告临床医生有刺穿肺胸膜的危险。在一些示例中，不确定区1035可出现在目标定位1030周围，例如作为图10中所示的半透明球体，或在另一示例中为替代颜色。不确定区1035的大小可以是固定的和/或基于一个或多个因素确定，所述一个或多个因素包括目标相对于解剖结构的配准位置的不确定性、目标的定位、接近目标的预期难度和/或诸如此类。临床医生可以使用不确定区1035在距目标的估计中心不同距离处执行介入步骤(诸如活检)。例如，当不确定区1035大时(例如，由于大的配准不确定性)，临床医生会被鼓励将活检样本彼此远离，这将增加成功地对病变进行采样的机会。

在一些实施例中，全局解剖模型1000可以进一步包括导管1040的基于形状感测数据和/或到目标定位1050的规划路线1050的虚拟图像。如图10所描绘的，导管1040被描绘为绿线，并且规划路线1050被描绘为蓝线。在一些示例中，导管1040的一个或多个属性(例如，颜色、线型、纹理、大小等)可以基于与导管1040相关联的测量数据(诸如弯曲半径、温度、应变和/或诸如此类)而变化。定向图标1060位于右上方以指示在该示例中从前视角查看全局解剖模型1010。在美国临时专利申请62/357,217和美国临时专利申请62/357,258中进一步描述了全局解剖模型的各种示例，这些专利申请如上所述通过引用并入本文。

图11A-11C是根据一些实施例的在程序期间在三个不同时间的和/或在解剖结构中的不同导管定位处的缩减的解剖模型1100的简化图。根据与图5B-5D一致的一些实施例，缩减的解剖模型1100可以对应于缩减的解剖模型522。然而，应当理解，缩减的解剖模型1100可以显示在不同于图形用户界面500的背景中，包括作为独立视图和/或与不同于图形用户界面500中描绘的那些视图的视图结合。

缩减的解剖模型1100显示到目标定位的规划路线的一个或多个特征。如图11A-11C所描绘的，特征包括简化的路线路径1110、通道1112的宽度、分支通道1114的定位、替代路线指示符1115、目标定位1116、危险定位1118和***轨迹1120。可以从较大的解剖模型(诸如用于在规划阶段期间确定路线的完整3D解剖模型)提取所述特征。在一些示例中，缩减的解剖模型1100可以从较大的解剖模型中排除各种细节。

在一些示例中，缩减的解剖模型1100可以被显示为线性解剖表示(例如，模型)，其中规划路线和/或解剖结构的3D方面被缩小(例如，拉直、展平、修剪、调整大小、简化和/或类似操作)以适配拉长区域。与此类实施例一致，简化路线路径1110可以被表示为直线。使用在简化的路线路径1110上居中的垂直隔开的成对水平线来指示通道1112的宽度。在一些示例中，通道1112的宽度可以被四舍五入成最近的分层水平，使得垂直隔开的线具有通常与分支的生成相关的分层间距。使用从通道1112分支的水平隔开的成对垂直线来指示分支通道1114相对于简化的路线路径1110的定位。在一些示例中，可以从缩减的解剖模型1100中省略分支通道1114的完整分支结构(例如，各种子分支和/或分支的3D形状)。例如，分支通道1114可以被显示为剪掉的分支，其在与通道1112相交的地方附近被切掉。当分支通道提供到目标定位1116的替代路线时，可以使用替代路线指示符1115来标记该通道。替代路线指示符1115不是描绘替代路线的完整3D路线，而是可以包括替代路线可用的简化指示，诸如垂直虚线。在一个示例中，临床医生能够选择或点击替代路线指示符1115。作为响应，缩减的解剖模型1100可以更新以显示替代路线，而不是原始显示的路线。在另一个示例中，当临床医生开始遍历与替代路线相对应的分支时，缩减的解剖模型1100可以自动更新以显示替代路线。

表示器械通过通道1112的管腔的穿刺轨迹的***轨迹1120被描绘为将简化的路线路径1110的端部连接到目标定位1116的虚线。当危险1118(例如，血管、大疱、诸如心脏的器官和/或肺胸膜)位于目标定位1116的后面和/或以其他方式在目标定位1116附近时，***轨迹1120可以延伸越过目标定位1116以指示目标定位1116与危险1118之间的间距，在该示例中被显示为断面线。在一些示例中，各种特征(包括简化的路线路径1110、分支通道1114、替代路径指示符1115、目标定位1116、危险1118和/或***轨迹1120)能够以对比色、透明度、纹理和/或线宽显示。一般来讲，缩减的解剖模型1100一次描绘单个路线和目标定位。当医疗程序包括多个目标定位时，可以通过使用目标图标1122标记对应分支把额外的目标定位标出来，通过这些对应分支可到达所述额外的目标定位，如图11C所描绘的。

缩减的解剖模型1100不断更新以反映导管1130沿简化的路线路径1110的进度。例如，导管1130可以以对比色或阴影(诸如绿色)覆盖在简化的路线路径1110上。当检测到异常时，可以显示各种指示符和/或警报。例如，当导管1130错误转弯时，会出现错误转弯指示符1142，如图11B所描绘的。在一些示例中，当检测到过度弯曲时，会出现弯曲指示符1144。弯曲指示符1144可以包括表示弯曲半径的显示值。在一些示例中，导管1130的外观可以例如通过从实心绿线变为虚线红线而被修改以引起对极小弯曲半径的注意。在一些示例中，一个或多个书签1150可以沿着路线放置以指示特别感兴趣的定位和/或时间(例如，临床医生捕获快照和/或以其他方式观察到令人关注的特征以供稍后检查的定位)。例如，书签1150可以被描绘为覆盖在导管1130上的支架。

在一些示例中，可以在图形用户界面的几何约束区域中显示缩减的解剖模型1100。例如，几何约束区域可以对应于水平拉长区域、竖直拉长区域、“L”形区域和/或具有不规则形状的各种其他区域。在几何约束区域中显示缩减的解剖模型1100的能力可以适应缩减的解剖模型1100与图形用户界面的其他视图的紧密包装。类似地，将缩减的解剖模型1100适配几何约束区域中的能力可以适应具有不规则形状的显示屏(诸如拉长的显示屏)。

此外，缩减的解剖模型1100可以为临床医生提供对与医疗程序相关联的信息的快速、整洁的访问。例如，缩减的解剖模型1100可以显示从更详细的解剖模型提取的与医疗程序相关联的信息的选定子集。在一些示例中，缩减的解剖模型1100可以在不同的医疗程序中保持一致的外观。例如，目标定位1116可以出现在基本上相同的地方(例如，缩减的解剖模型1100的最右边部分)，而不管目标的实际3D定位和/或到目标的实际3D路线如何。由于缩减的解剖模型1100的一致外观，临床医生可以花费较少的时间搜索和/或理解在不同医疗程序和/或医疗程序内的不同路线中在缩减的解剖模型1100中显示的信息。

图12A-12B是根据一些实施例的在程序期间在两个不同时间和/或在解剖结构中的不同导管定位处的现场相机反馈1200的简化图。根据与图5A-5B一致的一些实施例，现场相机反馈1200可以对应于现场相机反馈531。然而，应当理解，现场相机反馈1200可以显示在不同于图形用户界面500之外的背景中，包括作为独立视图和/或与不同于图形用户界面500中描绘的那些视图的视图结合。

现场相机反馈1200显示来自相机(诸如内窥镜)的在导管远端处的图像。在一些示例中，补充引导信息1210可以覆盖在相机图像上。例如，可以通过使用图像处理技术识别图像中的特征、通过使用来自导管的形状数据确定相机在解剖结构中的定位和/或类似手段来生成补充引导信息1210。如图12A-12B所描绘的，使用包括具有箭头的圆圈的标线来显示补充引导信息1210。当相机接近分叉时，箭头指向与规划路线相对应的分支。在一些示例中，当相机接近分叉时，箭头会出现，否则会被隐藏。在一些示例中，标线可以被颜色编码以指示转向哪个分支和/或远离哪个分支转向。例如，圆圈的红色部分可以指示导管不应沿着指示的分支导航。在另一个示例中，经颜色编码的部分的大小可以指示从规划路径到目标的偏离度，包括当导管处于不在路径上的气道中时的全红色圆圈。

图13A-13D是根据一些实施例的在四个不同时间的虚拟远侧视图1300的简化图。根据与图5B-5D一致的一些实施例，虚拟远侧视图1300可以对应于虚拟远侧视图537。然而，应当理解，虚拟远侧视图1300可以显示在不同于图形用户界面500的背景中，包括作为独立视图和/或与不同于图形用户界面500中描绘的那些视图的视图结合。

虚拟远侧视图1300基于解剖结构的3D模型生成。通过将3D模型配准到解剖结构，可以基于实时形状感测来确定导管在3D模型内的位置。然后，通过从导管的远端(即，从远侧看的视点)的视角呈现3D模型来生成虚拟远侧视图1300。

在一些示例中，所呈现的3D模型图像可以包括补充引导信息1310。像补充引导信息1210一样，补充引导信息1310可以包括各种形式的一个或多个方向指示符以帮助导航分支。例如，可以通过点亮要被向下驱动的分支(或以其他方式改变其外观)、提供示出哪个分支向下驱动的线、显示类似于图12A-12B的标线和/或类似操作来指示正确的分支。在另一个示例中，视图可以包含在视图的中心的标线，以辅助精确地瞄准导管的方向，例如使其与目标中心对准。在图13A所描绘的示例中，使用选择性地沿正确分支延伸的轮廓线突出显示要被向下驱动的分支。在一些实施例中，阻塞指示符(例如，停止标志、禁止进入标志和/或诸如此类)可以出现在不正确分支上。附加地，虚拟远侧视图1300能够包括目标距离指示符1320和危险距离指示符1330。目标距离指示符1320能够提供从导管的远端到目标的距离。危险距离指示符1330能够提供从导管的远端到最近的危险(诸如胸膜、心脏、大疱和/或血管)的距离。在美国临时专利申请62/357,258中进一步描述了虚拟远侧视图的各种示例，该专利如上所述通过引用并入本文。

当导管被定位在距目标预定阈值距离内时，虚拟远侧视图1300的外观和/或配置能够转换以提供朝向目标的方向引导。具体地，目标可以相对于导管的远端被嵌入在通道壁内并因此如图13A所示的那样不可见。图13B显示了当导管的远端被定位在距目标阈值距离(如由距目标指示符1320的距离所指示的)内时的虚拟远侧视图的示例。在该示例中，3.1cm在阈值之内，其中虚拟远侧视图1300的外观被修改以将通道壁显示为透明(或半透明的)以使目标可见。在另一些示例中，阈值距离能够基于程序、工具类型、目标大小、目标定位等而变化。如图13B所示，目标被示为半实心球体1340，而不确定区1345被示为半透明球体。另外，能够提供十字准线1350，其指示导管正面向的方向。在一些示例中，十字准线1350指示器械(诸如活检针)如果通过导管的中央管腔***将刺穿的定位。如图13B所示，十字准线1350包括圆圈和在该圆圈的中心的十字。在替代性实施例中，十字准线1350可以仅包括在中心具有小圆点的圆圈。十字准线1350可以在视图中自动居中，使得视图始终示出导管在图像中居中的远侧视图。在一个示例中，将始终显示示出导管的中心向前面向方向的十字准线1350。在替代性示例中，当导管在预定义阈值内接近目标时，十字准线1350将自动出现。在甚至更多的示例中，用户可以根据需要提供输入以显示或隐藏十字准线1350。

图13C显示了虚拟远侧视图1300的替代性示例，其类似于图13B的视图，示出了目标1340、不确定区1345、十字准线1350，并且附加地提供危险1360的视图。在图13C的示例中，也显示导管的虚拟图像1370。在替代性实施例中，未示出导管图像1370。

图13D显示了虚拟远侧视图1300的另一个示例，其可以在诸如活检的医疗程序期间显示。如图13D所描绘的虚拟远侧视图1300可以类似于先前描述的虚拟远侧视图，不同之处在于提供了先前在医疗程序期间执行的介入步骤的动态表示。如图13D所示，在已经执行一系列活检之后，虚拟远侧视图能够使用标签1380来动态更新以指示每次活检的各个定位。这能够帮助用户选择下一个活检定位。尽管针对活检程序描述了图13D中的示例，但应当理解，虚拟远侧视图1300能够用于示出任何类型的程序(包括诸如消融的治疗程序、化学疗法和/或任何其他类型的诊断程序)的历史应用。在一些示例中，可以在图形用户界面500的各种其他视图(例如，图5B中所示的全局解剖模型513、514)中更新与标签1380相对应的附加标签。

图14是根据一些实施例的在其中导管被***超出规划路线端部的情境期间的一组视图1400的简化图。视图1400包括缩减的解剖视图1410、现场相机反馈1420和虚拟远侧视图1430。这些通常对应于图5-13B所描绘的类似标记的视图。视图1400图示了用于警告临床医生导管已经被***超过路线端部并且应当被抽出的各种技术。在缩减的解剖视图1410中，反向指示符1415出现在导管的远端处。在现场相机反馈1420中，标线1425完全变红以指示图像中出现的所有分支都不正确。在虚拟远侧视图1430中，轮廓线消失并且出现反向指示符1435。应当理解，这些警报措施仅是说明性的，并且可以使用许多其他信令技术来警告临床医生导管已经被***超过路线的端部。

图15A-15C是根据一些实施例的在多种模式下的远程图像视图1500的简化图。根据与图5D一致的一些实施例，远程图像视图1500可以对应于远程图像视图538。然而，应当理解，远程图像视图1500可以显示在不同于图形用户界面500的背景中，包括作为独立视图和/或与不同于图形用户界面500中描绘的那些视图的视图结合。

图15A示出了在现场模式下的远程图像视图1500。在现场模式下，远程图像视图1500显示解剖结构的相关部分(例如，肺)的实时远程图像1510，诸如荧光镜检查图像。实时远程图像1510能够被调整为放大、缩小、平移图像的视图和/或诸如此类。临床医生能够通过远程控制器提供输入，或者使用鼠标或滚动球拖动荧光镜检查视图的实时图像。此外，如果系统被连接到可机械调整的荧光镜臂，则系统能够旋转荧光镜臂以提供替代性实时图像1510，该图像可能提供目标或导管的更好视图。此外，远程图像视图1500显示来自导管远端的实时探针图像1520，例如由内窥镜和/或EBUS探针生成的图像。临床医生可以在监测实时远程图像1510和/或实时探头图像1520的同时调整导管的位置。在现场模式期间的各个点，临床医生可以捕获并保存在远程图像视图1500中显示的一个或多个图像的快照。因此，当在视图将导管定位和/或对准到目标定位的同时重新定位探针时，可以随时间保存一系列快照。一旦满意对准，临床医生就可以从导管系统中移除探针并且用执行介入步骤的工具(诸如活检针)代替。在一些示例中，工具可能不包括成像功能，因此临床医生不再能够监测实时探针图像1520。因此，当实时探针图像不再可用时，可以将所保存的快照中的一个或多个用作参考。

图15B示出了在参考模式下的远程图像视图1500。在一些示例中，远程图像视图1500包括参考选择指示符1530以指示哪个快照正被用作参考。如图15A-15B所指示的，参考选择指示符1530包括一系列圆点。当最左边的圆点被突出显示时，远程图像视图1500处于现场模式。选择右边的圆点之一指示远程图像视图1500处于参考模式。每个圆点对应不同的已保存的快照。在这方面，临床医生可以滚动浏览已保存的快照并选择一个作为参考。当参考被选定时，现场探针图像1520被替换为来自所保存的快照的先前捕获的探针图像1522。此外，来自所保存的快照的先前捕获的远程图像1512被覆盖在现场远程视图上。如图15B所描绘的，相对于被包括在灰度级现场远程视图1510中的导管图像1516，被包括在先前捕获的远程图像1512中的导管图像1514表现为蓝色的“阴影”。就这一点而言，临床医生可以观察到先前捕获的远程图像1512和现场远程图像1510之间的差异。例如，如图15B所描绘的，因为“阴影”(导管图像1514)从导管的实时位置(导管图像1516)偏移，所以临床医生可以确定导管相对于参考已经向下移位。在临床医生期望导管的位置与参考位置相匹配的程度上，临床医生可以接着使导管向上转向，直到现场远程图像1510与先前捕获的远程图像1512匹配。

图15C示出了在时间线模式下的远程图像视图1500。代替显示参考选择指示符1530以在参考选择期间滚动浏览快照和/或除此之外，远程图像视图1500时间线模式可以包括时间线1540以用于在连续和/或定期保存的快照之间滚动。在这方面，临床医生可以使医疗程序倒回去以确定期望的参考。如

图15C所描绘的，当选定时间是当前时间(即实时)时，远程图像视图1500的配置类似于图15A中描绘的现场模式。当临床医生使用时间线1540滚动回到先前时间时，远程图像视图1500转换为类似于图15B中描绘的参考模式的配置。

返回参考图15A，现场远程图像1510可以对应于缩小图像1550的一部分。临床医生可以通过绘制、调整大小和/或移动在缩小图像1550中的表示被显示在现场远程图像1510中的该部分的方框1555来选择缩小图像1550的被显示在现场远程图像1510中的该部分。临床医生可以使用鼠标点击、手势、多指手势和/或诸如此类来执行选择。这些选择方法可以应用于显示远程图像视图1500的触摸屏、外部触摸屏和/或另一个合适的输入设备。各种指示符也可以显示在远程图像视图1500中。如图15A-15C所描述的，指示符包括现场远程图像1550上的计时器和荧光镜检查角度指示符，以及现场探针图像1520上(和/或时间线1540上)的时间戳。

临床医生可以将标记器1560放置在现场远程图像1510的一部分上以标记特征和/或检测位置随时间的移位。在图15A和图15C所描绘的示例中，临床医生可以使用***导管中的探针将导管与目标定位对准。当导管被对准时，临床医生可以将标记器1560放置在导管的远端上。随后，探针可以从导管移除，并被替换为用于执行介入步骤的工具，诸如活检针。在一些示例中，工具可能不包括成像功能，因此临床医生不再能够监测现场探针视图1510以实现对准。假定当用工具替换探针时荧光镜检查图像不移动，然而临床医生仍可以使用标记器1560以确认导管在基本上相同的定位处，并因此保持与目标定位对准。

在一些示例中，可以显示计时器1570以指示自临床医生开始计时以来经过的时间量。例如，计时器1570可以用于跟踪屏住呼吸的持续时间、或程序的持续时间、或其他。计时器1570可以由医师手动启动和/或停止和/或在系统测量某些事件(诸如检测屏住呼吸的开始和停止)时自动启动和/或停止。计时器1570可以改变外观(例如，颜色、字体、大小、纹理等)以警告临床医生危险状况，诸如经过时间超过预定阈值(例如，一分钟)。在一些示例中，可以显示定向图标1580以指示现场远程图像1510的视角。在荧光镜检查图像的情况下，定向图标1580可以指示荧光镜检查成像器的角度设置。

图16是根据一些实施例的用于显示图形用户界面(诸如图形用户界面400和/或500)的双屏显示器1600的简化图。在一些实施例中，双屏显示器1600可以被包括在显示系统110中。如图16所描绘的，双屏显示器1600被垂直地分成上屏幕1610和下屏幕1620。上屏幕1610和下屏幕1620具有大致相同的尺寸，使得双屏显示器1600可沿垂直裂缝折叠。上屏幕1610显示一个或多个全局视图1612和一个或多个紧凑视图1614，并且下屏幕1620显示一个或多个局部视图1622。这些视图大体对应于图4-5D中的类似标记的视图。在

图16所描绘的示例中，图形用户界面处于执行模式，使得视图大体对应于图5D的视图。然而，应当理解，双屏显示器1600也可以用于在配准模式(如图5A所描绘的)、导航模式(如图5B-5C所描绘的)和/或类似模式下呈现图形用户界面。在一个示例中，屏幕1610和/或1620中的一者或两者可以是触摸屏，其能够由用户操纵以改变视图，包括旋转视图、缩放、平移、在视图之间切换等。在替代示例中，提供了图16中的屏幕以用于查看，并且能够使用单独的触摸屏和/或用户输入设备来更改视图。

图17是根据一些实施例的用于监测医疗程序的方法1700的简化图。根据与图1-16一致的一些实施例，方法1700可以用于以包括配准模式、导航模式和执行模式的多种模式操作图形用户界面500。

在过程1710处，在图形用户界面的配准模式中以及在解剖模型配准到患者解剖结构期间，经由图形用户界面显示配准进度信息。在一些实施例中，图形用户界面的配准模式可以对应于如图5A所描绘的图形用户界面500的配准模式。在一些实施例中，可以使用动态点云视图(诸如动态点云视图600)来显示配准进度信息。在一些实施例中，可以使用动态配准引导视图(诸如动态配准引导视图700)来显示配准进度信息。

在过程1720处，当解剖模型被配准到患者身体时，图形用户界面从配准模式转换到导航模式。在一些实施例中，图形用户界面可以响应于检测到配准完成而自动转换。在一些实施例中，临床医生可以手动使图形用户界面从配准模式转换到导航模式。例如，临床医生可以点击在图形用户界面的配准模式下出现的按钮。

在过程1730处，在导航模式中以及在细长设备通过患者解剖结构导航到目标定位期间，经由图形用户界面显示导航进度信息。在一些实施例中，图形用户界面的导航模式可以对应于如图5B所描绘的图形用户界面500的导航模式。在一些实施例中，可以使用全局解剖模型(诸如全局解剖模型1000)来显示导航进度信息。在一些实施例中，可以使用缩减的解剖模型(诸如缩减的解剖模型1100)来显示导航进度信息。在一些实施例中，可以使用通过补充引导信息增强的现场相机反馈(诸如现场相机反馈1200)来显示导航进度信息。在一些实施例中，可以使用通过补充引导信息增强的虚拟远侧视图(诸如虚拟远侧视图1300)来显示导航进度信息。

在过程1740处，当细长设备在目标定位附近时，图形用户界面从导航模式转换到执行模式。在一些实施例中，图形用户界面可以响应于检测到细长设备在目标定位的阈值距离内而自动转换。在一些实施例中，临床医生可以手动使图形用户界面从导航模式转换到执行模式。例如，临床医生可以点击在图形用户界面的导航模式下出现的按钮。

在过程1750处，在执行模式中以及在目标定位处执行介入步骤期间，经由图形用户界面显示执行进度信息。在一些实施例中，图形用户界面的执行模式可以对应于如图5D所描绘的图形用户界面500的执行模式。在一些实施例中，可以使用与在过程1730处显示的视图类似的一个或多个视图(包括全局解剖模型、缩减的解剖模型和/或虚拟远侧视图)来显示执行进度信息。在一些实施例中，可以使用远程图像视图(诸如远程图像视图1500)来显示执行进度信息。在一些实施例中，在细长设备已经被导航到目标定位之后并且在执行医疗程序之前，可以将一个或多个探针***细长设备中。可包括内窥镜和EBUS探针和/或诸如此类的一个或多个探针可以用于微调细长设备与目标定位的对准和/或捕获一个或多个参考图像。随后，可以移除所述一个或多个探针，并替换为用于执行介入步骤的工具，诸如活检针。当将用于执行介入步骤的工具***到细长设备中时，所述一个或多个参考图像可以用于确认细长设备保持与目标定位对准。临床医生可以在所述一个或多个参考图像之间滚动以选择使用哪个参考图像。一旦参考图像被选定，就可以显示差分图像以突出显示现场远程图像和参考图像之间的差异。基于差异，临床医生可以调整细长设备的对准以使现场远程图像与参考图像匹配。当对准令人满意时，可以执行介入步骤。

在一些实施例中，方法1700可以在过程1750之后终止。在一些实施例中，方法1700可以返回到过程1730以将细长设备导航到一个或多个附加目标定位。在另一些实施例中，方法1700可以返回到过程1710以重复配准和/或试图改善配准。在方法1700的任何过程中，图形用户界面可以向临床医生警告检测到的异常，在这种情况下，临床医生可以纠正异常、终止医疗程序，、恢复到先前的步骤和/或尽管存在异常仍继续。

图18是根据一些实施例的用于使用图形用户界面来监测医疗程序的方法1800的简化图。根据与图1-16一致的一些实施例，方法1800可以用于生成和/或显示图形用户界面500的一个或多个视图，包括缩减的解剖模型522和/或1100。

在过程1810处，接收到患者解剖结构中的目标定位的路线。在一些实施例中，可以在医疗程序的规划阶段期间确定路线。随后，可以将路线转移到能够在目标定位处执行医疗程序的医疗器械系统(诸如医疗器械系统200)。在一些示例中，路线可以限定通过肺中的气道到达肺中的目标定位的路径。在一些示例中，目标定位可以包括病变、结节、肿瘤和/或类似物中的一个或多个。

在过程1820处，从第一解剖模型提取或基于第一解剖模型确定路线的一个或多个特征。在一些实施例中，第一解剖模型可以包括在患者解剖结构的相关部分中的已知通道的完整模型。例如，第一解剖模型可以包括肺气道的用于在医疗程序的规划期间确定路线的模型。在一些示例中，第一解剖模型可以包括被配准到患者解剖结构并且在全局解剖模型视图(诸如全局解剖模型视图1000)中显示的解剖模型。在一些示例中，所提取的特征可以包括路线的简化路径，诸如路线的直线表示。

在一些示例中，所提取的特征可以包括临床医生在沿着路线导航医疗器械(诸如导管)时期望遇到的界标特征。在一些示例中，界标特征可以包括从路线分支的解剖通道(例如，在遍历路线时遇到的一组分叉)的简化映射图。例如，简化映射图可以包括指示从路线分支的解剖通道的定位，而不是通道的完整分支结构。可以使用标记分支的定位的标注(例如，修剪的分支(如图11A-11C中所描绘的)、圆点、哈希标记和/或类似物)来指示定位。在一些示例中，当经由对应分支通道可到达一个或多个第二目标定位时，简化映射图可包括目标图标。其他界标特征可包括病变、结节、血管、变色和/或沿着路线遇到的各种其他显著特征。

在一些实施例中，所提取的特征可以包括沿着路线的通道的宽度。在一些示例中，可以使用分层格式来表示宽度。例如，宽度可以被四舍五入到最近的分层水平和/或可以基于通道在给定位置处的分支生成来粗略估计。在一些实施例中，所提取的特征可以包括目标定位和/或目标定位附近的一个或多个危险的位置。在一些示例中，所提取的特征可以包括从路线的端部到目标定位的***轨迹(例如，***角度)。

在过程1830处，基于路线的一个或多个提取特征生成缩减的解剖模型。在一些示例中，缩减的解剖模型可以比第一解剖模型明显更简单、更小和/或更清楚，因为包括第一解剖模型的最相关特征，同时排除了各种不太相关的细节。在一些示例中，在缩减的解剖模型的生成期间，所提取的特征可以被展平、拉直、修剪、简化和/或进行类似操作。

在过程1840处，在医疗程序期间接收与医疗器械相关联的实时位置信息。根据一些实施例，医疗器械可以包括具有定位传感器(诸如形状传感器)的可转向导管。因此，实时位置信息可以包括来自形状传感器的形状数据。在过程1840处还可以接收与医疗程序和/或医疗器械相关联的各种其他实时信息，诸如温度数据、应变数据和/或诸如此类。接收实时位置信息还可包括确定实时位置信息中的一个或多个异常。例如，可以在过程1840处确定导管的过度弯曲、过热、过度驱动力和/或诸如此类。

在过程1850处，将实时位置信息与缩减的解剖模型相关联(例如，经由映射到缩减的解剖模型)。在一些示例中，将实时位置信息映射到缩减的解剖模型可以包括确定医疗器械沿着简化的路线路径延伸多远。在一些示例中，可以在过程1850处确定一个或多个异常，诸如错误的转弯和/或延伸超过简化的路线路径的端部。

在过程1860处，动态显示具有实时位置信息的缩减的解剖模型。在与图11一致的示例中，显示可以对应于缩减的解剖模型1100。缩减的解剖模型的显示大小可以通过不同方式设置，例如，被调整以始终适配可用屏幕空间的整个宽度，和/或被设置大小以便与路径的物理长度有关(即，与较短路径相比，较长路径可以显示在较大视图中)。当在实时进度信息中检测到异常(诸如在过程1840和/或1815处确定的异常)时，显示器可以包括一个或多个指示符以向临床医生警告异常。在一些示例中，当异常包括使医疗器械沿着不正确的通道转向时，所述一个或多个指示符可以包括错误转弯指示符。当异常包括驱动器械超出路线的端部时，所述一个或多个指示符可以包括反向指示符。当异常包括极小弯曲半径时，所述一个或多个指示符可以包括过度弯曲指示符和/或可以包括修改医疗器械的外观(例如，颜色、线条样式和/或诸如此类)，如在缩减的解剖模型中描绘的。在过程1860之后，方法1800可以返回到过程1840以在缩减的解剖模型上连续接收、映射和动态显示实时位置信息。

图19是根据一些实施例的用于使用图形用户界面来显示患者解剖结构的方法1900的简化图。根据与图1-16一致的一些实施例，方法1900可以用于生成和/或显示图形用户界面500和/或其部分的一个或多个视图，包括缩减的解剖模型522和/或1100。

在过程1910处，接收第一解剖模型，该第一解剖模型包括患者解剖结构中的多个通道的3D模型以及到所述多个通道内的目标定位的路线。在一些示例中，患者解剖结构可以对应于肺。与此类示例一致，所述多个通道可以对应于肺的气道。在一些示例中，目标定位可以包括病变、结节、肿瘤和/或类似物。

在过程1920处，基于所述多个通道的子集生成缩减的解剖模型。通道的子集包括直接连接到路线的路径通道。即，路径通道包括医疗器械(诸如导管)在遍历路线时会遇到(例如，穿过和/或进入)的通道的子集。

在过程1930处，将缩减的解剖模型显示为线性解剖模型。在一些示例中，可以使用具有分层间隔的垂直隔开的线来表示路径通道的宽度。例如，对于具有较高分支生成的路径通道，可以将分层间隔向下分层(即，将垂直隔开的线更靠近地放在一起)。例如，在肺的情况下，靠近气管的路径通道具有低分支生成，并因此使用具有宽间隔的垂直隔开的线来进行描绘，而靠近路线端部的路径通道(例如，在沿着路线遍历了多个分支点之后)可能具有高分支生成，并因此可能会相对于靠近气管的路径通道向下分层一次或多次。在一些示例中，从路径通道分出来的分支的定位可以被表示在线性解剖模型中。因为分支通道可能未直接连接到路线，所以分支可表示为修剪分支，而不表示其完整的分支结构(例如，各种子分支)。

图20是根据一些实施例的用于使用图形用户界面来显示患者解剖结构内的目标的方法2000的简化图。根据与图1-16一致的一些实施例，方法2000可以用于生成和/或显示图形用户界面500和/或其部分的一个或多个视图，包括虚拟内窥镜视图1300。

在过程2010处，接收包括患者解剖结构的模型的解剖模型。例如，解剖模型可以是患者的肺的3D模型，其包括肺的气道的模型。在过程2020处，相对于解剖模型确定目标。例如，目标可以包括病变、肿瘤、结节和/或类似物的预定大小和/或定位。在过程2030处，确定围绕目标的不确定区。在一些示例中，可以基于与将解剖模型配准到患者解剖结构相关联的配准不确定性来确定不确定区。在一些示例中，可以基于目标的大小来确定不确定区。在一些示例中，可以基于接近目标的预期难度来确定不确定区(即，难以到达的目标可能经受更大的不确定性)。在过程2040处，显示相对于解剖模型的目标和围绕目标的不确定区。在一些示例中，例如当目标和/或不确定区在解剖模型的通道之外时，可以以半透明的方式呈现解剖模型的通道，使得目标和/或不确定区通过通道壁可见。

控制单元(诸如控制单元130)的一些示例可以包括非瞬态有形机器可读介质，其包括可执行代码，该可执行代码在由一个或多个处理器(例如，处理器140)运行时可使所述一个或多个处理器执行方法1700-2000的过程和/或呈现图形用户界面400和/或500。可包括方法1700-2000的过程和/或用于呈现图形用户界面400和/或500的指令的机器可读介质的一些常见形式是：例如，软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或盒式磁带、和/或处理器或计算机适于从中读取的任何其他介质。

尽管已经示出和描述了说明性实施例，但在前述公开中设想了各种各样的修改、改变和替换，并且在一些情况下，可以采用实施例的一些特征而没有对应地使用其他特征。本领域普通技术人员将认识到许多变化、替代和修改。因此，本发明的范围应仅由所附权利要求书来限制，并且适当的是，广义地并以与本文公开的实施例的范围一致的方式解释权利要求。