具体实施方式

在以下详细描述中，出于解释而非限制的目的，阐述了公开具体细节的代表性实施例，以便提供对根据本教导的实施例的透彻理解。可以省略对已知系统、设备、材料、操作方法和制造方法的描述，从而避免模糊对代表性实施例的描述。尽管如此，在本领域普通技术人员的知识范围内的系统、设备、材料和方法在本教导的范围内，并且可以根据代表性实施例使用。应理解，本文使用的术语仅用于描述特定实施例的目的，而不旨在为限制。所定义的术语是如在本就教导的技术领域中通常理解和接受的所定义的术语的技术和科学含义的补充。

将理解，尽管本文可以使用术语第一、第二、第三等来描述各种元件或部件，但是这些元件或部件不应受这些术语的限制。这些术语仅用于区分一个元件或部件与另一元件或部件。因此，在不脱离创造性构思的教导的情况下，下面讨论的第一元件或部件可以被称为第二元件或部件。

本文使用的术语仅用于描述特定实施例的目的，而不旨在是限制性的。如说明书和权利要求中所使用的，单数形式的术语“一”、“一个”和“所述”旨在包括单数和复数形式两者，除非上下文另行明确规定。此外，当在本说明书中使用时，术语“包括”和/或“包含”和/或类似术语指定陈述的特征、元件和/或部件的存在，但不排除一个或更多其他特征、元件、部件和/或其组的存在或添加。如本文所使用的，术语“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。

除非另行指出，否则当元件或部件被称为“连接到”、“耦合到”或“邻近于”另一元件或部件时，将理解所述元件或部件可以直接连接或耦合到其他元件或部件，或者可以存在中介元件或部件。也就是说，这些和类似术语涵盖可以采用一个或多个中间元件或部件来连接两个元件或部件的情况。然而，当元件或部件被称为“直接连接”到另一元件或部件时，这仅涵盖两个元件或部件彼此连接而没有任何中间或中介元件或部件的情况。

鉴于前述内容，因此本公开通过其各个方面、实施例和/或特定特征或子部件中的一个或多个旨在呈出如下面具体指出的优点中的一个或多个。出于解释而非限制的目的，阐述了公开具体细节的范例实施例，以便提供对根据本教导的实施例的透彻理解。然而，与本公开一致的脱离本文公开的具体细节的其他实施例保持在权利要求的范围内。此外，可以省略对公知装置和方法的描述，以免模糊对范例实施例的描述。这样的方法和装置在本公开的范围内。

图2图示了根据代表性实施例的用于动态介入三维模型变形的系统。

图2的系统200包括第一医学成像系统210、计算机220、显示器225、第二医学成像系统240和跟踪设备250。图2中的系统可以被用于动态介入三维模型变形，诸如用于医学介入以修复、替换或调节诸如肺的器官，或以其他方式介入在对象的身体中。

第一医学成像系统210的范例是包括X射线机器的X射线系统。第一医学成像系统210可以在包含本文所描述的三维模型变形的医学介入之前执行计算机断层摄影扫描或基于锥形的计算机断层摄影扫描。三维模型可以通过第一医学成像系统210基于扫描在医学介入之前或期间生成。此外，尽管由第一医学成像系统210进行的医学成像可以在医学介入之前执行，但是该医学成像也可以在医学介入期间执行。

跟踪设备250可以使用光学形状感测或如基于传感器的电磁的任何其他跟踪技术来跟踪。跟踪设备250将位置信息发送到计算机220。计算机220处理来自第一医学成像系统210的医学图像以生成三维模型。计算机220还处理来自跟踪设备250的数据以执行对三维模型的变形和调节。

第二医学成像系统240的范例是被用于在包含本文所描述的三维模型变形的医学介入期间获得超声图像的超声装置。第二医学成像系统240的另一范例是另一X射线系统，其包括用于在包含本文所描述的三维模型变形的医学介入期间获得荧光透视图像的X射线机器。第二医学成像系统240可以被用于跟踪在其他情况下未跟踪的医学设备，使得医学设备变为跟踪设备250。例如，一些医学设备不具有设置在其中或其上的光学形状感测或电磁跟踪部件。将这样的医学设备定位在X射线图像中或使用来自超声图像的解剖信息提供在其他情况下未跟踪医学设备的位置信息，使得其变为跟踪设备250。当然，医学设备可以是具有嵌入其中或其上的跟踪技术(例如，光学形状感测)的跟踪设备250，同时还与第二医学成像系统240的医学成像模态同时被跟踪。

此外，第一医学成像系统210和第二医学成像系统240两者可以在医学介入期间存在和使用，诸如当第一医学成像系统210是用于在医学介入期间进行荧光透视成像的X射线系统并且第二医学成像系统240是用于医学介入期间进行超声成像的超声系统时。备选地，第一医学成像系统210或第二医学成像系统240中仅一个在医学介入期间存在和使用。例如，第一医学成像系统210可以在某种类型的医学介入期间使用，而第二医学成像系统240仅被用作额外部件，诸如当X射线或超声被用作跟踪方法时。

第一医学成像系统210可以被用于生成用作用于生成如本文所描述的三维模型的基础的计算机断层摄影图像。计算机断层摄影图像是三维解剖图像的范例。第二医学成像系统240可以被用于执行被用于跟踪跟踪设备的成像。跟踪设备可以指代在其上或中提供传感器、光学形状感测元件或其他跟踪元件的介入医学设备。在图2中，用于跟踪跟踪设备的成像可以单独使用第二医学成像系统240或者使用第二医学成像系统240和第一医学成像系统210两者实时执行。换句话说，在没有第一医学成像系统210或有第一医学成像系统210的情况下，第二医学成像系统240可以在介入流程期间存在和使用。第二医学成像系统240将成像数据提供给计算机220。

在图2中，计算机220包括显示器225。显示器可以被用于连同基于由第二医学成像系统240执行的成像在医学介入期间获得的影像一起，基于由第一医学成像系统210执行的成像来显示三维模型。在医学介入期间获得的影像可以例如是在医学介入期间排气的充气肺的影像。当在本文中使用术语“显示器”时，术语应当被解释为包括一类特征，诸如“显示设备”或“显示单元”，并且这些术语涵盖输出设备，或适于显示图像和/或数据的用户接口。显示器可以输出视觉、听觉和/或触觉数据。显示器的范例包括但不限于：计算机监测器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、向量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示器面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪和头戴式显示器。

图2中的元件中的任一个可以包括本文所描述的控制器。本文所描述的控制器可以包括存储指令的存储器和执行指令以便实现本文所描述的过程的处理器的组合。控制器可以容纳在工作站内或链接到工作站，诸如计算机220或一个或多个计算设备的另一组件、显示器/监测器、以及独立计算系统的形式的一个或多个输入设备(例如，键盘、操作杆和鼠标)、服务器系统的客户端计算机、台式电脑或平板电脑。用于本文中的术语“控制器”的描述性标记促进如本文所描述的控制器之间的区别，而不指定或者隐含术语“控制器”的任何额外限制。术语“控制器”广泛地涵盖用于控制如本公开中所描述的各种原理的应用的专用主板或专用集成电路的所有结构配置，如在本公开的领域中所理解的并且如本公开中示范性描述的。所述控制器的结构配置可以包括但不限于(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)插槽和(一个或多个)端口。

此外，尽管图2示出了一起联网的部件，但是两个这样的部件可以集成到单个系统中。例如，计算机220可以与第一医学成像系统210集成。即，在实施例中，归因于计算机220的功能可以由包括第一医学成像系统210的系统实现(例如，执行)。在另一方面，图2所示的联网部件也可以在空间上分布，诸如通过分布在不同房间或不同建筑中，在这种情况下，联网部件可以经由数据连接被连接。在又一实施例中，图2中的部件中的一个或多个未经由数据连接被连接到其他部件，并且代替地手动提供有输入或输出，诸如通过记忆棒或其他形式的存储器。在又一实施例中，本文所描述的功能可以基于图2中的元件的功能但是在图2所示的系统之外执行。

图2中的第一医学成像系统210、计算机220和第二医学成像系统240中的任一个可以包括下文关于图3所描述的一般计算机系统的一些或全部元件和功能。例如，计算机220可以包括用于确定跟踪设备的当前位置是否在三维模型中的路径之外的控制器。由控制器执行的过程可以包括：接收介入流程的对象中具有多个分支的路径的三维模型或接收图像数据，并且基于图像数据生成介入流程的对象中具有多个分支的路径的三维模型。

当计算机220的控制器执行指令时实现的过程还包括：确定跟踪设备的当前位置是否在三维模型中的路径之外，并且当跟踪设备的当前位置在三维模型中的路径之外时，将三维模型变形到跟踪设备的当前位置。相同控制器还可以执行基于分割介入流程的对象中具有多个分支的路径来生成三维模型的功能。然而，跟踪所述跟踪设备的位置的控制器可以获得在其他地方生成和分割的分割三维模型，诸如通过第一医学成像系统210或者通过执行指令以处理由第一医学成像系统210创建的医学影像的控制器220。即，由如本文所描述的控制器实现的过程可以包括获得在介入流程之前生成的三维模型，其中，三维模型基于分割介入流程的对象中具有多个分支的路径来生成。然而，三维模型不必“先于”介入流程生成。例如，在一些实施例中，在介入流程期间生成或更新模型，并且然后仍然执行后续过程。如上所述，甚至由第一医学成像系统210进行的医学成像可以在其中执行介入三维模型变形的相同医学介入期间执行。

图3图示了根据另一代表性实施例的可以在其上实现动态介入三维模型变形的方法的一般计算机系统。

计算机系统300可以包括可以被执行以使计算机系统300执行本文所公开的基于方法或计算机的功能中的任何一个或多个的一组指令。计算机系统300可以操作为独立设备或可以例如使用网络301连接到其它计算机系统或外围设备。

在联网部署中，计算机系统300可以以服务器的能力中或者作为服务器-客户端用户网络环境中的客户端用户计算机或者作为对等(或分布式)网络环境中的对等计算机系统操作。计算机系统300也可以被实现为各种设备或并入各种设备中，诸如第一医学成像系统210、计算机220、第二医学成像系统240、固定计算机、移动计算机、个人计算机(PC)、膝上型计算机、平板计算机或能够执行指定要由该机器采取的动作的一组指令(顺序的或以其他方式)的任何其他机器。计算机系统300可以并入为继而在包括额外设备的集成系统中的设备，或在其中。在实施例中，计算机系统300可以使用提供语音、视频或数据通信的电子设备实现。此外，尽管单数地图示了计算机系统300，但是术语“系统”还应当被理解为包括个体或联合执行一组或多组指令以执行一个或多个计算机功能的系统或子系统的任何集合。

如图3图示的，计算机系统300包括处理器310。用于计算机系统300的处理器是有形的和非瞬态的。如本文所使用的，术语“非瞬态”不应被解释为状态的永恒特性，而是被解释为将在时段内持续的状态的特性。术语“非瞬态”明确地否定了稍纵即逝的特性，例如载波或信号的特性或在任何时间仅在任何地方瞬态存在的其他形式。处理器是制品和/或机器部件。用于计算机系统300的处理器被配置为执行软件指令以执行如本文的各种实施例中描述的功能。用于计算机系统300的处理器可以是通用处理器，或者可以是专用集成电路(ASIC)的部分。用于计算机系统300的处理器还可以是微处理器、微计算机、处理器芯片、控制器、微控制器、数字信号处理器(DSP)、状态机或可编程逻辑器件。用于计算机系统300的处理器也可以是逻辑电路，包括诸如现场可编程门阵列(FPGA)的可编程门阵列(PGA)，或包括离散门和/或晶体管逻辑的另一类型的电路。用于计算机系统300的处理器可以是中央处理单元(CPU)、图形处理单元(GPU)或两者。此外，本文描述的任何处理器可包括多个处理器、并行处理器或两者。多个处理器可以包括在单个设备或多个设备中，或者耦合到单个设备或多个设备。

如本文所使用的“处理器”涵盖能够执行程序或机器可执行指令的电子部件。对包括“处理器”的计算设备的引用应当被解释为可能包含超过一个处理器或处理核心。所述处理器可以例如是多核处理器。处理器还可以指代单个计算机系统内或分布在多个计算机系统中间的处理器的集合。术语计算设备还应当被解释为可能指代各自包括一个或多个处理器的计算设备的集合或网络。许多程序具有由可以在相同计算设备内或者可以甚至跨多个计算设备分布的多个处理器执行的指令。

此外，计算机系统300可以包括主存储器320和静态存储器330，其中，存储器可以经由总线308彼此通信。本文描述的存储器是可以存储数据和可执行指令的有形存储介质，并且在指令存储在其中的时间期间是非瞬态的。如本文所使用的，术语“非瞬态”不应被解释为状态的永恒特性，而是被解释为将在时段内持续的状态的特性。术语“非瞬态”明确地否定了稍纵即逝的特性，例如载波或信号的特性或在任何时间仅在任何地方瞬态存在的其他形式。本文描述的存储器是制品和/或机器部件。本文描述的存储器是计算机可读介质，可以由计算机从其读取数据和可执行指令。本文描述的存储器可以是随机存取存储器(RAM)、只读存储器(ROM)、闪存、电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、寄存器、硬盘、可移除磁盘、磁带、光盘只读存储器(CD-ROM)、数字通用磁盘(DVD)、软盘、蓝光光盘或本领域已知的任何其他形式的存储介质。存储器可以是易失性的或非易失性的、安全的和/或加密的、不安全的和/或未加密的。

“存储器”是计算机可读存储介质的范例。计算机存储器是可由处理器直接访问的任何存储器。计算机存储器的范例包括但不限于RAM存储器、寄存器和寄存器堆。对“计算机存储器”或“存储器”的参考应当被解释为可能是多个存储器。存储器可以例如是相同计算机系统内的多个存储器。存储器还可以是分布在多个计算机系统或计算设备中间的多个存储器。

如图所示，计算机系统300还可以包括视频显示单元350，例如液晶显示器(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器或阴极射线管(CRT)。此外，计算机系统300可以包括输入设备360，诸如键盘/虚拟键盘或触敏输入屏幕或具有语音识别的语音输入，以及光标控制设备370，诸如鼠标或触敏输入屏幕或垫。计算机系统300还可以包括磁盘驱动器单元380、信号生成设备390、例如扬声器或遥控器，以及网络接口设备340。

在实施例中，如图3中所描绘的，磁盘驱动单元380可以包括计算机可读介质382，其中，可以嵌入一组或多组指令384，例如，软件。可以从计算机可读介质382读取多组指令384。此外，指令384在由处理器执行时可以用于执行如本文所描述的方法和过程中的一个或多个。在实施例中，指令384可以在由计算机系统300执行期间完全或至少部分驻留在主存储器320、静态存储器330和/或处理器310内。

在备选实施例中，可以构造专用硬件实现方式，诸如专用集成电路(ASIC)、可编程逻辑阵列和其他硬件部件，以实现本文描述的方法中的一个或多个。本文描述的一个或多个实施例可以使用两个或更多个特定互连硬件模块或设备利用可以在模块之间和通过模块通信的相关控制和数据信号来实现功能。因此，本公开涵盖软件、固件和硬件实现方式。本申请中的任何内容不应被解释为仅仅利用软件而不利用诸如有形非瞬态处理器和/或存储器的硬件实现或可实现。

根据本公开的各种实施例，可以使用执行软件程序的硬件计算机系统来实现本文描述的方法。此外，在示范性非限制性实施例中，实现方式可以包括分布式处理、部件/对象分布式处理和并行处理。可以构造虚拟计算机系统处理以实现如本文描述的方法或功能中的一个或多个，并且本文描述的处理器可以用于支持虚拟处理环境。

本公开预期包括指令384或者响应于传播信号而接收并且执行指令384的计算机可读介质382；使得连接到网络301的设备可以通过网络301传递视频或者数据。此外，指令384可以经由网络接口设备340通过网络301发射或接收。

图4图示了根据代表性实施例的动态介入三维模型变形的方法。

图4中的方法在S405处通过生成、捕获和存储介入流程的对象的医学图像来开始。在动态介入三维模型变形的一些实施例中，采集术前计算机断层摄影(CT)或锥形束计算机断层摄影(锥形束计算机断层扫描)图像。锥形束计算机断层摄影是包含在其中X射线发散并且因此形成锥形的X射线计算机断层摄影的医学成像技术。在大多数实施例中，分割气道，如本文所描述的。在大多数实施例中，可以在介入操作之前执行计算机断层摄影或锥形束计算机断层摄影和分割。三维图像可以使用计算机断层摄影、锥形束计算机断层摄影、磁共振或提供解剖结构的三维表示的其他成像模态来采集。

在S410处，图4中的方法包括：基于分割介入流程的对象中具有多个(许多)分支的路径来生成三维模型。路径的三维模型可以基于锥形束计算机断层摄影或任何其他三维成像模态来生成。三维模型具有肺的范例中的气道，但是在备选实施例中可以是血管。此外，尽管S410指定三维模型由分割创建，但是三维模型也可以由诸如绘制的其他机制创建。分割是诸如肺的路径和分支或者心脏的部件的结构的表面的表示并且例如包括器官的表面上的三维(3D)坐标中的点集，以及通过连接3个点的相邻组定义的三角平面段，使得整个结构由不相交的三角平面的网格覆盖。

在S415处，图4中的方法包括：生成三维模型中的从起始点到目标点的途径。

如针对稍后所描述的实施例指定的，跟踪设备可以配准到三维模型。配准包含将不同元件或系统放置到公共坐标系上。例如，跟踪介入医学设备的形状可以被配准到术前肺图像，其然后实现考虑呼吸运动、基于与跟踪介入医学设备的相互作用的解剖结构的错位(例如，肺变形)和其他移动的能力以及规划气道中的肺导航的能力。形状感测可以用于在存在呼吸/心脏运动的情况下使用当前途径与规划途径的误差偏差进行实时引导，以帮助用户为气道内部和外部(路外)的导航定时。

在S470处，图4中的方法包括：确定跟踪设备的当前位置是否在三维模型中的路径之外。在图4中，当跟踪设备在气道中导航时跟踪设备在三个维度上跟踪。跟踪可以使用光学形状感测执行，但是在其他实施例中，跟踪可以涉及电磁传感器、基于超声的传感器、或者基于荧光透视图像的动态分析的基于X射线的设备识别。在本文所描述的方法中，通常描述了光学形状感测。然而，本文所描述的跟踪设备可以备选地利用电磁传感器、基于超声的传感器、或来自荧光透视图像的基于X射线的设备识别等跟踪。

在S480处，图4中的方法包括：当跟踪设备的当前位置在三维模型中的路径之外时，将三维模型变形到跟踪设备的当前位置。在S480处的变形导致使用气道和实时介入医学设备位置的术前三维模型调节由医师看到的可视化。因此，在S480处的变形起因于跟踪，只要跟踪设备的当前途径可以与气道管腔(开放空间)相比较，并且如果当前途径在最近气道之外，计算机断层摄影/锥形束计算机断层摄影图像和三维模型变形。

在S485处，图4中的方法包括：当跟踪设备的当前位置在路径内时，将三维模型变形以将跟踪设备居中在三维模型的当前途径内。作为S485的备选方案，方法可以包括：当跟踪设备的当前位置在路径内部时，根本不将三维模型变形。

图4中的方法向医师提供相对于实际解剖结构定位介入医学设备的能力。在实现三维模型的解剖分割中，三维模型可以基于如在S405处的图像采集。使用用于实时引导的该三维模型的医师可以获得在其他情况下丢失的关于解剖结构如何实时改变的信息。例如，气道可以贯穿一个呼吸周期伸展或收缩若干厘米并且当如支气管镜的硬设备被插入时将移位。介入医学设备的跟踪允许关于位置的实时信息被用于根据其术前状态更新三维模型。

以通常将适用于本文所描述的实施例的特定次序示出图4中的方法的个体步骤。然而，用于本文所描述的方法的其他步骤可以以与所示不同的次序执行或者可以彼此同时在正在进行的基础上执行。

此外，图4中的步骤的编号可以部分或完全适用于本文所描述的其他实施例。例如，图6中的S680的编号可以被理解为意指S680处的步骤可以代替图4中的S480执行。类似地，图6中的S660的编号可以被理解为意指步骤可以相对于针对图4所描述的功能在S470之前但是在S415之后执行。因此，针对各种实施例的本文所描述的步骤的最后两个数字的相对值可以被理解为相对于图4中的步骤的编号的一般或特定放置。

图5A图示了根据代表性实施例的跟踪设备和在应用动态介入三维模型变形之前的具有多个分支的路径的三维模型的比较视图。

在图5A中，(一个或多个)路径结构的三维模型基于计算机断层摄影影像在被用于基于图像生成三维模型的分割之前被采集的时间点。图5A图示了跟踪介入医学设备能够如何随着解剖结构实时改变而偏离三维模型。这被图示在图5A中的图像#2、图像#4和图像#6中。因此，如果医师正使用用于实时引导的下层三维模型，则医师缺失关于解剖结构如何实时改变的信息。例如，气道可以贯穿一个呼吸周期伸展或收缩若干厘米并且当如支气管镜的硬设备被插入时将移位。图5A在视觉上示出了介入医学设备相对于术前采集的模型将如何出现。跟踪介入医学设备允许关于位置的实时信息并且在本文中被用于更新三维术前模型对于医师看起来像什么。当术中荧光透视未被使用时，这可以是特别有用的。

在图5A中，跟踪设备沿气道向下导航。在图像#1、图像#3、图像#5和图像#7中，跟踪设备与气道对准。然而，在图像#2、图像#4和图像#6中，介入医学设备在气道之外出现，即使跟踪设备实际上在气道的管腔内。即，在图5A所示的呼吸周期的若干阶段中，当实际上介入医学设备仍然在管腔内时，介入医学设备表现为在气道之外。

图5B图示了根据代表性实施例的用于使用光学形状感测进行动态介入三维模型变形的进展。

在图5B中，由于与跟踪设备的相互作用(例如，肺变形)，使用关于呼吸运动、心脏运动和解剖运动的光学形状感测反馈将三维分割气道变形。图像#1中所示的分割气道是术前分割气道，其中，R＝0指代下层医学图像在呼吸周期的一个特定阶段处(例如，在全吸气处)获取。例如，图像#1下层的医学影像可以是在医学介入之前很久由第一医学成像系统210获取的计算机断层摄影图像。图像#1示出了在没有跟踪介入医学设备的情况下的气道的术前分割模型，并且图像#2示出了在支气管内介入医学设备导航气道的情况下的气道的术前分割模型。在图像#2中，跟踪使用如本文所描述的光学形状感测来执行。图像#2中的R＝0可以被理解为意指在医学介入中的该点处的呼吸阶段在与当采集术前图像时看到的相同的呼吸阶段处。

在图5B中，在R＝1处，气道在呼吸周期期间移动使得气道的(一个或多个)当前位置部分地、主要地或完全地与图像#1所示的术前分割模型的原始位置偏移。这通过在图像#1之上携带的术前分割模型的原始路径之上并且与其偏移的图像#3中的复制路径示出。即，如图像#3所示，在时间R＝1处(例如，呼吸周期的全呼出)，跟踪介入医学设备和实际路径结构已经移动离开图像#1所示的术前分割模型。因此，在图像#4中，分割模型变形，使得跟踪介入医学设备和实际路径结构适于存在于R＝1处的实际路径结构。

如图像#4中所示，变形可以包含收缩、膨胀、移位或以其他方式移动三维模型以适配跟踪设备的当前位置。在图5B中，采集术前三维扫描的呼吸阶段期间的肺的位置被定义为R＝0，并且与术前采集不同的呼吸周期的另一阶段被定义为R＝1。来自R＝0的三维分割气道示出在图像#1、图像#2、图像#3和图像#4中的每幅中，而在图像#3和图像#4中，偏移结构在变形之前和之后被叠加在三维分割气道上。偏移结构表示R＝1处的路径的实际位置。在图像#2、图像#3和图像#4中的每幅中标记跟踪介入医学设备501。

使用利用光学形状感测跟踪的跟踪介入医学设备来描述图5B中的范例。然而，电磁感测可以备选地与要么跟踪设备的尖端处的单个传感器要么沿着跟踪设备的长度的多个传感器一起使用。针对尖端处的电磁传感器，尖端位置的记录可以连续执行以跟踪由整个跟踪设备采取的途径。

如上文相对于图4所描述的，本文所描述的方法的主要元素可以包含要么利用术前计算机断层摄影要么术中锥形束计算机断层摄影采集患者的气道的三维扫描。通常，在呼吸周期的一个阶段处执行术前计算机断层摄影或术中锥形束计算机断层摄影。气道和病变从计算机断层摄影数据分割以创建气道的三维模型。气道的得到的三维模型是图5B中的图像#1中的起始点。在支气管内肺流程期间，介入医学设备可以在气道的分割模型之上导航到期望位置并且如果不存在心脏或呼吸运动，则使得一致地出现在气道内。支气管内肺流程的范例包括病变或淋巴结活检、肿瘤消融、气道支架、肿瘤切除和其他形式的肺流程。如果不存在心脏或呼吸运动，则介入医学设备可以在气道的分割模型之上导航并且介入医学设备将始终表现为保持在气道内部。然而，由于心脏和呼吸运动以及患者和插入设备的轻微移动，显著运动发生。当运动发生时，介入医学设备表现为超出模型的气道之外并且能够使医师误解。光学形状感测的一个益处在于，介入医学设备的整个长度的位置信息总是已知的。该信息可以被用于实时更新气道的模型以提供其中介入医学设备相对于解剖结构的更真实图像。上气道是非常刚性的，并且因此最可能地介入医学设备将在气道的管腔内部。然而，在外围(远处)气道中，壁是相当薄的，并且介入医学设备的尖端可以容易地伸出到壁之外。因此，模型的变形应当主导地使用当在上气道中时的介入医学设备的信息。

图6图示了根据代表性实施例的动态介入三维模型变形的另一方法。

图6中的过程在S630处通过将路径中的跟踪设备配准到三维模型开始。配准是涉及对准不同坐标系或将现有坐标系的坐标分配给新引入的元素的过程。在S630处，三维模型的坐标系可以被用于将坐标分配给跟踪设备，使得跟踪设备可以在三维模型的坐标系中跟踪。跟踪设备可以使用光学形状感测跟踪，并且三维模型可以是诸如图5B中的所有四幅图像的术前模型。

在S675处，图6中的过程包括：计算跟踪设备的紧接先前位置与跟踪设备相对于三维模型的当前位置之间的偏移。就跟踪设备的位置可以在介入流程期间连续地并且快速地计算而言，偏移可以被用于帮助绘制用于跟踪设备的轨迹和途径，并且还有助于如在图4中的S480处或在如下文所描述的S680处的变形。在S675处的计算可以在诸如图4中的S470处的变形之后执行，其中，关于跟踪设备是否在三维模型的网格的气道管腔内部进行检查。

在S680处，图6中的过程包括基于偏移将三维模型变换为跟踪设备的当前位置。例如，在S680处，变换可以涉及通过调节三维模型及西宁的变形，使得三维模型包括跟踪设备的一个或多个紧接先前位置和跟踪设备的当前位置。

在S680处的变换可以涉及将整个术前三维模型变形到跟踪设备的当前位置。变换可以基于记录跟踪设备的最后已知位置和跟踪设备的当前位置，并且在S675处计算偏移，只要记录位置有助于例如识别跟踪的介入医疗设备已经遍历哪些分支。系统200可以记住所有时间和所有位置处的跟踪设备的历史，以便促进S675处的计算和S680处的变换。

作为S680的备选方案，如果跟踪设备在如在S470处确定的三维模型的网格的气道管腔内部，则图6中的过程可以涉及示出未变形状态下的术前三维模型。备选地，小变形校正可以应用于将介入医学设备保持在管腔的中心。

在S690处，图6中的过程包括：每次跟踪设备移动到新分支时，迭代地局部变形包含跟踪设备的三维模型的每个新分支。在S690处，每个时间点处的每个气道中的跟踪设备的位置可以迭代地被用于局部变形气道以适合跟踪设备，从而将跟踪设备保持在气道管腔的中心处。可以在每次变形之后并且每次跟踪介入医学设备进一步前进时识别位置，并且每次跟踪设备进一步前进时，可以再次执行局部变形。

在图6的方法中，可以获得图5B的图像#4中所示的变形。在图6中，跟踪设备可以利用光学形状感测跟踪。当跟踪设备在路径之外时，三维模型的路径被调节到跟踪设备的位置。图6中的方法的重要部分在于，当跟踪设备移动贯穿气道时，系统200存储跟踪设备的多个或甚至所有时间点和位置的历史。这些时间点和位置对于在其中仅跟踪尖端或具有沿着跟踪设备的长度的最小跟踪的跟踪设备可能是关键的。位置的历史可以被用于将三维模型沿着整个设备轨迹而不仅在跟踪设备的尖端处变形。

在图6的实施例中，可以在以图5B的图像#2、图像#3和图像#4所示的方式导航光学形状感测设备时执行方法。光学形状感测设备被配准到术前三维模型。在检查光学形状感测设备是否在气道管腔/模型网格内部时，如果是的话，那么术前三维模型以非变形状态示出或者备选地，仅小变形校正适用于将跟踪设备保持在管腔的中心。另一方面，如果光学形状感测设备不在气道管腔/模型网格内，则术前三维模型变形到光学形状感测设备的当前位置。由于光学形状感测设备的位置持续地记录，因而最后位置与当前位置之间的偏移可以相对于气道的术前三维模型中的位置计算以便帮助识别哪些分支已经遍历。在该实施例中，系统可以记住光学形状感测设备的所有时间点和位置的历史。

如还针对图6的实施例所描述的，术前三维模型整体上被变换到新设备位置。后来当光学形状感测设备在气道中前进时，位置在每个时间点处被记录并且然后被用于使气道变形以适合光学形状感测设备，诸如通过将光学形状感测设备保持在气道管腔的中心。在图6的方法中，当介入医学设备贯穿气道移动时，系统存储所有设备时间点和位置的历史。这些时间点和位置对于在其中仅跟踪尖端或具有沿着介入医学设备的长度的最小跟踪的设备可能是重要的。位置的历史可以被用于使模型沿着整个设备轨迹而不仅在介入医学设备的尖端处变形。

使用光学形状感测设备描述图6的实施例。然而，电磁感测设备可以与要么尖端处的单个传感器要么沿着介入医学设备的长度的多个传感器一起使用。针对尖端处的电磁传感器，尖端位置的记录可以连续发生以跟踪由电磁感测设备采取的途径。

图7图示了根据代表性实施例的来自使用动态介入三维模型变形确定的跟踪设备的当前位置的气道的支气管镜视图。

在图7中，支气管镜视图被示出为与三维模型的图像分离的图像。跟踪设备与由跟踪设备采取的途径一起示出在三维模型的路径中。使用如在图4和图6中所描述的方法，可以确定跟踪介入医学设备相对于解剖结构的三维模型的位置。支气管镜视图可以基于跟踪介入医学设备的尖端的位置来创建，诸如当跟踪介入医学设备利用光学形状感测来跟踪时。其还可以从感兴趣医学设备上的任何其他固定位置示出。

虚拟支气管镜视图可以基于计算机断层摄影数据由分割三维模型形成。跟踪设备的位置信息可以被用于确定针对规划途径的跟踪设备的最近位置。简单地计算规划途径与当前途径之间的距离并且执行一个或多个误差最小化例程，可以确定沿着规划途径的介入医学设备的位置。在该位置处的支气管镜视图可以然后示出给用户并且当跟踪设备贯穿气道移动时自动更新。

跟踪设备相对于三维模型的三维位置信息可以被用于示出气道的内部的虚拟支气管镜视图。

例如，三维模型可以动态更新，并且跟踪设备的尖端可以利用变形的三维模型示出。备选地，可以规划从气管到目标的途径，并且然后跟踪设备的位置可以与规划途径相比较。误差最小化可以被用于选择针对规划途径的设备尖端的最适当位置并且在三维模型中从该点示出支气管镜视图。作为由控制器实现的方法的范例，虚拟支气管镜视图可以基于跟踪设备的固定点的位置来创建；确定到跟踪设备的固定点的位置的规划途径的最近位置；并且当跟踪设备移动通过三维模型时自动更新支气管镜视图。

在实施例中，跟踪设备的取向可以被识别并且然后被用于基于跟踪设备的取向来确定针对虚拟支气管镜视图的视点。例如，如果用户想要示出跟踪设备的尖端的前面的支气管镜视图并且示出设备尖端接下来将移动到何处，则取向可以被用于确保用户不查看尖端侧面或后面的区域。类似地，知道何时示出侧视图也可以为用户提供优点，诸如当跟踪设备尖端接近三维模型中的分支时。与分支的接近度可以自动用于触发多个虚拟支气管镜视图的显示以帮助用于沿正确分支向下移动。

图8图示了根据代表性实施例的动态介入三维模型变形的另一方法。

图8中的方法在S810处通过基于分割介入流程的对象中具有多个(许多)分支的路径生成三维模型开始。

在S815处，图8中的方法包括：生成三维模型中的从起始点到目标点的途径。

在S830处，图8中的方法包括：将路径中的跟踪设备配准到三维模型。

在S850处，当肺排气时相对于三维模型来跟踪跟踪设备的位置。

在S870处，图8中的方法包括：基于跟踪设备随时间的移动量，仅将包含跟踪设备的路径的局部分支或最接近跟踪设备的路径的两个局部分支变形。例如，移动量可以用作用于计算偏移的基础，并且然后三维模型可以基于该偏移来校正。

图8中的方法在许多关键方面中与图4中的方法叠加，但是也在若干方面中相异。例如，图8中的方法特定于涉及肺的医学介入，并且甚至涉及当肺排气时跟踪所述跟踪设备的位置。此外，在S880处，变形仅限于一个或两个局部分支，但是这在S480处未禁止。相反，如应当清楚的，诸如图8的实施例的各种实施例的特征可以与其他实施例中的特征交换，或者添加到其他实施例中。

如上文所描述的，图8的方法涉及使用介入医学设备跟踪来配准排气肺模型和充气肺模型。光学形状感测设备(或另一跟踪设备)被配准到术前三维模型。在手术之前，光学形状感测设备(或其他跟踪设备)导航到目标病变的位置(支气管内地)。例如，可以使用上文所描述的方法执行导航。所有设备时间点和位置的历史关于术前模型记录以便识别哪些分支已经被遍历并且光学形状感测设备在肺的哪个肺叶中。肺然后排气，并且当肺排气时，光学形状感测设备的位置相对于术前模型来跟踪。术前模型然后变形到光学形状感测设备的当前位置。变形可以是局部的，诸如仅将包含光学形状感测设备和目标病变的肺叶变形。备选地，在其中病变位于两个肺叶之间的情况下，这两个肺叶可以变形。新变形的三维模型被呈现给用户表示排气肺状态。

图9图示了根据代表性实施例的动态介入三维模型变形的另一方法。

在图9中，过程在S950处通过在操纵肺时连续跟踪所述跟踪设备开始。

在S980处，图9中的过程包括：仅将包含跟踪设备的路径的局部分支或最接近跟踪设备的路径的两个局部分支变形以校正肺运动。

如上文所描述的，对于图9中的方法，可以使用本文所描述的变形在手术切除期间跟踪肺运动。与其他实施例一样，图9的实施例涉及将光学形状感测设备(或其他跟踪设备)配准到术前模型。跟踪设备在手术之前支气管内地导航到靶病变的位置。

在手术解剖期间，配准光学形状感测设备的运动在肺被操纵(诸如通过由外科医师拉动、伸展或翻转)时被跟踪。基于光学形状感测设备的运动，术前模型被变形到光学形状感测设备的当前位置。变形可以是局部的，诸如通过仅将包含光学形状感测设备和靶病变的肺叶变形。备选地，在其中病变位于两个肺叶之间的情况下，这两个肺叶可以变形。

图6、图8和图9的方法具有一定程度的相似性，但是描述了三个不同的用例。针对图6的用例将光学形状感测跟踪设备从气管移动到远侧气道。针对图8的用例将光学形状感测跟踪设备保持在一个气道中并且使肺塌陷。针对图9的用例将光学形状感测跟踪设备保持在一个气道中，但是从肺的外部表面利用工具物理地移动肺，与在手术中所做一样。

针对图9的手术方法的算法现在描述并且还适用于图6和图8的实施例。以下描述详述使用用于实现图9的手术方法的真实数据的算法。初始地，可以术前或术中采集感兴趣解剖结构的三维图像，并且三维解剖图像被分割以形成感兴趣解剖结构的网格，诸如气道。三维网格包括多个面和顶点(即，三维坐标系中的点)。光学形状感测设备的坐标系和成像模态被配准，因此，光学形状感测设备的x、y、z位置在与气道网格的x、y、z位置相同的坐标系中。光学形状感测设备的位置在工作流中的该点处连续测量，并且位置坐标被发送到计算机处理器。

针对在帧(n-1)处开始的帧的序列，存储光学形状感测设备坐标。在该点处，组织可以以许多方式操纵，但是此处不特别地要求组织的操纵。在帧(n)处，计算在帧(n)处和在帧(n-1)处的光学形状感测设备坐标之间的距离。如果光学形状感测设备包括多个位置点，那么计算沿着光学形状感测设备的每个相应点之间的距离。然后，存储帧之间的该偏移。对于网格中的每个点，计算网格点(i)与光学形状感测设备点(j:j+N)之间的距离。最接近于网格点(i)的光学形状感测设备点是经由距离最小化计算来确定的。在该光学形状感测设备点处的先前计算的偏移被添加到网格点(i)，并且存储新网格点(i)坐标。这针对所有网格点重复。在所有网格点由光学形状感测设备偏移调节之后，可以显示已经基于光学形状感测设备位置动态变地形的新网格。该连续过程可以针对光学形状感测数据的所有帧(n:n+M)执行-这导致实时网格可视化。

针对图9的实施例的以上实现方式也可以分别适用于针对设备移动和放气肺的图6和图8的实施例。然而，算法可以变化，诸如通过将阈值添加到距离计算和偏移以排除网格的部分变形。例如，如果光学形状感测设备在肺的右边的气道中，则肺的左边的变形可能是不期望的，因为关于该肺正移动多少的信息可能是不可用的。此外，仅将其中光学形状感测设备存在的肺叶而非相同肺的其他肺叶变形可能是最佳的。对从光学形状感测设备到网格点的最大可接受距离量设置阈值可以限制哪些网格点被调节。

此外，网格是解剖结构的三维体积。可以在网格内绘制中心线。可以关于光学形状感测设备是否在网格体积内或否则网格偏心多远做出确定。光学形状感测设备位置可以与网格中心线相比较。使用误差最小化技术，可以计算针对中心线相对于最佳匹配位置的光学形状感测设备位置。

在实施例中，阈值可以被实现为确定光学形状感测设备是否在网格体积之外。因此，可以对网格进行微调以变形。

在另一实施例中，最佳匹配位置将确定光学形状感测设备当前坐落在哪个分支、肺叶或肺中。该信息还可以被用于还限制网格的哪些部分变形与留下未变形的部分。

在又一实施例中，距中心线的距离也可以被用于变换网格。例如，如果光学形状感测设备仅与中心线稍微偏移，则相对于网格重新居中光学形状感测设备需要的变换(或移动)可以被计算，从而允许光学形状感测设备以始终“出现”在网格的中心。

在另一实施例中，光学形状感测设备位置的连续保存可以被用于确定光学形状感测设备所在的当前分支。使用例如如上文所描述的最佳匹配确定光学形状感测设备在哪个分支中，但是历史信息对于减少确定当前分支的计算处理时间是有用的。如果历史数据说明光学形状感测设备已经在肺的左边，那么使用上文所描述的中心线的计算可以从计算消除右侧分支并且仅聚焦于左侧分支。

设备位置的连续保存也可以被用于不使用光学形状感测的设备或仅跟踪一个或几个选择点的设备。这些坐标可以针对数据的每个帧保存以建立可以然后以上文所描述的实现方式的类似方式使用的设备跟踪。

图10图示了根据代表性实施例的动态介入三维模型变形的另一方法。

在图10中，过程在S1030处通过将三维模型配准到二维X射线图像空间开始。

在S1050处，图10中的过程通过基于X射线成像在两个维度上跟踪所述跟踪设备并且基于X射线成像识别荧光透视图像中的跟踪设备的位置来继续。

在S1055处，图10中的过程包括：当跟踪设备在基于X射线的跟踪的引导下导航通过路径时，投影三维模型以将三维模型叠加到二维X射线图像空间上。

如上文所描述的，图10的方法涉及使用设备的基于X射线的跟踪以识别二维上的介入医学设备位置并且调节三维分割模型的三维取向和位置。图10的方法包括：将三维分割模型配准到二维X射线图像空间，诸如通过使用基准、标记或等中心点。三维分割模型在二维上投影以将模型叠加在X射线图像上。接下来，跟踪设备在二维荧光透视引导下沿气道向下导航，并且来自荧光透视的图像帧利用图像处理技术分析以自动识别介入医学设备。跟踪设备的位置可以从图像提取并且与三维模型的投影图像相比较。跟踪设备的位置可以检查以查看跟踪设备是否在投影气道内。备选地，介入医学设备位置与投影气道的中心线之间的距离可以利用阈值计算，所述阈值设置为定义介入医学设备是否在气道内。

图10的方法可以被修改以适用于血管而不是气道的分割。可以再次计算介入医学设备位置与投影血管的中心线之间的距离。类似地，可以调节图10的方法，使得如果介入医学设备被发现在实际气道或血管之外，则气道的投影模型可以变形以适合实际设备位置。可以使用小的基准来考虑二维X射线图像中的运动的平面外分量，因为这仅使用三维投影可能具有挑战性。此外，可以从备选角度采集X射线图像以偶尔调节平面外信息。

此外，尽管在图2中未示出，但是跟踪设备250可以在集线器的辅助下跟踪，诸如当跟踪设备250正使用如图10中的荧光透视成像配准时。用于将跟踪设备配准到荧光透视的备选方法被描述如下：如本文所描述的集线器可以放置在气管中。集线器可以包含已知模式的途径。当跟踪设备250被引导通过集线器时，针对该特殊途径检查跟踪设备250的轨迹。一旦在设备轨迹中找到特殊集线器途径，则其可以被用于将跟踪设备250配准到集线器。然后，荧光透视图像可以被用于相对于荧光透视配准集线器；集线器可以包含辐射不透明标记或其他可辨别的特征，其有助于相对于荧光透视图像定位集线器。这允许集线器和荧光透视彼此配准。在将这些组合为子配准时，实现跟踪设备250与荧光透视之间的全配准。

图11图示了根据代表性实施例的动态介入三维模型变形的另一方法。

在图11中，过程在S1149处通过确定跟踪设备的尖端关于(相对于)三维模型的位置来开始。在S1150处，过程通过基于跟踪设备的尖端的位置创建虚拟支气管镜视图而继续。

在S1160处，跟踪设备沿着规划途径移动，并且过程返回S1149和S1150以更新尖端的位置和虚拟支气管镜视图。

图11的方法可以涉及示出使用光学形状感测位置的介入医学设备尖端的支气管镜视图。在图11的方法中，介入医学设备的位置相对于解剖模型来确定，并且支气管镜视图可以基于介入医学设备尖端的位置来创建。跟踪设备的固定点的位置处的介入医学设备的位置信息可以被用于确定规划途径的最近路径。简单地计算规划途径与当前途径之间的距离并且执行误差最小化例程，可以确定沿着规划途径的介入医学设备尖端的位置。在该位置处的支气管镜视图可以然后示出给用户并且当介入医学设备贯穿气道移动时自动更新。例如，由控制器实现的方法可以包括：基于跟踪设备的固定点的多个位置中的每个来创建虚拟支气管镜视图；确定到跟踪设备的固定点的位置的规划途径的最近位置；并且当跟踪设备移动通过三维模型时自动更新支气管镜视图。跟踪设备的固定点可以是跟踪设备的尖端。

图7示出了如在图11中采集的三维术前模型上标记的点处的气道的支气管镜视图的范例。除仅管腔之外，图7示出了解剖特征。图11的方法可以提供直接在气道壁外的事物的额外成像视图，以为何时离开气道提供更好的引导。例如，在气道壁之外的事物的成像可以通过提供视觉引导辅助介入医师当直接在气道壁之外存在大血管时不退出。

图12图示了根据代表性实施例的动态介入三维模型变形的另一方法。

在图12中，过程在S1222处通过将路径中的途径的每个分支标记为通过三维模型的渐进序列来开始。

在S1225处，跟踪系统(例如，光学形状感测)被配准到跟踪设备以便跟踪所述跟踪设备。该配准可以在将跟踪机械集成到跟踪设备中是固有的，诸如跟踪元件被固定到跟踪设备的远侧尖端。在形状感测的情况下，集线器可以以预定方式固定到跟踪设备，其然后允许形状感测光纤配准到跟踪设备。然而，图12中的位置跟踪不限于光学形状感测，并且诸如传感器的其他形式的位置跟踪也可以或备选地使用。

在S1230处，三维模型被配准到跟踪设备。

在S1235处，图12中的过程包括将三维模型更新到对象的实况解剖结构。

在S1240处，图12中的过程包括：突出显示通过三维模型中的路径的规划途径并且当跟踪设备移动离开规划途径时向介入医师进行警报。

在S1252处，图12中的过程包括：当跟踪设备被导航时，在显示器上呈现针对在跟踪设备近侧的三维模型的路径的分支的标签。

在S1280处，图12中的过程包括：当跟踪设备接近多个(许多)分支中的每个时，基于跟踪设备的轨迹将三维模型中的路径的多个(许多)分支中的每个变形。

在图12的方法中，首先分割气道并且创建规划途径，如上文所描述的。另外，不同地标记气道的模型中的每个分支。直观标记方案可以是分层的和/或基于临床术语。净效应在于，除了视觉连续过程之外，可以依据分支的序列传递规划途径。图12的方法可以基于以下假定：支气管镜具有形状感测光纤，或者嵌入其内的另一位置跟踪机构，使得支气管镜被完全跟踪；或者形状感测设备通过支气管镜的工作通道来提供；或者形状感测设备通过工作通道来提供并且集线器被用于跟踪非形状感测支气管镜。可以在其中光学形状感测光纤被使用但是不一定需要的实施例中使用工作集线器。

此外，在图12的方法中，气道的模型被配准到形状感测设备、支气管镜图像和/或荧光透视，其允许系统将分支标签从计算机断层摄影传送到稍后流程中的图像。呼吸运动以及患者运动经由光学形状感测或另一位置跟踪机制跟踪，只要介入医学设备在气道中。由于上气道是相对刚性的，因而上气道由于生理运动而变形较少。气道的模型可以通过针对在荧光透视图像中看到的上气道初始化模型的位置和取向来更新到实况解剖结构，然后跟随跟踪的呼吸/患者运动以连续更新。为了在光学形状感测设备或另一位置跟踪设备的情况下进一步辅助配准，与动态集线器类似操作的小设备可以放置在气管中以提供关于支气管镜的位置的身体中的参考。

使用气道的模型和标记，图12的方法中涉及的操作者将支气管镜导航到规划途径上的下一分支。在导航期间，当支气管镜接近分支时分支标签出现在支气管镜图像中，或者如果形状感测设备导航通过工作通道并且深入到气道中超过支气管镜本身，则出现在虚拟支气管镜图像中。这可以向用户指示导航决策必须很快做出，并且用户应当将支气管镜或光学形状感测设备(或其他位置跟踪设备)朝向哪个分支引导。

当用户将支气管镜或光学形状感测设备(或其他位置跟踪设备)导航通过图12中的分支时，系统检测到分支已被经遍历，并且已经采取哪个分支。该确定是可能的，因为计算机断层摄影和分割气道被配准到形状感测支气管镜或设备。气道的模型的该特定分割基于介入医学设备轨迹来变形。注意，分支标签的位置更新到变形模型。此外，变形通过变形较小的上气道位置并且通过采取的分支的位置来锚定。设备尚未到达的气道的远侧段可以刚性耦合到新变形的气道段作为近似，以便维持剩余气道对用户的可感知的可视化。如果基于期望的规划途径采取正确分支，则途径被突出显示以指示采取的成功分支。否则，提供警报。随着导航前进，与当前途径无关的气道可以视觉上逐渐不再强调，而仍然保持对提供总体背景可见。此外，每个遍历分支可以标记在荧光透视图像中，使得用户可以看到在实况图像中遍历的途径/分支。

分支遍历和途径突出显示的以上序列前进，直到达到目标。图12中的方法的净效应在于，模型的变形仅需要寻址规划途径和采取的途径，与整个模型相反，其移除视觉混乱并且更易于实现；用户保留甚至在存在模型的配准不确定性和不完美变形的情况下沿正确途径向下导航的更大的自信；并且可以基于支气管镜图像和知道是否支气管镜在管腔的中心或更接近于壁来改进配准的准确度。

此外，甚至在没有跟踪的情况下，图12中的支气管镜也可以仅基于支气管镜视图中的分支的位置/取向来配准到术前分割模型。

在术中将三维模型配准到解剖结构的混合方法也是可能的，诸如以在配准之前提供导航。当跟踪的支气管镜沿气管向下引导时，当在跟踪系统中尚不存在足够的信息以将模型配准到解剖结构时，支气管镜图像可以实时分析以估计支气管镜的途径和姿势。在支气管镜图像中看到的分支可以然后被用于进一步细化配准。这提供特别地刚性上气道中的支气管镜轨迹的合理早期估计。然后，当采取分支时，使用采取的分支和途径的跟踪和信息来细化配准。

在替代已经描述的那些实施例的一个或多个实施例中，术前三维模型可以保持静态并且跟踪介入医学设备可以代替地基于气管参考、遍历的途径、采取的分支等变形。

图13图示了根据代表性实施例的来自使用动态介入三维模型变形确定的跟踪设备的当前位置的气道的管腔内视图。

在图13中，径向支气管内超声(REBUS)导管沿右主分支向下导航并且到小周围气道中。超声换能器产生其中超声换能器位于的气道的径向图像。当与气道的壁接触时，图像显现白色，并且当存在分支气道时，图像显现黑色，因为所有信号在该位置处丢失到空气。

在图13的实施例中，REBUS导管利用超声成像信息作为伪跟踪机制而不是利用光学形状感测来跟踪。然而，在基于图13的实施例中，REBUS导管利用光学形状感测与超声成像信息一起来跟踪。

图14图示了根据代表性实施例的动态介入三维模型变形的另一方法。

在图14中，过程在S1430处通过当路径的分支初始地基于超声图像来获得时配准超声探头和三维模型来开始。

在S1445处，图14的过程包括当跟踪设备在路径上导航时连续采集对象的超声图像。

在S1454处，图14的过程包括当超声探头被导航时虚拟标记在三维模型上的超声探头的当前位置，并且连续地采集超声图像并且将路径的每个分支配准到三维模型。例如，气道的直径可以与三维模型相比较以提供跟踪设备在哪个分支中的粗略背景。此外，在图14的实施例中，超声自身是跟踪方法。然而，诸如超声导管的介入工具也可以利用诸如光学形状感测或电磁的另一类型的跟踪技术来跟踪。

在上文所描述的图14的方法中，径向支气管内超声(REBUS)被用于评估气道和引导针活检并且引导导航和确定换能器相对于三维分割模型的位置。用于使用(R)EBUS引导和跟踪的导航的方法部分地通过图4描述。(R)EBUS探头在左或右主分支中导航，并且超声成像从(R)EBUS探头连续地采集。如在图14中的超声成像可以假定是好的图像质量并且在换能器与气道壁之间没有气穴。当在超声图像中看到第一分支时，建立了探头和三维分割模型之间的初始配准。第一分支在图13中示出为暗间隙。虚拟标记可以放置在三维模型上以指示换能器的当前位置。当探头进一步导航到气道中时，超声图像连续地采集，并且每个分支被配准到术前计算机断层摄影或分割三维模型。此外，每次分支被可视化时，虚拟标记位置在三维模型上被更新；并且如果在超声图像内没有分支，则可以利用关于位置的不确定性的一些指示来估计虚拟标记位置。

先前实施例中所描述的自动标记可以与图4的实施例组合。例如，EBUS换能器当前正位于的气道的直径和壁厚度可以被计算并且返回参考三维模型。根据三维成像生成的三维模型也可以包括关于所有位置处的气道直径和气道壁厚度的信息。在REBUS探头和三维模型之间配准该信息确定换能器的近似位置。添加关于哪些分支已经通过的额外信息可以被用于确定换能器的确切位置。此外，尽管图14和本文中的大多数实施例的描述聚焦于气道，但是诸如图14的方法(包括使用自动标记的经更新的方法)也可以使用在血管导航中。

由控制器实现的方法可以包括：通过根据超声图像计算路径的直径和壁厚度并且将直径和壁厚度与三维模型进行比较自动地确定用于采集超声图像的超声探头的尖端的位置。控制器还可以基于超声探头的先前位置来优化超声探头的尖端的位置。

在图14中，换能器的位置和取向可以通过测量分支气道的直径和气道相对于图像中的换能器的取向来进一步细化。保持跟踪换能器通过的每个分支可以提供关于整个设备已经向下去到哪个分支和途径的更好的评估。整个(R)EBUS探头的虚拟图像可以然后示出在三维分割模型上。

此外，在图14中，气道的虚拟三维超声图像或路线图可以基于跟踪(R)EBUS来构建。这可以示出在术前分割模型上。此外，可以更新术前模型以匹配虚拟(R)EBUS路线图，例如基于先前描述的可变形校正技术。

间歇性X射线图像也可以被用于更新虚拟标记的位置或检查与图14中的实施例一致的虚拟设备定位。类似地，诸如光学形状感测的跟踪可以与基于超声的方法合并以减少不确定性，特别地在图像质量降低的分支位置中。

因此，动态介入三维模型变形使能在介入流程期间的动态导航校正。动态介入三维模型变形适用于诸如X射线和超声的多个不同成像模式，以及人类对象的多个不同器官，包括肺以及血管系统。动态介入三维模型变形可以作为功能添加到现有产品，诸如设备跟踪产品。针对肺活检讨论的主要应用不是绝对要求，因为动态介入三维模型变形也可以被用于其他肺病学应用，诸如手术切除或消融组织。此外，动态介入三维模型变形可以适用于其他领域，诸如血管或胃肠道。此外，动态介入三维模型变形适用于形状感测光纤的瑞利(增强型和规则型)和光纤布拉格实现方式两者，以及这样的设备的手动和机器人操纵两者。最后，除光学形状感测实现方式之外，动态介入三维模型变形适用于设备的基于X射线的跟踪和设备的超声跟踪两者。

尽管已经参考若干示范性实施例描述了动态介入三维模型变形，但是应理解，已经使用的词语是描述和说明的词语而不是限制的词语。如目前说明和修改的，可以在权利要求书的范围内做出改变，而不脱离在其各方面中的动态介入三维模型变形使能的范围和精神。尽管已经参考特定模块、材料和实施例描述了动态介入三维模型变形，但是动态介入三维模型变形使能不旨在限于所公开的细节；而是动态介入三维模型变形使能扩展到诸如在权利要求书的范围内的所有功能等效的结构、方法和用途。

本文描述的实施例的图示旨在提供对各种实施例的结构的总体理解。这些图示并非旨在用作本文描述的公开的所有元件和特征的完整描述。在查看本公开后，许多其他实施例对于本领域技术人员而言是显而易见的。其他实施例可以利用并从本公开中导出，使得可以在不脱离本公开的范围的情况下做出结构和逻辑替换和改变。另外，图示仅仅是代表性的，并且可以不按比例绘制。图示内的某些比例可能被夸大，而其他比例可能被最小化。因此，本公开和附图应被视为说明性的而非限制性的。

本文仅仅出于方便通过术语“发明”个体地和/或共同地在本文中提及本公开的一个或多个实施例，而不旨在将本申请的范围自愿地限制于任何特定发明或发明构思。此外，尽管本文已图示和描述了特定实施例，但应意识到，经设计以实现相同或相似目的的任何后续布置可替代所示的特定实施例。本公开旨在覆盖各种实施例的任何和所有后续修改或变化。在查看本说明书之后，上述实施例以及本文未具体描述的其他实施例的组合对于本领域技术人员而言将是显而易见的。

本公开的摘要被提供为符合37C.F.R.§1.72(b)并且被提交有以下理解，即其不会用于解释或限制权利要求的范围或含义。此外，在前面的具体实施方式中，各种特征可以组合在一起或在单个实施例中描述，以用于简单化本公开的目的。本公开内容不应被解释为反映所要求保护的实施例需要比每个权利要求中明确记载的更多特征的意图。而是，如以下权利要求所反映的，创造性主题可以涉及少于任何所公开实施例的所有特征。因此，以下权利要求被并入具体实现方式中，每个权利要求自身作为定义单独要求保护的主题。

所公开的实施例的先前描述被提供为使本领域的技术人员能够实践本公开中所描述的概念。这样一来，以上公开的主题要被认为是说明性的而非限制性的，并且权利要求旨在覆盖落入本公开的真实精神和范围内的所有这样的修改、增强和其他实施例。因此，在法律允许的最大范围内，本公开的范围要由权利要求及其等价方案的最宽泛的可允许解释来确定，并且不应受前述详细描述的约束或限制。