用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法
阅读说明：本技术 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法 (System and method for identifying, labeling and navigating to a target using real-time two-dimensional fluoroscopy data ) 是由 O·P·维加藤 R·巴拉克 E·科佩尔 B·格林伯格 E·凯德密-沙哈尔 D·玛尔迪克斯 于 2018-06-29 设计创作，主要内容包括：一种用于促进在患者的身体部位的荧光镜检查图像中识别和标记靶标的系统,所述系统包含一个或多个存储装置、至少一个硬件处理器和显示器,所述存储装置上存储有用于以下的指令：接收所述患者的所述身体部位的CT扫描和荧光镜检查3D重建,其中所述CT扫描包括所述靶标的标记；和基于所述患者的所述CT扫描生成至少一个虚拟荧光镜检查图像,其中所述虚拟荧光镜检查图像包括所述靶标和所述靶标的所述标记,所述硬件处理器被配置为执行这些指令,所述显示器被配置为向用户显示所述虚拟荧光镜检查图像和所述荧光镜检查3D重建。(A system for facilitating identification and labeling of a target in a fluoroscopic image of a body part of a patient, the system comprising or more storage devices having stored thereon instructions for receiving a CT scan and a fluoroscopic 3D reconstruction of the body part of the patient, wherein the CT scan includes a label of the target, and generating at least virtual fluoroscopic images based on the CT scan of the patient, wherein the virtual fluoroscopic images include the label of the target and the target, at least hardware processors configured to execute the instructions, and a display configured to display the virtual fluoroscopic images and the fluoroscopic 3D reconstruction to a user.)
技术领域
本公开总体上涉及在荧光镜检查图像中识别和标记靶标的领域，并且具体地涉及在涉及体内导航的医疗程序中的这类靶标识别和标记。此外，本公开涉及医疗程序中的导航的系统、设备和方法。
背景技术
存在若干种常用的医学方法(如内窥镜检查程序或微创程序)，其用于治疗影响器官的各种疾病，包括肝脏、大脑、心脏、肺、胆囊、肾脏和骨骼。通常，临床医生采用一种或多种成像模式(如磁共振成像(MRI)、超声成像、计算机断层扫描(CT)、荧光镜检查)以及其它成像模式，来识别并导航到患者体内感兴趣区域并最终识别并导航到靶标进行治疗。在一些程序中，操作前扫描可用于靶标识别和操作中指导。然而，通常可需要实时成像以获取靶标区域的更准确和最新的图像。此外，可需要显示医疗装置相对于靶标及其周围环境的当前位置的实时图像数据，用于以更安全和准确的方式(例如，在不必要或没有对其它器官或组织造成损坏的情况下)将医疗装置导航到靶标。
举例来说，已证明内窥镜检查方法可用于导航到患者体内的感兴趣区域，并且具体地可用于导航到身体的腔网络(如肺)内的区域。为了实现肺中的内窥镜检查，并且更具体地支气管镜检查方法，已经开发了支气管内导航系统，所述系统使用先前获取的MRI数据或CT图像数据来生成特定身体部位(如肺)的三维(3D)渲染、模型或体积。
然后，将MRI扫描或CT扫描生成的所得体积用于创建导航计划，以促进导航导管(或其它合适的医疗装置)通过支气管镜和患者支气管的分支前进至感兴趣区域。定位或跟踪系统(如电磁(EM)跟踪系统)可与例如CT数据结合使用，以促进将导航导管通过支气管的分支引导至感兴趣区域。在某些情况下，导航导管可定位在邻近感兴趣区域或在感兴趣区域之内的分支腔网络的气道中的一个内，以为一种或多种医疗器械提供通路。
然而，由先前获取的扫描(如CT扫描)生成的三维体积的患者肺可能无法提供足够的基础，用于在导航程序期间将医疗器械准确地引导至靶标。在某些情况下，不准确性是由于在程序期间患者的肺相对于先前获取的CT数据的获取时的肺的变形而引起的。这种变形(CT到身体散度)可能是由许多不同的因素引起的，例如：镇静与不镇静、支气管镜改变患者的姿势并推动组织、不同的肺活量(因为CT处于吸气状态，而导航处于呼吸过程)、不同的床、天等。
因此，需要另一种成像模式来实时可视化这类靶标并通过在程序期间校正导航来增强体内导航程序。此外，为了准确且安全地将医疗装置导航到例如用于活检或治疗的远程靶标，医疗装置和靶标都应在某种三维引导系统中可见。
荧光镜检查成像装置通常在导航程序期间位于手术室中。临床医生可使用标准的荧光镜检查成像装置，例如用于在将医疗装置导航到期望位置后可视化并确认其位置。然而，尽管标准的荧光镜检查图像显示高密度对象(如金属工具和骨骼)以及大软组织对象(如心脏)，但是该荧光镜检查图像可难以分辨感兴趣的小软组织对象，如病变。此外，荧光镜检查图像只是二维投影。因此，X射线体积重建可识别这类软组织对象并导航到靶标。
存在几种提供三维体积重建的解决方案(如CT和锥束CT)，它们在医学领域得到了广泛使用。这些机器在算法上将来自已知的、经过校准的X射线源位置的多个X射线投影组合到三维体积中，在所述三维体积中，软组织更可见。举例来说，CT机器可在程序期间与迭代扫描一起使用，以提供穿过身体的引导，直到工具到达靶标为止。这是一个繁琐的过程，因为它需要几次完整的CT扫描、专用的CT室以及两次扫描之间的盲目导航。另外，由于高水平的电离辐射，每次扫描都要求工作人员离开房间，并使患者暴露在这类辐射下。另一选项是锥束CT机器，它可在某些手术室中使用，并且操作起来更容易一些，但价格昂贵，并且类似CT只在两次扫描之间提供盲目导航一样，需要多次迭代进行导航，并且需要工作人员离开房间。另外，基于CT的成像系统非常昂贵，并且在许多情况下不可在与实行程序的位置相同的位置获得。
因此，已经引入了一种成像技术，所述成像技术使用标准的荧光镜装置重建局部三维体积，以便可视化并便于导航到体内靶标，并且具体地可视化并便于导航到小软组织对象：Weingarten等人的标题为“用于使用标准荧光镜的局部三维重建的系统和方法(SYSTEMS AND METHODS FOR LOCAL THREE DIMENSIONAL VOLUME RECONSTRUCTION USINGA STANDARD FLUOROSCOPE)”的美国专利申请第2017/035379号，其内容通过引用并入本文；Barak等人的标题为“用于利用基于荧光镜检查的局部三维体积重建导航到靶标并对靶标执行程序的系统和方法(SYSTEM AND METHOD FOR NAVIGATING TO TARGET ANDPERFORMING PROCEDURE ON TARGET UTILIZING FLUOROSCOPIC-BASED LOCAL THEREEDIMENSIONAL VOLUME RECONSTRUCTION)”的美国专利申请第2017/035380号，其内容通过引用并入本文；和Weingarten等人的标题为“用于使用标准荧光镜的局部三维体积重建的系统和方法(SYSTEMS AND METHODS FOR LOCAL THREE DIMENSIONAL VOLUMERECONSTRUCTION USING A STANDARD FLUOROSCOPE)”的美国专利申请第15/892,053号，其内容通过引用并入本文。
一般来说，根据上述专利申请中公开的系统和方法，在医疗程序期间，可使标准的荧光镜C臂围绕患者旋转例如约30度，并且由专门的软件算法生成感兴趣区位的荧光镜检查3D重建。然后，用户可使用软件界面滚动荧光镜检查3D重建的图像切片，以识别靶标(例如病变)并标记靶标。
如此快速生成感兴趣区位的3D重建可提供靶标区域的实时三维成像。靶标和位于其区域内的医疗装置的实时成像可有益于许多介入程序，如各种器官的活检和消融程序、血管介入和整形外科。举例来说，当涉及导航支气管镜检查时，目的可以是接收有关活检导管相对于靶标病变的位置的准确信息。
再例如，微创程序(如腹腔镜检查程序，包括机器人辅助手术)可采用操作中荧光镜检查以增加可视化，例如用于引导和病变定位，并防止不必要的伤害和并发症。采用用于靶标区域的荧光镜检查三维成像的实时重建并基于重建进行导航的上述系统和方法也可有益于这类程序。
尽管如此，准确地识别和标记在荧光镜检查3D重建中的靶标不是容易的任务，特别是当靶标是小软组织时。因此，需要一种用于促进在荧光镜检查图像数据中，并且具体地在荧光镜检查3D重建中识别和标记靶标，从而促进导航到靶标以及相关医疗程序的产生的系统和方法。
发明内容
根据本公开，提供一种用于在患者的身体部位的荧光镜检查图像中促进靶标的识别和标记的系统，所述系统包含：(i)一个或多个存储装置，其上存储有用于以下的指令：接收患者身体部位的CT扫描和荧光镜检查3D重建，其中CT扫描包括靶标的标记；基于患者的CT扫描生成至少一个虚拟荧光镜检查图像，其中虚拟荧光镜检查图像包括靶标和靶标的标记，(ii)至少一个硬件处理器，其被配置为执行所述指令，和(iii)显示器，其被配置为在荧光镜检查3D重建的同时向用户显示虚拟荧光镜检查图像。
根据本公开，进一步提供一种用于在患者的身体部位的荧光镜检查图像中促进靶标的识别和标记的系统，所述系统包含：(i)一个或多个存储装置，其上存储有用于以下的指令：接收患者身体部位的CT扫描和荧光镜检查3D重建，其中CT扫描包括靶标的标记；基于患者的CT扫描生成至少一个虚拟荧光镜检查图像，其中虚拟荧光镜检查图像包括靶标和靶标的标记，(ii)至少一个硬件处理器，其被配置为执行所述指令，和(iii)显示器，其被配置为向用户显示虚拟荧光镜检查图像和荧光镜检查3D重建。
根据本公开，进一步提供一种用于在患者的身体部位的图像中识别和标记靶标的方法，所述方法包含使用至少一个硬件处理器以：接收患者身体部位的CT扫描和荧光镜检查3D重建，其中CT扫描包括靶标的标记；基于患者的CT扫描生成至少一个虚拟荧光镜检查图像，其中至少一个虚拟荧光镜检查图像包括靶标和靶标的标记；和在荧光镜检查3D重建的同时在显示器上向用户显示至少一个虚拟荧光镜检查图像，从而便于用户识别荧光镜检查3D重建中的靶标。
根据本公开，进一步提供一种用于在患者的身体部位的图像中识别和标记靶标的方法，所述方法包含使用至少一个硬件处理器以：接收患者身体部位的CT扫描和荧光镜检查3D重建，其中CT扫描包括靶标的标记；基于患者的CT扫描生成至少一个虚拟荧光镜检查图像，其中至少一个虚拟荧光镜检查图像包括靶标和靶标的标记；和在显示器上向用户显示至少一个虚拟荧光镜检查图像和荧光镜检查3D重建，从而便于用户识别荧光镜检查3D重建中的靶标。
根据本公开，进一步提供一种用于在医疗程序期间使用实时二维荧光镜检查图像导航到患者体内的靶标区域的系统，所述系统包含：医疗装置，其被配置为被导航到靶标区域；荧光镜检查成像装置，其被配置为在医疗装置定位在靶标区域中的同时，以相对于靶标区域的多个角度获取靶标区域的2D荧光镜检查图像序列；和计算装置，其被配置为：接收靶标区域的操作前CT扫描，其中操作前CT扫描包括靶标的标记；基于操作前CT扫描，生成至少一个虚拟荧光镜检查图像，其中至少一个虚拟荧光镜检查图像包括靶标和靶标的标记；基于获取的2D荧光镜检查图像序列生成靶标区域的三维重建；同时向用户显示至少一个虚拟荧光镜检查图像和荧光镜检查3D重建，通过用户从荧光镜检查3D重建中接收靶标的选择；从三维重建或2D荧光镜检查图像的序列中接收医疗装置的选择；和基于靶标和医疗装置的选择，确定医疗装置相对于靶标的偏移。
根据本公开，进一步提供一种用于在医疗程序期间使用实时二维荧光镜检查图像导航到患者体内的靶标区域的系统，所述系统包含：医疗装置，其被配置为导航到靶标区域；荧光镜检查成像装置，其被配置为在医疗装置定位在靶标区域中的同时，以相对于靶标区域的多个角度获取靶标区域的2D荧光镜检查图像序列；和计算装置，其被配置为：接收靶标区域的操作前CT扫描，其中操作前CT扫描包括靶标的标记；基于操作前CT扫描，生成至少一个虚拟荧光镜检查图像，其中至少一个虚拟荧光镜检查图像包括靶标和靶标的标记；基于获取的2D荧光镜检查图像序列生成靶标区域的三维重建；向用户显示至少一个虚拟荧光镜检查图像和荧光镜检查3D重建，通过用户从荧光镜检查3D重建中接收靶标的选择；从三维重建或2D荧光镜检查图像的序列中接收医疗装置的选择；和基于靶标和医疗装置的选择，确定医疗装置相对于靶标的偏移。
根据本公开，进一步提供一种用于在医疗程序期间使用实时二维荧光镜检查图像导航到患者体内靶标区域的方法，所述方法包含使用至少一个硬件处理器，用于：接收靶标区域的操作前CT扫描，其中操作前CT扫描包括靶标的标记；基于操作前CT扫描，生成至少一个虚拟荧光镜检查图像，其中至少一个虚拟荧光镜检查图像包括靶标和靶标的标记；当医疗装置定位在靶标区域中时，接收相对于靶标区域以多个角度实时获取的靶标区域的2D荧光镜检查图像的序列；基于2D荧光镜检查图像的序列生成靶标区域的三维重建；向用户显示至少一个虚拟荧光镜检查图像和荧光镜检查3D重建，通过用户从荧光镜检查3D重建中接收靶标的选择；从三维重建或2D荧光镜检查图像的序列中接收医疗装置的选择；和基于靶标和医疗装置的选择，确定医疗装置相对于靶标的偏移。
根据本公开，进一步提供一种用于在医疗程序期间使用实时二维荧光镜检查图像导航到患者体内的靶标区域的方法，所述方法包含使用至少一个硬件处理器，用于：接收靶标区域的操作前CT扫描，其中操作前CT扫描包括靶标的标记；基于操作前CT扫描，生成至少一个虚拟荧光镜检查图像，其中至少一个虚拟荧光镜检查图像包括靶标和靶标的标记；当医疗装置定位在靶标区域中时，接收相对于靶标区域以多个角度实时获取的靶标区域的2D荧光镜检查图像的序列；基于2D荧光镜检查图像的序列生成靶标区域的三维重建；向用户显示至少一个虚拟荧光镜检查图像和荧光镜检查3D重建，通过用户从荧光镜检查3D重建中接收靶标的选择；从三维重建或2D荧光镜检查图像的序列中接收医疗装置的选择；和基于靶标和医疗装置的选择，确定医疗装置相对于靶标的偏移。
根据本公开，进一步提供一种计算机程序产品，其包含非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有用其体现的程序代码，所述程序代码可由至少一个硬件处理器执行以：接收靶标区域的操作前CT扫描，其中操作前CT扫描包括靶标的标记；基于操作前CT扫描，生成至少一个虚拟荧光镜检查图像，其中至少一个虚拟荧光镜检查图像包括靶标和靶标的标记；当医疗装置定位在靶标区域中时，接收相对于靶标区域以多个角度实时获取的靶标区域的2D荧光镜检查图像的序列；基于2D荧光镜检查图像的序列生成靶标区域的荧光镜检查三维重建；同时向用户显示至少一个虚拟荧光镜检查图像和荧光镜检查三维重建，通过用户从荧光镜检查三维重建中接收靶标的选择；从荧光镜检查三维重建或2D荧光镜检查图像的序列中接收医疗装置的选择；和基于靶标和医疗装置的选择，确定医疗装置相对于靶标的偏移。
根据本公开，进一步提供一种计算机程序产品，其包含非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有用其体现的程序代码，所述程序代码可由至少一个硬件处理器执行以：接收靶标区域的操作前CT扫描，其中操作前CT扫描包括靶标的标记；基于操作前CT扫描，生成至少一个虚拟荧光镜检查图像，其中至少一个虚拟荧光镜检查图像包括靶标和靶标的标记；当医疗装置定位在靶标区域中时，接收相对于靶标区域以多个角度实时获取的靶标区域的2D荧光镜检查图像的序列；基于2D荧光镜检查图像的序列生成靶标区域的荧光镜检查三维重建；向用户显示至少一个虚拟荧光镜检查图像和荧光镜检查三维重建，通过用户从荧光镜检查三维重建中接收靶标的选择；从荧光镜检查三维重建或2D荧光镜检查图像的序列中接收医疗装置的选择；和基于靶标和医疗装置的选择，确定医疗装置相对于靶标的偏移。
在本公开的另一方面，一个或多个存储装置上存储有用于以下的其它指令：引导用户在荧光镜检查3D重建中识别和标记靶标。
在本公开的另一方面，一个或多个存储装置上存储有用于以下的其它指令：在使用虚拟荧光镜检查图像作为参考的同时引导用户在荧光镜检查3D重建中识别和标记靶标。
在本公开的另一方面，一个或多个存储装置上存储有用于以下的其它指令：引导用户在以两个不同角度捕获的荧光镜检查3D重建的两个荧光切片图像中识别和标记靶标。
在本公开的另一方面，生成至少一个虚拟荧光镜检查图像基于数字重建射线照相技术。
在本公开的另一方面，生成至少一个虚拟荧光镜检查图像包含：通过在扫描靶标时模拟荧光镜轨迹而在靶标周围生成虚拟荧光镜姿势；通过根据虚拟荧光镜姿势投影CT扫描体积来生成虚拟2D荧光镜检查图像；基于虚拟2D荧光镜检查图像生成虚拟荧光镜检查3D重建；和从包含靶标的标记的虚拟荧光镜检查3D重建中选择切片图像。
在本公开的另一方面，靶标是软组织靶标。
在本公开的另一方面，接收身体部位的荧光镜检查3D重建包含：接收相对于身体部位以多个角度获取的身体部位的2D荧光镜检查图像的序列，和基于2D荧光镜检查图像的序列生成身体部位的荧光镜检查3D重建。
在本公开的另一方面，所述方法进一步包含使用所述至少一个硬件处理器来引导用户在荧光镜检查3D重建中识别和标记靶标。
在本公开的另一方面，所述方法进一步包含使用所述至少一个硬件处理器以在使用至少一个虚拟荧光镜检查图像作为参考的同时引导用户在荧光镜检查3D重建中识别和标记靶标。
在本公开的另一方面，所述方法进一步包含使用所述至少一个硬件处理器来指示用户在以两个不同角度捕获的荧光镜检查3D重建的两个荧光切片图像中识别和标记靶标。
在本公开的另一方面，所述系统进一步包含：跟踪系统，其被配置为提供指示医疗装置在患者体内的位置的数据；和显示器，其中计算装置进一步被配置为：基于跟踪系统提供的数据确定医疗装置的位置；在显示器上显示靶标区域和医疗装置相对于靶标的位置；和基于医疗装置与靶标之间的所确定的偏移来校正医疗装置相对于靶标的位置的显示。
在本公开的另一方面，计算装置进一步被配置为：基于操作前CT扫描生成靶标区域的3D渲染，其中靶标区域的显示包含显示3D渲染；和将跟踪系统配准到3D渲染，其中医疗装置相对于靶标的位置校正包含更新跟踪系统和3D渲染之间的配准。
在本公开的另一方面，跟踪系统包含：传感器；和电磁场发生器，所述电磁场发生器被配置为生成用于确定传感器位置的电磁场，其中医疗装置包含导管导引组件，所述导管导引组件上设置有传感器，并且医疗装置的位置确定包含基于生成的电磁场确定传感器的位置。
在本公开的另一方面，靶标区域包含肺的至少一部分，并且医疗装置被配置为通过气道腔网络被导航到靶标区域。
在本公开的另一方面，计算装置被配置为通过在所获取的2D荧光镜检查图像的序列或三维重建中自动检测医疗装置的一部分，和接收接受或拒绝检测的用户命令来接收医疗装置的选择。
在本公开的另一方面，计算装置进一步被配置为估计荧光镜检查成像装置的姿势，同时荧光镜检查成像装置获取2D荧光镜检查图像序列的至少多个图像中的每个，并且其中生成靶标区域的三维重建基于荧光镜检查成像装置的姿势估计。
在本公开的另一方面，所述系统进一步包含标记物的结构，其中荧光镜检查成像装置被配置为获取靶标区域和标记物的结构的2D荧光镜检查图像的序列，并且其中在获取至少多个图像中的每个图像的同时估计荧光镜检查成像装置的姿势基于标记物结构总体上在每个图像上的可能和最可能的投影的检测。
在本公开的另一方面，计算装置进一步被配置为在使用至少一个虚拟荧光镜检查图像作为参考的同时，引导用户在荧光镜检查3D重建中识别和标记靶标。
在本公开的另一方面，所述方法进一步包含使用所述至少一个硬件处理器，用于：基于跟踪系统提供的数据确定医疗装置在患者体内的位置；在显示器上显示靶标区域和医疗装置相对于靶标的位置；和基于医疗装置与靶标之间的所确定的偏移来校正医疗装置相对于靶标的位置的显示。
在本公开的另一方面，所述方法进一步包含使用所述至少一个硬件处理器，用于：基于操作前CT扫描生成靶标区域的3D渲染，其中靶标区域的显示包含显示3D渲染；和将跟踪系统配准到3D渲染，其中医疗装置相对于靶标的位置的校正包含更新跟踪系统和3D渲染之间的配准。
在本公开的另一方面，接收医疗装置的选择包含在2D荧光镜检查图像的序列或三维重建中自动检测医疗装置的一部分，和接收接受或拒绝检测的用户命令。
在本公开的另一方面，所述方法进一步包含在获取2D荧光镜检查图像序列的至少多个图像中的每个的同时，使用所述至少一个硬件处理器来估计荧光镜检查成像装置的姿势，其中生成靶标区域的三维重建基于荧光镜检查成像装置的姿势估计。
在本公开的另一方面，相对于患者和荧光镜检查成像装置放置标记物的结构，使得至少多个图像中的每个图像包含标记物结构的至少一部分的投影，并且其在获取至少多个图像中的每个图像的同时估计荧光镜检查成像装置的姿势基于标记物结构总体上在每个图像上的可能和最可能的投影的检测。
在本公开的另一方面，非暂时性计算机可读存储介质具有可由至少一个硬件处理器执行的另外的程序代码，用于：基于由跟踪系统提供的数据来确定医疗装置在患者体内的位置；在显示器上显示靶标区域和医疗装置相对于靶标的位置；和基于医疗装置与靶标之间的所确定的偏移来校正医疗装置相对于靶标的位置的显示。
在不脱离本公开的范围的情况下，可组合本公开的以上方面和实施例中的任一个。
附图说明
下文中参照附图描述本公开的各个方面和实施例，在附图中：
图1是根据本公开的用于在荧光镜检查3D重建中识别和标记靶标的方法的流程图；
图2是被配置为与图1的方法一起使用的系统的示意图；
图3A是根据本公开的示出荧光镜检查3D重建的切片图像的显示的实例性屏幕截图；
图3B是根据本公开的示出与荧光镜检查3D重建的切片图像同时呈现的虚拟荧光镜检查图像的实例性屏幕截图；
图3C是根据本公开的示出荧光镜检查3D重建的显示的实例性屏幕截图；
图4是根据本公开的用于使用实时二维荧光镜检查图像导航到靶标的方法的流程图；并且
图5是用于根据图4的方法经由气道网络导航到软组织靶标的实例性系统的一个说明性实施例的透视图。
具体实施方式
如本文所引用，术语“靶标”可涉及生物或人工的任何元素，或涉及患者体内感兴趣区位，如组织(包括软组织和骨骼组织)、器官、植入物或基准标记物。
如本文所引用，术语“靶标区域”可涉及靶标及其周围区域的至少一部分。当术语“身体部位”是指靶标位于其中的身体部位时，术语“靶标区域”和术语“身体部位”可互换使用。替代地或另外，全部根据上下文，术语“靶标区域”也可指靶标位于其中的身体部位的一部分。
术语“和”、“或”和“和/或”可互换使用，而每个术语可结合其它术语，所有这些均根据术语的上下文。
如本文所引用，术语“医疗装置”可包括但不限于光学系统、超声探针、标记物放置工具、活检工具、消融工具(即微波消融装置)、激光探针、低温探针、传感器探针和抽吸针。
术语“荧光镜检查图像”可指代2D荧光镜检查图像和/或任何荧光镜检查3D重建的切片图像，所有这些均根据术语的上下文。
术语“虚拟荧光镜检查图像”可指代虚拟2D荧光镜检查图像和/或虚拟荧光镜检查3D重建或任何其它3D重建的虚拟荧光镜检查切片图像，所有这些均根据术语的上下文。
本公开涉及用于在经由标准荧光镜生产的感兴趣身体部位的实时荧光镜检查图像中促进用户识别和标记靶标的系统、方法和计算机程序产品。这类实时荧光镜检查图像可包括二维图像和/或三维重建的切片图像。具体地，可通过使用合成的或虚拟的荧光镜检查数据(其包括靶标的标记或指示)作为参考来促进在实时荧光镜检查数据中识别和标记靶标。可由先前获取的体积数据生成虚拟荧光镜检查数据，并且优选地使得其将尽可能地模仿荧光镜检查类型的数据。通常，与实时荧光镜检查数据相比，在先前获取的体积数据的成像模式中可更好地示出靶标。
本公开进一步涉及用于使用靶标区域的实时二维荧光镜检查图像来促进医疗装置到靶标和/或其区域的导航的系统和方法。通过使用局部三维体积数据可促进导航，其中小软组织对象可见，由大多数手术室中可用的标准荧光镜检查成像装置捕获的荧光镜检查图像的序列构成。基于荧光镜检查的构造的局部三维体积数据可用于校正医疗装置相对于靶标的位置，或可与先前获取的体积数据局部配准。一般来说，医疗装置的位置可由跟踪系统确定。跟踪系统可与先前获取的体积数据配准。然后可通过跟踪系统执行将实时三维荧光镜检查数据局部配准到先前获取的体积数据。这类实时数据可用于例如指导、导航计划、提高的导航准确性、导航确认和治疗确认。
现在参照图1，图1是根据本公开的用于在3D荧光镜重建中识别和标记靶标的方法的流程图。在步骤100中，可接收患者的身体部位的CT扫描和荧光镜检查3D重建。CT扫描可包括位于患者身体部位的靶标的标记或指示。替代地，可引导合格的医学专业人员在CT扫描中识别和标记靶标。在一些实施例中，靶标可以是软组织靶标，如病变。在一些实施例中，成像的身体部位可包括肺的至少一部分。在一些实施例中，可将3D重建显示给用户。在一些实施例中，可显示3D重建，使得用户可滚动其不同的切片图像。现在参照图3A，其是实例性屏幕截图300，其示出了根据本公开的荧光镜检查3D重建的切片图像的显示。屏幕截图300包括切片图像310、滚动条320和指示器330。滚动条320允许用户滚动荧光镜检查3D重建的切片图像。指示器330指示当前显示的切片图像(例如，切片图像310)在构成荧光镜检查3D重建的切片图像内的相对位置。
在一些实施例中，身体部位的荧光镜检查3D重建的接收可包括接收主体区位的荧光镜检查图像的序列，和基于荧光镜检查图像的至少一部分生成身体部位的荧光镜检查3D重建。在一些实施例中，所述方法可进一步包括通过手动扫掠荧光镜来引导用户获取荧光镜检查图像的序列。在一些实施例中，所述方法可进一步包括自动获取荧光镜检查图像的序列。可通过标准荧光镜以连续方式并且相对于身体部位以多个角度来获取荧光镜检查图像。荧光镜可手动地(即，由用户)或自动地扫掠。举例来说，荧光镜可沿20至45度的角度扫掠。在一些实施例中，荧光镜可沿30±5度的角度扫掠。
在一些实施例中，可基于断层合成方法和/或根据如上所述并通过引用的方式并入本文的美国专利申请第2017/035379号和美国专利申请第15/892,053号中公开的系统和方法来生成荧光镜检查3D重建。可根据并且通过本领域中已知的方法和系统来生成CT扫描。CT扫描是操作前CT扫描，即先前(即不是实时)并且在可需要识别和标记靶标的医疗程序之前生成。
在步骤110中，可基于患者的CT扫描来生成至少一个虚拟荧光镜检查图像。如CT扫描所指示，虚拟荧光镜检查图像然后可包括靶标和靶标的标记。目的是生成靶标的图像，所述图像包括靶标的相对准确的指示，并且类似于荧光镜检查类型的图像。然后，用户可使用合成图像中靶标的指示在实时荧光镜检查体积中识别和标记靶标(例如，通过识别一个或多个切片图像中的靶标)。在一些实施例中，虚拟荧光镜检查图像可以是2D荧光镜检查图像的类型，例如虚拟2D荧光镜检查图像。在一些实施例中，虚拟荧光镜检查图像可以是荧光镜检查3D重建切片图像的类型，例如虚拟切片图像。
在一些实施例中，可基于数字重建射线照相技术来生成虚拟2D荧光镜检查图像。
在一些实施例中，可根据以下步骤来生成虚拟荧光镜检查切片图像。在第一步骤中，将接收的CT体积与荧光镜检查3D重建物对准。在第二步骤中，在捕获用于在相对于靶标或患者的选择位置(例如，在AP(前后)位置)中生成荧光镜检查3D重建的荧光镜检查图像集合的同时，接收或计算荧光镜检查装置的姿势的估计。在第三步骤中，生成垂直于所选择位置并且包括靶标的CT扫描体积的一个或多个切片。在第四步骤中，根据估计的荧光镜姿势投影一个或多个CT切片，以接收虚拟的荧光镜检查切片图像。
在一些实施例中，靶标区域的虚拟荧光镜检查切片图像的生成可包括以下步骤。在第一步骤中，可获得靶标周围的虚拟荧光镜姿势。在一些实施例中，可通过在荧光镜扫描靶标的同时模拟荧光镜轨迹来生成虚拟荧光镜姿势。在一些实施例中，所述方法可进一步包括3D荧光镜检查重建的生成，如关于图4的步骤430所描述的。然后可利用在捕捉用于生成荧光镜检查3D重建的荧光镜检查图像的序列的同时，荧光镜检查装置的估计姿势。在第二步骤中，可通过根据虚拟荧光镜姿势投影CT扫描体积来生成虚拟荧光镜检查图像。在第三步骤中，可基于虚拟荧光镜检查图像来生成虚拟荧光镜检查3D重建。在一些实施例中，可在使用具有自适应的3D荧光镜体积的重建方法的同时生成虚拟荧光镜检查3D重建。然后，所得虚拟荧光镜检查体积可看起来更像荧光镜检查体积。举例来说，可使用在上面详细描述并通过引用并入本文的美国专利申请第2017/035379号、美国专利申请第2017/035380号和美国专利申请第15/892,053号中公开的荧光镜检查3D重建的方法。在第四步骤中，可从虚拟荧光镜检查3D重建中选择包括靶标的指示的切片图像。
在一些实施例中，当期望在荧光镜检查3D重建的切片图像中标记靶标时，生成和使用虚拟切片图像作为参考可以是更有利的。在一些实施例中，当期望在荧光镜2D图像中标记靶标时，生成和使用虚拟荧光镜2D图像可以是更有利的。
在步骤120中，可将虚拟荧光镜检查图像和荧光镜检查3D重建显示给用户。虚拟荧光镜检查图像中的靶标指示然后可用作在荧光镜检查3D重建的切片图像中识别和标记靶标的参考。因此，在荧光镜检查3D重建中促进靶标的识别和标记。然后，由用户执行的靶标的识别和标记可更准确。在实时荧光镜检查图像中识别和标记靶标之前，用户可使用虚拟荧光镜检查作为参考，和/或在这类识别和标记之后可使用虚拟荧光镜检查作为参考。
根据本公开，在使用虚拟荧光镜数据作为参考的同时，各种工作流程和显示可用于识别和标记靶标。这类显示在图3B和3C中例示。现在参照图3B，其是实例性屏幕截图350，其示出了根据本公开的与荧光镜检查3D重建的荧光镜检查切片图像310a和310b同时显示的虚拟荧光镜检查图像360。屏幕截图350包括虚拟荧光镜检查图像360、荧光镜检查切片图像310a和310b、滚动条320和指示器330。虚拟荧光镜检查图像360包括靶标的圆形标记370。荧光切片图像310a和310b包括由用户对应地执行的靶标的圆形标记380a和380b。在一些实施例中，用户可在荧光镜检查切片图像310a和310b和标记380a和380b与虚拟荧光镜检查图像360和标记370之间视觉对准，以验证标记380a和380b。在一些实施例中，用户可使用虚拟荧光镜检查图像360和标记370来标记荧光镜检查切片图像310a和310b。在此具体实例中，同时显示两个荧光镜检查切片图像。然而，根据其它实施例，可仅显示一个荧光镜检查切片图像或多于两个。在此具体实例中，虚拟荧光镜检查图像显示在屏幕的中央，并且荧光镜检查切片图像显示在屏幕的底侧。然而，可使用任何其它显示布置。
现在参照图3C，其是实例性屏幕截图355，其示出了3D荧光镜重建365的至少一部分的显示。截屏355包括3D重建图像365(其包括3D荧光镜检查重建的至少一部分(例如，切片))；划界区域315a和315b、滚动条325、指示器335和按钮375。划界区域315a和315b是用于呈现由用户选择(例如，通过在这些切片图像中标记靶标而选择)的3D重建图像365中呈现的3D重建的部分的切片图像的指定区域。按钮374的标题为“计划靶标”。在一些实施例中，一旦用户按下或单击按钮374，就向他呈现至少一个虚拟荧光镜检查图像，所述虚拟荧光镜检查图像示出了靶标以及将其用作参考的标记。一旦按下按钮374，显示就可改变。在一些实施例中，一旦按钮374被按下就呈现的显示可仅包括虚拟荧光镜检查图像。在一些实施例中，一旦按钮374被按下就呈现的显示可包括附加图像，包括3D重建的切片图像。用户可使用滚动条325和指示器335滚动3D重建图像365中呈现的3D重建的至少一部分的切片。
在一些实施例中，可将虚拟荧光镜检查图像和荧光镜检查3D重建(例如，荧光镜检查3D重建的选择切片)同时显示给用户。在一些实施例中，可以以非同时的方式显示虚拟荧光镜检查图像和荧光镜检查3D重建。举例来说，可在单独的替代屏幕或弹出窗口中显示虚拟荧光镜检查图像。
在任选的步骤130中，可引导用户在荧光镜检查3D重建中识别和标记靶标。在一些实施例中，可具体地引导用户使用虚拟荧光镜检查图像作为参考。在一些实施例中，可指示用户在以两个不同角度捕获的荧光镜检查3D重建的两个荧光切片图像中识别和标记靶标。当切片宽度相对较厚时，可需要在两个荧光镜检查切片图像中标记靶标，使得需要附加数据来准确确定靶标在荧光镜检查3D重建中的位置。在一些实施例中，用户可仅需要或可被要求仅识别靶标并且可被相应地引导。在一些实施例中，可通过专用算法在荧光镜检查3D重建中自动识别靶标。然后可要求用户使用虚拟荧光镜检查图像作为参考来确认并任选地修改自动标记。
在一些实施例中，可在一个或多个二维荧光镜检查图像(即，最初捕获的荧光镜检查图像)中执行靶标的识别和标记。然后可代替荧光镜检查3D重建来接收一个或多个荧光镜检查图像并将其显示给用户。然后可相对于接收的一个或多个荧光镜检查图像执行用户对靶标的识别和标记。
在一些实施例中，可附加地接收(例如，除了3D荧光镜检查重建之外)用于构建荧光镜检查3D重建的二维荧光镜检查图像(例如，如最初捕获的)的集合。可将荧光镜检查3D重建、对应的二维荧光镜检查图像的集合和虚拟荧光镜检查图像显示给用户。然后，用户可选择在荧光镜检查3D重建的一个或多个切片图像中、二维荧光镜检查图像的一个或多个中还是在两者中识别或标记靶标。
现在参照图2，图2是被配置为与图1的方法一起使用的系统200的示意图。系统200可包括工作站80，并且任选地包括荧光镜检查成像装置或荧光镜215。在一些实施例中，工作站80可例如通过无线通信直接或间接地与荧光镜215联接。工作站80可包括存储器或存储装置202、处理器204、显示器206和输入装置210。处理器或硬件处理器204可包括一个或多个硬件处理器。工作站80可任选地包括输出模块212和网络接口208。存储器202可存储应用81和图像数据214。应用程序81可包括可由处理器204执行的指令，尤其是用于执行图1的方法步骤的指令。应用81可进一步包括用户界面216。图像数据214可包括CT扫描、靶标区域的荧光镜检查3D重建和/或任何其它荧光镜检查图像数据和/或所生成的一个或多个虚拟荧光镜检查图像。处理器204可与存储器202、显示器206、输入装置210、输出模块212、网络接口208和荧光镜215联接。工作站80可以是固定计算装置，如个人计算机，或是便携式计算装置，如平板计算机。工作站80可嵌入多个计算机装置。
存储器202可包括用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述任何非暂时性计算机可读存储介质包括可由处理器204执行并且控制工作站80的操作并且在一些实施例中，还可控制荧光镜215的操作的指令。荧光镜215可用于捕获荧光镜检查图像的序列，基于所述序列生成荧光镜检查3D重建。在一个实施例中，存储器或存储装置202可包括一个或多个存储装置，如固态存储装置，如闪存芯片。替代地或除了一个或多个固态存储装置之外，存储器202可包括通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器204的一个或多个大容量存储装置。尽管本文中包含的计算机可读介质的描述是指固态存储件，但是本领域技术人员应该理解，计算机可读存储介质可以是处理器204可访问的任何可用介质。即，计算机可读存储介质可包括以用于存储如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实施的非暂时性、易失性和非易失性、可移动和不可移动介质。举例来说，计算机可读存储介质可包括RAM、ROM、EPROM、EEPROM、快闪存储器或其它固态存储器技术、CD-ROM、DVD、蓝光或其它光学存储件、盒式磁带、磁带、磁盘存储件或其它磁性存储装置，或可用于存储期望的信息和可由工作站80访问的任何其它介质。
当由处理器204执行时，应用81可使显示器206呈现用户界面216。用户界面216可被配置为向用户呈现荧光镜检查3D重建和所生成的虚拟荧光镜检查图像，例如，如图3A和3B所示。根据本公开，用户界面216可进一步被配置为引导用户在显示的荧光镜检查3D重建或任何其它荧光镜检查图像数据中识别和标记靶标。
网络接口208可被配置为连接到网络，如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。网络接口208可用于在工作站80和荧光镜215之间连接。网络接口208也可用于接收图像数据214。输入装置210可以是用户可用来与工作站80交互的任何装置，例如鼠标、键盘、脚踏板、触摸屏和/或语音接口。输出模块212可包括任何连接性端口或总线，例如并行端口、串行端口、通用串行总线(USB)或本领域技术人员已知的任何其它类似的连接性端口。
现在参照图4，图4是根据本公开的用于使用实时二维荧光镜检查图像导航到靶标的方法的流程图。所述方法促进在医疗程序期间导航到患者体内的靶标区域。所述方法利用基于荧光镜检查的实时三维体积数据。可由二维荧光镜检查图像生成荧光镜检查三维体积数据。
在步骤400中，可接收靶标区域的操作前CT扫描。操作前CT扫描可包括靶标的标记或指示。步骤400可类似于图1的方法的步骤100。
在步骤410中，可基于操作前CT扫描来生成一个或多个虚拟荧光镜检查图像。虚拟荧光镜检查图像可包括靶标以及靶标的标记或指示。步骤400可类似于图1的方法的步骤110。
在步骤420中，可接收相对于靶标区域以多个角度实时获取的靶标区域的荧光镜检查图像的序列。当医疗装置定位在靶标区域中时，可捕获图像的序列。在一些实施例中，所述方法可包括另外的步骤，用于引导用户获取荧光镜检查图像的序列。在一些实施例中，所述方法可包括一个或多个另外的步骤，用于自动获取荧光镜检查图像的序列。
在步骤430中，可基于荧光镜检查图像的序列来生成靶标区域的三维重建。
在一些实施例中，所述方法进一步包含一个或多个步骤，用于在获取荧光镜检查图像中的每个或至少多个荧光镜检查图像的同时估计荧光镜检查成像装置的姿势。然后可基于荧光镜检查成像装置的姿势估计来生成靶标区域的三维重建。
在一些实施例中，可相对于患者和荧光镜检查成像装置放置标记物的结构，使得每个荧光镜检查图像包括标记物结构的至少一部分的投影。然后，可通过在荧光镜检查图像上标记的结构的投影来促进在获取每个图像的同时荧光镜成像装置的姿势的估计。在一些实施例中，估计可基于标记物结构总体上在每个图像上的可能和最可能的投影的检测。
在通过引用方式并入的以上共同拥有的美国专利公布第2017/0035379号、美国专利申请第15/892,053号和美国临时申请第62/628,017号中公开用于构建这类基于荧光镜检查的三维体积数据的实例性系统和方法。
在一些实施例中，一旦姿势估计过程完成，就可通过使用众所周知的方法来去除标记结构在图像上的投影。在Alexandroni等人的2018年2月8日提交的标题为“图像重建系统和方法(IMAGE RECONSTRUCTION SYSTEM AND METHOD)”的共同拥有的美国专利申请第62/628028号中公开一种这类方法，其全部内容在此通过引入的方式并入。
在步骤440中，可向用户显示一个或多个虚拟荧光镜检查图像和荧光镜检查3D重建。显示可根据图1的方法的步骤120并且如图3B所例示。在一些实施例中，可同时将一个或多个虚拟荧光镜检查图像和荧光镜检查3D重建显示给用户。在一些实施例中，可以以非同时的方式显示虚拟荧光镜检查图像和荧光镜检查3D重建。举例来说，虚拟荧光镜检查图像可被显示在单独的屏幕中，或可例如根据用户的请求被显示，而不是荧光镜检查3D重建的显示。
在步骤450中，可经由用户接收从荧光镜检查3D重建中对靶标的选择。在一些实施例中，当使用一个或多个虚拟荧光镜检查图像作为参考时，可引导用户在荧光镜检查3D重建中识别和标记靶标。
在步骤460中，可接收从三维重建或荧光镜检查图像的序列中对医疗装置的选择。在一些实施例中，接收选择可包括在荧光镜检查图像的序列或三维重建中自动检测医疗装置的至少一部分。在一些实施例中，也可接收接受或拒绝检测的用户命令。在一些实施例中，可通过用户来接收选择。在Weingarten等人的标题为“用于在荧光镜检查图像中进行导管检测和更新导管的显示位置的系统和方法(System And Method For CatheterDetection In Fluoroscopic Images And Updating Displayed Position OfCatheter)”的共同拥有的美国临时申请第62/627,911号中公开了在荧光镜检查图像中实例性自动检测导管，其内容通过引用方式并入本文。
在步骤470中，可确定医疗装置相对于靶标的偏移。偏移的确定可基于靶标和医疗装置的接收的选择。
在一些实施例中，所述方法可进一步包括用于基于由如电磁跟踪系统的跟踪系统提供的数据来确定医疗装置在患者体内的位置的步骤。在另外的步骤中，靶标区域和医疗装置相对于靶标的位置可在显示器上显示给用户。在另一步骤中，可基于医疗装置与靶标之间的所确定的偏移来校正医疗装置相对于靶标的位置的显示。
在一些实施例中，所述方法可进一步包括用于基于操作前CT扫描生成靶标区域的3D渲染的步骤。然后，靶标区域的显示可包括3D渲染的显示。在另一步骤中，跟踪系统可与3D渲染配准。然后，基于所确定的偏移对医疗装置相对于靶标的位置的校正可包括在跟踪系统与靶标区域中的3D渲染之间的配准的局部更新。在一些实施例中，所述方法可进一步包括用于将荧光镜检查3D重建物配准到跟踪系统的步骤。在另一步骤中并且基于以上所述，可在靶标区域中执行荧光镜检查3D重建与3D渲染之间的局部配准。
在一些实施例中，靶标可以是软组织靶标。在一些实施例中，靶标区域可包括肺的至少一部分，并且医疗装置可被配置为通过气道腔网络被导航到靶标区域。
在一些实施例中，所述方法可包括除了从荧光镜检查3D重建中接收靶标的选择之外，或替代从荧光镜检查3D重建中接收靶标的选择，从荧光镜检查图像序列的一个或多个图像中接收靶标的选择。除了荧光镜检查3D重建的显示之外或对应地代替荧光镜检查3D重建的显示，然后可将荧光镜检查图像的序列显示给用户。然后应相应地调适图4的方法。
本文公开了一种用于使用实时二维荧光镜检查图像导航到靶标的计算机程序产品。计算机程序产品可包括非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质具有用其体现的程序代码。程序代码可由至少一个硬件处理器执行以执行图1和/或图4的方法的步骤。
图5是根据图4的方法的实例性系统的一个说明性实施例的透视图，所述实例性系统用于促进经由气道网络导航到软组织靶标。系统500可进一步被配置为从2D荧光镜检查图像构造靶标区域的基于荧光镜检查的三维体积数据。系统500可进一步被配置为通过使用电磁导航支气管镜检查(ENB)来促进医疗装置接近靶标区域并且用于确定医疗装置相对于靶标的位置。
系统500可被配置为用于检查CT图像数据以识别一个或多个靶标，规划到所识别的靶标的路径(规划阶段)，通过用户界面将导管组件的扩展工作通道(EWC)512导航到靶标(导航阶段)，和确认EWC 512相对于靶标的位置。一种这类EMN系统是Medtronic PLC当前出售的ELECTROMAGNETIC NAVIGATION
如图5所示，EWC 512是导管导引组件540的一部分。在实践中，EWC 512***支气管镜530中以接近患者“P”的管腔网络。具体地，导管导引组件540的EWC 512可***支气管镜530的工作通道中以导航通过患者的腔网络。包括传感器544的可定位导引器(LG)532***EWC 512中并锁定到位，使得传感器544超出EWC 512的远侧尖端延伸期望的距离。可得出传感器544在电磁场内相对于参考坐标系的位置和取向，并因此得出EWC 512的远侧部分。导管导引组件540目前由Medtronic PLC以商品名
系统500通常包括被配置为支撑患者“P”的手术台520、被配置为通过患者“P”的口***患者“P”的气道的支气管镜530；联接到支气管镜530的监视装备535(例如，视频显示器，用于显示从支气管镜530的视频成像系统接收的视频图像)；定位或跟踪系统550，其包括定位模块552、多个参考传感器554和联接到标记物556的结构的发射器垫；和计算装置525，其包括软件和/或硬件，用于促进靶标的识别、到靶标的路径规划、医疗装置到靶标的导航和/或EWC 512或通过其的合适装置相对于靶标放置的确认和/或确定。计算装置525可类似于图2的工作站80，并且可被配置为尤其执行图1和图4的方法。
系统500的此特定方面中还包括能够获取患者“P”的荧光镜检查或X射线图像或视频的荧光镜检查成像装置510。荧光镜检查成像装置510捕获的图像、图像序列或视频可存储在荧光镜检查成像装置510内，或发射到计算装置525以用于存储、处理和显示，例如如关于图2所描述的。另外，荧光镜检查成像装置510可相对于患者“P”移动，使得可相对于患者“P”从不同角度或视角获取图像以创建荧光镜检查图像的序列，如荧光镜检查视频。可通过标记物556的结构并根据图4的方法来估计荧光镜检查成像装置510相对于患者“P”并在捕获图像时的姿势。标记物的结构定位在患者“P”下方，患者“P”与手术台520之间，并且可定位在患者“P”与荧光镜检查成像装置510的辐射源或感测单元之间。标记物的结构联接到发射器垫(均表示为556)，并定位在手术台520上的患者“P”下方。标记物的结构和发射器垫556以固定的方式定位在患者体内的靶标区域下方。标记物的结构和发射器垫556可以是两个分离的元件，它们可以固定的方式联接，或替代地可被制造为单个单元。荧光镜检查成像装置510可包括单个成像装置或多于一个成像装置。在包括多个成像装置的实施例中，每个成像装置可以是不同类型的成像装置或相同类型。关于成像装置510的更多细节在美国专利第8,565,858号中描述，所述专利通过全文引用方式并入本文。
计算装置525可以是包括处理器和存储介质的任何合适的计算装置，其中处理器能够执行存储在存储介质上的指令。计算装置525可进一步包括被配置为存储患者数据、包括CT图像的CT数据集合、包括荧光镜检查图像和视频的荧光镜检查数据集合、荧光镜检查3D重建、导航规划以及任何其它这类数据的数据库。尽管未明确示出，但是计算装置525可包括输入，或可以其它方式被配置为接收CT数据集合、荧光镜检查图像/视频和本文描述的其它数据。另外，计算装置525包括被配置为显示图形用户界面的显示器。计算装置525可连接到可通过其访问一个或多个数据库的一个或多个网络。
关于规划阶段，计算装置525利用先前获取的CT图像数据生成和查看患者“P”的气道的三维模型或渲染，能够在三维模型上识别靶标(自动、半自动或手动)，并允许确定通过患者“P”的气道到位于靶标处及其周围的组织的路径。更具体地，将从先前的CT扫描中获取的CT图像进行处理并组装成三维CT体积，然后将其用于生成患者“P”的气道的三维模型。三维模型可显示在与计算装置525关联的显示器上，或以任何其它合适的方式显示。使用计算装置525，呈现了三维模型的各种视图或从三维模型生成的增强的二维图像。增强的二维图像可具有某些三维功能，因为它们是从三维数据生成的。可操纵三维模型以促进在三维模型或二维图像上识别靶标，并可选择通过患者“P”的气道到位于靶标的组织的合适路径。一旦选择后，就可保存路径规划、三维模型以及从中得出的图像，并将其导出到导航系统中，以在导航阶段期间使用。一种这类规划软件是Medtronic PLC当前出售的
关于导航阶段，六自由度电磁定位或跟踪系统550(例如类似于在美国专利第8,467,589号、第6,188,355号以及公开的PCT申请第WO 00/10456号和第WO 01/67035号中公开的那些)和用于确定位置的其它合适系统用于执行图像和导航路径的配准，但是也可构想其它配置，所述文献中的每个的全部内容通过引用的方式并入本文。跟踪系统550包括定位或跟踪模块552、多个参考传感器554和发射器垫556(与标记物的结构联接)。跟踪系统550被配置为与可定位的导引器532特别是传感器544一起使用。如上所述，可定位的导引器532和传感器544被配置用于通过EWC 512***患者“P”的气道(具有或不具有支气管镜530)，并且可经由锁定机构相对于彼此选择性地锁定。
发射器垫556定位在患者“P”下方。发射器垫556在患者“P”的至少一部分周围生成电磁场，在所述电磁场中，多个参考传感器554和传感器元件544的位置可通过使用跟踪模块552来确定。参考传感器554中的一个或多个附接到患者“P”的胸部。将参考传感器554的六个自由度坐标发送到计算装置525(包括适当的软件)，在所述计算装置525中，它们用于计算患者参考坐标系。通常执行配准，以协调规划阶段的三维模型和二维图像的位置与通过支气管镜530观察到的患者“P”的气道，并允许在进行导航阶段时准确了解传感器544的位置，即使在支气管镜530无法到达的气道的部分中也是如此。这类配准技术的进一步细节及其在腔导航中的实施方案可在美国专利申请公布第2011/0085720号中找到，其全部内容通过引用方式并入本文，但是也构想了其它合适的技术。
通过将LG 532移动通过患者“P”的气道来执行在发射器垫556上的患者“P”位置的配准。更具体地，当可定位的导引器532在气道中移动时，与传感器544位置有关的数据使用发射器垫556、参考传感器554和跟踪模块552来记录。将由此位置数据得到的形状与在规划阶段期间生成的三维模型的通道的内部几何形状进行比较，并例如利用计算装置525上的软件基于比较确定形状和三维模型之间的位置相关性。另外，软件在三维模型中识别非组织空间(例如，充满空气的空腔)。软件将呈现传感器544位置的图像与三维模型对准和/或由三维模型生成的二维图像进行对准或配准，这基于记录的位置数据和可定位导引器532仍位于患者“P”的气道中的非组织空间中的假设。替代地，可通过以下来采用手动配准技术：将带有传感器544的支气管镜530导航到患者“P”的肺中的预指定位置，并将来自支气管镜的图像与三维模型的模型数据手动关联。
在将患者“P”配准到图像数据和路径规划后，在导航软件中显示用户界面，所述用户界面针对临床医生应遵循以到达靶标的路径设置。一种这类导航软件是Medtronic PLC当前出售的
如用户界面所描绘，一旦EWC 512已成功导航到靶标附近，就可从EWC 512上将可定位的导引器532解锁并移除，从而将EWC 512留在原处，作为用于将医疗装置(包括但不限于光学系统、超声探针、标记物放置工具、活检工具、消融工具(即微波消融装置)、激光探针、低温探针、传感器探针和抽吸针)导引到靶标的导引通道。
然后可通过EWC 512***医疗装置并导航到靶标或与靶标相邻的具体区域。然后可经由荧光镜检查成像装置510，任选地由用户并根据经由计算装置525显示的方向来获取荧光镜检查图像的序列。然后可经由计算装置525生成荧光镜检查3D重建。荧光镜检查3D重建的生成基于荧光镜检查图像的序列和标志物556的结构在图像序列上的投影。然后，可基于操作前CT扫描并经由计算装置525来生成一个或多个虚拟荧光镜检查图像。然后可任选地同时经由计算装置525在显示器上将一个或多个虚拟荧光镜检查图像和荧光镜检查3D重建显示给用户。然后可在使用虚拟荧光镜检查图像作为参考的同时引导用户识别和标记靶标。还可引导用户在荧光镜检查2D三维图像的序列中识别和标记医疗装置。然后可经由计算机装置525确定或计算靶标和医疗装置的位置之间的偏移。然后可通过计算装置525利用偏移来校正医疗装置在显示器上相对于靶标的位置，和/或校正在靶标区域中三维模型和跟踪系统550之间的配准，和/或在靶标区域中的三维模型和荧光镜检查3D重建之间生成局部配准。
除了具有所需的明显修改的ENB程序和如腹腔镜检查或机器人辅助手术之外，系统500或其与图4的方法相结合的类似版本可用于各种程序。
如本文所引用，术语“跟踪”或“定位”可互换使用。尽管本公开具体描述了使用EM跟踪系统来导航或确定医疗装置的位置，但是相对于本文公开的方法和系统，可使用或应用各种跟踪系统或定位系统。这类跟踪、定位或导航系统可使用各种方法，包括电磁、红外、回声定位、光学或基于成像的方法。这类系统可基于操作前成像和/或实时成像。
在一些实施例中，标准荧光镜检查镜可用于促进医疗装置的导航和跟踪，如例如在Averbuch的美国专利第9,743,896号中所公开的。举例来说，这类基于荧光镜检查的定位或导航方法可用于补充或代替上述EM跟踪方法(例如如关于图5所述)，以促进或增强医疗装置的导航。
从前文中并且参照各个附图，本领域的技术人员将了解在不脱离本公开的范围的情况下也可对本公开作出一些修改。
本文公开了本公开的详细实施例。然而，所公开的实施例仅仅是本公开的实例，其可以以各种形式和方面来体现。因此，本文中所公开的具体结构和功能细节不应被解释为限制性的，而是仅仅应被解释为权利要求书的基础，和用于教导本领域技术人员采用实际上任何适当的详细结构以不同方式使用本公开的代表性基础。
虽然已经在附图中示出了本公开的若干实施例，但是并不意图将本公开限制于此，因为本公开旨在与本领域允许的范围一样广泛并且也旨在阅读说明书。因此，上文的描述不应解释为限制性的，而仅仅是作为实施例的例证。本领域的技术人员将构想出在所附权利要求书的范围和精神内的其它修改。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：用于基于法线的纹理混合的来自深度图的平滑法线