用于基于定位传感器的分支预测的系统和方法
阅读说明：本技术 用于基于定位传感器的分支预测的系统和方法 (System and method for location sensor based branch prediction ) 是由 赫德耶·拉菲-塔里 于 2019-05-28 设计创作，主要内容包括：提供了用于基于定位传感器的分支预测的系统和方法。在一个方面，该方法包括：基于由用于器械的一个或更多个定位传感器的集合生成的第一定位数据来确定器械的第一取向，以及基于第二定位数据来确定器械在第二时间的第二取向。器械的远端在第一时间和第二时间位于模型的第一段内并且第一段分支成两个或更多个子段。该方法还包括：确定指示第一取向与第二取向之间的差异的数据，以及基于指示差异的数据来确定器械将前进到子段中的第一子段中的预测。(Systems and methods for location sensor based branch prediction are provided. In one aspect, the method comprises: the method further includes determining a first orientation of the instrument based on first positioning data generated by a set of one or more positioning sensors for the instrument, and determining a second orientation of the instrument at a second time based on second positioning data. The distal end of the instrument is located within a first segment of the model at a first time and a second time and the first segment branches into two or more sub-segments. The method further comprises the following steps: the method further includes determining data indicative of a difference between the first orientation and the second orientation, and determining a prediction that the instrument will advance into a first of the sub-segments based on the data indicative of the difference.)
相关申请的交叉引用
本申请要求2018年5月30日提交的美国临时申请第62/678,160号的权益，以及2018年5月31日提交的美国临时申请第62/678,962号的权益，这两个申请中的每一个的全部内容均在此通过引用并入本文。
技术领域
本文中公开的系统和方法涉及内腔网络中的分支预测，并且更特别地涉及用于基于定位传感器数据预测器械将前进到哪个分支中的技术。
背景技术
诸如内窥镜检查(例如，支气管镜检查)的医疗过程会涉及将医疗工具***到患者的内腔网络(例如，气道)中以用于诊断和/或治疗目的。手术机器人系统可以用于在医疗过程期间控制医疗工具的***和/或操纵。手术机器人系统可以包括至少一个机器人臂，该机器人臂包括操纵器组件，该操纵器组件可以用于在医疗过程之前和期间控制医疗工具的安置。手术机器人系统还可以包括(一个或更多个)定位传感器，其被配置成生成指示医疗工具的远端的位置的定位数据。
手术机器人系统还可以包括一个或更多个显示器，其用于向用户提供器械的远端的定位的指示并且由此帮助用户将器械导航通过患者的内腔网络。该系统可以被配置成执行支持对器械的导航的各种技术，包括预测器械最可能从当前分支前进到内腔网络的哪个分支。
发明内容
本公开内容的系统、方法和装置均具有若干创新方面，其中没有一个方面单独地负责本文中公开的期望属性。
一方面，提供了一种系统，该系统包括处理器以及至少一个计算机可读存储器，该至少一个计算机可读存储器与该处理器通信并且其上存储有患者的内腔网络的模型，该存储器上还存储有用于使该处理器进行以下操作的计算机可执行指令：基于由用于器械的一个或更多个定位传感器的集合生成的第一定位数据来确定器械的第一取向，该第一定位数据指示器械在第一时间在定位传感器坐标系中的定位；基于定位传感器的集合生成的第二定位数据来确定器械在第二时间的第二取向，器械的远端在第一时间和第二时间位于模型的第一段内并且第一段分支成两个或更多个子段；确定指示第一取向与第二取向之间的差异的数据；以及基于指示差异的数据来确定器械将前进到子段中的第一子段中的预测。
另一方面，提供了一种非暂态计算机可读存储介质，其上存储有在被执行时使至少一个计算装置进行以下操作的指令：基于由用于器械的一个或更多个定位传感器的集合生成的第一定位数据来确定器械的第一取向，该第一定位数据指示器械在第一时间在定位传感器坐标系中的定位；基于定位传感器的集合生成的第二定位数据来确定器械在第二时间的第二取向，器械的远端在第一时间和第二时间位于模型的第一段内并且第一段分支成两个或更多个子段，该模型存储在存储器中并且对患者的内腔网络进行建模；确定指示第一取向与第二取向之间的差异的数据；以及基于指示差异的数据来确定器械将前进到子段中的第一子段中的预测。
又一方面，提供了一种预测器械的移动的方法，包括：基于由用于器械的一个或更多个定位传感器的集合生成的第一定位数据来确定器械的第一取向，该第一定位数据指示器械在第一时间在定位传感器坐标系中的定位；基于由定位传感器的集合生成的第二定位数据来确定器械在第二时间的第二取向，器械的远端在第一时间和第二时间位于模型的第一段内并且第一段分支成两个或更多个子段，该模型存储在存储器中并且对患者的内腔网络进行建模；确定指示第一取向与第二取向之间的差异的数据；以及基于指示差异的数据来确定器械将前进到子段中的第一子段中的预测。
再一方面，提供了一种系统，该系统包括处理器以及至少一个计算机可读存储器，该至少一个计算机可读存储器与该处理器通信并且其上存储有患者的内腔网络的模型，该存储器上还存储有用于使该处理器进行以下操作的计算机可执行指令：基于由用于器械的一个或更多个定位传感器的集合生成的定位数据来确定器械相对于模型的取向，器械的远端位于模型的第一段内并且第一段分支成两个或更多个子段；确定子段中的第一子段的取向；以及基于器械的取向和第一子段的取向确定器械将前进到第一子段中的预测。
另一方面，提供了一种非暂态计算机可读存储介质，其上存储有在被执行时使至少一个计算装置进行以下操作的指令：基于由用于器械的一个或更多个定位传感器的集合生成的定位数据来确定器械相对于模型的取向，该模型存储在存储器中并且对患者的内腔网络进行建模，器械的远端位于模型的第一段内并且第一段分支成两个或更多个子段；确定子段中的第一子段的取向；以及基于器械的取向和第一子段的取向确定器械将前进到第一子段中的预测。
又一方面，提供了一种预测器械的移动的方法，包括：基于由用于器械的一个或更多个定位传感器的集合生成的定位数据来确定器械相对于模型的取向，该模型存储在存储器中并且对患者的内腔网络进行建模，器械的远端位于模型的第一段内并且第一段分支成两个或更多个子段；确定子段中的第一子段的取向；以及基于器械的取向和第一子段的取向确定器械将前进到第一子段中的预测。
附图说明
在下文中将结合附图来描述所公开的方面，提供这些附图是为了说明而不是限制所公开的方面，其中，相似的附图标记表示相似的元件。
图1示出了被布置成用于诊断和/或治疗支气管镜检查过程的基于推车的机器人系统的实施方式。
图2描绘了图1的机器人系统的其他方面。
图3示出了被布置成用于输尿管镜检查的图1的机器人系统的实施方式。
图4示出了被布置成用于血管手术的图1的机器人系统的实施方式。
图5示出了被布置成用于支气管镜检查过程的基于台的机器人系统的实施方式。
图6提供了图5的机器人系统的替选视图。
图7示出了被配置成收起(一个或更多个)机器人臂的示例系统。
图8示出了被配置成用于输尿管镜检查过程的基于台的机器人系统的实施方式。
图9示出了被配置成用于腹腔镜检查过程的基于台的机器人系统的实施方式。
图10示出了具有俯仰或倾斜调整的图5至图9的基于台的机器人系统的实施方式。
图11提供了图5至图10的基于台的机器人系统的台与柱之间的接口的详细图示。
图12示出了示例性器械驱动器。
图13示出了具有配对器械驱动器的示例性医疗器械。
图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。
图15描绘了示出根据示例实施方式的估计图1至图10的机器人系统的一个或更多个元件的定位(例如图13和图14的器械的定位)的定位系统的框图。
图16A示出了实现所公开的分支预测系统和技术的一个或更多个方面的示例操作环境。
图16B示出了可以在图16A的操作环境中被导航的示例内腔网络。
图16C示出了可以例如用作示例操作环境中的命令控制台的示例命令控制台。
图17A提供了根据一个实施方式的导航配置系统的示例框图的概述。
图17B示出了根据一个实施方式的图17A所示的导航模块的示例框图。
图17C示出了根据一个实施方式的在状态估计器中包括的估计状态数据存储装置的示例框图。
图17D示出了根据本公开内容的各方面的示例基于定位传感器的分支预测系统。
图18A是示出根据本公开内容的各方面的能够由机器人系统或其(一个或更多个)部件针对基于未配准的定位传感器的分支预测来操作的示例方法的流程图。
图18B示出了根据本公开内容的各方面的可以由一个或更多个定位传感器在器械被驱动通过内腔网络时生成的定位数据点的示例集合。
图19示出了根据本公开内容的各方面的可以执行基于定位传感器的分支预测的示例内腔网络。
图20是示出根据本公开内容的各方面的能够由机器人系统或其(一个或更多个)部件针对基于配准的定位传感器的分支预测来操作的示例方法的流程图。
图21是示出根据本公开内容的各方面的能够由机器人系统或其(一个或更多个)部件针对基于定位传感器的分支预测来操作的示例方法的流程图。
具体实施方式
1.概述。
本公开内容的各方面可以被集成到能够执行各种医疗过程的机器人使能医疗系统中，医疗过程包括诸如腹腔镜检查的微创过程以及诸如内窥镜检查的无创过程二者。在内窥镜检查过程中，系统能够执行支气管镜检查、输尿管镜检查、胃镜检查等。
除了执行广泛的过程之外，系统可以提供额外的益处，诸如增强的成像和引导以帮助医师。另外，该系统可以为医师提供从人体工程学位置执行过程的能力，而不需要棘手的臂运动和位置。更进一步地，该系统可以为医师提供以改进的易用性执行过程的能力，使得系统的一个或更多个器械可以由单个用户控制。
出于说明的目的，下面将结合附图描述各种实施方式。应当理解的是，所公开的构思的许多其他实现方式是可能的，并且利用所公开的实现方式可以实现各种优点。本文中包括标题以供参考，并且有助于查找各个部分。这些标题不意在限制关于标题所描述的构思的范围。这些构思可以在整个说明书中具有适用性。
A.机器人系统-推车。
取决于具体过程，可以以各种方式配置机器人使能医疗系统。图1示出了被布置用于诊断和/或治疗支气管镜检查过程的基于推车的机器人使能系统10的实施方式。在支气管镜检查期间，系统10可以包括推车11，推车11具有一个或更多个机器人臂12，以将医疗器械(例如可操纵内窥镜13，其可以是用于支气管镜检查的过程专用支气管镜)递送到自然孔口进入点(即，在本示例中为位于台上的患者的嘴)，以递送诊断和/或治疗工具。如图所示，推车11可以被安置在患者的上躯干附近，以便提供对该进入点的进入。类似地，机器人臂12可以被致动以相对于进入点安置支气管镜。当利用胃镜(一种用于胃肠(GI)过程的专用内窥镜)执行GI过程时，也可以利用图1中的布置。图2更详细地描绘推车的示例实施方式。
继续参照图1，一旦推车11被正确安置，机械臂12就可以自动地、手动地或以其组合方式将可操纵内窥镜13***到患者体内。如图所示，可操纵内窥镜13可以包括至少两个伸缩部分，例如内引导件部分和外护套部分，每个部分耦接到来自一组器械驱动器28的单独的器械驱动器，每个器械驱动器耦接到单独的机器人臂的远端。便于将引导件部分与护套部分同轴对准的器械驱动器28的这种线性布置产生“虚拟轨道”29，“虚拟轨道”29可以通过将一个或更多个机器人臂12操纵到不同角度和/或位置而在空间中重新安置。在图中使用虚线描绘了本文描述的虚拟轨道，并且因此虚线不描绘系统的任何物理结构。器械驱动器28沿着虚拟轨道29的平移使内引导件部分相对于外护套部分伸缩，或者使内窥镜13相对于患者前进或缩回。虚拟轨道29的角度可以基于临床应用或医师偏好来调整、平移和枢转。例如，在支气管镜检查中，所示的虚拟轨道29的角度和位置代表了在提供医师接近内窥镜13的同时使由于使内窥镜13弯曲到患者的口腔中而产生的摩擦最小化之间的折衷。
可以在***之后使用来自机器人系统的精确命令沿着患者的气管和肺引导内窥镜13，直到到达靶目的地或手术部位。为了增强通过患者的肺网络的导航和/或到达期望的靶，内窥镜13可以***纵成从外护套部分伸缩地延伸内引导件部分，以获得增强的接合和更大的弯曲半径。使用单独的器械驱动器28还允许引导件部分和护套部分彼此独立地被驱动。
例如，内窥镜13可以被引导以将活检针递送至靶，例如，患者肺内的病变或结节。可以沿着工作通道部署针以获得要由病理学家分析的组织样本，其中工作通道沿着内窥镜的长度延伸。根据病理学结果，可以沿着内窥镜的工作通道部署附加工具以用于附加活检。在识别出结节是恶性的之后，内窥镜13可以以内窥镜方式递送工具以切除潜在的癌组织。在一些情况下，诊断和治疗处理可能需要在分开的过程中提供。在那些情况下，内窥镜13也可以用于递送基准以也“标记”靶结节的定位。在其他情况下，诊断和治疗处理可以在相同的过程期间被提供。
系统10还可以包括可移动塔30，该可移动塔30可以经由支持线缆连接至推车11以向推车11提供控制、电子、流控、光学、传感器和/或电力的支持。将这样的功能放置在塔30中允许可以由操作医师和他/她的工作人员更容易地调整和/或重新安置的更小形状因子的推车11。此外，在推车/台与支持塔30之间的功能划分减少了手术室的混乱并且有利于改善临床工作流程。虽然推车11可以安置成靠近患者，但是塔30可以被收起在远程位置以在过程期间不挡道。
为了支持上述机器人系统，塔30可以包括基于计算机的控制系统的(一个或更多个)部件，其中基于计算机的控制系统例如在诸如永久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内存储计算机程序指令。这些指令的执行——无论是在塔30中还是在推车11中发生执行——都可以控制整个系统或其(一个或更多个)子系统。例如，当由计算机系统的处理器执行时，指令可以使机器人系统的部件致动相关的托架和臂安装件，致动机器人臂，以及控制医疗器械。例如，响应于接收到控制信号，机器人臂的关节中的马达可以将臂安置成特定姿势。
塔30还可以包括泵、流量计、阀控制器和/或流体入口，以便向可以通过内窥镜13部署的系统提供受控的冲洗和抽吸能力。这些部件也可以使用塔30的计算机系统来控制。在一些实施方式中，冲洗和抽吸能力可以通过(一个或更多个)单独的线缆直接提供给内窥镜13。
塔30可以包括电压和浪涌保护器，其被设计成向推车11提供经滤波和保护的电力，从而避免在推车11中放置电力变压器和其他辅助电力部件，从而得到更小、更可移动的推车11。
塔30还可以包括用于部署在整个机器人系统10中的传感器的支持设备。例如，塔30可以包括用于检测、接收和处理从遍及机器人系统10中的光学传感器或摄像装置接收到的数据的光电子设备。与控制系统结合，这样的光电子设备可以用于生成实时图像以显示在部署在整个系统中的任何数量的控制台中(包括显示在塔30中)。类似地，塔30还可以包括用于接收和处理从部署的电磁(EM)传感器接收到的信号的电子子系统。塔30还可以用于容纳和安置EM场生成器，以用于由医疗器械中或医疗器械上的EM传感器进行检测。
除了在系统的其余部分中可用的其他控制台(例如，安装在推车顶部的控制台)之外，塔30还可以包括控制台31。控制台31可以包括用于医师操作员的用户接口和显示屏，例如触摸屏。系统10中的控制台通常设计成提供机器人控制以及过程的手术前信息和实时信息，例如，内窥镜13的导航和定位信息。当控制台31不是医师可用的唯一控制台时，控制台31可以由诸如护士的第二操作者使用，以监测患者的健康或生命体征以及系统的操作，以及提供过程专用数据，例如，导航和定位信息。
塔30可以通过一个或更多个线缆或连接(未示出)耦接至推车11和内窥镜13。在一些实施方式中，来自塔30的支持功能可以通过单个线缆被提供至推车11，从而简化手术室并且使手术室不杂乱。在其他实施方式中，特定功能可以以单独的线缆和连接来耦接。例如，尽管可以通过单个电力线缆向推车提供电力，但也可以通过单独的线缆提供对控制、光学、流控和/或导航的支持。
图2提供了图1所示的基于推车的机器人使能系统的推车的实施方式的详细图示。推车11通常包括细长支承结构14(通常称为“柱”)、推车基部15和在柱14的顶部的控制台16。柱14可以包括用于支承一个或更多个机器人臂12(图2中示出三个)的部署的一个或更多个托架，例如托架17(替选地“臂架”)。托架17可以包括可单独配置的臂安装件，其沿着垂直轴旋转以调整机器人臂12的基部，以获得相对于患者的更好的安置。托架17还包括托架接口19，其允许托架17沿着柱14竖直平移。
托架接口19通过诸如槽20的槽连接至柱14，所述槽被安置在柱14的相对侧以引导托架17的竖直平移。槽20包含用于将托架安置和保持在相对于推车基部15的各种竖直高度处的竖直平移接口。托架17的竖直平移允许推车11调整机器人臂12的可达范围以满足各种台高度、患者尺寸和医师偏好。类似地，托架17上的可单独配置的臂安装件允许机器人臂12的机器人臂基部21以各种配置成角度。
在一些实施方式中，槽20可以补充有槽盖，槽盖与槽表面齐平且平行，以防止在托架17竖直平移时灰尘和流体进入竖直平移接口和柱14的内部腔室。可以通过位于槽20的竖直顶部和底部附近的成对弹簧卷轴来部署槽盖。盖盘绕在卷轴内直到随着托架17竖直地上下平移而被部署成从盖的盘绕状态延伸和缩回。当托架17向卷轴平移时，卷轴的弹簧加载提供了将盖缩回到卷轴中的力，同时当托架17平移离开卷轴时也保持紧密密封。盖可以使用例如托架接口19中的支架连接至托架17，以确保盖在托架17平移时适当地延伸和缩回。
柱14可以在内部包括诸如齿轮和马达的机构，其被设计成使用竖直对准的导螺杆，以响应于响应用户输入(例如，来自控制台16的输入)而生成的控制信号而以机械化方式平移托架17。
机器人臂12通常可以包括由一系列连杆23分开的机器人臂基部21和端部执行器22，该一系列连杆23由一系列关节24连接，每个关节包括独立的致动器，每个致动器包括独立可控的马达。每个独立可控的关节表示机器人臂可用的独立自由度。臂12中的每一个具有七个关节，因此提供七个自由度。多个关节带来多个自由度，从而允许“冗余”自由度。冗余自由度允许机器人臂12使用不同的连杆位置和关节角度将它们各自的端部执行器22安置在空间中的特定位置、取向和轨迹处。这允许系统从空间中的期望点来安置和引导医疗器械，同时允许医师将臂关节移动到离开患者的临床有利位置以产生更好的接近，同时避免臂碰撞。
推车基部15在地板上平衡柱14、托架17和臂12的重量。因此，推车基部15容纳较重的部件，例如电子器件、马达、电源以及使得推车能够移动和/或固定的部件。例如，推车基部15包括允许推车在过程之前容易地在室中移动的可滚动的轮形脚轮25。在到达适当位置之后，脚轮25可以使用轮锁固定，以在过程期间将推车11保持在适当位置。
安置在柱14的竖直端部处的控制台16允许用于接收用户输入的用户接口和显示屏(或两用装置，例如触摸屏26)两者向医师用户提供手术前和手术中数据两者。触摸屏26上的潜在手术前数据可以包括从手术前计算机化断层层析成像(CT)扫描得出的导航与映射数据、手术前规划和/或来自手术前患者面谈的注释。显示器上的手术中数据可以包括从工具提供的光学信息、来自传感器的传感器与坐标信息以及重要患者统计，例如呼吸、心率和/或脉搏。控制台16可以被安置和倾斜成允许医师从柱14的与托架17相对的侧接近控制台。从该位置，医师可以在从推车11后面操作控制台16的同时观察控制台16、机器人臂12和患者。如所示出的，控制台16还包括用于帮助操纵和稳定推车11的手柄27。
图3示出了被布置成用于输尿管镜检查的机器人使能系统10的实施方式。在输尿管镜检查过程中，推车11可以被安置成将输尿管镜32——即，被设计成横穿患者的尿道和输尿管的过程专用内窥镜——递送到患者的下腹部区域。在输尿管镜检查中，可以期望输尿管镜32直接与患者的尿道对准以减少该区域中的敏感解剖结构上的摩擦和力。如所示出的，推车11可以在台的脚部处对准，以允许机器人臂12安置输尿管镜32而获得对患者的尿道的直接线性接近。从台的脚部，机器人臂12可以沿着虚拟轨道33将输尿管镜32通过尿道直接***患者的下腹部。
在***尿道中之后，使用与支气管镜检查中类似的控制技术，可以将输尿管镜32导航到膀胱、输尿管和/或肾中以进行诊断和/或治疗应用。例如，可以将输尿管镜32引导到输尿管和肾中以使用沿着输尿管镜32的工作通道部署的激光或超声碎石装置打碎积聚的肾结石。在碎石完成之后，可以使用沿着输尿管镜32部署的篮移除所产生的结石碎片。
图4示出了类似布置的用于血管手术的机器人使能系统的实施方式。在血管手术中，系统10可以被配置成使得推车11可以将诸如可操纵导管的医疗器械34递送至患者腿部的股动脉中的进入点。股动脉提供用于导航的较大直径以及到患者心脏的相对较少迂回和曲折路径(这简化了导航)两者。如在输尿管镜检查过程中，推车11可以被安置成朝向患者的腿和下腹部，以允许机器人臂12提供具有对患者的大腿/髋部区域中的股动脉进入点的直接线性进入的虚拟轨道35。在***动脉后，可以通过平移器械驱动器28来引导和***医疗器械34。替选地，推车可以被安置在患者的上腹部周围，以到达替选的血管进入点，例如，肩部和腕部附近的颈动脉和臂动脉。
B.机器人系统-台。
机器人使能医疗系统的实施方式还可以结合患者的台。与台的结合通过移除推车而减少手术室内的资本设备的量，这允许对患者的更好的接近。图5示出了被布置成用于支气管镜检查过程的这样的机器人使能系统的实施方式。系统36包括用于将平台38(示出为“台”或“床”)支承在地板上的支承结构或柱37。非常像在基于推车的系统中，系统36的机器人臂39的端部执行器包括器械驱动器42，其被设计成通过或沿着由器械驱动器42的线性对准形成的虚拟轨道41来操纵细长医疗器械，例如图5中的支气管镜40。实际上，可以通过将发射器和检测器放置在台38周围将用于提供荧光透视成像的C形臂安置在患者的上腹部区域上方。
图6提供了出于讨论目的而没有患者和医疗器械的系统36的替选视图。如所示出的，柱37可以包括在系统36中示出为环形的一个或更多个托架43，一个或更多个机器人臂39可以基于该一个或更多个托架。托架43可以沿着沿柱37的长度延伸的竖直柱接口44平移，以提供不同的有利位点，机器人臂39可以从这些有利位点被安置以到达患者。托架43可以使用位于柱37内的机械马达绕柱37旋转，以允许机器人臂39接近台38的多个侧，例如患者的两侧。在具有多个托架的实施方式中，托架可以分别地安置在柱上，并且可以独立于其他托架而平移和/或旋转。尽管托架43不需要围绕柱37或甚至不需要是圆形的，但所示的环形形状有利于托架43绕柱37旋转并且同时保持结构平衡。托架43的旋转和平移允许系统将诸如内窥镜和腹腔镜的医疗器械对准到患者身上的不同进入点。
臂39可以通过一组臂安装件45安装在托架上，该组臂安装件包括一系列关节，这些关节可以单独地旋转和/或伸缩地延伸，以为机器人臂39提供附加的可配置性。此外，臂安装件45可以被安置在托架43上，使得当托架43适当地旋转时，臂安装件45可以被安置在台38的同一侧(如图6所示)，在台38的相对侧(如图9所示)，或在台38的相邻侧(未示出)。
柱37在结构上为台38提供支承并且为托架的竖直平移提供路径。在内部，柱37可以装备有用于引导托架的竖直平移的导螺杆，以及基于导螺杆使所述托架的平移机械化的马达。柱37还可以将电力和控制信号传送至托架43和安装在托架上的机器人臂39。
台基部46起到与图2所示的推车11中的推车基部15类似的功能，即，容纳较重的部件以平衡台/床38、柱37、托架43和机器人臂39。台基部46也可以包括刚性脚轮以用于在过程期间提供稳定性。在从台基部46的底部部署的情况下，脚轮可以在基部46的两侧沿相反方向延伸，并且当系统36需要移动时缩回。
继续参照图6，系统36还可以包括塔(未示出)，该塔将系统36的功能在台与塔之间进行划分，以减小台的形状因子和体积。如在较早公开的实施方式中那样，塔可以为台提供各种支持功能，例如处理、计算和控制能力，电力，流控以及/或者光学和传感器处理。塔还可以是可移动的，以被安置成离开患者，从而改善医师的接近并且使手术室不杂乱。此外，将部件放置在塔中可以允许在台基部中有更多的储存空间，以用于机器人臂的潜在收起。塔还可以包括控制台，该控制台提供用于用户输入的用户接口(例如，键盘和/或悬架式操纵台(pendant))以及用于手术前和手术中信息(例如，实时成像、导航和跟踪信息)的显示屏(或触摸屏)。
在一些实施方式中，台基部可以将机器人臂在不使用时收起和储存。图7示出了在基于台的系统的实施方式中收起机器人臂的系统47。在系统47中，托架48可以竖直平移到基部49中以使机器人臂50、臂安装件51和托架48收起在基部49内。基部盖52可以平移和缩回成打开以将托架48、臂安装件51和臂50部署在柱53周围，并且关闭以收起以在托架、臂安装件和臂不使用时保护它们。基部盖52可以用膜54沿着该基部盖的开口的边缘密封，以防止在关闭时灰尘和流体进入。
图8示出了被配置成用于输尿管镜检查过程的机器人使能的基于台的系统的实施方式。在输尿管镜检查中，台38可以包括用于将患者安置成与柱37和台基部46成偏角的转动部分55。转动部分55可以绕枢转点(例如，位于患者头部下方)旋转或枢转，以将转动部分55的底部部分安置成离开柱37。例如，转动部分55的枢转允许C形臂(未示出)被安置在患者的下腹部上方，而不与台38下方的柱(未示出)争夺空间。通过绕柱37旋转托架35(未示出)，机器人臂39可以将输尿管镜56沿着虚拟轨道57直接***患者的腹股沟区域中以到达尿道。在输尿管镜检查中，也可以将镫58固定至台38的转动部分55，以在过程期间支承患者的腿的位置，并且允许对患者的腹股沟区域的无阻碍接近。
在腹腔镜检查过程中，通过在患者腹壁中的(一个或更多个)小切口，可以将微创器械(形状细长以适应一个或更多个切口的尺寸)***患者的解剖结构中。在患者腹腔充气之后，可以引导通常称为腹腔镜的器械以执行手术任务，例如抓取、切割、摘除、缝合等。图9示出了被配置用于腹腔镜检查过程的机器人使能的基于台的系统的实施方式。如图9所示，可以将系统36的托架43旋转和竖直调整以将成对的机器人臂39安置在台38的相对侧，使得可以使用臂安装件45将腹腔镜59安置成穿过患者两侧的最小切口以到达他/她的腹腔。
为了适应腹腔镜检查过程，机器人使能台系统还可以将平台倾斜到期望的角度。图10示出了具有俯仰或倾斜调整的机器人使能医疗系统的实施方式。如图10所示，系统36可以适应台38的倾斜，以将台的一部分安置在比另一部分距地面更远的距离处。此外，臂安装件45可以旋转以匹配倾斜，使得臂39与台38保持相同的平面关系。为了适应更陡的角度，柱37还可以包括伸缩部分60，该伸缩部分60允许柱37的竖直延伸以防止台38接触地面或与基部46碰撞。
图11提供了台38与柱37之间的接口的详细图示。俯仰旋转机构61可以被配置成以多个自由度改变台38相对于柱37的俯仰角。俯仰旋转机构61可以通过在柱台接口处安置正交轴线1、2来实现，每个轴由单独的马达2、4响应于电俯仰角命令来致动。沿着一个螺杆5的旋转将使得能够进行沿一个轴1的倾斜调整，而沿着另一螺杆6的旋转将使得能够进行沿着另一轴2的倾斜调整。
例如，当为了进行下腹部手术而试图将台安置在头低脚高(Trendelenburg)位置(即，患者的下腹部处在比患者的下腹部距地面更高位置的位置)时，俯仰调整特别有用。头低脚高位置使患者的内部器官通过重力滑向他/她的上腹，从而清空腹腔以供微创工具进入并且执行下腹部手术过程，例如腹腔镜***切除术。
C.器械驱动器与接口。
系统的机器人臂的端部执行器包括：(i)器械驱动器(替选地称为“器械驱动机构”或“器械装置操纵器”)，其结合了用于致动医疗器械的机电装置；以及(ii)可移除或可拆卸的医疗器械，其可以没有诸如马达的任何机电部件。该二分法可以是由对医疗过程中使用的医疗器械进行消毒的需要以及由于昂贵资本设备的复杂机械组件和敏感电子器件而引起的对昂贵资本设备进行充分消毒的无能为力所驱动的。因此，医疗器械可以被设计成从器械驱动器(以及因此从系统)拆卸、移除和互换，以便由医师或医师的工作人员单独消毒或处置。相比之下，器械驱动器不需要改变或消毒，并且可以用披盖覆盖以获得保护。
图12示出了示例器械驱动器。安置在机器人臂的远端处的器械驱动器62包括一个或更多个驱动单元63，其被以平行轴线进行布置以经由驱动轴64向医疗器械提供受控扭矩。每个驱动单元63包括用于与器械相互作用的单独的驱动轴64、用于将马达轴旋转转换成期望扭矩的齿轮头65、用于生成驱动扭矩的马达66、用于测量马达轴的速度并且向控制电路提供反馈的编码器67以及用于接收控制信号并且致动驱动单元的控制电路68。每个驱动单元63被独立地控制和机动化，器械驱动器62可以向医疗器械提供多个(如图12所示为四个)独立的驱动输出。在操作中，控制电路68将接收控制信号，将马达信号传输至马达66，将由编码器67测量的产生的马达速度与期望速度进行比较，并且调制马达信号以生成期望扭矩。
对于需要无菌环境的过程，机器人系统可以结合位于器械驱动器与医疗器械之间的驱动接口，例如连接至无菌披盖(drape)的无菌适配器。无菌适配器的主要目的是将角运动从器械驱动器的驱动轴传递到器械的驱动输入，同时保持驱动轴与驱动输入之间的物理分离并且因此保持无菌性。因此，示例无菌适配器可以包括旨在与器械驱动器的驱动轴和器械上的驱动输入配合的一系列旋转输入和输出。连接至无菌适配器的由薄的柔性材料组成的无菌披盖(例如，透明或半透明塑料)被设计成覆盖资本设备，例如器械驱动器、机器人臂和推车(在基于推车的系统中)或台(在基于台的系统中)。使用该披盖将允许把资本设备安置在患者附近，同时仍然位于不需要消毒的区域(即，非无菌区)。在无菌披盖的另一侧，医疗器械可以在需要灭菌的区域(即无菌区)与患者对接。
D.医疗器械。
图13示出了具有配对器械驱动器的示例医疗器械。与被设计成用于与机器人系统一起使用的其他器械类似，医疗器械70包括细长轴71(或细长本体)和器械基部72。由于其用于由医师进行的手动交互的预期设计而也被称为“器械手柄”的器械基部72通常可以包括诸如插口、滑轮或卷轴的可旋转的驱动输入73，其被设计成与延伸通过机器人臂76的远端处的器械驱动器75上的驱动接口的驱动输出74配合。当物理连接、闩锁和/或耦接时，器械基部72的经配合的驱动输入73可以与器械驱动器75中的驱动输出74共享旋转轴线，以允许扭矩从驱动输出74传递到驱动输入73。在一些实施方式中，驱动输出74可以包括花键，其被设计成与驱动输入73上的插口配合。
细长轴71被设计成通过解剖结构开口或内腔(例如，在内窥镜检查中)或通过微创切口(例如，在腹腔镜检查中)被递送。细长轴66可以是柔性的(例如，具有类似于内窥镜的特性)或刚性的(例如，具有类似于腹腔镜的特性)，或者包含柔性部分和刚性部分两者的定制组合。当被设计成用于腹腔镜检查时，刚性细长轴的远端可以连接至端部执行器，该端部执行器包括由具有旋转轴的U形夹形成的关节腕和手术工具(例如，抓握器或剪刀)，当驱动输入响应于从器械驱动器75的驱动输出74接收到的扭矩而旋转时，该端部执行器可以基于来自腱部的力被致动。当被设计成用于内窥镜检查时，柔性细长轴的远端可以包括可操纵或可控制的弯曲部分，该弯曲部分可以基于从器械驱动器75的驱动输出74接收到的扭矩而被接合和弯曲。
使用轴71内的腱部沿着细长轴71传递来自器械驱动器75的扭矩。这些单独的腱部(例如，牵引线)可以单独地锚定至器械手柄72内的单独的驱动输入73。从手柄72沿着细长轴71内的一个或更多个牵引内腔引导腱部并且将其锚定在细长轴71的远侧部分处。在腹腔镜检查中，这些腱部可以耦接至远侧安装的端部执行器，例如腕部、抓握器或剪刀。在这样的布置下，施加在驱动输入73上的扭矩将张力传递到腱部，从而使端部执行器以某种方式致动。在腹腔镜检查中，腱部可以使关节绕轴旋转，从而使端部执行器沿一个方向或另一个方向移动。替选地，腱部可以连接至细长轴71的远端处的抓握器的一个或更多个爪部(jaw)，其中来自腱部的张力使抓握器闭合。
在内窥镜检查中，腱部可以经由粘合剂、控制环或其他机械固定件而耦接至沿着细长轴71安置(例如，在远端处)的弯曲或接合区段。当固定地附接至弯曲区段的远端时，施加在驱动输入73上的扭矩将沿着腱部被传递，从而使较软的弯曲区段(有时称为可接合区段或区域)弯曲或接合。沿着非弯曲区段，有利的会是使沿着内窥镜轴的壁(或在内窥镜轴的壁的内部)引导单独的腱部的单独的牵引内腔螺旋或盘旋，以平衡由牵引线中的张力引起的径向力。为了特定目的，可以改变或设计其间的间隔和/或螺旋的角度，其中，较紧的螺旋在负载力下呈现较小的轴压缩，而较小的螺旋量在负载力下引起较大的轴压缩，但也呈现限制弯曲。另一方面，牵引内腔可以被取向成平行于细长轴71的纵向轴线以允许在期望的弯曲或可接合区段中的受控接合。
在内窥镜检查中，细长轴71容置有多个部件以辅助机器人过程。轴可以包括用于将手术工具、冲洗和/或抽吸部署到轴71的远端处的手术区域的工作通道。轴71还可以容纳线和/或光纤以向远侧末端处的光学组件/从远侧末端处的光学组件传递信号，该光学组件可以包括光学摄像装置。轴71也可以容纳光纤，以将光从位于近端的光源(例如，发光二极管)传送到轴的远端。
在器械70的远端处，远侧末端还可以包括用于将用于诊断和/或治疗、冲洗和抽吸的工具递送至手术部位的工作通道的开口。远侧末端还可以包括用以捕获内部解剖空间的图像的诸如纤维镜或数字摄像装置的摄像装置的端口。相关地，远侧末端还可以包括用于在使用摄像装置时照亮解剖空间的光源的端口。
在图13的示例中，驱动轴轴线以及因此驱动输入轴线与细长轴的轴线正交。然而，该布置使细长轴71的滚动能力复杂化。当腱部延伸离开驱动输入73并且进入到细长轴71内的牵引内腔时，在保持驱动输入73静止的同时使细长轴71沿着其轴线滚动会引起腱部的不期望的缠结。腱部的这样的最终缠结可能破坏旨在预测柔性细长轴在内窥镜检查过程期间的移动的任何控制算法。
图14示出了器械驱动器和器械的替选设计，其中驱动单元的轴线平行于器械的细长轴的轴线。如所示出的，圆形器械驱动器80包括四个驱动单元，其驱动输出81在机器人臂82的端部处平行对准。驱动单元和它们各自的驱动输出81容置在由组件83内的驱动单元中的一个驱动的器械驱动器80的旋转组件83中。响应于由旋转驱动单元提供的扭矩，旋转组件83沿着圆形轴承旋转，该圆形轴承将旋转组件83连接至器械驱动器的非旋转部分84。可以通过电接触将电力和控制信号从器械驱动器80的非旋转部分84传送至旋转组件83，电接触可以通过电刷滑环连接(未示出)的旋转来维持。在其他实施方式中，旋转组件83可以响应于集成到非旋转部分84中的单独的驱动单元，并且因此不平行于其他驱动单元。旋转机构83允许器械驱动器80使驱动单元及其相应驱动输出81作为单个单元绕器械驱动器轴线85旋转。
与较早公开的实施方式类似，器械86可以包括细长轴部分88和器械基部87(出于讨论的目的，以透明外表示出)，该器械基部87包括被配置成接纳器械驱动器80中的驱动输出81的多个驱动输入89(例如，插口、滑轮和卷轴)。与先前公开的实施方式不同，器械轴88从器械基部87的中心延伸，其中轴线基本上平行于驱动输入89的轴线，而不是如图13的设计中那样正交。
当耦接至器械驱动器80的旋转组件83时，包括器械基部87和器械轴88的医疗器械86与旋转组件83结合绕器械驱动器轴线85旋转。由于器械轴88被安置在器械基部87的中心，因此当器械轴88在被附接时与器械驱动器轴线85共轴。因此，旋转组件83的旋转使器械轴88绕其自身的纵向轴线旋转。此外，当器械基部87与器械轴88一起旋转时，连接至器械基部87中的驱动输入89的任何腱部在旋转期间都不会缠结。因此，驱动输出81、驱动输入89和器械轴88的轴线的平行允许在不使任何控制腱部缠结的情况下进行轴旋转。
E.导航和控制。
传统的内窥镜检查可以包括使用荧光透视检查(例如，如可以通过C形臂递送)和其他形式的基于辐射的成像模态，以向操作医师提供腔内指导。相比之下，本公开内容所设想的机器人系统可以提供基于非辐射的导航和定位手段，以减少医师暴露于辐射并且减少手术室内的设备的数量。如本文所使用的，术语“定位”可以指确定和/或监测对象在参考坐标系中的位置。诸如手术前映射、计算机视觉、实时EM跟踪和机器人命令数据的技术可以单独地或组合地使用以实现无辐射操作环境。在仍使用基于辐射的成像模态的其他情况下，可以单独地或组合地使用手术前映射、计算机视觉、实时EM跟踪和机器人命令数据，以改进仅通过基于辐射的成像模态获得的信息。
图15是示出根据示例实施方式的估计机器人系统的一个或更多个元件的定位(例如，器械的定位)的定位系统90的框图。定位系统90可以是被配置成执行一个或更多个指令的一个或更多个计算机装置的集合。计算机装置可以由以上讨论的一个或更多个部件中的一个或更多个处理器和计算机可读存储器来实现。作为示例而非限制，计算机装置可以位于图1所示的塔30、图1至图4所示的推车、图5至图10所示的床等中。
如图15所示，定位系统90可以包括定位模块95，其处理输入数据91至94以生成用于医疗器械的远侧末端的定位数据96。定位数据96可以是表示器械的远端相对于参考系的定位和/或取向的数据或逻辑。参考系可以是相对于患者的解剖结构或相对于已知对象——例如EM场生成器(参见下文关于EM场生成器的讨论)——的参考系。定位数据96在本文中也可以称为“状态数据”，其描述医疗器械的远侧末端相对于患者的解剖结构的模型(例如，骨骼模型)的当前状态。状态数据可以包括诸如在给定采样时段期间医疗器械的远侧末端的位置和取向的信息。例如，当使用骨骼模型基于内腔网络的中点来建模患者的解剖结构时，位置可以采取段ID和沿着段的深度的形式。
现在更详细地描述各种输入数据91至94。手术前映射可以通过使用低剂量CT扫描的集合来完成。手术前CT扫描被重建成三维(3D)图像，其被可视化，例如，作为患者内部解剖结构的剖面图的“切片”。当整体上分析时，可以生成用于患者的解剖结构(例如，患者肺网络)的解剖腔、空间和结构的基于图像的模型。可以根据CT图像确定和近似诸如中心线几何结构的技术，以形成患者的解剖结构的三维体积，该三维体积被称为手术前模型数据91。中心线几何结构的使用在美国专利申请第14/523,760号中进行了讨论，该美国专利申请的全部内容并入本文中。网络拓扑模型也可以根据CT图像来得出，并且特别适合于支气管镜检查。
在一些实施方式中，器械可以配备有摄像装置以提供视觉数据92。定位模块95可以处理视觉数据以实现一个或更多个基于视觉的定位跟踪。例如，可以将手术前模型数据与视觉数据92结合使用，以实现对医疗器械(例如，内窥镜或通过内窥镜的工作通道前进的器械)的基于计算机视觉的跟踪。例如，使用手术前模型数据91，机器人系统可以基于内窥镜的预期行进路径根据模型生成预期内窥镜图像的库，每个图像链接至模型内的定位。在手术中，机器人系统可以参考该库，以将在摄像装置(例如，在内窥镜远端处的摄像装置)处捕获的实时图像与图像库中的图像进行比较，以辅助定位。
其他基于计算机视觉的跟踪技术使用特征跟踪来确定摄像装置的运动，并且因此确定内窥镜的运动。定位模块95的一些特征可以识别手术前模型数据91中的与解剖内腔对应的圆形几何结构并且跟踪那些几何结构的变化以确定选择了哪个解剖内腔，以及摄像装置的相对旋转和/或平移运动。拓扑图的使用可以进一步增强基于视觉的算法或技术。
光流，即另一种基于计算机视觉的技术，可以分析视觉数据92中的视频序列中的图像像素的位移和平移以推断摄像装置移动。光流技术的示例可以包括运动检测、对象分割计算、亮度、运动补偿编码、立体视差测量等。通过利用多次迭代对多个帧的比较，可以确定摄像装置(以及因此内窥镜)的移动和定位。
定位模块95可以使用实时EM跟踪来生成内窥镜在全局坐标系中的实时定位，其中全局坐标系可以被配准到由手术前模型表示的患者的解剖结构。在EM跟踪中，包括以一个或更多个位置和取向嵌入在医疗器械(例如，内窥镜工具)中的一个或更多个传感器线圈的EM传感器(或***)测量由安置在已知位置处的一个或更多个静态EM场生成器产生的EM场的变化。由EM传感器检测的定位信息被存储为EM数据93。EM场生成器(或发送器)可以靠近患者放置，以产生嵌入式传感器可以检测到的低强度磁场。磁场在EM传感器的传感器线圈中感应出小电流，可以对该小电流进行分析以确定EM传感器与EM场生成器之间的距离和角度。这些距离和取向可以在手术中被“配准”到患者解剖结构(例如，手术前模型)，以确定将坐标系中的单个位置与患者的解剖结构的手术前模型中的位置对准的几何变换。一旦经配准，在医疗器械的一个或更多个位置(例如，内窥镜的远侧末端)的嵌入式EM***可以提供医疗器械通过患者的解剖结构的前进的实时指示。
定位模块95也可以使用机器人命令和运动学数据94来提供用于机器人系统的定位数据96。可以在手术前校准期间确定由接合命令引起的装置俯仰和偏航。在手术中，可以将这些校准测量与已知的***深度信息结合使用，以估计器械的位置。替选地，可以结合EM、视觉和/或拓扑建模对这些计算进行分析，以估计医疗器械在网络内的位置。
如图15所示，定位模块95可以使用若干其他输入数据。例如，尽管在图15中未示出，但是利用形状感测光纤的器械可以提供形状数据，定位模块95可以使用该形状数据来确定器械的位置和形状。
定位模块95可以组合地使用输入数据91至94。在一些情况下，这样的组合可以使用概率方法，其中定位模块95向根据输入数据91至94中的每一个确定的位置分配置信度权重。因此，在EM数据可能不可靠(在存在EM干扰的情况下即是这样的)的情况下，通过EM数据93确定的定位的置信度可能降低，并且定位模块95可能更大程度上依赖于视觉数据92以及/或者机器人命令和运动学数据94。
如以上所讨论的，本文讨论的机器人系统可以被设计成结合以上技术中的一个或更多个的组合。位于塔、床和/或推车中的机器人系统的基于计算机的控制系统可以将计算机程序指令存储在诸如永久性磁存储驱动器、固态驱动器等的非暂态计算机可读存储介质内，其中计算机程序指令在被执行时使系统接收并且分析传感器数据和用户命令，生成整个系统的控制信号，以及显示导航和定位数据，例如器械在全局坐标系、解剖图等内的位置。
2.基于定位传感器的分支预测的介绍。
本公开内容的实施方式涉及用于基于定位传感器的分支预测的系统和技术。该系统可以采用(一个或更多个)定位传感器或(一个或更多个)定位感测装置来在医疗过程期间定位例如器械的远端。(一个或更多个)定位传感器可以被安置在器械的远端处或附近，或者可以被安置成远离器械的远端。可以被安置在器械的远端处或附近的定位传感器或定位感测装置的示例包括EM传感器、基于视觉的定位传感器(例如，摄像装置)、形状感测光纤等。可以安置成远离器械的远端的定位传感器或定位感测装置的示例包括荧光透视成像装置、生成或处理用于经由一个或更多个器械操纵器控制器械的位置的机器人数据的(一个或更多个)机器人系统部件、基于远程视觉的定位传感器等。
定位传感器可以被配置成生成指示器械的远端的定位(例如，相对于定位传感器坐标系)的定位数据。如本文所使用的，定位传感器坐标系可以指可以用于定义或确定由定位传感器生成的定位数据的位置(例如，在诸如欧几里得空间的流形上)的任何坐标系。当定位传感器与器械的远端并置时，定位数据可以表示定位传感器本身的定位，然后处理器可以使用该定位数据来确定器械的远端的定位。在某些实施方式中，定位传感器坐标系可以包括原点和轴的集合，其可以基于用于实现定位传感器的特定技术来限定。
例如，位于器械中或器械上的EM传感器可以被配置成测量通过EM场生成器生成的EM场。EM场的特性，以及因此通过EM传感器测量的EM值，可以相对于EM场生成器的定位和取向被限定。因此，EM场生成器的安置可以影响通过EM传感器测量的值，并且还可以限定EM坐标系的定位和取向。
如上所述，可以使用例如低剂量CT扫描在手术前映射患者的内腔网络以产生内腔网络的模型。由于可以经由与用于***械的远端不同的技术产生模型，因此模型坐标系可能不与定位传感器坐标系对准。因此，为了使用定位传感器坐标系来***械相对于模型的位置，一种技术可以涉及将由一个或更多个定位传感器使用的坐标系与另一坐标系(例如，由解剖模型使用的坐标系)配准(例如，通过通信地耦接至机器人系统的单独系统或机器人系统的一个或更多个部件，包括但不限于处理器、定位系统、定位模块等)。该配准可以包括例如应用于定位传感器数据以便将定位传感器数据从定位传感器坐标系映射到模型坐标系的平移和/或旋转。
系统或处理器可以例如在过程的初始阶段期间执行定位传感器坐标系到模型坐标系的配准。根据实现方式，当器械最初前进通过内腔网络时，处理器可以在后台自动执行配准处理。在另一实现方式中，处理器可以向用户提供指令集以将器械驱动到内腔网络内的特定位置或沿着设定的配准路径驱动以促进配准处理。因此，处理器可以在从(一个或更多个)定位传感器接收的位置数据未被配准到模型时执行过程的一部分。
为了在医疗过程期间向用户提供关于器械导航的反馈，可以运行“融合”定位算法(例如，通过图15的定位系统90)。融合算法可以组合从多个源接收的指示器械的远端的定位的数据，以确定器械的定位。融合算法的一个功能还可以包括对器械可以前进到其中的内腔网络的下一分支的预测。该预测可以基于在融合算法中使用的数据源中的至少一些，包括定位传感器数据。在某些实施方式中，预测还可以用作确定器械的远端的位置时的输入。
由于针对医疗过程的至少一部分可以不配准(一个或更多个)定位传感器，因此本公开内容的某些方面可以涉及用于分支预测的技术，其中，可以基于配准的定位传感器数据或未配准的定位传感器数据(通常也称为“原始”定位传感器数据)来采用该分支预测。因此，系统可以根据(一个或更多个)定位传感器是否已经被配准而选择性地将不同的技术或其组合应用于基于定位传感器的分支预测。
A.EM导航引导支气管镜检查。
在下文中，将描述可以采用用于基于定位传感器的分支预测的技术的示例系统。例如，系统可以被配置用于EM导航引导支气管镜检查过程。然而，本公开内容的方面也可以应用于使用能够产生定位数据的其他定位传感器的系统以及其他类型的医疗过程。
图16A示出了可以实现所公开的分支预测系统和技术的一个或更多个方面的示例操作环境100。操作环境100包括支承患者101的平台102、引导器械115的移动的手术或医疗机器人系统110、用于控制机器人系统110的操作的命令中心105、EM控制器135、EM场生成器120以及EM传感器125、130。图16A还示出了患者101内的内腔网络140的区域的轮廓，该内腔网络140在图16B中被更详细地示出。
系统110可以包括用于安置并引导器械115通过患者101的内腔网络140的移动的一个或更多个机器人臂。命令中心105可以通信地耦接至机器人系统110，用于接收位置数据和/或提供基于从用户接收的用户命令生成的控制信号。如本文中所使用的，“通信地耦接”是指任何有线数据传送介质和/或无线数据传送介质，包括但不限于无线广域网(WWAN)(例如，一个或更多个蜂窝网络)、无线局域网(WLAN)(例如，配置用于一个或更多个标准，诸如IEEE 802.11(Wi-Fi))、蓝牙、数据传送线缆等。机器人系统110可以是以上关于图1至图15描述的任何系统。
器械115可以是管状且柔性的手术器械，其***患者的解剖结构中以捕获解剖结构(例如，身体组织)的图像，并且提供用于将其他医疗器械***靶组织部位的工作通道。如上所述，器械115可以是过程专用内窥镜，例如支气管镜、胃镜或输尿管镜，或者可以是腹腔镜或血管可操纵导管。器械115可以在器械115的远端处包括一个或更多个成像装置(例如，摄像装置或其他类型的光学传感器)。成像装置可以包括一个或更多个光学部件，例如光纤、光纤阵列、光敏基板和/或(一个或更多个)透镜。光学部件与器械115的末端一起移动，使得器械115的末端的移动引起由成像装置捕获的图像的视场的对应变化。器械115的远端可以设置有用于跟踪远端在内腔网络140周围生成的EM场内的位置的一个或更多个EM传感器125。
EM控制器135可以控制EM场生成器120以产生变化的EM场。取决于实施方式，EM场可以是随时间变化的和/或随空间变化的。在一些实施方式中，EM场生成器120可以是EM场生成板。所公开的系统的一些实施方式可以使用置于患者与支承患者101的平台102之间的EM场生成器板，并且EM场生成器板可以包括薄屏蔽物，该薄屏蔽物使由位于其下方的传导或磁性材料引起的跟踪失真最小化。在其他实施方式中，EM场生成器板可以被安装在例如与机器人系统110中所示的机器人臂类似的机器人臂上，这可以在患者周围提供灵活的设置选项。
图16B示出了可以在图16A的操作环境100中被导航的示例内腔网络140。内腔网络140包括患者101的气道150的分支结构、通向主隆突156(通常为在支气管镜检查导航期间遇到的第一分叉)的气管154、以及可以如本文所述接近以进行诊断和/或治疗的结节(或病变)155。如所示的，结节155位于气道150的外周处。器械115可以包括具有第一直径的护套141，并且因此护套141的远端不能够被安置成穿过结节155周围的较小直径气道。因此，观察镜(scope)145从器械115的工作通道延伸并跨过剩余距离到达结节155。观察镜145可以具有如下内腔，例如活检针、细胞刷和/或组织取样钳的器械可以通过该内腔到达结节155的靶组织部位。在这样的实现方式中，护套141的远端和观察镜145的远端都可以设置有用于跟踪其在气道150内的相应位置的EM传感器。
在一些实施方式中，如本文中所描述的3D内腔网络模型的二维(2D)显示或者3D模型的截面可以类似于图16B。器械的远端的估计位置可以覆盖到这样的表示上。在某些实现方式中，估计位置可以显示在命令控制台的显示器上，例如图16C所示的命令控制台160。
图16C示出了可以例如用作示例操作环境100中的命令控制台105的示例命令控制台160。命令控制台160可以包括控制台基部161、一个或更多个显示器162(例如，监视器)以及一个或更多个控制模块(例如，键盘163和操纵杆164)。在一些实施方式中，命令控制台160功能中的一个或更多个可以被集成至机器人系统110的基部180中或者通信地耦接至机器人系统110的另一系统中。诸如医师的用户165使用命令控制台160从符合人体工程学的位置远程控制机器人系统110。
控制台基部161可以包括中央处理单元、存储器单元、数据总线和相关联的数据通信端口，其负责解释和处理诸如摄像装置图像的信号并且跟踪例如来自图16A和图16B所示的器械115的传感器数据。在一些实施方式中，控制台基部161和基部180两者都执行信号处理以实现负载平衡。控制台基部161还可以通过控制模块163和164处理由用户165提供的命令和指令。除了图16C所示的键盘163和操纵杆164以外，控制模块还可以包括其他装置，例如，计算机鼠标、轨迹板、轨迹球、控制板、诸如手持式远程控制器的控制器以及捕获手部姿势和手指姿势的传感器(例如，运动传感器或摄像装置)。控制器可以包括映射或链接至器械的操作(例如，接合、驱动、水冲洗等)的一组用户输入(例如，按钮、操纵杆、定向垫等)。
显示器162可以包括电子监视器(例如，LCD显示器、LED显示器，触敏显示器)、诸如护目镜或眼镜的虚拟现实观看装置和/或其他显示装置。在一些实施方式中，显示模块162与控制模块集成，例如集成为具有触摸屏的平板装置。在一些实施方式中，显示器162中的一个可以显示患者的内腔网络的3D模型和虚拟导航信息(例如，基于EM传感器位置的内窥镜的端部在模型内的虚拟表示)，而显示器162中的另一个可以显示从器械115的端部处的摄像装置或另一感测装置接收到的图像信息。在一些实现方式中，用户165既可以使用集成显示器162和控制模块查看数据，又可以向系统110输入命令。显示器162可以使用诸如护目罩或者护目镜的立体装置显示3D图像的2D渲染和/或3D图像。3D图像提供“内视图”(即，内窥镜视图)，“内视图”是示出患者的解剖结构的计算机3D模型。“内视图”提供患者体内的虚拟环境和器械115在患者体内的预期位置。用户165将“内视图”模型与由摄像装置捕获的实际图像进行比较，以帮助在心理上定向并且确认器械115处于患者体内的正确——或近似正确——的位置。“内视图”提供关于器械115的远端周围的解剖结构的信息，例如患者的气道、循环血管或者肠或结肠的形状。显示模块162可以同时显示器械115的远端周围的解剖结构的3D模型和CT扫描。此外，显示模块162可以在3D模型和CT扫描上覆盖已经确定的器械115的导航路径。
在一些实施方式中，器械115的模型与3D模型一起被显示以帮助指示手术过程的状态。例如，CT扫描标识解剖结构中的可能需要活检的病变。在操作期间，显示模块162可以示出由器械115捕获的与器械115的当前位置对应的参考图像。显示模块162可以根据用户设置和特定手术过程来自动显示器械115的模型的不同视图。例如，显示模块162在导航步骤期间随着器械115接近患者的手术区域示出器械115的俯视荧光透视视图。
B.使用未配准定位数据进行的基于定位传感器的分支预测。
如上所述，可以在将(一个或更多个)定位传感器配准到内腔网络的模型之前执行医疗过程的初始阶段。然而，(一个或更多个)定位传感器仍然可以在配准之前产生定位数据。尽管未配准到模型，但是原始定位传感器数据可以用于提供某些定位和导航功能。例如，处理器可以基于原始的、未配准的定位数据来确定器械在不同时间的相对取向。因此，在某些实施方式中，基于内腔网络的形状和结构以及基于未配准数据确定的器械的取向，处理器可以有助于预测内腔网络中的器械可能前进到的下一分支。
分支预测可以被包括作为导航配置系统的一部分。图17A至图17D示出了根据一个实施方式的导航配置系统200的示例框图。更具体地，图17A提供了根据一个实施方式的导航配置系统200的示例框图的概述。在图17A中，导航配置系统200包括多个输入数据存储装置、从多个输入数据存储装置接收各种类型的输入数据的导航模块205以及从导航模块接收输出导航数据的输出导航数据存储装置290。图17A所示的导航配置系统200的框图仅仅是一个示例，并且在未示出的替选实施方式中，导航配置系统200可以包括不同的和/或另外的实体。同样地，由系统200的各个实体执行的功能可以根据不同的实施方式而不同。导航配置系统200可以类似于在2017年3月23日公布的美国专利公布第2017/0084027号中描述的导航系统，该美国专利的全部内容通过引用并入本文。
如本文所使用的输入数据是指从输入装置——例如，(一个或更多个)命令模块、(一个或更多个)光学传感器、(一个或更多个)EM传感器、(一个或更多个)IDM——收集的和/或由所述输入装置处理的用于生成内窥镜的估计状态信息以及输出导航数据的原始数据。多个输入数据存储装置210至240包括图像数据存储装置210、EM数据存储装置220、机器人数据存储装置230和3D模型数据存储装置240。每种类型的输入数据存储装置210至240存储名称指示的类型的数据以供导航模块205访问和使用。图像数据可以包括由器械末端处的成像装置捕获的一个或更多个图像帧以及使得能够确定成对帧之间经过的时间的信息诸如帧速率或时间戳。机器人数据包括与医疗器械或医疗器械的部分(例如，器械末端或护套)在管状网络内的物理移动相关的数据。示例机器人数据包括指示器械末端到达特定解剖部位和/或改变其在管状网络内的取向(例如，对于引导件和护套中的一者或两者，通过特定俯仰、滚动、偏航、***和回缩)的命令数据、表示医疗器械的部分(例如，器械末端或护套)的***移动的***数据、IDM数据以及表示医疗器械的长形构件的机械移动(例如内窥镜的驱动医疗器械在管状网络内的实际移动的一个或更多个牵引线、腱部或轴的运动)的机械数据。EM数据可以由上述EM传感器和/或EM跟踪系统收集。3D模型数据可以如上所述根据2D CT扫描得到。路径数据包括规划导航路径，其可以通过到一个或更多个靶的管状网络的拓扑搜索来生成。
输出导航数据存储装置290接收并存储由导航模块205提供的输出导航数据。输出导航数据指示辅助指导医疗器械穿过管状网络到达管状网络内的特定目的地的信息，并且基于在每个瞬时时间的医疗器械的估计状态信息，估计状态信息包括医疗器械在管状网络内的定位和取向。在一种实施方式中，随着医疗器械在管状网络内移动，实时提供指示医疗器械的移动和定位/取向信息的更新的输出导航数据，这更好地辅助医疗器械穿过管状网络的导航。
为了确定输出导航数据，导航模块205找出(或确定)医疗器械在管状网络内的估计状态。如图17A所示，导航模块205还包括各个算法模块，例如基于EM的算法模块250、基于图像的算法模块260和基于机器人的算法模块270，其各自可以主要使用(consume)某些类型的输入数据并且向状态估计器280贡献不同类型的数据。如图17A所示，为了说明，由这些模块输出的不同类型的数据——被标记为基于EM的数据、基于图像的数据和基于机器人的数据——可以被统称为“中间数据”。
图17B示出了根据一个实施方式的图17A所示的导航模块205的示例框图。如上面所介绍的，导航模块205还包括状态估计器280以及采用用于导航穿过管状网络的不同算法的多个算法模块。为了描述清楚起见，首先描述状态估计器280，接下来描述与状态估计器280交换数据的各个模块。
导航模块205中包括的状态估计器280接收各种中间数据，并且提供作为时间的函数的器械末端的估计状态，其中，估计状态指示器械末端在管状网络内的估计定位和取向信息。估计状态数据被存储在状态估计器280中包括的估计数据存储装置285中。
图17C示出了根据一个实施方式的状态估计器280中包括的估计状态数据存储装置285的示例框图。估计状态数据存储装置285可以包括分叉(bifurcation)数据存储装置286、位置数据存储装置287、深度数据存储装置288和取向数据存储装置289，然而数据存储装置的这种特定分解仅仅是一个示例，并且在未示出的替选实施方式中，在估计状态数据存储装置285中可以包括不同的和/或另外的数据存储装置。
上面介绍的各个存储装置以各种方式表示估计状态数据。具体地，分叉数据是指医疗器械相对于管状网络内的一组分支(例如，分叉、三分叉或多于三个分支的叉分(division))的定位。例如，分叉数据可以是由器械在其行进穿过管状网络时基于例如由映射整个管状网络的3D模型提供的较大的可用分支的集合所选择的分支选择的集合。分叉数据还可以包括器械末端的定位的前方的信息，例如器械末端接近但尚未行进穿过的、但是例如基于末端相对于3D模型的当前位置信息或者基于即将到来的分叉的捕获图像已经可以被检测到的分支(分叉)。
位置数据指示医疗器械的某个部分在管状网络内或管状网络本身的某个部分的三维位置。位置数据可以呈绝对定位或相对于例如管状网络的3D模型的相对定位的形式。作为一个示例，位置数据可以包括器械的定位的位置在特定分支内的指示。特定分支的标识也可以被存储为段标识(ID)，其唯一地标识模型中器械末端所处的特定段。
深度数据指示器械末端在管状网络内的深度信息。示例深度数据包括医疗器械在患者体内的总***(绝对)深度以及所识别的分支(例如，由位置数据存储装置287识别的段)内的(相对)深度。深度数据可以基于关于管状网络和医疗器械两者的位置数据来确定。
取向数据指示器械末端的取向信息，并且可以包括与3D模型相关的总体的滚动、俯仰和偏航以及所识别到的分支内的俯仰、滚动、偏航。
返回至图17B，状态估计器280将估计状态数据提供回至算法模块以用于生成更准确的中间数据，状态估计器使用所述更准确的中间数据生成改进的和/或更新的估计状态等，以此类推形成反馈回路。例如，如图17B所示，基于EM的算法模块250接收先前的基于EM的估计状态数据，其也被称为与时间戳“t-1”相关联的数据。状态估计器280使用该数据来生成与时间戳“t-1”相关联的“估计状态数据(先前的)”。然后，状态估计器280将该数据提供回给基于EM的算法模块。“估计状态数据(先前的)”可以基于如从不同算法模块生成和接收的与时间戳“t-1”相关联的不同类型的中间数据(例如，机器人数据、图像数据)的组合。接下来，基于EM的算法模块250使用估计状态数据(先前的)运行其算法，以向状态估计器280输出改进和更新的基于EM的估计状态数据，其在此由“基于EM的估计状态数据(当前的)”表示并与时间戳t相关联。对于将来的时间戳，此处理也将继续重复。
由于状态估计器280可以使用若干种不同类型的中间数据来得到其对医疗器械在管状网络内的状态的估计，所以状态估计器280被配置成考虑每种类型的基础数据(机器人、EM、图像、路径)和每种类型的算法模块可能产生或携带到用于在确定估计状态时考虑的中间数据中的在测量和分析两者中的不确定性和各种不同类型的误差。为了解决这些，论述了两个概念，概率分布的概念和置信度值的概念。
本文所使用的“概率分布”中的“概率”是指对医疗器械的可能的定位和/或取向的估计正确的可能性。例如，可以由算法模块之一来计算指示医疗器械处于管状网络内的若干不同的可能分支之一中的相对可能性的不同的概率。在一个实施方式中，选择概率分布的类型(例如，离散分布或连续分布)以匹配估计状态的特征(例如，估计状态的类型，例如连续位置信息与离散分支选择)。作为一个示例，用于识别医疗器械处于三分叉的哪个段的估计状态可以由离散概率分布表示，并且可以包括如由算法模块之一确定的表示如位于三个分支中的每个分支内的定位的可能性的三个离散值20％、30％和50％。作为另一示例，估计状态可以包括医疗器械的40±5度的滚转角，以及器械末端在分支内的段深度可以是4±1mm，每个由高斯分布表示，高斯分布为一种类型的连续概率分布。可以使用不同的方法或模态来生成概率，这将随着如下面参照后面的附图更全面地描述的算法模块而变化。
相比之下，本文所使用的“置信度值”反映了由算法之一基于一个或更多个因素提供的状态的估计的置信度的量度。对于基于EM的算法，诸如EM场失真、EM配准不准确、患者的移位或移动以及患者的呼吸等的因素可能影响状态的估计的置信度。具体地，由基于EM的算法提供的状态的估计的置信度值可以取决于患者的特定呼吸循环、患者或EM场生成器的移动以及器械末端所位于的解剖结构内的定位。对于基于图像的算法，在估计状态时可能影响置信度值的示例因素包括：解剖结构内的在其处捕获图像的定位的照明状况；抵着捕获图像的光学传感器或位于光学传感器前方的流体、组织或其他障碍物的存在；患者的呼吸；患者自身的管状网络(例如肺部)的状况，例如管状网络内的一般流体和管状网络的闭塞；以及在例如导航或图像捕获中使用的特定操作技术。
例如，一个因素可以是特定算法在患者的肺部的不同深度处具有不同水平的准确度，使得在相对靠近气道开口的情况下，特定算法可以在其对医疗器械定位和取向的估计方面具有高置信度，但是医疗器械进一步行进进入到肺的底部，置信度值可能下降。通常，置信度值基于与确定结果的处理相关的一个或更多个系统因素，而概率为当尝试基于基础数据利用单个算法根据多个概率确定正确结果时出现的相对量度。
作为一个示例，用于计算由离散概率分布(例如，针对三分叉通过所涉及的估计状态的三个值的分支/段识别)表示的估计状态的结果的数学式可以如下：
S1＝CEM*P1，EM+CImage*P1，Image+CRobot*P1，Robot；
S2＝CEM*P2，EM+CImage*P2，Imtage+CRobot*P2，Robot；
S3＝CEM*P3，EM+CImage*P3，Image+CRobot*P3，Robot。
在上面的示例数学式中，Si(i＝1，2，3)表示在3D模型中识别或存在3个可能的段的情况下估计状态的可能示例值，CEM、CImage和CRobot表示与基于EM的算法、基于图像的算法和基于机器人的算法对应的置信度值，以及Pi，EM、Pi，Image和Pi，Robot表示段i的概率。
为了更好地说明与估计状态相关联的概率分布和置信度值的概念，在此提供了详细示例。在该示例中，用户正试图识别器械末端在管状网络的中央气道(预测区域)内的特定三分叉中所位于的段，并且使用三个算法模块，包括基于EM的算法、基于图像的算法和基于机器人的算法。在该示例中，与基于EM的算法对应的概率分布可以是20％处于第一分支中、30％处于第二分支中以及50％处于第三(最后)分支中，并且应用于该基于EM的算法和中央气道的置信度值为80％。对于同一示例，对于第一分支、第二分支和第三分支，与基于图像的算法对应的概率分布可以为40％、20％、40％，并且应用于该基于图像的算法的置信度值为30％；而对于第一分支、第二分支和第三分支，与基于机器人的算法对应的概率分布可以为10％、60％、30％，并且应用于该基于图像的算法的置信度值为20％。应用于基于EM的算法和基于图像的算法的置信度值的差异指示：与基于图像的算法相比，基于EM的算法对于中央气道中的段识别来说可能是更好的选择。最终估计状态的示例数学计算可以是：
对于第一分支：20％*80％+40％*30％+10％*20％＝30％；对于第二分支：30％*80％+20％*30％+60％*20％＝42％；以及对于第三分支：50％*80％+40％*30％+30％*20％＝58％。
在该示例中，器械末端的输出估计状态可以是结果值(例如，所得到的30％、42％和58％)或根据这些结果值的推导值，例如确定器械末端在第三分支中。尽管该示例描述了算法模块的使用包括基于EM的算法、基于图像的算法和基于机器人的算法，但是也可以基于包括基于路径的算法的各种算法模块的不同组合来提供对器械末端的状态的估计。
如上所述，估计状态可以以多种不同的方式来表示。例如，估计状态还可以包括从气道到器械末端的定位的绝对深度以及表示由器械在管状网络内穿过的分支集合的数据集，例如，分支集合为由患者肺部的3D模型提供的分支的整个集合的子集。概率分布和置信度值在估计状态上的应用允许提高器械末端在管状网络内的定位和/或取向的估计的准确度。
如图17B所示，算法模块包括基于EM的算法模块250、基于图像的算法模块260和基于机器人的算法模块270。图17B所示的算法模块仅仅是一个示例，并且在替选实施方式中，在导航模块205中还可以包括涉及不同的和/或另外的导航算法的不同的和/另外的算法模块。
B.1.分支预测系统
基于EM的算法模块250还包括EM配准模块252、EM定位模块254和EM分支预测模块256。EM配准模块252可以执行EM坐标到3D模型坐标的配准。EM定位模块254可以确定器械的位置和取向的估计。EM分支预测模块256可以确定关于器械将从器械当前所处的当前段前进到模型的哪个段的预测。
图17D示出了根据本公开内容的方面的示例基于定位传感器的定位和分支预测系统。特别地，图17D示出了基于定位传感器的定位和分支预测系统，其包括EM数据存储装置220、配准变换数据存储装置253、3D模型数据存储装置240、EM定位模块254、EM分支预测模块256和估计状态数据存储装置285。定位和分支预测系统的框图仅是一个示例，并且在未示出的其他实施方式中，定位和分支预测系统可以包括不同的和/或附加的部件，例如，在某些实现方式中，分支预测系统210可以包括图像数据存储装置220和机器人数据存储装置230中的一个或更多个来代替EM数据存储装置220或作为其补充。
EM定位模块254接收来自估计状态数据存储装置285的估计状态数据(先前的)(例如，分叉数据)、来自EM数据存储装置220的EM数据、来自配准变换数据存储装置253的配准变换数据以及来自3D模型数据存储装置240的3D模型数据作为输入。基于所接收到的数据，EM定位模块254确定器械末端相对于管状网络的3D模型的位置和取向的估计，并向状态估计器280提供基于EM的估计状态数据(当前的)。作为示例，基于EM的估计状态数据可以被表示为概率分布(例如，如上所述，三分叉的三个段的离散分布20％、30％和50％)。另外，当在如由所接收到的分叉数据指示的分叉处时，EM定位模块254可以将器械的末端的俯仰和偏航与3D模型中的每个分支的角度进行比较，以估计用户已经选择穿过哪个分支。EM定位模块254将基于EM的估计状态数据(当前的)输出到估计数据存储装置285和EM分支预测模块256。
EM分支预测模块256可以确定关于器械将前进到模型的哪个段的预测。例如，基于所确定的器械位于的模型的当前段和/或从取向数据存储装置289接收的取向数据，EM分支预测模块256可以确定器械将前进到当前段的每个子段中的预测。EM分支预测模块256可以采用多种不同的技术来确定预测，这些技术将在下面更详细地描述。在一些实施方式中，EM分支预测模块256使用的特定技术可以取决于定位数据是否已经被配准到模型。EM分支预测模块256可以将所确定的预测提供给估计状态数据存储装置285。在如上文所论述的一些实施方式中，EM分支预测模块256可以基于从取向数据存储装置289接收的取向数据来确定预测。在其他实施方式中，EM分支预测模块256可以基于来自位置数据存储装置287的位置数据或基于取向数据和位置数据两者来确定预测。
B.2.器械所采取的示例路线
出于说明性目的，将在支气管镜检查和支气管内腔网络的导航部分的背景下说明本公开内容的与基于定位传感器的分支预测相关的各个方面。然而，本公开内容也可以应用于其他内腔网络和其他医疗过程。
图18A示出了根据本公开内容的各个方面的在其中可以执行基于定位传感器的分支预测的示例内腔网络。在图18A的实施方式中，所示的内腔网络300对应于患者肺部的气道，并且包括在主隆突310处分支成两个第二代气道315和第二代气道320(例如，主支气管)的第一代气道305(例如，气管)。假设患者仰卧躺下，则气管305将分支为患者的左支气管320以及患者的右支气管315。
图18A还示出了路线325，在医疗过程期间，当器械被导航通过气道时，器械可以沿着该路线325被驱动。示出了当沿着路线325被驱动时器械的两个示例跟踪定位330和跟踪定位335，并且将在讨论各种实施方式时参考该两个示例跟踪定位。定位传感器可以生成表示定位传感器坐标系内的跟踪定位330和跟踪定位335的定位数据(未示出)，如下面结合图18B的详细描述的。本公开内容的各个方面会涉及到器械将前进到第二代气道315和第二代气道320之一之间的哪个气道的预测。如后面将详细描述的，处理器可以选择器械的初始位置330和后续位置335以用于分支预测技术。
B.3.在过程期间生成的示例定位数据
图18B示出了根据本公开内容的各个方面的在器械被驱动通过内腔网络时可以由一个或更多个定位传感器生成的定位数据点的示例集合。在图18B中，导航路径345可以被定义为在过程期间要沿其驱动器械的路径。导航路径345可以由用户在执行过程之前选择、由路径规划程序生成，等等。为了方便起见，图18B以2D示出，然而，应当理解的是，本公开内容也可应用于3D导航路径。导航路径345可以被相对于模型坐标系350来限定，在模型坐标系中限定了患者的内腔网络的模型(例如，图20的基于骨架的模型500)。
在过程期间，定位传感器可以生成表示当器械被导航通过气道时器械的跟踪定位的多个未配准的数据点355。可以相对于定位传感器坐标系360来限定未配准数据点355。在利用EM传感器的实施方式的情况下，定位传感器坐标系360可以由来自EM生成器的EM场限定或者对应于来自EM生成器的EM场。利用机器人系统操作的导航系统(例如，图15中所示的定位系统)可以确定定位传感器坐标系360与模型坐标系350之间的配准，其可以用于将未配准数据点355映射到模型坐标系350。该配准可以存储在存储器中，例如，存储在图17的配准数据存储装置225中。一种用于配准定位传感器坐标系360和模型坐标系350的技术可以包括选择变换矩阵，当将该变换矩阵应用于未配准数据点355时，该变换矩阵最小化数据点与路径345之间的距离之和。一旦向未配准数据点355应用了配准，则“配准”位置数据点可以基本上与路径345对准。
B.4.示例分支预测技术
图19是示出根据本公开内容的各个方面的能够由机器人系统或其(一个或更多个)部件针对基于定位传感器的分支预测来操作的示例方法的流程图。例如，图19中所示的方法400的步骤可以由机器人系统或者相关联的系统的(一个或更多个)处理器和/或(一个或更多个)其他部件执行。为了方便起见，将方法400描述为由基于定位传感器的分支预测系统执行，其中基于定位传感器的分支预测系统关于方法400的描述也被简称为“系统”。
在块405处，基于定位传感器的分支预测系统基于由用于器械的一个或更多个定位传感器的集合生成的第一定位数据来确定器械的第一取向。第一定位数据可以指示在第一时间器械在定位传感器坐标系中的定位。在某些实施方式中，定位传感器可以位于或者邻近器械的远端，并且因此，由定位传感器产生的定位数据可以指示器械的远端的定位。在一个实施方式中，器械的第一取向可以对应于器械在初始位置例如图18的初始位置330处的取向。
在块410处，基于定位传感器的分支预测系统基于由定位传感器的集合生成的第二定位数据来确定器械在第二时间的第二取向。器械的远端可以在第一时间和第二时间位于模型的第一段内。第一段可以分支为两个或更多个子段。在图18中所示的示例实施方式中，器械的远端在第一时间和第二时间可以分别对应于初始位置330和后续位置335，初始位置330和后续位置335中的每一个位于分支成两个第二代气道315和第二代气道320的第一代气道305内。
在块415处，基于定位传感器的分支预测系统确定指示第一取向与第二取向之间的差异的数据。这可以包括例如基于未配准定位传感器数据在两个相继时间点处确定器械的取向。基于当位于当前段中时器械的取向之间的差异，系统能够预测器械最可能前进到两个或更多个子段中的哪个子段中。即，由于系统可以从模型访问分支为两个第二代气道315和第二代气道320的第一代气道305的每一个的取向，所以系统能够基于器械的取向的改变来预测器械最有可能前进到哪个子段中。
在一个实现方式中，基于定位传感器的分支预测系统可以通过计算初始取向与后续取向之间的相对变换矩阵来确定初始取向与后续取向之间的差异。系统可以将变换矩阵分解成滚动角、俯仰角和偏航角，从而限定器械在定位传感器坐标系中的取向。当患者仰卧以进行给定的过程(例如，进行支气管镜检查过程)时，可以用作定位传感器的某些定位传感器技术(例如，EM定位传感器)可以在至少一个角自由度上与患者基本对准。在EM实现方式中，EM场生成器可以生成具有相对于EM场生成器的取向而限定的取向的EM场。因此，通过将EM场生成器的取向布置成与患者对准，系统能够仅使用根据相对变换矩阵确定的偏航角来执行分支预测方法400。
由于对于支气管镜检查过程EM场和患者的取向可以是已知的，所以系统能够基于由EM传感器产生的数据确定初始取向与后续取向之间的偏航角。因此，可以相对于EM传感器坐标系中的偏航轴来限定气管到主支气管的分叉。因此，当器械位于气管305内时(见图18A)，基于EM场确定的器械的偏航角可以基本上与主支气管315和主支气管320之间的取向差异对准。因此，系统可以使用初始取向与后续取向之间的偏航角的变化作为更新对器械可能前进到其中的主支气管315和主支气管320的预测的基础。
在一些实施方式中，块415还可以包括：系统确定在子段的取向之间形成的角度。器械的远端的取向的变化量可以对应于在子段之间形成的角度，以便将器械的***方向从一个子段重定向到其他子段。如下所述，系统可以使用在子段之间形成的角度作为确定是否更新分支预测时的因素和/或作为在分支预测期间向子段分配概率时使用的因素。应当理解的是，基于子段之间形成的角度来选择阈值的实施方式可以在设计时间(例如，阈值是由系统的设计者基于角度选择的参数)或者在运行时间期间(例如，系统包括逻辑和数据以用于在手术前或手术中动态地确定阈值)确定。还应当理解的是，运行时间方法会影响系统的硬件和软件以及患者的解剖结构，以使用阈值准确地区分角度。
在块420处，基于定位传感器的分支预测系统基于指示差异的数据确定器械将前进到子段中的第一子段的预测。根据实施方式，预测可以包括：器械最可能前进到的子段的标识、子段中的每个子段的器械将前进到该对应子段中的概率、从最高概率到最低概率的子段的有序列表，等等。当系统先前已经确定关于器械将前进到子段中的预测时，系统可以基于在块415中确定的在取向上的差异来更新预测。
在系统确定子段之间的角度的实施方式中，系统可以在确定预测时使用在子段的取向之间形成的角度。在其他实施方式中，系统可以基于器械的远端的取向与子段中的每个的取向之间的差异来确定预测。在一个实施方式中，系统可以向与其余子段相比与器械的取向具有较小取向差异的子段分配较高的概率。
在某些实施方式中，除非器械的取向已经改变超过阈值水平，否则系统会避免调节器械前进到子段中的每个中的概率。在某些实施方式中，系统可以基于子段之间的角度来调节阈值水平。例如，当子段之间的角度大于第一阈值角度时，系统可以增加阈值水平，并且当子段之间的角度小于第二阈值角度时，系统可以降低阈值水平。一旦系统已经确定器械将前进到子段中的给定子段的预测(例如，基于前进到给定子段的概率大于其他子段的概率)，系统可以随后基于由定位传感器的集合生成的后续定位数据来确定器械在第三时间的取向。该系统可以被配置成：计算(i)在第三时间(例如，在第二时间之后的器械位于后续位置的时间)的取向与(ii)初始取向之间的角度；以及将所计算的角度与阈值角度值进行比较。系统还可以被配置成响应于所计算的角度大于阈值角度值来更新器械前进到子段中的每个中的概率。因此，在某些实施方式中，除非器械的取向与初始取向形成的角度大于阈值角度值，否则系统不会更新器械前进到子段中的每个中的概率。方法400在块425处结束。
当使用未配准定位数据执行时，上述方法400会是特别有利的。即，由于未配准定位数据可能不提供器械的定位和/或取向到模型坐标系的精确映射，所以系统可以使用器械在两个或更多个相继时间处的相对取向来确定器械的测量取向的变化是否与该器械被朝向子段中的一个进行接合相一致。所检测到的器械的测量取向的变化(例如，在定位传感器坐标系内)可能与要指向以下方向的器械的物理取向的变化相一致，其中所述方向更接近子段中的一个的物理取向。换句话说，当使用未配准定位数据进行确定时，在定位传感器坐标系中器械的取向从初始取向到后续取向的相对变化仍然可以指示器械朝向子段中的一个的前进方向的变化。因此，由于在某些过程的初始阶段期间定位传感器坐标系不会被配准到模型坐标系，所以方法400可以在初始阶段期间提供可以由传感器融合技术(例如，图15的定位系统90)使用的分支预测。
在一个示例中，当指示初始取向与后续取向之间的差异的数据与器械朝向患者的左主支气管(例如，第二代气道320)前进或器械指向患者的左主支气管一致时，系统可以预测器械将前进到左主支气管中而不是右主支气管中。于是，系统可以基于取向的变化指示器械朝向还是离开对应子分支前进或者取向的变化指示器械指向还是偏离对应子分支，来更新针对每个子分支的预测。
B.5.初始定位的选择
如上所述，方法400可以包括当器械位于初始位置时在块405处确定器械的第一取向。基于定位传感器的分支预测系统可以响应于状态估计模块240的初始化来选择器械的初始定位。在某些实施方式中，基于定位传感器的分支预测系统可以选择在初始化之后由状态估计模块240产生的器械的定位的第一指示作为初始定位。然而，在其他实施方式中，系统可以选择由状态估计模块240产生的其他定位(例如，器械的第二定位、第三定位，等等)作为初始定位。
在一些实施方式中，系统可以被配置成基于确定器械在初始定位处的取向与当前段的取向基本上对准(例如，与当前段的纵轴对准)来选择器械的初始定位。如本文所使用的，当器械的取向与当前段的取向之间的差异小于阈值差异时，系统可以认为器械的取向与当前段的取向基本上对准。然而，由于接收到的定位传感器数据可能未被配准到模型坐标系，因此系统可能不能直接将器械的取向与当前段的取向进行比较。
在一个实现方式中，系统可以被配置成从用户接收器械与当前段对准的指示。用户能够基于系统的其他传感器(例如，位于器械的远端处的摄像装置)确认器械的取向当前与第一代段对准。在一个实现方式中，系统可以向用户提供指令以将器械驱动至内腔网络内的限定位置(例如，图18的隆突310)并且将器械从该限定位置缩回至少限定距离。系统可以确定器械的远端在缩回之前或之后的位置处的定位，并且将器械在该点处的取向设置为与当前段的取向基本上对准的初始取向。
在其他实现方式中，系统可以被配置成或被编程为在驱动器械期间自动选择初始位置而无需接收用户输入。在一个实施方式中，当器械在一段时间内前进通过当前段时，系统可以***械的取向，并且响应于器械的取向在阈值时间段内基本上不变，系统可以确定器械在所识别的时段期间的取向与当前段的取向对准。在一些实施方式中，当在时间段内所测量的器械取向之间的最大差异小于阈值差异时，系统可以确定器械的取向基本上不变。
B.6.配准处理的确认
在某些实施方式中，系统可以被配置成执行配准处理以便将(一个或更多个)定位传感器的坐标系配准到内腔网络的模型的坐标系。该配准可以存储在如图17所示的配准数据存储装置225中。该配准处理可以包括有助于使用未配准定位数据来确定定位传感器坐标系与模型坐标系之间的配准的处理。在某些实施方式中，可以基于以下操作来执行配准处理：保持从(一个或更多个)定位传感器接收的数据的历史，以及将由定位数据历史形成的形状与基于解剖结构的模型的器械能够沿其行进的候选路径匹配。在配准处理期间，系统可以向用户提供指令，以沿着预定配准路径驱动器械并且响应用户沿着配准路径驱动器械基于定位传感器***械的位置。对于某些过程，配准路径可以包括对侧配准路径，该对侧配准路径针对配准处理限定器械将沿着其被驱动的路径的形状。对侧配准路径可以包括：沿着在内腔网络的相对于靶的定位的对侧一侧的段驱动器械，从对侧一侧缩回器械，以及沿着内腔网络的沿着到靶的路径(也称为靶路径)的横向侧(lateral side)驱动器械。因此，对侧配准路径可以包括：沿着内腔网络的在靶路径之外的对侧分支(例如，沿着在内腔网络的相对于靶的对侧一侧的分支)驱动器械，将器械返回到靶路径，以及沿着顺着靶路径的一部分定位的侧支驱动器械。
在某些过程中，靶可以包括器械可以被驱动至以促成诊断和/或治疗的结节(或病变)。因此，存储器可以存储至模型中的靶的靶路径以及对侧配准路径。在配准处理期间，系统可以被配置成基于关于器械是否将沿着子段中的每个前进的预测来确认用户当前是否正在将器械驱动至由对侧配准路径所限定的内腔网络的正确分支。因此，系统可以基于预测来确定器械是否沿着对侧配准路径被定位。在一个实现方式中，当接近内腔网络中的分叉(例如，主支气管附近的分叉)时，系统可以将器械将沿着对侧配准路径前进到分支中的概率与阈值概率进行比较。当概率小于阈值概率时，系统可以向用户显示用户可能没有朝着正确的分支驱动的指示。
在另一实现方式中，系统可以确定器械在沿着对侧配准路径前进之前沿着靶路径前进，这可以指示用户无意中沿着与配准处理中使用的对侧配准路径不符的路径驱动器械。由于对侧配准路径可能需要器械在被沿着靶路径驱动之前先被沿着对侧路径驱动，所以系统可以响应于确定在器械沿着对侧配准路径前进之前该器械沿着靶路径前进来提供对侧配准不成功的指示。
系统还可以被配置成在给定过程期间显示器械相对于模型的定位的指示以向用户提供反馈。因此，系统可以基于指示器械的定位的多个数据源来确定器械的远端相对于模型的位置。在某些实现方式中，系统可以基于以下中的一个或更多个来确定器械的远端的位置：从定位传感器接收的定位数据；被提供用以控制器械的移动的命令集，以及关于器械将前进到当前段的子段中的(一个或更多个)预测。因此，经由图19的方法400确定的预测可以是系统在器械的定位和/或导航中可以使用的一个数据源。
C.基于配准的定位传感器的分支预测。
在系统已经执行配准处理(将定位传感器坐标系配准到模型坐标系)之后，系统能够使用由(一个或更多个)定位传感器生成的数据参照与模型坐标系相关联的模型来确定器械的远端的定位的指示。使用经配准数据定位数据，系统可以产生关于器械最可能前进到其中的内腔网络的子段的预测。取决于实现方式，一旦器械已经前进到内腔网络中超过特定距离，未配准定位传感器数据的使用可能不能为内腔网络中的分支预测提供足够的精确度。例如，一旦器械已经前进到主支气管中，系统可能不能在没有经配准定位传感器数据的情况下执行分支预测。因此，本公开内容的各个方面还与将经配准定位数据用于分支预测相关。
图20示出了内腔网络的一部分的示例基于骨架的模型。特别地，基于骨架的模型500示出了其中内腔网络被建模为可以包括多个离散段的“骨架”505的实现方式，其中每个段对应于内腔网络的单独内腔。图20中所示的模型500可以由定位系统90(见图15)使用以计算器械的远端的位置和取向。骨架505的每个段可以被分配唯一的“段ID”，并且形成骨架505的段中的每个可以被相对于对应内腔的中心线来限定。在某些医疗过程期间，可以针对过程的至少一部分将器械导航通过内腔网络。特别地，在给定时间点，器械525的远端可以位于模型的当前段510内，并且当前段510可以分支或分叉成两个子段515和子段520。如下面将详细讨论的，本公开内容的各个方面涉及基于器械位于当前段510内时的取向执行的分支预测技术。
图21是示出根据本公开内容的各个方面的可由机器人系统或其(一个或更多个)部件针对基于配准的定位传感器的分支预测来操作的示例方法的流程图。例如，图21中所示的方法600的步骤可以由机器人系统或者相关联的系统的(一个或更多个)处理器和/或其他(一个或更多个)部件执行。为了方便起见，方法600被描述为由基于定位传感器的分支预测系统执行，其中基于定位传感器的分支预测系统关于方法600的描述也被简称为“系统”。机器人系统可以包括至少一个其上存储有患者的内腔网络的模型的计算机可读存储器。
在块605处，基于定位传感器的分支预测系统基于由用于器械的一个或更多个定位传感器的集合生成的定位数据来确定器械相对于模型的取向。在某些实现方式中，定位数据包括从定位传感器的集合接收的经配准定位数据。在系统接收到定位传感器数据时，定位传感器可以被配准到内腔网络的模型。使用经配准定位数据，系统能够基于定位数据确定器械的远端相对于模型的定位。在某些实现方式中，系统可以采用使用多个数据源确定器械的远端的定位的传感器融合技术(例如，通过使用图15的定位系统90)。由于所接收的定位数据被配准到模型，所以系统可能能够进行器械相对于模型的定位的测量。
在某些实现方式中，当系统在块605处确定器械的取向时，器械的远端可能位于模型的第一段内。在一个实施方式中，器械525的远端位于包括两个子分支515和子分支520的当前段525内，如图20所示。
在块610处，基于定位传感器的分支预测系统确定子段中的第一子段的取向。在图20的示例中，子段515和子段520中的每个的取向可以基于骨架505的相应段相对于模型坐标系的取向来确定。取决于实现方式，当前段可以对应于包括两个或更多个子段的骨架505的段中的任何一个。
在块615处，基于定位传感器的分支预测基于器械的取向以及第一子段的取向来确定器械将前进到第一子段中的预测。这可以包括：例如，系统确定器械525的远端的取向与图20的实施方式中的子段515和子段520中的每个的取向之间的差异。模型可以包括指示段中的每个的取向的数据。在某些实施方式中，指示段的取向的数据可以被包括在表示骨架505的数据中，其中可以在存储器中限定骨架505的每个段的定位、长度和取向。因此，系统可以使用经配准定位传感器数据来确定器械在模型坐标系中的取向，并且将器械的取向与子段中的每个的取向进行比较。该方法在块620处结束。
根据实施方式，预测可以包括：器械最可能前进到的子段的识别、子段中的每个字段的器械将前进到该对应子段中的概率、从最高概率到最低概率的子段的有序列表，等等。因此，在某些实施方式中，预测可以包括指示器械将前进到子段中的每个的概率的数据。在一些实现方式中，系统可以向在取向上与器械的取向具有较小差异的子段分配较高的概率。因此，系统可以确定指示器械的取向与子段中的每个的取向之间的差异的数据，以帮助确定对应的概率。
在某些实现方式中，系统还可以确定器械的取向与子段中的每个的取向之间的角度。给定子段与器械的取向之间的角度可以指示取向之间的差异。因此，系统可以被配置成向给定子段分配与给定子段和器械之间的角度成反比的概率。在一个实现方式中，系统可以基于器械的取向与给定子段的取向之间的点积来确定角度。由于较小的角度可以指示给定子段与器械的取向之间的较大对准，因此系统也可以使用所确定的角度的倒数(inverse)来计算给定的子段的概率。
该预测可以被系统用作用于确定器械的远端相对于模型的定位的融合技术(例如，图15的定位系统90)的数据源。在某些实现方式中，系统可以基于以下中的一个或更多个来确定器械的远端的位置：从(一个或更多个)定位传感器接收的定位数据、提供用以控制器械的移动的命令的集合、以及关于器械将前进到子段中的每个中的(一个或更多个)预测。
在某些实现方式中，除了上述基于取向的预测之外，系统还可应用辅助技术以用于分支预测。在一个实现方式中，辅助技术可以包括基于定位的预测，其将器械的远端的定位与子段中的每个的开始的定位进行比较。系统可以基于器械的远端的定位来确定器械将前进到子段中的每个中的辅助预测。该预测可以基于器械的远端相对于子段中的每个的定位。在上面引用的美国专利公布第2017/0084027号中描述了可以用作辅助技术的基于定位的预测技术的进一步细节和示例。在一个实现方式中，当定位传感器数据指示器械的远端被定位成相比另一子段更靠近一个子段时，系统可以向该更近的子段分配比该更远的子段更高的概率。例如，返回参照图20，当器械525的远端比子段520中的第二子段更靠近子段515中的第一子段时，系统可以向第一子段515分配更高的概率。在一些实现方式中，系统可以基于基于取向的预测技术以及辅助的基于定位的预测技术两者使用融合技术来确定器械的远端的定位。系统可以基于各种因素对分支预测技术中的每个的结果进行加权，其中所述各种因素包括与技术中的每个相关联的精确度、与特定预测相关联的误差，等等。
与基于定位的分支预测相比，与基于取向的定位传感器分支预测相关联的一个优点在于，可以在驱动器械通过内腔网络期间连续地执行基于取向的预测。例如，除非器械的远端在当前段的分叉的进入子段的阈值距离内，否则基于定位的分支预测技术可能不提供准确的预测。由于基于定位的预测技术依赖于定位传感器数据，所以基于定位的预测技术可能易受定位传感器配准的误差以及定位传感器数据的抖动的影响。因此，当器械相对远离子段时，子段中的每个与器械之间的距离可能不指示用户正将器械驱动朝向的子段。相比之下，器械的取向可以与用户正将器械驱动到其中的子段更强地相关，即使当器械相对远离由子段限定的分叉时也如此。因此，在一些实施方式中，当器械的远端从当前段的开始前进到当前段的末尾时，可以应用本文描述的基于取向的分支预测技术。在其他实施方式中，系统可以应用基于取向的分支预测技术，而与器械的远端在当前段内的位置无关。
3.实现系统及术语。
本文公开的实现方式提供了用于基于定位传感器的分支预测的系统、方法和装置。
应当注意的是，术语“耦接”(“couple”)、“耦接”(“coupling”)、“耦接”(coupled)或者词耦接的如本文中使用的其他变型可以指示间接连接或直接连接。例如，如果将第一部件“耦接”至第二部件，则第一部件可以经由另一部件间接连接至第二部件或者直接连接至第二部件。
本文所述的功能可以作为一个或更多个指令存储在处理器可读介质或计算机可读介质上。术语“计算机可读介质”是指可以由计算机或处理器访问的任何可用介质。作为示例而非限制，这样的介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存、压缩光盘只读存储器(CD-ROM)或其他光盘存储装置、磁盘存储装置或其他磁存储装置、或者可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的任何其他介质。应当注意的是，计算机可读介质可以是有形的而且非暂态的。如本文中所使用的，术语“代码”可以指能够由计算装置或者处理器执行的软件、指令、代码或数据。
本文中公开的方法包括用于实现所描述的方法的一个或更多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换言之，除非正在描述的方法的正确操作需要步骤或动作的特定顺序，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。
如本文中所使用的，术语“多个”表示两个或更多个。例如，多个部件指示两个或更多个部件。术语“确定”包含各种各样的动作，并且因此，“确定”可以包括计算、电脑运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查明等等。此外，“确定”还可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择、挑选、建立等等。
除非另有明确说明，否则短语“基于”并不意味着“仅基于”。换言之，短语“基于”描述了“仅基于”和“至少基于”两者。
提供了所公开的实现方式的先前描述，以使得本领域技术人员能够实现或者使用本发明。对于本领域技术人员而言，对这些实现方式的各种修改将是明显的，并且在不脱离本发明的范围的情况下，本文中限定的一般原理可以应用于其他实现方式。例如，应当理解的是，本领域普通技术人员将能够采用多个对应的替选和等同的结构细节，诸如紧固、安装、耦接或者接合工具部件的等同方式，用于产生特定致动运动的等同机制，以及用于递送电能的等同机制。因此，本发明不意在限于本文中所示的实现方式，而是要被赋予与本文中公开的原理和新颖特征一致的最宽范围。