具体实施方式

在以下描述中，具体细节描述与本公开一致的一些实施例。许多具体细节经阐述以提供对实施例的透彻理解。然而，对于本领域技术人员来说显而易见的是，一些实施例可以在没有这些特定细节中的一些或全部的情况下实践。本文公开的具体实施例旨在说明而非限制。本领域技术人员可以意识到虽然没有具体描述但在本公开的范围和精神内的其它元件。此外，为了避免不必要的重复，与一个实施例相关联地示出和描述的一个或多个特征可以合并到其他实施例中，除非另有特别说明或一个或多个特征将使实施例失效。在一些情况下，没有详细描述众所周知的方法、程序、部件和电路，以免不必要地混淆实施例的方面。

此外，选择来描述一个或多个实施例和可选元件或特征的特定词语并不旨在限制本发明。例如，空间相对术语——例如“在……下方”、“在……下”、“下”、“在……上方”、“上”、“近侧”、“远侧”等——可用于描述一个元件或特征与另一个元件或特征的关系(如图中所示)。除了图中所示的位置和取向之外，这些空间相对术语旨在涵盖使用或操作中的装置的不同位置(即，平移放置)和取向(即，旋转放置)。例如，如果附图中的装置被翻转，则被描述为在其他元件或特征“下”或“下方”的元件将在其他元件或特征的“上”或“上方”。因此，示例性术语“下方”可以涵盖上方和下方的位置和取向。装置可以以其他方式定向(例如，旋转90度或以其他取向)并且相应地解释本文中使用的空间相对描述符。同样，沿(平移)和围绕(旋转)各个轴线的运动的描述包括各种特殊的装置位置和方向。身体的位置和取向的组合定义身体姿势。

类似地，除非上下文另有说明，否则几何术语诸如“平行”和“垂直”并不旨在需要绝对的数学精度。相反，此类几何术语允许因制造或等效功能而发生变化。

此外，除非上下文另有说明，否则单数形式“一”、“一个”和“该”也包括复数形式。并且术语“包含”、“包括”、“具有”等指定所述特征、步骤、操作、元件和/或部件的存在，但不排除存在或添加一个或多个更多其他特征、步骤、操作、元件、部件和/或组。描述为联接的部件可以电或机械地直接联接，或者它们可以经由一个或多个中间部件间接联接。助动词“可”同样暗示特征、步骤、操作、元件或部件是可选的。

参考一个实施例、实现方式或应用而详细描述的元件可任选地包括在没有具体示出或描述的其他实施例、实现方式或应用中(只要可行)。例如，如果参考一个实施例详细描述元件并且没有参考第二实施例描述该元件，那么该元件仍然可以被要求保护为包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，与一个实施例、实现方式或应用相关联地示出和描述的一个或多个元件可以被并入其他实施例、实现方式或方面中，除非另外具体描述，除非一个或多个元件将使一个实施例或实现方式无效，或者除非元件中的两个或多个提供相互冲突的功能。

计算机是机器，其遵循程序指令对输入信息执行数学或逻辑函数以产生处理过的输出信息。计算机包括执行数学或逻辑功能的逻辑单元，以及存储编程指令、输入信息和输出信息的存储器。术语“计算机”和类似术语诸如“处理器”或“控制器”或“控制系统”相似。

尽管本文描述的示例中的一些涉及外科程序或器械，或医疗程序和医疗器械，但所公开的技术可选地适用于非医疗程序和非医疗器械。例如，本文描述的器械、系统和方法可用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。其他示例应用涉及美容改进、人体或动物解剖结构成像、从人体或动物解剖结构收集数据以及培训医疗或非医疗人员。附加示例应用包括用于对从人体或动物解剖结构中取出的组织(无需返回人体或动物解剖结构)进行程序，以及对人类或动物尸体进行程序。此外，这些技术还可用于外科和非外科医学治疗或诊断程序。

此外，尽管本公开中提出的一些示例讨论远程操作机器人系统或远程可操作系统，但所公开的技术也适用于部分或全部由操作员直接和手动移动的计算机辅助系统。

现在参考附图，图1A、图1B和图1C一起提供医疗系统10的概览，该系统可用于例如包括诊断、治疗或外科程序的医疗程序。医疗系统10位于医疗环境11中。医疗环境11在图1A中被描绘为手术室。在其他实施例中，医疗环境11可以是急诊室、医疗培训环境、医疗实验室或可以发生任何数量的医疗程序或医疗培训程序的一些其他类型的环境。在其他实施例中，医疗环境11可以包括手术室和位于手术室外部的控制区域。

在一个或多个实施例中，医疗系统10可以是在外科医生的远程操作控制下的远程操作医疗系统。在替代实施例中，医疗系统10可以在被编程为执行医疗程序或子程序的计算机的部分控制下。在其他替代实施例中，医疗系统10可以是完全自动化的医疗系统，其在被编程为使用医疗系统10执行医疗程序或子程序的计算机的完全控制下。可用于实施本公开中描述的系统和技术的医疗系统10的一个示例是由加利福尼亚州桑尼维尔的直观外科公司(Intuitive Surgical,Inc)制造的da 外科系统。

如图1A所示，医疗系统10通常包括组件12，其可以安装到或定位在手术台O附近，患者P位于该手术台O上。组件12可被称为患者侧推车、外科推车或外科机器人。在一个或多个实施例中，组件12可以是远程操作组件。远程操作组件可以被称为例如操纵系统和/或远程操作臂推车。器械系统14和内窥镜成像系统15可操作地联接到组件12。操作员输入系统16允许外科医生S或其他类型的临床医生查看外科部位的图像或代表外科部位的图像并控制医疗器械系统14和/或内窥镜成像系统15的操作。

医疗器械系统14可以包括一个或多个医疗器械。在医疗器械系统14包括多个医疗器械的实施例中，多个医疗器械可以包括多个相同的医疗器械和/或多个不同的医疗器械。类似地，内窥镜成像系统15可以包括一个或多个内窥镜。在多个内窥镜的情况下，多个内窥镜可以包括多个相同的内窥镜和/或多个不同的内窥镜。

操作员输入系统16可以位于外科医生的控制台处，其可以与手术台O位于同一房间中。在一些实施例中，外科医生S和操作员输入系统16可以位于与患者P不同的房间中或完全不同的建筑物中。操作员输入系统16通常包括用于控制医疗器械系统14的一个或多个控制装置。一个或多个控制装置可包括任意数量的多种输入装置(诸如手柄、操纵杆、轨迹球、数据手套、扳机枪、脚踏板、手动控制器、语音识别装置、触摸屏、身体运动或存在传感器以及其他类型的输入装置)中的一种或多种。

在一些实施例中，一个或多个控制装置将被提供与医疗器械系统14的一个或多个医疗器械相同的自由度以向外科医生提供远程呈现，其是一种感知：一个或多个控制装置与器械成一体而使得外科医生具有很强直接控制器械的感觉，就像在外科部位一样。在其他实施例中，一个或多个控制装置可以具有比相关联的医疗器械更多或更少的自由度并且仍然为外科医生提供远程呈现。在一些实施例中，一个或多个控制装置是手动输入装置，其以六个自由度移动，并且还可以包括用于致动器械(例如，用于闭合抓握钳口末端执行器，将电势施加到电极、递送药物治疗和致动其他类型的器械)的可致动手柄。

组件12支撑并操纵医疗器械系统14，而外科医生S通过操作员输入系统16查看外科部位。外科部位的图像可以通过内窥镜成像系统15获得，该内窥镜成像系统15可通过组件12操纵。组件12可以包括内窥镜成像系统15并且也可以类似地包括多个医疗器械系统14。同时使用的医疗器械系统14的数量通常取决于待执行的诊断或外科程序以及手术室内的空间限制等因素。组件12可以包括一个或多个非伺服受控连杆(例如，可以手动定位和锁定在适当位置的一个或多个连杆，通常称为设置结构)的运动学结构和操纵器。在操纵器采用远程操作操纵器的形式时，组件12是远程操作组件。组件12包括驱动医疗器械系统14上的输入的多个马达。在一个实施例中，这些马达响应于来自控制系统(例如，控制系统20)的命令而移动。马达包括驱动系统，在联接到医疗器械系统14时，该驱动系统可以将医疗器械推进到自然或外科方式创建的解剖孔口中。其他机动驱动系统可以以多个自由度移动所述医疗器械的远侧端部，该自由度可以包括三个线性运动度(例如，沿X、Y、Z笛卡尔轴的线性运动)和三个旋转运动度(例如，绕X、Y、Z笛卡尔轴的旋转)。此外，马达可用于致动医疗器械的可铰接的末端执行器以便抓握活检装置等的钳口中的组织。医疗器械系统14的医疗器械可包括具有单个工作构件的末端执行器，诸如手术刀、钝刀片、光纤或电极。其他末端执行器可包括例如钳子、抓紧器、剪刀或施夹器。

医疗系统10还包括控制系统20。控制系统20包括至少一个存储器24和至少一个处理器22，用于在医疗器械系统14、操作员输入系统16和其他辅助系统26之间进行控制，该辅助系统可包括例如成像系统、音频系统、流体递送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。临床医生可以在医疗环境11内循环并且可以在设置程序期间访问例如组件12或从患者床边查看辅助系统26的显示器。在一些实施例中，辅助系统26可包括与操作员输入系统16分离的显示屏(见图1C)。在一些示例中，显示屏可以是能够在医疗环境11周围移动的独立屏幕。显示屏可以被定向成使得外科医生S和一个或多个其他临床医生或助理可以同时查看显示屏。

虽然在图1A中被描绘成在组件12的外部，但是在一些实施例中，控制系统20可以完全包含在组件12内。控制系统20还包括程序指令(例如，存储在非暂时性计算机可读介质上)以实现根据本文公开的方面描述的方法中的一些或全部。虽然控制系统20在图1A的简化示意图中被示为单个框，但是控制系统20可以包括两个或多个数据处理电路，其中一部分处理可选地在组件12上或附近执行，处理的另一部分在操作员输入系统16处执行，等等。

可以采用多种集中式或分布式数据处理架构中的任一种。类似地，程序指令可以被实现为多个独立程序或子例程，或者它们可以被集成到本文描述的系统(包括远程操作系统)的多个其他方面中。在一个实施例中，控制系统20支持无线通信协议，诸如蓝牙、IrDA、HomeRF、IEEE 802.11、DECT和无线遥测。

控制系统20与数据库27通信，该数据库27可以存储一个或多个临床医生概况、患者和患者概况的列表、待对所述患者执行的程序列表、计划执行所述程序的临床医生的列表、其他信息或其组合。临床医生概况可以包括关于临床医生的信息，包括临床医生在医学领域工作多长时间、临床医生获得的教育水平、临床医生对医疗系统10(或类似系统)的经验水平，或其任何组合。

数据库27可以被存储在存储器24中并且可以被动态地更新。附加地或替代地，数据库27可以存储在装置上，诸如服务器或便携式存储装置，其可由控制系统20经由内部网络(例如，医疗设施或远程操作系统提供商的安全网络)或外部网络(例如Internet)访问。数据库27可以分布在两个或多个位置。例如，数据库27可以存在于多个装置上，该装置可以包括不同实体的装置和/或云服务器。附加地或替代地，数据库27可以存储在便携式用户指定装置上，诸如计算机、移动装置、智能电话、膝上型计算机、电子徽章、平板计算机、寻呼机和其他类似的用户装置。

在一些实施例中，控制系统20可包括一个或多个伺服控制器，其接收来自医疗器械系统14的力和/或扭矩反馈。响应于该反馈，伺服控制器将信号传输至操作员输入系统16。一个或多个伺服控制器还可以传输信号，该信号指令组件12移动经由身体中的开口延伸到患者体内的内部外科部位的一个或多个医疗器械系统14和/或内窥镜成像系统15。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与组件12分开或与组件12集成在一起。在一些实施例中，伺服控制器和组件12被提供为靠近患者身体定位的远程操作臂推车的一部分。

控制系统20可以与内窥镜成像系统15联接并且可以包括处理器以处理采集的图像以供后续显示，诸如显示给在外科医生的控制台上的外科医生，或者显示在本地和/或远程定位的另一个合适显示器上。例如，在使用立体内窥镜的情况下，控制系统20可以处理采集的图像以向外科医生呈现外科部位的协调立体图像。此类协调可以包括相对图像之间的对齐并且可以包括调整立体内窥镜的立体工作距离。

在替代实施例中，医疗系统10可以包括一个以上的组件12和/或一个以上的操作员输入系统16。组件12的确切数量将取决于外科程序和手术室内的空间限制等因素。操作员输入系统16可以被并置或者它们可以被定位在独立位置。多操作员输入系统16允许一个以上操作员控制以各种组合形式的一个或多个组件12。医疗系统10还可用于训练和排练医疗程序。

图1B是组件12的一个实施例的透视图，该组件可以被称为患者侧推车、外科推车、远程操作臂推车或外科机器人。所示的组件12提供三个外科工具30a、30b和30c(例如，医疗器械系统14)和成像装置28(例如，内窥镜成像系统15)(诸如用于采集程序的部位的图像的立体内窥镜)的操纵。成像装置可以通过电缆56将信号传输到控制系统20。操纵由具有多个接头的远程操作机构提供。成像装置28和外科工具30a-c可以通过患者体内的切口定位和操纵，使得运动学远程中心保持在切口处以最小化切口的尺寸。外科部位的图像可包括当外科工具30a-c的远侧端部位于成像装置28的视场内时的该远侧端部的图像。成像装置28和外科工具30a-c可各自为治疗器械、诊断器械或成像器械。

组件12包括可驱动底座58。可驱动底座58连接到伸缩柱57，其允许调节臂54的高度。臂54可包括旋转接头55，其既旋转又上下移动。臂54中的每个可以连接到定向平台53。臂54可经标记以有利于故障排除。例如，臂54中的每个可以印有不同数字、字母、符号、其他标识符或其组合。定向平台53可以能够360度旋转。组件12还可包括用于在水平方向上移动定向平台53的伸缩式水平悬臂52。

在本示例中，臂54中的每个连接到操纵器臂51。操纵器臂51可以直接连接到医疗器械，例如外科工具30a-c中的一个。操纵器臂51可远程操作。在一些示例中，连接到定向平台53的臂54可不可遥控操作。相反，此类臂54可以在外科医生S开始使用远程操作部件进行操作之前根据需要而定位。在整个外科程序期间，医疗器械可被移除并替换为其他器械，使得器械与臂的关联可在程序期间变化。

内窥镜成像系统(例如，内窥镜成像系统15和成像装置28)可以以包括刚性或柔性内窥镜的各种配置来提供。刚性内窥镜包括容纳中继透镜系统的刚性管，该中继透镜系统用于将图像从内窥镜的远侧端部传输到近侧端部。柔性内窥镜使用一根或多根柔性光纤传输图像。基于数字图像的内窥镜具有“尖端芯片”设计，其中远侧数字传感器(诸如一个或多个电荷联接器件(CCD))或互补金属氧化物半导体(CMOS)器件存储图像数据。内窥镜成像系统可以向观看者提供二维或三维图像。二维图像可提供有限深度感知。三维立体内窥镜图像可以为观看者提供更准确的深度感知。立体内窥镜器械采用立体相机来采集患者解剖结构的立体图像。内窥镜器械可以是完全可消毒的组件，其中内窥镜电缆、手柄和轴均刚性联接并密封。

图1C是外科医生控制台处的操作员输入系统16的实施例的透视图。操作员输入系统16包括左眼显示器32和右眼显示器34，用于向外科医生S呈现能够实现深度感知的外科环境的协调立体视图。左眼显示器32和右眼显示器34可以是显示系统35的部件。在其他实施例中，显示系统35可以包括一种或多种其他类型的显示器。在一些实施例中，显示系统35上显示的一个或多个图像可以单独或同时显示在辅助系统26的显示屏上。

操作员输入系统16还包括一个或多个输入控制装置36，其继而使组件12操纵内窥镜成像系统15和/或医疗器械系统14的一个或多个器械。输入控制装置36可以提供与其相关联的器械相同的自由度，以向外科医生S提供远程呈现，或者输入控制装置36与所述器械成一体的感知，使得外科医生具有直接控制器械的强烈感觉。为此，位置、力和触觉反馈传感器(未示出)可以被采用以通过输入控制装置36将来自医疗器械例如外科工具30a-c或成像装置28的位置、力和触感传输回外科医生的手。输入控制装置37是从用户的脚接收输入的脚踏板。操作员输入系统16、组件12和辅助系统26的方面可以是可调节和可定制的，以满足外科医生S的身体需要、技能水平或偏好。

在使用医疗系统10执行的医疗程序期间，外科医生S或另一临床医生可能想知道一个或多个医疗器械(例如，外科工具30a-c或成像装置28)的可用范围。知道和可视化器械范围可以让临床医生更好地规划外科程序，包括定位患者切口位置和定位机械臂。在外科程序期间中，知道和可视化器械范围可以允许外科医生确定工具是否可以接近目标组织，或者哪些工具可以接近目标组织，或者是否应该重新定位工具、操纵器臂和/或切口位置。下面描述的系统和方法可以允许临床医生确定外科工具30a-c和/或成像装置28的运动学极限以辅助程序计划并防止在外科程序期间意外遇到那些运动学极限。

下面描述的各种实施例提供方法和系统，该方法和系统允许外科医生S更容易地确定外科工具30a-c和成像装置28中的每个的运动学极限(例如，可及工作区)。在一个或多个实施例中，显示系统35和/或辅助系统26可以显示工作区体积(例如，图2A中的工作区体积110)的图像，其重叠在成像装置28的成像视野中的患者解剖结构模型上。可及工作区部分指示外科工具30a-c和/或成像装置28中的一个或多个的可及区的极限。能够查看可及工作区部分可以帮助外科医生S确定外科工具30a-c和/或成像装置28中的每个相对于患者解剖结构的一个或多个内部和/或外部部分的运动学极限。

图2A示出根据一些实施例的操作可及区的工作区体积110的侧视图。操作可及区包括器械30a的范围区域。操作可及区还可以包括操纵器臂51的范围区域。另外，操作范围可以包括臂54的范围区域。在一些实施例中，操纵器臂51的范围区域限定器械30a的范围区域。另外，臂54的范围区域可以限定操纵器臂51的范围区域。因此，臂54的范围区域可以通过限定操纵器臂51的范围区域来限定器械30a的范围区域。工作区体积110可由器械30a的范围区域、操纵器臂51的范围区域或臂54的范围区域中的任一个或多个来限定。

工作区体积110包括可及工作区部分120。工作区体积110的可及工作区部分120示出器械30a的可及范围，例如器械30a的远侧末端执行器的可及范围。如上所讨论的，器械30a可以在六个自由度(DOF)上移动——三个线性运动度和三个旋转运动度。器械30a的运动可以至少部分地由其附接到的操纵器臂51的运动来驱动和约束。工作区体积110还包括不在器械30a的可及范围内的部分130、140、150。不可及部分130围绕器械30的远程运动中心。在一些实施例中，工作区体积110是三维(3D)球形体积。在其他实施例中，工作区体积110可以是圆柱形体积、圆锥形体积或与器械的运动范围对应的任何其他形状。工作区体积110的内半径R1由器械30a的插入范围确定。例如，内半径R1可由器械30a的最小插入极限确定。R1也可以是不可及部分130的半径。工作区体积110的外半径R2也由器械30a的插入范围确定。例如，外半径R2可由器械30a的最大插入极限确定。在若干示例中，不可及部分140、150是三维圆锥形体积。如下文将描述的，工作区体积110的全部或部分在显示系统35和/或辅助系统26的一个或多个系统的显示屏上显示为2D或3D成像。

图2B至图2D分别示出根据一些实施例的器械30a的工作区体积110的侧视图，其中器械30a处于不同的取向。可替代地，器械可以是外科工具30b、30c中的一个，或者器械可以是成像装置28。如图2B所示，器械30a可以布置成后仰姿势。如图2C所示，器械30a可以布置成直立姿势。如图2D所示，器械30a可以布置成前倾姿势。器械30a在图2B至图2D中的姿势可以跟踪器械30a附接到的操纵器臂51的运动。臂51的旋转运动允许器械30接近可及工作区部分120的整个三维空间，包括位于部分140、150上方的体积。

图3A示出包括医疗系统10中的每个器械28、30a-c的工作区体积的复合工作区体积210的前视图。更具体地，复合工作区体积210包括与器械30a相关联的工作区体积110、与器械28相关联的工作区体积111，与器械30b相关联的工作区体积112，和与器械30c相关联的工作区体积113。在一些实施例中，工作区体积210包括用于医疗系统10中的一个器械或少于所有器械的工作区体积。工作区体积之间的重叠量取决于每个器械相对于正在外科程序中使用的每个其他器械的接近度。在其中器械靠近在一起的示例中，诸如在图3A的实施例中，器械中的每个器械的工作区体积可彼此显著重叠。在其中器械隔开的示例中，器械中的每个器械的工作区体积可彼此仅略微重叠。在其他实施例中，器械中的每个器械的工作区体积可以根本不彼此重叠并且复合工作区体积可以包括多个离散工作区体积。

图3B示出复合工作区体积210的侧视图。复合工作区体积210包括可由器械28、30a-c中的一个或多个到达的可及工作区部分230。复合工作区体积210还包括器械28、30a-c中的一个或多个无法到达的部分。例如，如图3C所示，部分130、140、150不可由器械30a到达；部分130a、140a、150a不可由器械28到达；部分130b、140b、150b不可由器械30b到达；并且部分130c、140c、150c不可由器械30c到达。使用构造实体几何(CSG)相交操作可以将工作区体积110-113结合到复合工作区体积210。CSG操作可以由控制系统20和/或辅助系统26中的一个或多个系统执行。在一些实施例中，外科医生S可以在复合工作区体积210的视图和每个器械28、30a-c的工作区体积的视图之间切换，这将在下面进一步详细讨论。能够在工作区体积210的视图和离散体积110-113的视图之间切换可以改善外科医生对每个器械或一组器械的能力和约束的理解。

图3C示出复合工作区体积210的顶视图。如图3C所示，器械28、30a-c的不可及部分140、140a、140b、140c、150、150a、150b、150c从工作区体积210中减去，从而留下可及工作区部分230。可及工作区部分230示出器械28、30a-c中的至少一个可以到达的体积。因此，复合工作区体积210的可及工作区部分230的外边界由具有最大运动范围的器械的可及工作区部分来限定。例如，如果器械30a在其他器械中具有最长的范围，则可及工作区部分230将被限制为器械30a的范围。在替代实施例中，可及工作区部分可以被限定为所有器械28、30a-c可以到达的体积。因此，在此替代实施例中，具有最短范围的器械可以限定可及工作区部分的外边界。

图3D示出配准到公共坐标系的复合工作区体积210和患者解剖结构240。体积210和患者解剖结构的共同配准产生重叠，其允许解剖结构240的不可及部分被识别。患者解剖结构240包括可及部分250和不可及部分260。患者解剖结构240的可及部分250包括在可及工作区部分230内的患者解剖结构240的部分。患者解剖结构240的不可及部分260包括在可及工作区部分230之外的患者解剖结构240的部分。患者解剖结构240的可及与不可及的部分将基于器械28、30a-c的放置、臂51的位置(参见图1B)、患者尺寸、感兴趣的特定患者解剖结构240等而变化。

单独的或与患者解剖结构240配准的工作区体积210可以被建模并呈现为用于在显示系统35或辅助系统26上查看的复合结构。如上所讨论的，在若干实施例中，外科医生S可以在可及工作区部分230或单个可及工作区部分(例如，可及工作区部分120)的不同视图之间切换。换言之，外科医生S可以独立地或复合地查看每个器械的可及工作区部分。这可以允许外科医生S确定哪些器械不能到达特定位置。在其他示例中，在外科医生S移动进入引导操纵器以重新定位包括在单端口机器人中的一组器械时，外科医生S可以在显示屏上查看单端口机器人的工作区体积的可及工作区部分。在其他示例中，外科医生S可以查看在器械(例如，器械30a)的当前工作距离处的可及工作区部分(例如，可及工作区部分120)的横截面。在此类示例中，外科医生S可以在特定平面中查看患者解剖结构240的哪些部分在器械30a的可及区内，该特定平面可以平行于内窥镜视图的平面。在若干实施例中，外科医生S可以从第三人称视图而不是从器械28的内窥镜视图查看可及工作区部分230。例如，这可以允许外科医生S可视化器械30a的可及区间。在此类实施例中，外科医生S可以在内窥镜视图和第三人称视图之间切换。

在其他替代实施例中，每个器械28、30a-c的可及工作区部分可以基于臂51之间的潜在相互作用/碰撞来确定。在此类实施例中，工作区体积(例如工作区体积110)的不可及部分基于臂51之间可发生的物理干扰来确定。用于每个器械28、30a-c的工作区体积被计算为距离场。因此，对于每个器械28、30a-c，每个臂51的表面与每个其他臂51的所有相邻表面之间的最近距离可用于确定可及工作区体积。在一些实施例中，等值面抽取方法(例如，移动立方体法)可以用于产生每个臂51的无障碍工作区的表面模型。在一些实施例中，距离场通过基于每个器械28、30a-c的位置对每个器械28、30a-c的尖端周围的体积进行采样来计算。然后，可以模拟每个臂51的逆运动学以确定每个臂51在每个器械28、30a-c的尖端的每个候选位置处的姿势。基于每个臂51的模拟姿势，可以计算距离场，即每个臂51的表面与每个其他臂51的所有相邻表面之间的最近距离。通过计算的距离场，可以产生体积距离场，其表示每个臂51的表面上的位置，在该位置中，臂51之间将发生碰撞。在若干实施例中，体积距离场被转换为内窥镜参考系。对于从成像装置28的视点看的患者解剖结构240的模型的任何图像，体积距离场可以显示为图像中的虚假图形。在一些示例中，虚假图形指示由于将在臂51之间发生的碰撞而不能被器械28、30a-c中的一个或多个到达的患者解剖结构240的部分。

在一些实施例中，在通过器械28、30a-c中的一个或多个在患者P中作出切口前，用于每个器械28、30a-c的可及工作区体积可以显示在显示系统35上和/或辅助系统26中的一个或多个系统的显示屏上。在其他实施例中，在器械28、30a-c安装在它们相应的臂51上之前，用于每个器械28、30a-c的可及工作区体积可以显示在显示系统35上和/或辅助系统26中的一个或多个系统的显示屏上。在其他替代实施例中，每个器械28、30a-c的可及工作区部分可以基于臂54之间的潜在交互/碰撞来确定。在一些实施例中，每个器械28、30a-c的可及工作区部分可以基于臂51和臂54之间的潜在相互作用/碰撞来确定。

可及工作区体积与患者解剖结构的内窥镜视图的视图(例如，由成像器械28获得的视图)的复合视图可以允许临床医生可视化工作区体积的边界以及器械中的一个或多个器械在工作部位处的可及区。立体复合视图可特别有用，允许观察者可视化工作区体积、患者解剖结构和工作区边界的三维特性。图4A示出根据一些实施例的患者解剖结构240的左眼内窥镜视图的图像300和患者解剖结构240的右眼内窥镜视图的图像310。图像300(其可以包括采集的内窥镜数据)是由成像装置28的左相机眼采集的左眼图像。内窥镜数据的一些或全部可以由成像装置28的左相机眼采集。图像310(其可以包括采集的内窥镜数据)是由成像装置28的右相机眼采集的右眼图像。内窥镜数据的一些或全部可以由成像装置28的右相机眼采集。图像300、310分别示出从内窥镜参考系观察的患者解剖结构240，该参考系也可以被称为图像采集参考系。内窥镜参考系是在成像装置28的远侧尖端处的参考系。因此，外科医生S可以从成像装置28的左眼和右眼相机的视角观察患者解剖结构240。如在下文另外详细讨论的，复合工作区体积210(和/或工作区体积110中的一个或多个)参考内窥镜参考系。

图4B是根据一些实施例的通过来自患者解剖结构240的左眼和右眼内窥镜视图的内窥镜数据产生的患者解剖结构240的模型的深度缓冲图像320。在一些实施例中，控制系统20和/或辅助系统26中的一个或多个系统组合左眼图像300和右眼图像310以产生深度缓冲图像320。图4C是根据一些实施例的通过患者解剖结构240的深度缓冲图像320产生的患者解剖结构240的模型的重建三维图像330。在一些实施例中，控制系统20和/或辅助系统26的一个或多个系统通过深度缓冲图像320产生重建的3D图像330。

图5是系统工作区270的透视图，其中患者P(其包括患者解剖结构240)和组件12位于其中。系统工作区270和工作区体积210被配准到公共坐标系280。如图5所示，可及工作区部分230的一些区段在患者P的身体外部并且可及工作区部分230的一些区段(未示出)在患者P身体内部。

图6A是根据一些实施例的患者解剖结构240的模型的内窥镜视图的图像400。图像400是来自成像装置28的内窥镜视图的图像。在一些实施例中，图像400可以是通过深度缓冲图像320产生的患者解剖结构240的模型的重建三维图像330。图像400包括患者解剖结构240的可及部分250和不可及部分260。图6B是根据一些实施例的患者解剖结构240的模型的内窥镜视图的图像410，其具有虚假图形420。图像410是来自成像装置28的内窥镜视图的图像。在一些实施例中，图像410可以是通过深度缓冲图像320产生的患者解剖结构240的模型的重建三维图像330。图像410包括患者解剖结构240的可及部分250。图像410还包括虚假图形420，其可以遮挡患者解剖结构240的不可及部分260或以其他方式将不可及部分260与可及部分250图像地区分。

在一些实施例中，可及工作区部分230重叠在患者解剖结构240的图像上，以允许外科医生S看到患者解剖结构240的哪些部分在器械28、30a-c的可及区内。如图6B所示，虚假图形420包括在图像410中。在一些示例中，可以显示代替患者解剖结构240的不可及部分260的虚假图形420。在一些实施例中，虚假图形420可以包括色调、颜色饱和度、照明度、表面图案、交叉影线或任何其他合适的图形，以将患者解剖结构240的可及部分250与患者解剖结构240的不可及部分260区分。在其他实施例中，患者解剖结构240的可及部分250显示在图像410中，并且患者解剖结构240的不可及部分260未显示在图像410中。

在一些实施例中，在组件12的臂51和/或臂54中的一个或多个在手术室(见图1A)内移动以调整由组件12占用的工作区时，虚假图形420显示在图像410中。在一些情况下，臂54、51是手动调整的。臂54、51中的每个包括控制模式，其允许操作员调整臂54、51相对于彼此和相对于患者P的间距，以便调整冗余自由度以管理臂54、51之间的间距。可以在保持器械28、30a-c的尖端的姿势的同时管理臂54、51之间的间距。在其他情况下，臂54、51中的每个包括优化臂54、51的位置的附加控制模式。在此附加控制模式中，臂54、51相对于彼此定位以最大化在外科程序期间器械28、30a-c的可及区。在这些控制模式中的一个或两个都处于活动状态时，虚假图形420可以显示在图像410中。能够使患者解剖结构240的可及部分250可视化有助于优化在工作区中的臂54、51的位置，这有助于在外科程序期间优化器械28、30a-c的可及区。

在图6B中，虚假图形420遮挡不可及部分260，但在其他实施例中，可以应用其他虚假图形处理，其允许不可及部分260保持可见但提供指示可及工作区的极限的视觉提示。图7A是根据一些实施例的内窥镜视图的图像500a，其中虚假图形包括指示重叠在患者解剖结构240的模型上的可及工作区部分520的彩色编码网格。图像500a是来自内窥镜视图的患者解剖结构240的图像。图像500a包括虚假图形网格重叠510a，其指示可及工作区520、部分可及工作区530和不可及工作区540。在图7A所示的实施例中，重叠510a是彩色编码网格。在一些实施例中，网格的线可以在器械30a、30b下方/后方延伸(如图7A所示)。在其他实施例中，网格的线可以在器械30a、30b之上/之前延伸。在其他实施例中，器械30a、30b可以被掩盖/隐藏/从图像500a中移除。可及工作区520可以是可及工作区部分230的一部分。在一些实施例中，可及工作区520表示其中一个或多个器械(例如，器械28、30a-c)具有完全运动范围的区域。在一些示例中，部分可及工作区530表示器械30a、30b例如可以到达，但是器械的一些运动可受到更多限制(即，器械30a、30b可接近它们的运动学极限)的区域。在其他实施例中，不可及工作区540表示其中器械30a、30b无法到达的区域。图形重叠510a可以用绿色指示可及工作区520、用橙色指示部分可及工作区530且用红色指示不可及工作区540。工作区520、530、540中的每个可以由任何其他颜色来标识。在一些实施例中，工作区520、530、540中的每个可以是相同颜色，但可以是相同颜色的不同色调。例如，可以使用灰度着色方案。在一些实施例中，网格可以由除正方形之外的镶嵌形状形成。

图7B是根据一些实施例的内窥镜视图的图像500b，其中虚假图形包括指示重叠在患者解剖结构240的模型上的可及工作区部分520的彩色编码点的图案。图像500b是来自内窥镜视图的患者解剖结构240的图像。图像500b包括虚假图形点图案重叠510b，其指示可及工作区520、部分可及工作区530和不可及工作区540。在图7B中所示的实施例中，重叠510b是一组彩色编码点。在一些实施例中，点可以在器械30a、30b下方/后方延伸(如图7B所示)。在其他实施例中，点可以在器械30a、30b之上/之前延伸。在其他实施例中，器械30a、30b可以被掩盖/隐藏/从图像500b中移除。图形重叠510b可以用绿色指示可及工作区520、用橙色指示部分可及工作区530且用红色指示不可及工作区540。如上所讨论，工作区520、530、540中的每个可以通过任何其他颜色来标识。在一些实施例中，工作区520、530、540中的每个可以是相同颜色，但可以是相同颜色的不同色调。

图7C是根据一些实施例的内窥镜视图的图像500c，其中虚假图形包括指示重叠在患者解剖结构240的模型上的可及工作区部分520的等高线。图像500c是来自内窥镜视图的患者解剖结构240的图像。图像500b包括虚假图形等高线重叠510c，其指示可及工作区520、部分可及工作区530和不可及工作区540。在图7C中所示的实施例中，重叠510c包括等高线。如图像500c中所示，等高线在可及工作区520、部分可及工作区530和不可及工作区540之间的边界处更靠近在一起。在一些实施例中，等高线可在器械30a、30b下方/后方延伸(如图7C所示)。在其他实施例中，等高线可以在器械30a、30b上方/前方延伸。在其他实施例中，器械30a、30b可以被掩盖/隐藏/从图像500c中移除。在一些实施例中，等高线可以以类似于上面讨论的方式进行彩色编码。

图8A示出根据一些实施例的用于产生工作区体积(例如，工作区体积110)的方法600。方法600被示为一组操作或过程610到630，并继续参考图1A至图7C进行描述。所示过程610至630中全部并非都在方法600的所有实施例中执行。此外，图8A中未明确示出的一个或多个过程也可以包括在过程610到630之前、之后、之间或作为过程610到630的一部分。在一些实施例中，过程610到630中的一个或多个可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，在由一个或多个处理器(例如，控制系统的处理器)运行时，该代码可以使一个或多个处理器执行过程中的一个或多个。在一个或多个实施例中，过程610到630可由控制系统20执行。

在过程610，产生指示器械(例如器械30a)的可及区的工作区体积(例如，工作区体积110)。工作区体积110包括可及工作区部分120和不可及部分130、140、150。

在过程620，工作区体积参考内窥镜装置(例如，成像装置28)的内窥镜参考系。内窥镜装置采集内窥镜图像数据，其可以由成像装置28的左眼相机和右眼相机采集。在一些实施例中，所采集的内窥镜图像数据存储在控制系统20的存储器24中。

在过程630，确定在工作区体积内的内窥镜图像数据的可及工作区部分(例如，可及工作区部分120)。在一些实施例中，内窥镜图像数据的可及工作区部分通过以下来确定：分析内窥镜图像数据以产生在空间上相关内窥镜的左眼(其可包括左眼图像数据)和内窥镜的右眼(其可包括右眼图像数据)之间的内窥镜图像数据的密集视差图。在此类实施例中，可及工作区部分还可以通过将密集视差图转换为深度缓冲图像(例如，深度缓冲图像320)来确定。另外的细节在图8B中提供。

在一些实施例中，方法600还可以包括确定在工作区体积110之外的内窥镜图像数据的不可及部分的过程。在一些示例中，方法600还可以包括如下过程：显示内窥镜图像数据的可及工作区部分120，而不显示内窥镜图像数据的不可及部分。在一些实施例中，内窥镜图像数据和可及工作区部分120可以显示在辅助系统26的一个或多个系统的显示屏上。在一些实施例中，方法600还可以包括渲染(render)复合图像的过程，该复合图像包括虚假图形和患者解剖结构的内窥镜图像。

图8B示出根据一些实施例的用于产生工作区体积(例如，工作区体积110)的方法650。方法650包括过程610-630并且包括可用于执行过程610-630的附加细节。并非所有所示出的过程都在方法650的所有实施例中执行。另外，在图8B中未明确示出的一个或多个过程也可以包括在所示过程之前、之后、之间或作为所示过程的一部分。在一些实施例中，过程中的一个或多个可以至少部分地以存储在非暂时性有形机器可读介质上的可执行代码的形式来实现，在由一个或多个处理器(例如，控制系统的处理器)运行时，该代码可以使一个或多个处理器执行过程中的一个或多个。在一个或多个实施例中，过程可由控制系统20执行。

产生工作区体积的过程610可以包括评估用于每个器械的工作区体积的过程652。工作区体积或可选地仅可及工作区部分可以被转换为公共坐标系。过程610还可以可选地包括过程654：确定用于该组器械的复合工作区体积或可及工作区部分的复合。复合工作区体积可以转换为内窥镜参考系。过程610还可任选地包括将图形信息应用到工作区体积的过程656。图形信息可包括图案、镶嵌、颜色、饱和度、照明或其他视觉线索以指示由器械中的一个或多个可及、部分可及或不可及的区。

在过程658，可以接收在内窥镜参考系中采集的内窥镜图像数据。在过程660，可以执行深度映射程序。此过程可由控制系统20和/或辅助系统26中的一个或多个系统来执行。为了讨论的清楚起见，将参考控制系统20进行以下讨论。在一些示例中，控制系统20分析内窥镜图像数据(其可以由成像装置28采集)并为左眼相机采集的一组数据和右眼相机采集的一组数据产生密集视差图。这些组数据是上面讨论的经采集的内窥镜图像数据的一部分。然后，控制系统20将密集视差图转换为深度缓冲图像(例如，深度缓冲图像320)。深度缓冲图像320可以在内窥镜参考系中产生。基于深度缓冲图像320，控制系统20确定患者解剖结构240的哪个部分(一个或多个)在已参考内窥镜参考系的复合工作区体积220的可及工作区部分230内。在一些实施例中，控制系统20可以渲染可及工作区部分230(其可以是内窥镜图像数据的可及工作区部分)的左眼图像300。此外，控制系统20可以渲染可及工作区部分230的右眼图像310以产生可及工作区部分230的复合图像(例如，重建的3D图像330)。在若干示例中，控制系统20可以使工作区体积110和/或复合工作区体积220参考内窥镜装置(例如，成像装置28)的内窥镜参考系。深度映射更详细地描述于例如以下文献中：美国专利申请发布号2017/0188011(提交于2016年9月28日，公开“Quantitative Three-Dimensional Imaging of Surgical Scenes”)和美国专利号8,902,321(提交于2010年9月29日，公开“Capturing and Processing of Images Using Monolithic Camera Arraywith Heterogeneous Imagers”)，这些文献以全文引用方式并入本文。

在一些实施例中，深度缓冲图像320可以被加载为缓冲器，例如Z缓冲器，并且深度缓冲图像320可以用于提供渲染的左眼图像300和渲染的右眼图像310的深度遮挡剔除。这允许控制系统20使用可及工作区部分230来剔除渲染的左眼图像300和渲染的右眼图像310。

为了实现深度遮挡剔除，控制系统20可以用可及工作区部分230渲染左眼图像300和右眼图像310，该可及工作区部分230在过程620中已经参考内窥镜参考系。在过程中630，确定工作区体积内的内窥镜图像数据的可及工作区部分。在一些示例中，控制系统20组合可及工作区部分230和重建的3D图像330。可及工作区部分230充当缓冲器，并且在一些实施例中，仅可及工作区部分230内的患者解剖结构240的模型的像素显示在重建的3D图像330中。在其他实施例中，仅在可及工作区部分230内、在成像装置28的视图内以及比其他背景像素更接近成像装置28的患者解剖结构240的像素显示在重建的3D图像330中。在其他实施例中，控制系统20将可及工作区部分230重叠在重建的3D图像330上。在过程640，可选地，可及工作区部分230和内窥镜图像数据330的复合图像被在显示器上。

图9是系统工作区710的透视图，其中患者P(其包括患者解剖结构240)和组件12定位在其中。在图9所示的实施例中，组件12的每个臂54包括钝插管700、700a、700b、700c。每个钝插管代表工作插管(其可以是外科插管)，每个器械28、30a-c可以通过该工作插管插入以进入患者解剖结构。例如，钝插管700对应于用于接收成像装置28的外科插管。钝插管700a对应于用于接收外科工具30a的外科插管。钝插管700b对应于用于接收外科工具30b的外科插管。钝插管700c对应于用于接收外科工具30c的外科插管。钝插管700、700a-c可以在对患者P进行任何切口之前允许外科医生S确定用于每个器械28、30a-c的工作插管的理想放置。在若干实施例中，通过确定用于与每个器械28、30a-c的插管对应的每个钝插管700、700a-c的工作区体积的位置，外科医生S可以确定理想插管放置。因此，外科医生S可以将臂54放置在理想的位置以执行外科程序，而不会在患者P上产生不必要的切口。这允许外科医生将器械28、30a-c放置在理想的切口位置以执行外科程序。在若干示例中，外科医生S可以分析每个钝插管700、700a-c的工作区体积以确定如何定位臂54以确保复合可及工作区部分(例如，可及工作区部分230)包括尽可能多的患者解剖结构240。在一些实施例中，用于每个钝插管700、700a-c的工作区体积可以在器械28、30a-c被安装在它们对应的臂51上之前被显示在显示系统35和/或辅助系统26的一个或多个系统的显示屏上。在此类实施例中，外科医生S可以在内窥镜视图中可视化可及工作区部分230，同时外科医生S或助手调节臂54和/或臂51中的一个或多个以影响放置钝插管700、700a-c中的一个或多个。

图10是根据一些实施例的内窥镜视图的图像800，其中三维表面补丁810重叠在患者解剖结构240的模型上。图像800包括患者解剖结构240的渲染图像、器械30a、30b的渲染图像和表面补丁810。在一些实施例中，表面补丁810用于描绘每个外科工具30a-c的可及工作区部分。在一些示例中，表面补丁810例如是描绘器械30b的尖端的受限运动的位置和取向的3D表面补丁。虽然如下讨论将参考器械30b进行，但应当理解，可以针对器械30a-c中的任一个或多个描绘表面补丁810。

在若干实施例中，在器械30b的尖端的运动受限时，诸如在器械30b接近或已经达到其运动学极限中的一个或多个时，表面补丁810在图像800中显示。表面补丁810描绘器械30b的受限运动的表面位置和取向。在一些实施例中，外科医生S经由施加到输入控制装置36的力反馈来感知器械30b的运动学极限。力反馈可以是由于器械30b本身的运动学极限、器械30b和患者解剖结构240之间的相互作用或其组合导致的力的结果。在一些示例中，在力反馈仅是由于器械30b的运动学极限导致的力的结果时，表面补丁810显示在图像800中。在其他示例中，在力反馈仅是由于器械30b和患者解剖结构240之间的相互作用而导致的力的结果时，表面补丁810可以显示在图像800中。

本公开的实施例中的一个或多个元件可以在软件中实现以在诸如控制处理系统的计算机系统的处理器上执行。在以软件实现时，本发明的实施例的元件本质上是执行必要任务的代码段。程序或代码段可以存储在处理器可读存储介质或装置中，该程序或代码段可以通过传输介质或通信链路经由载波中体现的计算机数据信号来下载。处理器可读存储装置可以包括任何可以存储信息的介质，包括光学介质、半导体介质和磁介质。处理器可读存储装置示例包括电子电路；半导体器件、半导体存储器件、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)；软盘、CD-ROM、光盘、硬盘或其他存储装置。代码段可以通过计算机网络诸如Internet、Intranet等下载。

需注意，所呈现的过程和显示可与任何特定的计算机或其他装置无固有相关性，并且各种系统可以与根据本文的教导的程序一起使用。上面讨论的各种系统所需的结构将作为权利要求中的元件出现。另外，本发明的实施例未参照任何特定的编程语言来描述。应当理解，多种编程语言可以用于实现如本文所述的本发明的教导。

虽然在附图中描述和示出本发明的某些示例性实施例，但是应当理解，这些实施例仅说明而不限制广义发明，并且本发明的实施例不限于所示出和描述的特定构造和布置，因为本领域的普通技术人员可以想到各种其他修改。