具体实施方式

参考附图详细描述用于在微创手术期间基于颜色指示缝线张力的本系统和方法的实施例，在附图中，相同的附图标记在若干视图的每一个中表示相同或相应的元件。如本文所用，术语“临床医生”是指医生、护士、健康护理提供者、辅助人员或本文所述的机器人手术系统的其它操作者。如本文所用，术语“手术区”是指手术机器人在其中操作的空间。这样的空间可以包括但不限于手术室、手术机器人存储和/或维护设施或其它这样的空间。如本文所用，术语“姿势”是指部件在空间或工作空间内的位置和方向。

本公开大体上涉及在微创手术过程中提供基于颜色指示缝线张力的方法和系统。首先参考图1，根据本公开的机器人手术系统总体上被示为机器人手术系统1，并且包括手术机器人100、控制器200以及用户界面或控制台300。

手术机器人100通常包括联接到连杆机构112的机器人推车或塔架116。连杆机构112形成机器人臂102并且可以可移动地支撑被配置成作用在患者“P”的组织上的末端执行器或工具108。每个机器人臂102可以具有末端104，所述末端以使得工具108可移除或可互换的方式支撑工具108。此外，机器人臂102的末端104可包括成像装置106以对手术部位“S”成像。此外，机器人臂102的末端104包括一个或多个马达122，其围绕机器人臂102的关节“J”(图2)施加力以移动和/或启动工具108。

控制台300经由控制器200与塔架116通信。控制台300包括显示器306，所述显示器被配置成显示图像，图像可以是二维图像或三维图像，并且可以包括由定位在手术区周围的成像装置106、114捕获的数据，所述成像装置例如定位在手术部位“S”内的成像装置、定位在患者“P”附近的成像装置和/或由机器人臂102的末端104支撑的成像装置114。成像装置(例如成像装置106、114)可捕获手术部位“S”的视觉图像、红外图像、超声图像、X射线图像、热图像和/或任何其它已知的实时图像。成像装置106、114将捕获的成像数据传输到控制器200，所述控制器从成像数据实时生成手术部位“S”的图像并将图像传输到显示器306用于显示。经考虑，内窥镜可以用作成像装置106。

控制台300包括在工作空间“W”中可移动地支撑输入手柄302的控制臂304。控制臂304允许临床医生操纵手术机器人100，例如移动机器人臂102、机器人臂102的末端104和/或工具108。输入手柄302中的每一个与控制器200通信以向其发送输入信号并从其接收输出或反馈信号。附加地或可替代地，输入手柄302中的每一个允许外科医生操纵(例如夹持、抓握、击发、打开、关闭、旋转、推动、切片等)支撑在机器人臂102的末端104处的工具108。

继续参考图1，输入手柄302中的每一个通过工作空间“W”的运动使机器人臂102和/或工具108的末端104在手术部位“S”内移动。显示器306上的图像被定向为使得当在显示器306上观察时，输入手柄302的移动使机器人臂102的末端104移动。当输入手柄302的移动与机器人臂102的末端104在图像内的移动成比例时，图像可以保持静止。为了保持图像的取向，输入手柄302的运动映射是基于相对于机器人臂102的末端104的取向的相机取向。显示器306上的图像的取向可以相对于患者“P”上方的视图成镜像或旋转。此外，显示器306上的图像的尺寸可以被缩放为大于或小于手术部位“S”的实际结构，从而允许临床医生更好地观察其中的结构。当输入手柄302移动时，工具108在外科部位“S”内移动，如下所述。工具108的移动还可以包括支撑工具108的机器人臂102的末端104的移动。

输入手柄108的移动可相对于工具302的移动进行缩放。当输入手柄302在工作空间“W”内移动时，控制臂304将编码器信号发送到控制器200，所述控制器分析编码器信号并生成控制信号以响应编码器信号移动工具108。响应于输入手柄302的移动，控制器200将控制信号发送到塔架116以移动工具108。在传输控制信号之前，控制器200通过将输入_距离(例如，由工作空间“W”内的输入手柄302之一移动的距离)除以缩放因子S_F来缩放编码器信号，以得到缩放的输出_距离(例如，末端104之一移动的距离)。缩放因子S_F可以在大约1到大约10之间的范围内，在实施例中大约为3。此缩放由下式表示：

输出_距离＝输入_距离/S_F

在缩放编码器信号之后，控制器200将与缩放的编码器信号相对应的控制信号发送到塔架116，以相应地移动工具108。可以理解，缩放因子S_F越大，工具108相对于输入手柄302的移动的移动越小。

参考图2，手术机器人100包括机器人推车或塔架116，其支撑连杆机构112，连杆机构支撑工具108。连杆机构112包括一个或多个马达122，每个马达与连杆机构112的相应关节“J”相关联，以操纵连杆机构112和/或由连杆机构112支撑的工具108。

在使用中，控制器200(图1)将控制信号发送到手术机器人100。手术机器人100响应于控制信号而启动马达122以将力施加在相应的关节“J”周围或其上。具体地，响应于控制信号，手术机器人100向马达122传递电流，该马达在手术过程中向关节“J”施加力以使连杆机构112和/或工具108移动。另外，传感器120连接到关节“J”并响应于施加到关节“J”的力测量关节“J”周围的扭矩。传感器120将测量的力传输到控制器200(图1)。

参考图3，根据本公开描述了手术机器人100、控制台300和控制器200之间的通信。控制器200与手术机器人100的塔架116通信，以响应于从控制台300接收到的编码器信号提供用于手术机器人100的操作的指令。

控制器200通常包括处理单元206、存储器208、塔架接口204和控制台接口202。处理单元206执行指令或计算机程序，该指令或计算机程序存储在存储器208中，用于使塔架116的组件(例如连杆机构112)根据由控制台300的输入手柄302限定的运动来执行期望的运动。在这方面，处理单元206包括任何合适的逻辑控制电路，所述逻辑控制电路适于根据一组指令执行计算和/或操作。处理单元206可以包括一个或多个处理装置(未显示)，例如微处理器或能够执行存储在存储器208中的指令和/或处理数据的其它物理装置。存储器208可以包括暂时类型存储器(例如，RAM)和/或非暂时类型存储器(例如，闪存介质或磁盘介质)。可经由一个或多个无线配置，例如射频、光学方式、Wi-Fi、(用于短距离交换数据、使用短长度无线电波、来自固定和移动装置、创建个人局域网(PAN)的开放式无线协议)、(基于用于无线个人局域网(WPAN)的IEEE 802.15.4-2003标准的使用小型、低功率数字无线电的一套高级通信协议的规范)等，和/或有线配置，塔架接口204和控制台接口202分别与塔架116和控制台300通信。尽管被描绘为单独的模块，但是控制台接口202和塔架接口204可以是单个组件。

继续参考图2至3，塔架116包括从塔架接口204接收通信和/或数据的通信接口118。通信接口118传输信号，该信号操纵马达122以移动与塔架116相关联的连杆机构112。马达122可以位于机器人臂102和/或连杆机构112中。在实施例中，马达122响应于供应给马达122的电力而机械地操纵机器人臂102、连杆机构112和/或工具108(图1)。机器人臂102、连杆机构112和/或工具108的机械操作可包括响应于来自处理单元206的指令而从马达122施加力以移动机器人臂102和/或联接至机器人臂102的工具108。例如，马达122可以经由线缆(未示出)可操作地联结到关节“J”以操纵机器人臂102。

控制台300包括计算机308，用于从位置传感器或编码器接收编码器信号，将编码器信号发送到控制器200，以及从控制器200接收控制信号，以围绕关节移动构件，例如控制臂304的构件。每个输入手柄302联接到控制臂304。控制臂304包括与计算机308有线或无线通信的第一、第二和第三驱动马达324、326、328。编码器(未示出)分别设置在驱动马达324、326、328中，并被配置成生成编码器信号，所述编码器信号代表与关节(未示出)相关联的控制臂304的构件的姿态。编码器E₁、E₂、E₃将表示控制臂304的构件绕关节(未示出)的姿态的编码器信号传输到计算机308，所述计算机将编码器信号传输到控制器200。响应于编码器信号，控制器200将控制信号传输至塔架116，以如上所述影响机器人臂102和/或工具108的运动。

输入手柄302可以是手柄、踏板或计算机附件(例如键盘、操纵杆、鼠标、按钮、触摸屏、开关、轨迹球等)。显示器306显示从控制器200接收的图像或其它数据，以将数据传达给临床医生。计算机308包括处理单元和存储器(未显示)，所述存储器包括与塔架116的各种部件、算法和/或操作有关的数据、指令和/或信息，并且可以使用任何合适的电子服务、数据库、平台、云等来操作。计算机308可以包括处理单元(未示出)，该处理单元包括适合于根据位于存储器(未示出)中的一组指令来执行计算和/或操作的任何合适的逻辑控制电路，如参照控制器200类似地描述的。

经考虑，可以使用其它手术系统和器械，例如腹腔镜手术系统。尽管所公开的实施例考虑了控制器200在手术机器人100外部的位置，但是可以考虑，控制器200可以位于控制臂304内，或者可替代地，机器人手术系统1的元件可以包括独立于控制器200的执行所描述的编码器测量和计算的电路。

参考图4，根据本公开描述了一种用于缝线张力的视觉指示的方法400。在微创手术期间，当缝线503(图5)在手术期间受力作为将其用于接近组织的过程的一部分时，知道缝线503所受到的力可能是有用的。在框402处，传感器120测量施加到缝线的力，并将测量的力传输到控制器200(图1)。例如，可从器械驱动单元(IDU)中的扭矩传感器120推断的手术器械上的负载或通过在手术器械中直接放置传感器来感测或估计缝线上的力。在实施例中，缝线本身也可以直接使用器械。在另一实施例中，在作为打结的一部分的缝线张紧期间使用工具和缝线的相互几何形状可用于提取关于缝线上的力的信息。缝线在打结过程中张紧。负载的动态结构使得工具在缝线连接到打结点时保持缝线的任一端。这提供了分析模型，通过该分析模型可以详细地计算相互共享的力。

在框403处，成像装置106、114捕获成像数据并将所捕获的成像数据传输到控制器200。在框404处，控制器200确定成像数据是否包括缝线的至少一部分。如果确定成像数据不包含缝线的至少一部分(框404处的“否”)，则控制返回到框403，在框403处，成像装置106、114重新捕获图像并将其重新传输到控制器200。例如，成像装置106、114可位于机器人臂的末端，或位于腹腔镜器械的末端部分。

如果确定成像数据确实包含缝线的至少一部分(框404处的“是”)，则控制传递到框405。在框405处，标识将颜色与相应的力相关联的表。经考虑，该表可以使用梯度、阴影、离散颜色，或可用于示出差异的任何布置。例如，大量的力可与浅色如橙色/黄色相关联，而少量的力可与深色如紫色/蓝色相关联。在各种实施例中，可以使用不需要查找表的公式来将力转换为颜色。由传感器120检测到的施加到缝线的力与颜色相关联。在框405处，控制器200生成图像的增强版本。在框406处，控制器使用所识别的颜色来表示缝线的至少一部分。在框407处，然后图像的增强版本由控制器200传送到显示器306并进行显示。在任选步骤中，在框408处，控制器200确定检测到的力是否在目标范围内。如果确定检测到的力在目标范围内(框408处的“是”)，则控制传递到框405。如果确定检测到的力没有落在目标范围内(框408处的“否”)，则在框409处，控制器200确定该力是否高于目标范围。如果确定力高于目标范围(框409处的“是”)，则在框410处，将覆盖图添加到显示器以指示可能需要减小力。如果确定力低于目标范围(框409处的“否”)，则在框411处，将覆盖图添加到显示器以指示可能需要增加力。例如，该指示对于低于目标范围的力可以是指向上的箭头，或者对于高于目标范围的力是指向下的箭头。这可作为指导，帮助外科医生了解应向缝线施加多少力。在各种实施例中，指示符可以包括变得更大或更小的球体，以指示高于或低于目标范围的力。在各种实施例中，指示符可以包括振荡和改变振荡频率以指示高于或低于目标范围的力的图形。

参考图5，示出了可在框407处(图4)显示的用于基于颜色指示缝线张力的实例屏幕截图。(图1的)控制台300的(图1的)显示器306显示经历手术的患者501的部分的图像，该图像包含缝线503的至少一部分。在实施例中，阴影504至508中的每一个表示与相应力相关联的相应颜色，例如，随着力增加，阴影504至508从绿色到黄色再到红色加深。经考虑，灰度、阴影或其它图案可以与相应的力相关联。

在实施例中，可以使用计算机视觉技术在图像中隔离由缝线503占据的像素，例如识别结构的独特颜色以及考虑连续性关系，例如缝线503是具有已知一致直径的连续结构。可通过将力的适当颜色代入表示缝线的像素的显示中来调整缝线503的显示颜色以反映力。在其它实施例中，可以使用灰度、阴影或图案来代替颜色或作为颜色的补充。

在另一实施例中，增强图像中的缝线503的着色可用作外科医生应在缝线503上施加多少力来实现所需结果的目标指导。例如，当检测到的施加到缝线503的力在目标范围内时，颜色可以显示为蓝色，而当检测到的力过高或过低时，颜色可以显示为其它颜色。如果需要确定力的水平，例如在结收紧期间，可以显示不同类型的可视指示符，例如覆盖在缝线503上的缝线颜色以及箭头509，其指示施加到缝线503的力应当增加、减小还是保持在当前水平。经考虑，这些显示技术可以具有目标带，使得只要缝合力在该带内，箭头和/或颜色就不容易改变。这种目标带可以防止显示器以分散注意力的速率改变。

如上所述，控制台300与手术机器人100可操作地通信以对患者执行外科手术；然而，设想控制台300可以与手术模拟器(未展示)可操作地通信以在模拟环境中虚拟地致动手术机器人和/或工具。例如，机器人手术系统1可以具有第一模式和第二模式，在所述第一模式中，控制台300被联接以致动手术机器人100，在所述第二模式中，显示器306被联接到手术模拟器以虚拟地致动机器人手术系统。手术模拟器可以是独立单元或被集成到控制器200中。通过控制台300向临床医生提供视觉、听觉、力和/或触觉反馈，手术模拟器虚拟地响应临床医生与控制台300的接口连接。例如，当临床医生与输入手柄302进行接口连接时，手术模拟器移动虚拟地作用于组织的代表性工具。可以设想，手术模拟器可以允许临床医生在对患者执行外科手术之前实践外科手术。另外，手术模拟器可以用于训练临床医生进行外科手术。进一步地，手术模拟器可以在提出的外科手术过程中模拟“并发症”以准许临床医生对外科手术进行规划。

另外，尽管本申请通常将控制臂的构件指为接收和传播输入手柄通过传动部件接收的力，但是所指的控制臂的构件仅是出于说明的目的，并不意在限制本公开。因此，控制臂的构件通常应被理解为控制臂304的部件，其可以接收临床医生在其上施加的力。同样地，所指出的传动组件仅出于示例性目的而标识，并且不旨在限制本公开。因此，传动部件通常应理解为将由输入部件的构件所接收的力传播到第一、第二和/或第三驱动马达324、326、328的部件。

尽管在附图中展示了本公开的若干实施例，但并不旨在将本公开限制于此，而是旨在使本公开的范围与所属领域所允许的一样宽，并且本说明书同样被阅读。以上实施例的任何组合也被设想并且在所附权利要求书的范围内。因此，以上描述不应被解释为限制性的，而仅仅是特定实施例的示范。本领域技术人员将在所附权利要求的范围内设想其它修改。