阅读说明：本技术 使外科手术干预自动化的方法和系统 (Method and system for automating surgical intervention ) 是由 A.马哈迪克 J.文卡塔拉曼 R.帕拉马斯文 B.亨特 A.吉拉 K.克里什纳 H.劳 于 2018-03-21 设计创作，主要内容包括：一种用于提供外科手术部位的改进视频图像的外科手术系统，其包括：系统控制器，该系统控制器接收并处理视频图像以确定与干扰视频图像的质量的状况对应的视频签名，其中系统控制器与视频增强器交互以增强来自视频捕获设备的视频图像，以自动控制视频增强器来增强视频图像。外科手术系统还可以回顾用于触发事件的视频图像，并在触发事件发生时自动开始或停止视频图像的记录。(A surgical system for providing an improved video image of a surgical site, comprising: a system controller that receives and processes the video image to determine a video signature corresponding to a condition that interferes with the quality of the video image, wherein the system controller interacts with the video enhancer to enhance the video image from the video capture device to automatically control the video enhancer to enhance the video image. The surgical system may also review the video images for the triggering event and automatically start or stop recording of the video images upon the occurrence of the triggering event.)

使外科手术干预自动化的方法和系统

相关申请的交叉引用

本申请要求2017年3月21日提交的美国临时申请序列号62/474331的优先权，其通过引用以其整体特此并入。

技术领域

本公开总体上涉及医学成像领域，并且更特别地涉及提供用于外科手术过程中的外科手术部位的改进图像。

背景技术

在典型的内窥镜检查过程（包括腹腔镜检查外科手术过程）中，会产生烟雾，这能够干扰正被观察的外科手术部位的图像。期望在烟雾产生期间更好的图像。还期望一种将医学或外科手术设备布置在医学护理区域中的快速、简单和可靠的方法。

发明内容

根据各种方面，本发明针对用于提供外科手术部位的改进视频图像的系统和方法。该系统包括：工具，用于操纵外科手术部位处的组织；光源，用于向外科手术部位提供光；视频捕获设备，用于获得外科手术部位处的视频图像；图像显示器，用于显示视频图像；以及系统控制器，配置成维持由视频捕获设备获得并提供给图像显示器的视频图像的质量。系统控制器接收并处理视频图像以确定与干扰视频图像的质量的状况对应的视频签名。系统控制器与视频增强器交互以增强来自视频捕获设备的视频图像，以在检测到干扰视频图像的质量的状况时自动控制视频增强器以增强从视频捕获设备传递到图像显示器的视频图像，使得用户免于不得不控制视频增强器来获得用于在图像显示器上观察的外科手术部位的改进视频图像。

本发明的另一方面是要提供一种用于提供外科手术部位的改进视频图像的系统。系统包括：工具，用于操纵外科手术部位处的组织；抽吸系统，用于在外科手术部位处提供抽吸；光源，用于向外科手术部位提供光；视频捕获设备，用于获得外科手术部位处的视频图像；图像显示器，用于显示视频图像；以及系统控制器，配置成维持由视频捕获设备获得并提供给图像显示器的视频图像的质量。系统控制器接收并处理视频图像以确定与干扰视频图像的质量的状况对应的视频签名。系统控制器与视频增强器、工具和可调整抽吸系统交互，并控制视频捕获设备、视频增强器、工具和抽吸系统中的至少一个，以解决外科手术部位处的状况来将视频图像恢复到用于观察的改进质量，使得用户免于不得不手动控制视频捕获设备、视频增强器、工具和抽吸系统中的任何来获得用于在图像显示器上观察的外科手术部位的改进视频图像。

本发明的又一方面是要提供一种用于控制外科手术系统以提供外科手术部位的改进图像的方法，该方法包括：操纵外科手术部位处的组织；照射外科手术部位；获得外科手术部位处的视频图像；分析视频图像以确定干扰视频图像的质量的状况的存在；将系统控制器配置成与视频增强器交互；响应于状况的存在以及在没有来自操作者的控制的情况下，利用系统控制器控制视频增强器以生成具有改进图像质量的视频图像；以及显示具有改进图像质量的视频图像。

本发明的另一方面是要提供一种用于观察外科手术部位的视频图像的成像系统。系统包括：光源，用于向外科手术部位提供光；视频捕获设备，用于获得外科手术部位处的视频图像；视频记录器，其接收视频图像；以及系统控制器，其接收并处理视频图像以确定触发事件。系统控制器与视频记录器交互，以在确定触发事件时进行自动记录视频图像和自动停止视频图像的记录中的至少一项。

本发明的又一方面是要提供一种用于控制提供外科手术部位的图像的外科手术系统的方法，该方法包括：照射外科手术部位；获得外科手术部位处的视频图像；分析视频图像以确定触发事件的存在；将系统控制器配置成与视频记录器交互；以及响应于感测到触发事件，利用系统控制器自动控制视频记录器，使得记录视频图像。

本发明的另一方面是要提供一种用于提供外科手术部位的改进视频图像的系统。系统包括：工具，用于操纵外科手术部位处的组织；抽吸系统，用于在外科手术部位处提供抽吸；光源，用于向外科手术部位提供光；视频捕获设备，用于获得外科手术部位处的视频图像；图像显示器，用于显示视频图像；以及系统控制器，配置成维持或改进由视频捕获设备获得并提供给图像显示器的视频图像的质量。系统控制器接收并处理视频图像以确定与干扰视频图像的质量的状况对应的视频签名。系统控制器与视频增强器、工具和抽吸系统交互，并控制视频捕获设备、视频增强器、工具和抽吸系统中的至少一个，以解决外科手术部位处的状况来使视频图像达到用于观察的改进质量，使得用户免于不得不手动控制视频捕获设备、视频增强器、工具和可调整抽吸系统中的任何来获得用于在图像显示器上观察的外科手术部位的改进视频图像。要识别的视频签名与视频图像中的烟雾的状况对应，并且系统控制器响应于（1）由系统控制器确定的烟雾特性以及（2）提供给系统控制器的至少一个其它外科手术输入来操作视频捕获设备、视频增强器、烧灼工具、吹入器和可调整抽吸系统中的至少一个。

附图说明

本公开的一个或多个实施例作为示例图示，而不应被解释为限制于附图中描绘的特定实施例，在所述附图中，相似的参考标号指示相似的元件。

图1图示了根据实施例的外科手术系统的示意图。

图2图示了根据实施例的使用外科手术系统10的方法。

图3图示了根据实施例的处理图像的方法。

图4是示例性外科手术部位的图像。

图5图示了根据实施例的工作流过程。

图6是根据实施例的特征追踪器的第一图像。

图7是根据实施例的特征追踪器的第二图像。

图8是根据实施例使用的可能的示例性特征的列表。

图9图示了在各种实施例中使用本文中描述的过程确定的3D空间的样本。

图10图示了用于分类训练实施例的步骤。

图11图示了用于分类测试实施例的步骤。

图12图示了根据实施例的用于取决于除了单独净化视频图像之外的因素来增强视频图像的域逻辑流程图。

图13图示了根据实施例的用于自动记录视频图像的方法。

为了方便起见，在下面的描述中将仅用于参考而不是限制来使用某些术语。所述术语将包括具体提到的词、其派生词以及类似意义的词。

具体实施方式

现在将对本发明的各种方面和变型的实施方式和实施例进行详细参考，其示例在附图中图示。尽管描述了系统、方法、使用和配套元件的至少两个变型，但是系统、方法、使用和配套元件的其它变型可以包括以任何合适的方式组合的本文中描述的具有所有或某些描述的方面的组合的系统、方法、使用和配套元件的方面。

图1图示了用于执行外科手术过程的外科手术系统10的实施例。外科手术系统10可以包括在工具控制器14的控制下的用于操纵外科手术部位16处的组织的工具12、用于向外科手术部位16提供流体的流体输入系统18、用于在外科手术部位16处提供抽吸以用于控制流体从外科手术部位16的去除的抽吸系统20（例如，可调整的）、在光源控制器24的控制下的用于向外科手术部位16提供光的光源22、用于获得外科手术部位16处的视频图像的视频信号的视频捕获设备26、用于控制视频捕获设备26的相机控制单元28以及用于显示视频图像的图像显示器32。在所图示的示例中，工具控制器14可以被单独地操作以控制工具12，流体输入系统18可以被单独地操作以向外科手术部位16提供流体，抽吸系统20可以被单独地操作以从外科手术部位16抽吸流体，光源控制器24可以被单独地操作以调整光源22和/或相机控制单元28可以被单独地操作以控制视频捕获设备26。而且，如图1中所示，系统控制器30与工具控制器14通信以控制工具12，与流体输入系统18通信以向外科手术部位16提供流体，与抽吸系统20通信以从外科手术部位16抽吸流体，与光源控制器24通信以调整光源22，以及与相机控制单元28通信以控制视频捕获设备26。流体输入系统18可以通过其自身的设备或通过另一设备31（例如，内窥镜）向外科手术部位16提供流体，所述另一设备31也具有连接到其的视频捕获设备26并且从光源22接收光。

在所图示的示例中，外科手术系统10可以在若干不同的外科手术过程中被采用。例如，外科手术系统10可以在内窥镜检查过程（包括腹腔镜检查过程）期间使用，其中工具12可以是烧灼工具，流体输入系统18可以是用于向外科手术部位16提供气体的吹入器，以及抽吸系统20可以从外科手术部位16抽吸气体和潜在的烟雾。可替代地，外科手术系统10可以例如在关节镜检查过程期间使用，其中工具12可以是切割工具，流体输入系统18可以是用于向外科手术部位16提供流体（例如，含盐溶液）的液体泵，并且抽吸系统20可以从外科手术部位16抽吸流体（例如，含盐溶液以及，潜在地，血液）。设想的是，该过程（例如，内窥镜检查过程）可以采取使用用于机器人外科手术的一个或多个机器人设备。

所图示的外科手术系统10还可以将由视频捕获设备26捕获的视频图像提供给要由手术室中的人观察的图像显示器32。图像显示器32可以是单个显示器或多个显示器。此外，图像显示器32可以被并入到与系统控制器30的壳体相同的壳体中，或者系统控制器30的壳体除了图像显示器32之外还可以包括用于视频图像的另一显示器。外科手术系统10还可以包括作为独立设备的视频记录器36，其被并入到系统控制器30的壳体中，或从远程位置与外科手术系统10通信。集成系统控制器30和视频记录器36的示例是如由密歇根州卡拉马祖市的Stryker公司销售的SDC3 HD信息管理系统（具有设备控制）。视频图像还可以在视频增强器38中被处理，以在视频图像被传输到图像显示器32、系统控制器30和视频记录器36的任何显示器之前净化视频图像。视频增强器38和系统控制器30可以被配置成维持由视频捕获设备26获得并提供给图像显示器32、系统控制器30和视频记录器36的任何显示器的视频图像的质量。视频增强器38的示例是如由密歇根州卡拉马祖市的Stryker公司销售的清晰度视频增强器。视频增强器38可用于通过更改视频的亮度、颜色、对比度或其它特征来调整发送到其的视频，以能够较好地观察视频图像的相关部分。例如，视频增强器38可用于更改亮度、对比度或颜色，以能够相对于外科手术部位16的其它区域识别外科手术部位16的某些区域（例如，使烟雾与相邻区域之间的对比更明显）。

图2图示了根据实施例的使用如本文中所公开的外科手术系统10的一般方法40。作为初始步骤，在步骤42使用视频捕获设备26捕获视频图像。此后，在步骤44，分析视频图像以确定触发状况是否发生。如果在步骤44确定触发状况已经发生，则外科手术系统10在步骤46采取进一步的动作。

图3图示了一般方法40的实施例，其中图3的方法包括用于控制外科手术系统10以提供外科手术部位16的改进图像的方法50。在图3的方法中，第一步骤包括在步骤52使用视频捕获设备26捕获视频图像。在步骤54中，视频图像被处理以确定是否存在与干扰视频图像的质量的状况对应的视频签名。如果存在与干扰视频图像的质量的状况对应的视频签名，则系统控制器30可以在步骤56与视频增强器38交互以自动控制视频增强器38以增强从视频捕获设备26传递的视频图像。由于系统控制器30可以在步骤56自动控制视频增强器38以增强从视频捕获设备26传递的视频图像，因此使用方法50的外科手术系统10的用户可以免于不得不手动控制视频增强器38以获得外科手术部位16的改进视频图像。改进视频图像可以显示在图像显示器32、系统控制器30的任何显示器上和/或可以保存在视频记录器36中。

在所图示的示例中，除了控制视频增强器38之外，或者代替控制视频增强器38，系统控制器30可以控制工具12、流体输入系统18和/或抽吸系统20以在步骤56使图像干净。例如，如果在腹腔镜检查过程期间使用外科手术系统10，则可以将烧灼工具12调整至较低功率以产生较少烟雾，可以增加吹入器18以向外科外科手术部位16添加较多气体和/或可以增加来自抽吸系统20的抽吸速率以从外科手术部位16抽吸气体以及，潜在地，烟雾。可替代地，如果在关节镜检查过程期间使用外科手术系统10，则可以将切割工具12调整至较低功率以产生较少血液和/或碎屑，可以增加液体泵18以向外科手术部位16添加较多的外科手术流体和/或可以增加来自抽吸系统20的抽吸速率以从外科手术部位16抽吸外科手术流体和血液。

实施例的一方面是要提供图3的方法50，其确定了何时系统控制器30应响应于烟雾而控制外科手术系统10的元件和/或处理视频图像。烟雾的自动检测和外科手术装备（例如，工具12、流体输入系统18等）的后续自动化可以在减少或消除外科手术系统10的元件的手动控制和/或使图像干净的过程的手动激活中扮演显著角色，由此减少外科手术过程时间并且使执行外科手术过程较简单（并潜在地减少外科手术风险和错误）。

在所图示的示例中，方法50的步骤54包括处理图像以确定外科手术部位16处的烟雾的存在和质量。作为示例，在腹腔镜检查胆囊切除术、电灼术、激光组织切除和超声（谐波）外科手术刀组织解剖期间，可以容易地看到和闻到气态副产物（如上文讨论的烟雾）。生成的烟雾颗粒的平均空气动力学尺寸取决于用于产生烟雾的能量方法而变化很大。图4图示了在外科手术部位16处被使用（在存在任何烟雾之前的时间点）来产生烟雾的工具12的示例。

可以通过对视频图像的分析来执行识别烟雾的步骤54。在第一示例中，可以在实际外科手术过程期间使用数字装置来分析视频图像（例如，分析可以每秒发生预定次数）以记录烟雾状态或无烟雾状态的可能性。如果第一示例的步骤54识别到存在烟雾的可能性，则该方法可以包括进一步的步骤，该步骤基于记录的状态（烟雾或无烟雾）可能性来确定烟雾的密度和扩散。在第二示例中，可以分析视频图像以确定是否存在烟雾连同烟雾的特征（例如，烟雾的出现或消失、烟雾强度的改变、烟雾扩散的改变等）以及视频的其它元素（例如，血液和其它流体的出现或消失等）。设想的是可以基于诸如过程类型、相机设置和外科医生偏好之类的输入来确定烟雾的特性。前面的列表是说明性的而不是穷尽的。

图5图示了训练方法60的实施例，该训练方法60用于开发确定在步骤54的外科手术部位16处的烟雾的存在和质量的过程。方法60可以包括通过数字装置识别烟雾。识别烟雾的方法60可以包括将外科手术部位16处的视频图像分为小块（例如，连续帧的视频的特定时间量（例如，一秒）的帧的块或连续帧的视频的特定数量的帧（例如60帧））的第一步骤62。方法60可以包括附加步骤64，该附加步骤64是要识别像素的集合，所述像素在回顾下的块的第一帧中的凸包可以覆盖尽可能多的帧空间。例如，图6示出了贯穿回顾下的块的第一帧定位的由十字标记的可能的像素的集合。

在所图示的示例中，后续步骤66是要随着像素的集合从第一帧一直演变到回顾下的帧的块的末端而追踪像素的集合（参见图7，其中调整的对比度较好地图示了追踪的像素67的移动的方向和幅值）。可以采用算法来追踪像素的集合。例如，可以采用Kanade LucasTomasi（KLT）算法来用于追踪像素的集合。在一些实施例中，追踪可以产生追踪的像素的集合中的每个像素的移动向量。给定跨整个块的追踪的像素的光流向量，后续步骤68（参见图8）是要生成像素的特征，包括这些像素的时间和/或空间演变的时域和/或频域统计。像素的特征可以包括时域值、频域值和/或统计值。时域值的示例包括（1）在所有像素上平均的跨整个块的一个像素的平均空间位移，（2）在所有像素上平均的跨整个块的一个像素的空间位移的方差，（3）在所有像素上平均的跨整个块的一个像素的像素位移的熵，（4）在所有像素上平均的跨整个块的一个像素的平均角位移，（5）在所有像素上平均的跨整个块的一个像素的角位移的方差，（6）在所有像素上平均的跨整个块的一个像素的角位移的熵，（7）跨块中的所有帧平均的在给定帧中的所有追踪的像素的平均空间位移，（8）跨块中的所有帧平均的在给定帧中的所有追踪的像素的空间位移的方差，（9）跨块中的所有帧平均的在给定帧中的所有追踪的像素的空间位移的熵，（10）跨块中的所有帧平均的在给定帧中的所有追踪的像素的平均角位移，（11）跨块中的所有帧平均的在给定帧中的所有追踪的像素的角位移的方差，（12）跨块中的所有帧平均的在给定帧中的所有追踪的像素的角位移的熵，（13）在所有像素上平均的跨整个块的一个像素的连续空间位移之间的相关性，（14）在所有像素上平均的跨整个块的一个像素的连续角位移之间的相关性，（15）跨块中的所有帧平均的在给定帧中的邻近像素的空间位移之间的相关性和/或（16）跨块中的所有帧平均的在给定帧中的邻近像素的角位移之间的相关性。频域值的示例包括（1）给定跨整个块的一个像素的空间位移的序列的快速傅立叶变换（FFT），奈奎斯特频率的20％-40％、40％-60％、60％-80％或80％-100％频带中的能量相对于跨所有像素平均的0％-20％带中的能量的比率（例如，包括至多4个特征，其中从每个比率由一个特征），（2）给定跨整个块的一个像素的角位移的序列的FFT，奈奎斯特频率的20％-40％、40％-60％、60％-80％或80％-100％频带中的能量相对于跨所有像素平均的0％-20％带中的能量的比率（例如，包括至多4个特征），（3）给定一个帧中的所有追踪的像素的空间位移的集合的FFT，奈奎斯特频率的20％-40％、40％-60％、60％-80％、80％-100％频带中的能量相对于跨块中的所有帧平均的0％-20％带内的能量的比率（例如，包括至多4个特征），以及（4）给定一个帧中的所有追踪的像素的角位移的集合的FFT，奈奎斯特频率的20％-40％、40％-60％、60％-80％、80％-100％频带中的能量相对于跨块中的所有帧平均的0％-20％带中的能量的比率（例如，包括至多4个特征）。统计值的示例包括（1）展现显著运动的追踪的像素的百分比，（2）不能针对视频的整个块进行追踪的追踪的像素的百分比，（3）跨视频的块由追踪的粒子覆盖的帧的百分比和/或（4）跨视频的块的覆盖百分比的改变的速率。图9图示了样本3D特征空间。该特征可以在系统构建期间基于样本训练数据初始地手动选择。

在所图示的示例中，对于视频的每个块，后续步骤70包括产生作为代表在步骤68中生成的特征的值的N个数字的向量的特征生成块的输出。后续步骤72是要（例如，在系统的训练期间手动地）标记块中的哪些对应于存在的外科手术烟流（烟雾），以及哪些不对应于存在的外科手术烟流（烟雾），其中在聚合器中聚合这样的数据。然后，可以在步骤74将来自视频的M个块（数据的MxN矩阵）的特征向量的集合与标记的Mxl向量一起呈现给训练器用于训练。例如，训练器可以是基于内核的支持向量机（SVM）、高斯混合模型或神经网络。图10图示了分类训练的步骤。一旦训练完成，然后可以将分类器模型应用于测试视频的集合以用于分类测试来在步骤76根据真阳性、假阳性、真阴性和假阴性确定预测引擎的准确性。图11图示了根据实施例的用于分类测试的步骤。

返回图3，在用于控制外科手术系统10以提供外科手术部位16的改进图像的方法50的步骤54中确定烟雾的存在之后，如果检测到烟雾，则系统控制器30可以自动控制视频增强器38以增强从视频捕获设备26传递的视频图像和/或可以自动地控制其它外科手术设备（例如，经由工具控制器14的工具12、抽吸系统20等）以在步骤56改进外科手术部位16处的状况。设想的是步骤56可以自动地包括彼此独立地或彼此组合地控制视频增强器38和/或其它外科手术设备。例如，抽吸系统20可以与控制视频增强器38串联地控制，其中来自抽吸系统20的抽吸量被由视频增强器38进行的增强量限制。而且，设想的是步骤56可以自动地包括鉴于烟雾的特性（例如，密度、扩散速率等）控制视频增强器38和/或其它外科手术设备。

在所图示的示例中，可以采用域逻辑来选择响应的类型以在步骤56净化图像。例如，系统控制器30可以在确定烟雾和视频的特性（例如，雾度、灰度平均值、强度、烟雾的扩散的程度等）、确定连接到其的外科手术设备的列表（在连接时自动确定和/或手动输入）、确定过程类型（例如，从与系统控制器30通信的时间表数据库中自动拉出或手动输入）和/或确定孔道或自然开口的尺寸（例如，如果在设备31的***部分被***到孔道或自然开口中的同时开启了相机单元26，则通过分析来自相机单元26的图像来确定）之后确定在步骤56进行的方式。上面的列表是说明性的而不是穷尽的。

设想的是用于控制外科手术系统10以提供外科手术部位16的改进图像的方法50可以包括学***。上面的列表是说明性的而不是穷尽的。在手动调整之后，可以将域逻辑步骤调整为与手动发明对应，使得下次执行方法50时，视频增强器38和/或其它外科手术设备自动调整到如上面概述的手动调整之后的点，使得视频增强器38和/或其它外科手术设备不必再一次被手动调整。设想的是可以针对特别的外科医生、特别的过程和/或针对视频增强器38和/或其它外科手术设备的所有使用节省域逻辑步骤。进一步设想的是可以采用仿真来教导和调整如上面概述的域逻辑步骤。

如上面概述的，烟雾检测和图像增强过程可允许在组织切除期间自动检测外科手术烟雾，以自动触发外科手术连续镜头（footage）的数字增强和/或以触发机械烟雾通风/减少以使得外科医生能够较好地看到外科手术部位16的图像。如本文中所讨论的方面的目标是检测外科手术视频中的此类烟雾的存在、烟雾的强度以及烟雾的扩散的程度，以便能够自动开启/关闭（例如，在视频增强器38中的）用于除雾的图像处理算法，以及开启/关闭或减少与烟雾相关联的外科手术设备的功率（例如，通风）。随着时间，系统能够学习（例如，每个单独的外科医生的）优选的烟雾通风和除雾程度，并且每次自动倾向最佳设置。

如上面概述的，一些实施例的方面涉及在微创外科手术期间的集中式和自动化控制机制。在上面概述了烟雾监测和预防系统的同时，一些实施例的另一方面是要与外科手术过程的其它方面一起使用相同的处理，所述外科手术过程可以在微创外科手术期间使用集中式和自动化控制机制以改进外科手术。取决于过程的类型，可以将不同种类和数量的仪器（例如，上面概述的外科手术装备）连接到系统控制器30。每个过程可具有一个或多个触发事件（例如，烟雾的存在），其可以保证在不同的设置下激活仪器中的至少一个，以便为外科医生呈现外科医生观察起来最舒适的外科手术视频的最佳可能质量。

因此，如在图3中概述的方法中，在微创外科手术期间使用集中式和自动控制机制来改进外科手术。触发检测步骤可以对从相机（例如，内窥镜检查相机）获得的数字图像序列进行操作。图像序列可以在硬件中（例如，在现场可编程门阵列上）或者在软件中（例如，在处理器上）使用图像/视频处理以及计算机视觉算法处理以识别触发事件。基于触发事件的识别的判定，域逻辑将相关仪器配置成适用于场景的最佳已知设置。而且，学***在各种场景（例如，烟雾的存在或不存在）之间进行区分。基于特征向量的输入，算法不仅可以确定是否存在烟雾，还可以提供指示确定性水平的置信度度量。可以进一步增强算法，以量化目视空间内的外科手术烟雾的强度和/或空间扩散。一旦确定烟雾的存在，系统控制器30就可以控制设备以对烟雾进行通风，调整引起烟雾的仪器和/或处理视频图像以向外科医生呈现最佳的可能的外科手术连续镜头，同时减轻烟雾的影响。

尽管上面概述了烟雾的示例，但是可以使用如上面在图3中概述的处理来检测外科手术期间发生的许多其它特征和事件，并且可以采取进一步的措施来增强外科手术。例如，在窦道（sinus）外科手术期间，外科医生可尝试刮掉鼻息肉，并且可能遇到弄脏内窥镜的尖端的过多血液，由此妨碍相机。典型地，外科医生使用盐水手动冲洗鼻子以清理观测设备尖端并再次观察外科手术连续镜头。自动血液检测算法可以触发自动冲洗或其它尖端清洁设备以消除由外科医生的手动干预的需要。要注射的盐水的量和/或尖端清洁的量可以随时间由算法学习以适合不同的外科医生偏好。

在实施例的一方面中，除了通过消除重复和手动干预来使外科医生的生活更容易之外，系统还可以改进患者护理的质量并减少外科手术的持续时间，因此为参与外科手术的每个人节省成本和时间。此外，在外科手术烟雾的情况下，系统还可以降低外科手术人员的暴露于有害化合物的风险，所述有害化合物如同在组织解剖的气态副产物中存在的那些。

在如上面概述的方法50中，主要目标之一是在步骤56中净化图像。然而，设想的是可以调整步骤56，使得取决于除了单独地净化图像之外的因素来激活和控制视频增强器38和/或其它外科手术设备。例如，在控制视频增强器38和/或其它外科手术设备的步骤56期间，可以考虑使过程完成时间、患者和手术室工作人员的健康问题最小化以及外科手术设备的最佳使用。作为特定示例，系统控制器30可从输入或从外科手术时间表数据库知道的是，外科手术过程将花费5小时，并且用于抽吸系统20的过滤器在最大抽吸下使用时仅具有4小时寿命。在特定示例中，可以将抽吸系统20减小为不在最大抽吸下运行以延长过滤器的寿命，使得步骤56取决于除了单独地净化图像之外的因素来更改。可替代地，如果系统控制器30知道过程将花费5个小时，并且抽吸系统20的过滤器在最大抽吸下使用时仅具有4小时寿命，则系统控制器30可以将工具12的功率水平调整为产生较少的烟雾，使得抽吸系统20将不必过度使用其过滤器，但因为减少了烟雾的量，所以在步骤56仍然产生净化的图像。图12图示了域逻辑流程图，该域逻辑流程图用于在视频增强器38和/或其它外科手术设备取决于除了单独地净化图像之外的因素被激活和控制时执行步骤56。

图13图示了一般方法40的另一实施例，其中图13的方法包括用于自动记录来自视频捕获设备26的视频图像的方法80。在图13的方法中，第一步骤包括在步骤82使用视频捕获设备26捕获视频图像。在步骤84中，视频图像被处理以确定是否已经发生了触发事件。如果触发事件已经发生，则在步骤86系统控制器30自动控制视频记录器36以记录来自视频捕获设备26的视频图像或停止记录来自视频捕获设备26的视频图像。设想的是触发事件可以是其中期望记录外科手术过程的场合开始时的任何事件，或者其中期望暂停或停止记录外科手术过程的任何事件。例如，视频捕获设备26可以连接到内窥镜31。在腹腔镜检查胆囊切除术外科手术过程期间，内窥镜31可以经由套针（trocar）（未示出）进入体内到外科手术部位16，其中视频捕获设备26在***到外科手术部位16之前和期间经历某些已知的活动，诸如相机白平衡、使内窥镜31穿过套针、第一次暴露于外科手术部位16以及观察血液。在步骤84期间，以上示例中的每个可以被确定并设置为触发事件，使得当事件发生时，视频记录器36在步骤86自动记录来自视频捕获设备26的视频图像。视频图像将在步骤82继续被捕获，从而寻找下一个触发事件。如果发生下一个触发事件（例如，延长的暂停活动），则视频记录器36在步骤86自动停止记录来自视频捕获设备26的视频图像。设想的是可以使用手动干预来开始记录，并且可以使用方法80自动停止记录，并且在使用方法80自动记录之后可以使用手动干预来停止记录。方法80可用于在外科手术过程期间自动开始记录或停止记录多次。设想的是方法80可以与方法40和方法50组合使用（例如，步骤54和步骤84可以是相同的事件）。

用于在外科手术部位中的成像组织中的示例成像剂

在各种实施例中，本文中描述的系统和方法可以用于包括各种光学模态的医学成像中，所述医学成像诸如例如白光成像、荧光成像（例如，使用内源和外源荧光团）或其组合。在包括荧光医学成像应用的实施例中，与本文中描述的方法、系统、使用和配套元件组合使用的成像剂是荧光成像剂，诸如例如吲哚花青绿（ICG）染料。当将ICG供给对象时，其与血液蛋白结合并随着血液在组织中循环。可以将荧光成像剂（例如，ICG）以适用于成像的浓度作为丸剂（bolus）注射剂供给对象（例如，到静脉或动脉中），使得丸剂在脉管系统中循环并穿过微脉管系统。在其中使用多个荧光成像剂的其它实施例中，可以将这种剂，例如以单个丸剂或顺序地以分离的丸剂同时供给。在一些实施例中，可以由导管供给荧光成像剂。在某些实施例中，可以比执行对由荧光成像剂引起的信号强度的测量提前来供给荧光成像剂少于一小时。例如，可以比测量提前少于30分钟将荧光成像剂供给对象。在其它实施例中，可以比执行测量提前至少30秒供给荧光成像剂。在其它实施例中，可以与执行测量同时地供给荧光成像剂。

在一些实施例中，可以以各种浓度供给荧光成像剂以实现血液中或其它身体组织中或荧光剂被供给到其中的流体的期望的循环浓度。例如，在荧光成像剂是ICG的实施例中，其可以以约2.5mg/mL的浓度供给，以实现血液中约5μM至约10μM的循环浓度。在各种实施例中，用于供给荧光成像剂的浓度上限是在其处荧光成像剂在循环血液或其它身体组织或流体中变得临床有毒的浓度，以及浓度下限是用于获取信号强度数据以检测荧光成像剂的仪器极限，所述信号强度数据由随着血液循环或在其它身体组织或流体中的荧光成像剂引起。在各种其它实施例中，用于供给荧光成像剂的浓度上限是在其处荧光成像剂变得自猝的浓度。例如，ICG的循环浓度可以在从约2μM至约10mM的范围内。因此，在一方面中，本文中描述的方法可以包括以下步骤：在处理信号强度数据之前，将成像剂（例如，荧光成像剂）供给对象并获取信号强度数据（例如，视频）。在另一方面中，该方法可以排除将成像剂供给对象的任何步骤。

在实施例中，单独或与其它成像组合用于荧光成像应用中以生成荧光图像数据的适合的荧光成像剂是可以随着血液循环（例如，可以随着例如血液的成分（诸如血液中的脂蛋白或血清血浆）循环的荧光染料）以及通过组织的脉管系统（即，大血管和微脉管系统）的成像剂，并且当所述成像剂暴露于适当的光能下（例如，激发光能或吸收光能）时，由其引起信号强度。在一些变型中，荧光成像剂包括荧光染料、其类似物、其衍生物或这些的组合。荧光染料包括任何无毒的荧光染料。在某些实施例中，荧光染料在近红外光谱中发射荧光。在某些实施例中，荧光染料是或包括三碳菁染料。在某些实施例中，荧光染料是或包括吲哚花青绿（ICG）、亚甲基蓝或其组合。在其它实施例中，荧光染料是或包括异硫氰酸荧光素、若丹明、藻红蛋白、藻蓝蛋白、别藻蓝蛋白、邻苯二甲醛、荧光胺、孟加拉红、锥虫蓝、氟金或其组合，其可使用适合于每种染料的激发光波长来激发。在一些实施例中，可以使用荧光染料的类似物或衍生物。例如，荧光染料类似物或衍生物包括已经化学修改的、但是当暴露于适当波长的光能时仍保留其发荧光的能力的荧光染料。

在实施例中，荧光成像剂可以被提供为冻干粉、固体或液体。在某些实施例中，可以在小瓶（例如，无菌小瓶）中提供荧光成像剂，其可以准许通过利用无菌注射器供给无菌流体来重构为合适的浓度，以用于作为与本文中描述的系统和方法一起使用的配套元件。可以使用任何适当的载体或稀释剂执行重构。例如，可以在供给前紧接地利用水性稀释剂重构荧光成像剂。在各种实施例中，可以使用将荧光成像剂维持在溶液中的任何稀释剂或载体。作为示例，ICG可以利用水重构。在一些实施例中，一旦荧光成像剂被重构，可将其与附加稀释剂和载体混合。在一些实施例中，荧光成像剂可以与另一分子（诸如蛋白质、肽、氨基酸、合成聚合物或糖）缀合，例如以增强溶解性、稳定性、成像属性或其组合。附加缓冲剂可以可选地被添加，所述附加缓冲剂包括Tris、HCl、NaOH、磷酸盐缓冲溶液和/或HEPES。

本领域技术人员将领会的是，尽管以上详细描述了荧光成像剂，但是取决于光学成像模态，可结合本文中描述的系统、方法和技术使用其它成像剂。

在一些变型中，与本文中描述的方法、系统、使用和配套元件组合使用的荧光成像剂可用于血流成像、组织灌注成像、淋巴成像或其组合，或者用于成像组织或身体结构（解剖学）（例如，包括输尿管成像的***成像），其可以在侵入性外科手术过程、微创外科手术过程或与侵入性和微创过程组合的非侵入性外科手术过程期间执行。淋巴成像的示例包括一个或多个***的识别、***引流、淋巴绘图（mapping）或其组合。在一些变型中，这种淋巴成像可与女性生殖系统（例如，子宫、子宫颈、外阴）有关。

在与任何脉管应用有关的一些变型中，可以静脉地注射（一个或多个）成像剂（例如，单独是ICG或与另一成像剂组合）。例如，可以通过中心静脉线、旁路泵和/或心脏停搏线和/或其它脉管系统静脉地注射成像剂，以使冠状脉管系统、微脉管系统和/或移植物或其它血管流动和/或灌注。可以将ICG作为稀释的ICG/血液/含盐溶液沿移植血管或其它脉管系统向下供给，使得取决于应用的在冠状动脉或其它脉管系统中的ICG的最终浓度近似地相同于或低于会由注射约2.5mg（即，1ml的2.5mg/ml）到中心线或旁路泵中所引起的浓度。可以通过将例如25mg的固体溶解在10ml无菌水性溶剂（其可由制造商与ICG一起提供）中来制备ICG。可以将一毫升的ICG溶液与500 ml的无菌盐水混合（例如，通过将1ml的ICG注射到500ml盐水袋中）。可以将三十毫升稀释的ICG/含盐溶液添加到10ml的对象的血液，这可以以无菌方式从中央动脉线或旁路泵获得。血液中的ICG与血浆蛋白结合，并且有助于防止血管的泄漏。ICG与血液的混合可以使用无菌外科手术领域内的标准无菌技术执行。对于每个移植物，可以供给十ml的ICG/盐水/血液混合物。可以通过附接到移植物的（开放）近端的注射器来供给ICG，而不是通过使用针头通过移植物的壁进行注射来供给ICG。当收获移植物时，外科医生例行地将适配器附接到移植物的近端，使得它们可以附接填充了盐水的注射器、密封移植物的远端并沿移植物向下注射盐水，从而对移植物加压并且因此评估在执行第一次吻合之前的导管（相对于泄漏、侧分支等）的完整性。在其它变型中，如本文中描述的与心脏成像结合的方法、剂量或其组合可用于任何脉管和/或组织灌注成像应用中。

淋巴绘图是对于通过淋巴系统扩散的癌症（例如，乳腺癌、胃癌、妇科癌）而言有效的外科手术分期（staging）的重要部分。从特定结盆切去多个结可导致严重的并发症，包括急性或慢性淋巴水肿、感觉异常和/或浆液形成，而实际上，如果前哨***对于转移是阴性的，则周围的结也很可能是阴性的。例如，在乳腺癌外科手术中，肿瘤引流***（LN）的识别已成为通过淋巴系统扩散的分期癌症的重要步骤。LN绘图涉及使用染料和/或放射性示踪剂来识别用于活组织检查或切除的LN，以及后续的转移病理学评估。在外科手术分期时的淋巴切除术的目标是要识别并去除处于癌症的局部扩散的高风险的LN。前哨***（SLN）绘图已经显出为乳腺癌的治疗中的有效外科手术策略。它通常基于以下概念：如果存在转移（癌到腋窝LN的扩散），则其应位于SLN中，所述SLN在本领域中定义为癌细胞最有可能从原发肿瘤扩散到的第一个LN或结的分组。如果SLN对于转移是阴性的，则周围的二级和三级LN也应当是阴性的。SLN绘图的主要益处是减少了接受传统的部分或完全***切除术的对象的数量，以及因此减少了遭受相关联疾病（诸如淋巴水肿和淋巴囊肿）的对象的数量。

根据各种实施例的荧光成像可包括用于SLN可视化、绘图，有助于在手术中地对LN和/或传入淋巴通道的直接实时视觉识别，有助于实时通过皮肤和脂肪组织进行高分辨率光学引导、血流的可视化、组织灌注或其组合。

在一些变型中，荧光成像期间的***的可视化、分类或两者都可以基于一种或多种成像剂的成像，其可以进一步基于利用伽马探针的可视化和/或分类（例如，Technetium Tc-99m是透明无色的水性溶液，并且典型地按照标准护理注入到乳晕区域中）、另一种常规使用的着色成像剂（异硫蓝）和/或其它评估，诸如例如组织学。ICG可以与由用于注射的无菌水组成的水性溶剂包装在一起，其用于重构ICG。在一些变型中，乳腺癌前哨淋巴绘图中的ICG剂量（mg）可取决于供给途径在约0.5mg至约10mg的范围内。在一些变型中，ICG剂量可以为约0.6mg至约0.75mg、约0.75mg至约5mg、约5mg至约10mg。供给途径可以是例如皮下、皮内（例如，到乳晕区中）、乳晕下、覆盖肿瘤的皮肤、最靠近肿瘤的乳晕中的皮内、到乳晕中的皮下、肿瘤上方的皮内、整个***上的乳晕或其组合。（例如，使用ICG的）NIR荧光阳性LN可以例如表示为（一个或多个）黑和白NIR荧光图像和/或表示为全部或部分颜色（白光）图像、全部或部分去饱和白光图像、增强彩色图像、覆盖图（例如，具有任何其它图像的荧光）、合成图像（例如，并入到另一个图像中的荧光），其可以具有各种颜色、各种去饱和度的水平或各种颜色的范围以突出/可视化某些感兴趣的特征。可以进一步执行图像的处理以用于进一步的可视化和/或其它分析（例如，量化）。根据单独地用于ICG和SLN或与根据用于乳腺癌患者中的SLN活组织检查的乳腺外科医生美国协会（ASBrS）实践指南的伽马探针（Tc-99m）组合的各种实施例，***和***可以使用荧光成像系统和方法被可视化（例如，手术中地、实时地）。LN的荧光成像可通过追踪通往腋窝中的LN的淋巴通道从注射部位开始。一旦识别LN的视觉图像，就可以通过切开的皮肤来完成LN绘图和LN的识别，可以执行LN绘图直到识别ICG可视化节点。为了进行比较，可以执行利用异硫蓝的绘图，直到“蓝色”节点被识别。单独利用ICG或与另一成像技术（例如，异硫蓝和/或Tc-99m）组合而识别的LN可以标记为被切除。对象可具有乳腺癌的各种阶段（例如，IA、IB、IIA）。

在一些变型中，诸如例如，在妇科癌（例如，子宫癌、子宫内膜癌、外阴癌和宫颈恶性肿瘤）中，可间质地供给ICG，以用于***、淋巴通道或其组合的可视化。当间质地注射时，ICG的蛋白结合属性使它被淋巴迅速吸收，并通过传导血管移动到SLN。ICG可以以包含具有不超过5.0％碘化钠的25mg ICG（例如，25mg/小瓶）的无菌冻干粉形式被提供用于注射。然后可以在使用之前利用商业上可获得的用于注射的水（无菌）重构ICG。根据实施例，可以在20ml的用于注射的水中重构包含25mg ICG的小瓶，从而导致1.25mg/ml的溶液。总共4ml的该1.25mg/ml溶液是要以每个对象5mg的ICG的总剂量被注射到对象中（4x1ml注射液）。子宫颈也可以以40mg的总剂量注射1ml 1％异硫蓝10mg/ml溶液（出于比较目的）四（4）次。可以在对象在手术室中麻醉的同时执行注射。在某些变型中，妇科癌症前哨***检测和/或绘图中的ICG剂量（mg）可能取决于供给的途径而在约0.1mg至约5mg的范围内。在一些变型中，ICG剂量可以为约0.1mg至约0.75mg、约0.75mg至约1.5mg、约1.5mg至约2.5mg、约2.5mg至约5mg。供给的途径可以是例如宫颈注射、外阴肿瘤周注射、宫腔镜子宫内膜注射或其组合。为了在要切除LN时最小化异硫蓝的溢出或干扰绘图过程的ICG，可以在半骨盆上执行绘图，并且可以在切除任何LN之前利用异硫蓝和ICG两者进行绘图。可以根据NCCN子宫肿瘤指南、用于子宫内膜癌的外科手术分期的SLN算法对临床阶段I子宫内膜癌执行LN绘图；以及可以根据NCCN***指南、早期***的外科手术/SLN绘图算法对临床阶段I***执行SLN绘图。因此，LN的识别可以单独基于ICG荧光成像，或者基于与用于比色染料（异硫蓝）和/或放射性示踪剂的组合或共同供给。

***的可视化可以是定性和/或定量的。这样的可视化可以包括例如***检测、检测率、***的解剖分布。根据各种实施例的***的可视化可以单独地或与其它变量（例如，生命体征、身高、体重、人口统计学、外科手术预测因素、相关病史和基础状况、组织学可视化和/或评估、Tc-99m可视化和/或评估、伴随用药物）组合地使用。定期复查访问可以在出院的日期和后续的日期（例如，一个月）发生。

淋巴流体包括高水平的蛋白质，因此ICG在进入淋巴系统时可以与内源蛋白质结合。当根据本文中描述的方法和系统使用时，用于淋巴绘图的荧光成像（例如，ICG成像）提供以下示例优点：高信号与背景比（或肿瘤与背景比），因为NIR不生成显著的自发荧光；用于淋巴绘图的实时可视化特征；组织定义（即，结构可视化）；进入脉管系统后的快速***和消除以及避免非电离辐射。此外，NIR成像具有比可见光的组织穿透力（1至3mm组织）优越的组织穿透力（近似5至10毫米组织）。ICG的使用例如还有助于通过覆盖主动脉旁的结的腹膜的可视化。尽管可以利用NIR光观测组织荧光达延长的时段，但是其利用可见光看不到，以及因此不影响LN的病理评估或处理。而且，与***的蓝色染色（异硫蓝）相比，术中较容易检测荧光。在其它变型中，如本文中结合淋巴成像描述的方法、剂量或其组合可以用于任何脉管和/或组织灌注成像应用中。

在各种实施例中，方法、系统、使用、荧光剂和配套元件可用于组织灌注成像。组织灌注涉及每单位组织体积的微循环血流，在其中向被灌注的组织的毛细血管床提供氧气和营养，并从其去除废物。组织灌注是与血管中的血流有关但又与血管中的血流不同的现象。通过血管的量化的血流可以以定义流量（即，体积/时间）或定义速度（即，距离/时间）的术语来表达。组织血液灌注定义了血液通过微脉管系统（诸如组织体积内的小动脉、毛细血管或小静脉）的移动。量化的组织血液灌注可以根据通过组织体积的血流，即，血液体积/时间/组织体积（或组织质量）来表达。灌注与营养性血管（例如，称为毛细血管的微血管）相关联，所述营养性血管包括与血液和组织之间的代谢物交换相关联的血管，而不是大直径的非营养性血管。

实施例包括用于对外科手术部位中的组织进行成像的配套元件，其中该配套元件包括如本文中描述的任何方法中使用的图1的系统和荧光成像剂100。另一个实施例包括用于淋巴成像、血流成像、组织灌注成像、组织解剖学成像或其组合的前述语句的配套元件的使用。另一实施例包括用于与图1的外科手术系统一起使用的荧光成像剂100，所述系统用于连同采用本文中描述的任何方法对外科手术部位16中的组织进行成像。另一个实施例包括前述语句的荧光成像剂100，其中对外科手术部位中的组织进行成像包括对血流、组织灌注、淋巴组织、组织解剖结构或其组合进行成像。另一实施例包括用于与图2、3或13的任何方法一起使用以用于对外科手术部位中的组织进行成像的荧光成像剂100。另一个实施例包括前述语句的荧光成像剂100，其中对外科手术部位中的组织进行成像包括对血流、组织灌注、淋巴组织、组织解剖结构或其组合进行成像。另一实施例包括使用图1的系统连同采用本文中描述的任何方法用于淋巴成像、血流成像、组织灌注成像、组织解剖学成像或其组合。另一实施例包括使用图2、3或13的方法用于淋巴成像、血流成像、组织灌注成像、组织解剖学成像或其组合。

尽管已经结合示出和详细描述的各种实施例图示和描述了本公开，但是其不旨在限于示出的细节，因为在不以任何方式脱离本公开的范围的情况下可以进行各种修改和结构改变。在不以任何方式脱离本公开的范围的情况下，可以进行形式、部件的布置、步骤、细节和图示的实施例以及本公开的其它实施例的操作顺序的各种修改，并且对于本领域技术人员而言，所述各种修改在参考该描述时将是显而易见的。因此设想的是所附权利要求将覆盖这样的修改和实施例，因为它们落入本公开的真实范围内。为了清楚和简明的目的，本文中将描述特征描述为相同或分离的实施例的部分，然而，将领会的是，本公开的范围包括具有所描述的特征中的全部或一些的组合的实施例。对于术语“例如”和“诸如”和其语法等同物，除非另有明确说明，否则短语“且无限制”被理解为跟随。如本文中所使用的，单数形式的“一个”、“一”和“所述”包括复数指示物，除非上下文另外明确指示。