阅读说明：本技术 具有双图像传感器的内窥镜 (Endoscope with dual image sensor ) 是由 E·沙梅利 Y·阿尔加维 A·戈瓦里 B·易卜拉希米 F·阿克巴里安 J·帕鲁什 M·利 于 2019-12-13 设计创作，主要内容包括：本发明涉及一种内窥镜相机,该内窥镜相机具有定位在远侧端部处的两个或更多个相机,这些相机被定位成提供部分重叠视场。这些相机沿柔性内窥镜的长度传送捕获的数字图像,其中可将这些数字图像保存并处理以提供附加的成像特征。利用来自两个或更多个相机的部分重叠图像,图像处理可提供全景图像、超分辨率图像和三维图像。还可以增强这些图像模式中的一个或多个图像模式,以提供显示较大或较高分辨率图像的一部分的虚拟化窗口。该虚拟化窗口显示该图像的所选择的区域,且可围绕该图像移动或缩放以提供虚拟内窥镜重新定位体验,其中该内窥镜保持静止定位,但是该虚拟化窗口呈现围绕外科手术区域的移动和导航感。(The present invention relates to an endoscopic camera having two or more cameras positioned at a distal end, the cameras positioned to provide partially overlapping fields of view. These cameras transmit captured digital images along the length of the flexible endoscope, where they can be saved and processed to provide additional imaging features. With partially overlapping images from two or more cameras, image processing may provide panoramic images, super-resolution images, and three-dimensional images. One or more of these image patterns may also be enhanced to provide a virtualized window that displays a portion of a larger or higher resolution image. The virtualized window displays a selected area of the image and can be moved or scaled around the image to provide a virtual endoscope repositioning experience, wherein the endoscope remains stationary positioned, but the virtualized window presents a sense of movement and navigation around the surgical area.)

具体实施方式

本发明的某些示例的以下说明不应用于限定本发明的范围。根据以举例的方式示出的以下说明，本发明的其他示例、特征、方面、实施方案和优点对于本领域的技术人员而言将是显而易见的，一种最佳方式被设想用于实施本发明。如将认识到，本发明能够具有其他不同且明显的方面，所有这些方面均不脱离本发明。因此，附图和说明应被视为实质上是例示性的而非限制性的。

应当理解，本文使用的术语“近侧”和“远侧”是相对于握持手持件组件的临床医生而言的。因此，端部执行器相对于较近的手持件组件而言处于远侧。还应当理解，为方便和清晰起见，本文关于临床医生握持手持件组件的情况也使用空间术语诸如“顶部”和“底部”。然而，外科器械在许多取向和位置中使用，并且这些术语并非旨在为限制性的和绝对的。

还应当理解，本文所述的教导内容、表达、型式、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、型式、示例等中的任何一者或多者相结合。因此下述教导内容、表达、型式、示例等不应被视为彼此分离。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。

I.示例性图像引导外科手术导航系统

当在患者(P)的头部内执行医疗规程时，可能能够期望具有关于器械在患者(P)的头部内的位置的信息，包括内窥镜图像。图1示出了使得能够利用图像引导执行ENT规程的示例性IGS导航系统(10)。除了具有本文所述的部件和可操作性之外或者代替本文所述的部件和可操作性，IGS导航系统(10)可根据以下专利的教导内容中的至少一些来构造和操作：2010年5月18日公布的名称为“Methods and Devices for Performing Procedureswithin the Ear,Nose,Throat and Paranasal Sinuses”的美国专利7,720,521，其公开内容以引用方式并入本文；以及2014年12月11日公布的名称为“Systems and Methods forPerforming Image Guided Procedures within the Ear,Nose,Throat and ParanasalSinuses”的美国专利公布2014/0364725，其公开内容以引用方式并入本文。

IGS导航系统(10)的处理器(12)包括与一个或多个存储器通信的一个或多个处理单元(例如，微处理器、逻辑处理器或能够用于执行编程指令的其他电路)。处理单元和存储器可靠近IGS导航系统(10)定位(例如，可在使用IGS导航系统(10)的手术间中的计算机或其他设备内)，或者可定位在远程位置并且通过网络与IGS导航系统(10)通信(例如，可在手术室之外的计算机、服务器或其他设备内，诸如在医院、不同建筑物或云托管环境中的其他地方)。

本示例的处理器(12)安装在控制台(18)中，该控制台包括操作控件(14)，该操作控件包括键盘和/或指向装置，诸如鼠标或轨迹球。在执行外科手术时，医师使用操作控件(14)与处理器(12)进行交互。处理器(12)使用存储在处理器(12)的存储器中的软件来校准和操作IGS导航系统(10)。此类操作包括处理来自诸如双相机内窥镜(50)的器械的数据，该双相机内窥镜包括柔性的并且能够插入患者的头部中以捕获其内的视频和图像的轴(52)。在一些型式中，内窥镜(50)的远侧部分包括一个或多个位置传感器，该一个或多个位置传感器能够操作以生成指示内窥镜(50)的远侧部分在患者(P)的头部内的位置的信号。此类位置感测能力可根据本文引用的各种参考文献的教导内容来提供。

处理器(12)的操作还可包括处理来自操作控件(14)和驱动显示屏(16)的数据。处理器(12)还能够操作以经由显示屏(16)实时提供视频，该视频可包括示出内窥镜图像(例如，经由双相机内窥镜(50)捕获)、患者的头部的术前CT扫描图像和/或患者的鼻腔内及其附近的解剖结构的计算机生成的三维模型。显示屏(16)可在外科手术期间同时地和/或彼此叠加地显示此类图像。仅以举例的方式，显示屏(16)可根据2016年1月14日公布的名称为“Guidewire Navigation for Sinuplasty”的美国公布2016/0008083的教导内容中的至少一些教导内容来提供图像，该公布的公开内容以引用方式并入本文。

通过显示屏(16)提供的图像可帮助引导操作者在患者的头部内操控并以其他方式操纵器械。IGS导航系统(10)的一些具体实施还可提供各种其他IGS导航特征，包括外科器械的实时位置跟踪、术前图像上覆盖跟踪位置以及使用外科器械的跟踪位置来在手术期间提供信息、指导和安全警报，如根据本文的教导内容对于本领域的普通技术人员而言将是显而易见的。

II.示例性双传感器内窥镜

使用双相机内窥镜(50)来经由诸如显示屏(16)的显示器显示图像在准备外科手术时、在外科手术期间和在外科手术之后可能是有利的。通过包括多个(例如，在双相机内窥镜(50)的情况下包括两个，但其他具体实施可包括三个或更多个)相机或其他类型的图像传感器，可捕获并使用附加的图像数据来提供多个有利的特征，诸如改善的分辨率、改善的视场、三维图像深度等等，如将在下文更详细地描述。

图2示出了诸如示例性双相机内窥镜(50)的内窥镜的示意图。双相机内窥镜(50)包括位于装置的近侧端部处的联接单元(54)和控件(56)、从装置的近侧端部柔性延伸的轴(52)。一组相机(59)定位在轴(52)的远侧端部处并且能够操作以捕获其视场内的图像。在一些具体实施中，该组相机(59)可包括定位在轴(52)的远侧端部处的一个或多个图像传感器或图像捕获装置，该一个或多个图像传感器或图像捕获装置经由一个或多个电缆、电线或沿着轴(52)的长度延伸的能够将数字图像数据从图像传感器运载到联接单元(54)的其他连接件连接到诸如联接单元(54)的装置。在一些具体实施中，该组相机(59)可包括定位在轴(52)的近侧端部处的一个或多个图像传感器或图像捕获装置，其中对应的光发射器(诸如光纤)沿着轴(52)的长度延伸。在此类具体实施中，每个对应的光纤可与远侧端部处的透镜联接，以捕获光(例如，图像)并将其聚焦到光纤中，以输送到定位在近侧的图像捕获装置或图像传感器。

灯(64)(例如，LED、光纤、红外光源或其他照明元件)也定位在轴(52)的远侧端部处，该灯能够操作以提供对手术部位的照明或透照。在一些具体实施中，该组相机(59)和灯(64)可被选择为彼此互补，诸如能够进行高帧速率图像捕获的相机与明亮的灯配对，具有红外传感器的相机与红外灯配对，或者能够进行弱光图像捕获的相机与暗光灯或适度明亮的灯配对。轴(52)的远侧端部还包括一个或多个冲洗通道(62)，该一个或多个冲洗通道可用于例如在手术部位处提供流体，洗涤该组相机(59)的盖或透镜和灯(64)，或者从手术部位移除流体(例如，通过提供抽吸)。还包括器械通道(58)，其他柔性器械可通过该器械通道从轴(52)的近侧端部推进到远侧端部，以有助于将此类器械导航到手术部位。如上所述，双相机内窥镜(50)还可包括位置传感器(未示出)，该位置传感器可由IGS导航系统(10)的一个或多个器械跟踪特征部跟踪，在该IGS导航系统中提供此类特征部。

控件(56)可与用户进行交互以配置、启用或禁用双相机内窥镜(50)的一个或多个特征部，诸如打开该组相机(59)或灯(64)，或者使冲洗通道(62)提供用于清洁的流体。联接单元(54)可提供与IGS导航系统(10)的一个或多个其他装置(诸如处理器(12))的通信。联接单元(54)可经由有线(例如，USB、光纤、以太网)或无线(例如，Wi-Fi、蓝牙)连接与处理器(12)通信地连接，并且可以被配置为将由该组相机(59)捕获的图像数据提供给处理器(12)，使得可以经由显示屏(16)显示捕获的图像。

图3A示出了诸如双相机内窥镜(50)的内窥镜的远侧末端的前透视图。具有与轴(52)类似的特征和功能的轴(80)的远侧部分包括远侧末端(66)。远侧末端(66)包括具有与灯(64)类似的特征和功能的灯(74)以及具有与器械通道(58)类似的特征和功能的器械通道(68)。远侧末端(66)还包括具有与该组相机(59)类似的特征和功能的第一相机(60)和第二相机(61)。参考示出了叠加在远侧末端(66)的前正视图上的坐标系的图3B可以看出，第一相机(60)和第二相机(61)位于水平轴线(67)的不同坐标处，同时位于竖直轴线(69)上的基本上相同的坐标处。以这种方式，由第一相机(60)和第二相机(61)捕获的图像可具有沿第一轴线彼此偏移同时沿第二轴线基本上匹配的两个不同的视场。第一相机(60)和第二相机(61)可以是相同类型的相机，并且可以在速度、质量、和用于图像捕获的视觉特性方面具有类似的能力。

可能有利的是，将第一相机(60)和第二相机(61)实现为数字成像装置，该数字成像装置能够在远侧末端(66)处以数字方式捕获图像数据，并且经由轴(52)内的一组柔性数据连接件(未示出)将图像数据作为电信号提供给联接单元(54)。柔性数据连接件(未示出)可随着轴(52)挠曲而挠曲，而没有提供显著的阻力或由于此类挠曲而被切断。另外，该组柔性数据连接件(未示出)可由比光纤电缆便宜且不易碎的材料和构型(例如，铜或铝数据布线、实心或绞合数据布线)制成，并且因此在此类具体实施中可有利于经由轴(52)将图像和图像数据从远侧末端(66)传输到联接单元(54)。在该组相机(59)如它们在图3A中那样定位的情况下，灯(64)可有利地基本上等距地定位在该组相机之间以便在使用期间向第一相机(60)和第二相机(61)中的每个相机提供类似的照明，使得由每个相机同时捕获的输出图像将具有基本上类似的照明和其他视觉特性。

图3A所示的远侧末端(66)还包括用于第一通道(63)和第二通道(65)的出口，该出口具有与冲洗通道(62)类似的特征和功能，并且各自靠近该组相机(59)的对应相机定位。以这种方式，第一通道(63)可被操作以提供针对第一相机(60)的盖或透镜的清洁和冲洗流体，而第二通道(65)可被操作以提供针对第二相机(61)的盖或透镜的清洁和冲洗流体。冲洗通道(62)的单独通道，诸如第一通道(63)，可以不同模式(例如，通过使用一组阀将流体引导到特定喷嘴，或通过改变所提供的流体的压力以打开一个或多个压力释放阀)操作，以在位点处提供一般冲洗，提供针对对应相机的冲洗，或两者，如特定具体实施可期望的。例如，在一个具体实施中，以第一较低压力提供的流体可在第一相机(60)处引导来自第一通道(63)的第一喷嘴的流体流。以第二较高压力提供流体可导致第一通道(63)的远侧端部处的释放阀打开并且从第一通道(63)的第二喷嘴提供流体以提供该区域的一般冲洗。

如图3A可见，定位该组相机(59)的一个优点是从两个单独的视场提供图像数据，在不同的具体实施中，这两个单独的视场可部分或完全重叠。例如，图4A示出了可使用内窥镜(诸如双相机内窥镜(50))捕获的一组示例性部分重叠视场的侧视图解视图，而图4B示出了该组部分重叠视场的俯视图解视图。可以看出，第一相机(60)和第二相机(61)被取向成使得它们的相应瞄准线与目标表面(100)平行。第一相机(60)提供目标表面(100)的第一视场(102)，而第二相机(61)提供目标表面(100)的第二视场(104)。第一视场(102)和第二视场(104)也组合起来以提供组合视场(106)，其中目标表面(100)被每个相机从略微不同的位置平行地观察。

在一些具体实施中，该组相机(59)还可被取向成使得它们对目标表面(100)的相应瞄准线相交、会聚或以其他方式朝向彼此取向而不是平行。例如，图5A示出了双相机内窥镜的一组示例性重叠视场的侧视图解视图，而图5B示出了该组重叠视场的俯视图解视图。可以看出，第一相机(60)和第二相机(61)被取向成使得它们相应的瞄准线相交、会聚或以其他方式朝向彼此取向。与先前的示例一样，第一相机(60)提供第一视场(108)，而第二相机(61)提供第二视场(110)，这两个视场组合起来以提供组合视场(112)。可以看出，当产生组合视场(112)时，第一视场(108)和第二视场(110)可以完全或基本上重叠。当完全重叠时，第一视场(108)和第二视场(110)的独特部分可不存在或为零值。当基本上重叠时，第一视场(108)和第二视场(110)的独特部分可包括在组合视场(112)的每个边缘处的图像数据的可忽略的部分。

比较图4B和图5B，可以看出相机的平行取向提供了宽的总体视场(例如，第一视场(102)与第二视场(104)的外边缘之间的距离大于第一视场(108)与第二视场(110)的外边缘之间的距离)，以及窄的组合视场(例如，组合视场(106)的宽度小于组合视场(112)的宽度)。相机的相交或会聚取向提供更窄的总体视场，因为第一视场(108)和第二视场(110)基本上或完全重叠，但是组合视场(112)基本上更大。

在一些情况下，每种具体实施(例如，是使总宽度最大化还是使重叠宽度最大化)都可能是期望的。作为简要示例，宽的总体视场(诸如第一视场(102)和第二视场(104)的总体视场)可用于产生广角镜头(wide shot)或全景视图图像。作为另一示例，宽的组合视场(诸如组合视场(112)的组合视场)可用于产生按比例放大的图像或利用视差图像概念的图像，以便产生立体图像或三维图像。这些示例和其他示例将在下文中更详细地描述。

在一些具体实施中，该组相机(59)可相对于彼此静态取向，以便为某些应用提供最期望的视场。这可包括将相机静态取向使得它们的瞄准线平行，如图4A所示，或者将相机静态取向使得它们的瞄准线在各种距离处相交(例如，在内窥镜通常定位在距手术部位2英寸处的情况下，静态相交取向可被优化用于这样的距离)。

在其他具体实施中，每个相机可以可旋转地定位在远侧末端(66)内，以允许彼此独立的有限量的侧向旋转(例如，偏航)。例如，第一相机(60)可以可旋转地安装在外壳内，使得电致动器可延伸或回缩并改变第一相机的取向。作为另外一种选择，可将电活性聚合物整合到外壳中，该外壳柔性地偏置第一相机以在第一方向上旋转，使得经由第一相机(60)用于数据通信的同一连接件接收的电流导致电活性聚合物收缩并使相机在第二方向上旋转。可以以不同方式改变或影响该组相机的取向，根据本公开，这对于本领域的普通技术人员而言将是显而易见的。此类动态取向可通过使用例如控件(56)和牵引线或其他机械致动器来手动执行；或者可由处理器(12)或另一装置自动执行。作为示例，在期望目标表面(100)的聚焦或会聚瞄准线(例如，类似于图5A至图5B所示的构型)的情况下，处理器(12)可确定该组相机(59)与目标表面(100)之间的距离，并且实时地将每个相机(59)自动取向以便它们的瞄准线靠近目标表面(100)相交或会聚，从而提供类似于人的自动聚焦三维视场的自动聚焦三维视场。以这种方式提供视差视图可能是有利的，因为视差视图向观察者提供深度感；并且提供超过二维观察的浸没水平，这可有助于准确且精确地移动并操纵外科工具和其他装置。

III.利用双传感器内窥镜进行图像处理的示例性方法

诸如上述双相机内窥镜(50)的内窥镜可用于捕获手术部位的附加图像数据，该附加图像数据可用于在外科手术期间，诸如当经由显示屏(16)显示时，产生手术部位的新图像和视角。产生并提供手术部位的新图像在整个手术过程中为外科医生提供了有价值的附加信息和上下文，这可带来改善的患者预后。作为此类特征的示例，图6示出了一组示例性步骤(200)的流程图，该组步骤可由诸如IGS导航系统(10)的系统执行，以使用诸如双相机内窥镜(50)的内窥镜提供增强的内窥镜视图。

当从该组相机(59)接收图像(框202)时，与由单个相机自身提供的图像数据相比，系统可使用由第一相机(60)和第二相机(61)提供的附加图像数据以一种或多种方式操纵图像。这可包括产生和显示(框204)全景视图，产生和显示(框208)超分辨率视图，或产生和显示(框206)三维视图。三维视图可包括能够用具有3D功能的监视器或诸如头戴式显示器(HMD)的其他装置查看的图像，诸如并排或上下重叠的图像数据集；但也可包括图像、动画图像或视频图像，或可在任何类型的显示器上显示并且即使在以二维方式显示时也可给出移动、导航或深度感的其他图像集。

作为示例并且参考图5B，这可以包括产生和显示动画图像，该动画图像在第一视场(108)与第二视场(110)之间交替，并且可以包括通过使来自第一视场(108)和第二视场(110)的图像逐渐变形或以其他方式组合而产生的一个或多个中间图像。此类图像可自动交替并以二维方式显示，从而提供两个视角(例如，第一相机(60)的视角与第二相机(61)的视角)之间的移动和枢转感。此类图像还可由用户基于经由键盘、鼠标、语音输入或其他输入类型接收的输入来手动交替或导航，以便提供用户在两个视角之间移动和枢转时可以二维方式查看的图像。

这些视图中的任何一个或多个视图以及原始接收(框202)的图像的视图可以彼此单独或同时显示，并且还可以经由显示屏(16)显示(框210)为能够移动的视图。能够移动的视图可提供另一视频或图像的裁切视图(例如，全景视图或超分辨率视图)，该裁切视图可使用操作控件(14)来移动来以不同细节层次查看图像的不同区域。例如，所产生的全景视图可能对于显示屏(16)而言过大而不能以其真实尺寸显示(例如，数字图像可能是5000x5000像素，并且特定显示器可能仅支持1680x1050像素的显示，这意味着较大图像按比例缩小以用于显示，并且图像细节可能丢失或模糊)。

能够移动的视图可围绕较大图像移动以更详细地或完整地示出特定区段(例如，在上述示例中，每次1680x1050像素)，并且还可被配置为经由操作控件(14)对导航输入作出响应，就好像它是移动内窥镜相机(例如，图像可随着内窥镜在患者伤口内移动而逐渐放大或缩小，水平和垂直移动，或者改变角度或取向)。以这种方式，能够移动的视图在重新定位其显示区段时可产生移动感，使得依赖所显示图像的外科医生可感知到它们实际上物理地重新定位源内窥镜，这可有助于外科医生感知和了解他们对手术部位的观察的空间关系。虽然图6提供了对若干示例性显示特征的高级描述，但图7至图10提供关于可在高级步骤中的一个或多个高级步骤期间执行的步骤的更多细节。

例如，图7示出了可执行以使用诸如双相机内窥镜(50)的内窥镜提供全景内窥镜视图的一组示例性步骤(212)的流程图。虽然应当理解，本文的教导内容可应用于静止图像以及图像序列(例如，视频)，但为了便于讨论，描述和附图有时可指单数对图像。当从双相机内窥镜(50)接收到可用于产生图像的数据时，IGS导航系统(10)将具有两个图像，一个来自第一相机(60)，并且一个来自第二相机(61)。在相机被静态地定位和取向以用于使瞄准线平行(例如，如图4A和图4B所示)的情况下，系统可基于相机位置的已知特性来确定(框214)两个图像的重叠。例如，图4B中的组合视场(106)表示由该示例的相机捕获的两个图像的重叠，并且只要相机不改变它们相对于彼此的位置或取向，该组合视场将保持静态。在该具体实施中，可以在捕获时间之前确定(框214)并配置图像重叠(例如，双相机内窥镜(50)可以输出指示重叠的图像数据作为静态值，或者IGS导航系统(10)可以配置有这样的值或者可以基于使用中的内窥镜的类型访问或检索这样的值)。

作为另一示例，在相机具有如上所述的静态平行瞄准线的情况下，或者在相机能够与瞄准线动态相交或会聚(例如，聚焦在对象或目标上)的情况下，也可动态地确定(框214)图像或视频的重叠量。可每次对每个图像执行此类动态确定(框214)(例如，在图像的视频序列期间对每对所接收的图像执行一次)或者每次对一批图像执行此类动态确定(例如，可确定(框214)第一图像的重叠，并且此类重叠可用于接下来的三十个图像，或用于在下一秒期间接收的任何数量的图像)，如对特定具体实施所期望的以及如对特定处理装置有可能的。

动态地确定重叠(框214)可以不同的其他方式执行。在一些具体实施中，这可使用图像处理和比较算法来在算法上执行，以将第一图像与第二图像进行比较，从而识别匹配或基本上匹配(例如，其中两个相机从两个略微不同的视角聚焦在单个点上)部分，或者识别并关联存在于每个相机内的能够识别的特征或对象(例如，内窥镜视场内的切割器械或其他外科工具)。在一些具体实施中，这可使用定位在远侧末端(66)上的接近传感器来执行，该接近传感器可检测目标表面(100)与相机之间的距离。此类信息可与每个相机相对于另一个相机的位置和取向一起使用，以确定每个图像与另一个图像的空间关系，该空间关系将指示重叠量。在一些具体实施中，这可使用由固定的或在每个相机内的激光器投影并且瞄准该相机的聚焦点的视觉标记(诸如激光)来执行，使得每个图像将包含在其中心处的该图像聚焦点，以及从其中心偏移的其他图像聚焦点，该其他图像聚焦点然后可用于确定(框214)重叠。根据本公开，存在用于确定(框214)重叠的各种其他方法，并且对于本领域的普通技术人员而言将是显而易见的。

一旦确定(框214)重叠，系统则可组合(框216)两个图像以产生新的全景图像，然后可经由显示屏(16)显示(框218)所得的全景图像。作为一个示例，图11A示出了诸如可由第二相机(61)捕获的图像(300)和诸如可由第一相机(60)捕获的图像(302)。系统可确定(框214)两个图像的重叠并且识别图像内的第一外部部分(304)、重叠部分(306)、重叠部分(308)和第二外部部分(310)。然后，系统可在由单个重叠部分分开的两个图像的独特边缘处组合(框216)这两个图像，以便产生新的全景图像，诸如图11B所示。在该图中可以看出，已通过将第一外部部分(304)与重叠部分(314)(例如，其他重叠部分中的任一个重叠部分)和第二外部部分(310)组合来产生新的全景图像(312)。在此类示例中，假设图像(300)和图像(302)各自具有2000像素的水平分辨率，并且重叠部分(314)具有500像素的水平分辨率，因此，所产生的全景图像(312)将具有约3500像素的总水平分辨率，从而提供能够在最高分辨率和可能细节(如果需要)下看到的图像区域的显著增加。

图8示出了可执行以使用诸如双相机内窥镜(50)的内窥镜提供三维内窥镜视图的一组示例性步骤(220)的流程图。与图7一样，系统可以首先确定(框222)两个输入图像之间的重叠，以便确定捕获图像的两个视场之间的空间关系。然后系统可以准备(框224)3D图像，该3D图像的格式和特征可取决于旨在被查看的一个或多个装置。

例如，就具有3D能力或具有虚拟现实能力的HMD而言，准备(框224)3D图像可包括裁切输入图像以排除边缘部分或非重叠部分，以及并排布置剩余图像部分，使得当经由HMD的两个观看透镜显示(框226)观看者的眼睛时，观看者的眼睛可独立地聚焦在两个略微不同的图像视角上。

作为另一示例，可准备(框224)3D图像以在能够显示2D图像同时模拟视角之间的深度或移动的显示器上显示，如上所述。这可包括准备(框224)图像作为动画图像、视频图像或一个或多个并列图像，以及在来自不同视角(例如，一个来自第一相机(60)并且一个来自第二相机(61))的显示图像之间交替。这还可以包括通过从不同视角使源图像变形以在其间提供多个观察角度来产生一个或多个中间图像。准备好(方框224)以提供这些特征中的一个或多个特征的3D图像可允许用户以2D方式查看图像，能够手动地或自动地移位视角以提供围绕目标表面(100)的枢转或旋转感，这与仅在该目标表面上平移或移动形成对比。与静态2D图像相比，查看此类图像可有利地提供改善的深度感和空间定位。

准备(框224)3D图像数据集还可包括准备(框225)一个或多个3D数据集或附加3D特征。例如，一些具体实施可使用3D图像数据来产生深度测量值、地形指示标识或与目标表面(100)相关联的其他深度指示标识和距离指示标识。此类深度指示标识可包括示出3D视场内的解剖结构的一个或多个尺寸的距离标记中的一个或多个距离标记。这可通过从两个或更多个视角执行目标解剖结构的视觉分析和比较来确定，以便利用视差视图并估计目标对象的深度。另一个深度指示标识可包括地形图或叠层，该地形图或叠层经由所显示的颜色、图案或其他视觉指示标识的变化来显示3D视场内的解剖结构的地形学特征。这也可使用所捕获的视差视图来确定；并且可叠加在源图像上并与源图像一起显示(框226)，或者独立于源图像显示(框226)。

可使用3D图像数据准备(框225)的3D特征的另一个示例是3D视场内的解剖结构的体积测量值。在确定解剖结构的深度之后，如上所述，系统还可确定解剖结构的长度和宽度、周长或其他尺寸测量值。这可包括使用诸如相机与解剖结构之间的距离(例如，如由用于将两个视场聚焦并会聚在目标表面或对象处的接近传感器提供的距离)的信息来自动确定捕获图像的比例。

确定目标解剖结构的体积可用于提供对必须在手术期间移除或受影响的组织、骨或其他材料的量的指示。确定体积的解剖结构也可用于提供术前解剖结构和术后解剖结构之间的比较点；并且可提供对手术成功水平、患者恢复时间或对附加手术的需要的指示。术前解剖结构和术后解剖结构之间的此类比较可包括内窥镜图像的视觉比较，以及体积、深度和地形变化的视觉或数字指示标识。具有这些所描述特征中的一个或多个特征的系统还可包括以下美国专利申请的教导内容中的任何教导内容：2018年12月14日提交的名称为“Surgical System with Combination of Sensor-Based Navigation and Endoscopy”的美国专利申请62/779,614，该专利申请的全部内容以引用方式并入本文。

图9示出了可执行以使用诸如双相机内窥镜(50)的内窥镜提供超分辨率内窥镜视图的一组示例性步骤(230)的流程图。与先前的示例一样，系统可以首先确定(框232)两个输入图像之间的重叠量。然后，系统可以准备(框234)来自两个输入图像的组合的重叠部分的超分辨率图像，并且以比其输入图像更高的分辨率显示(框236)所得图像。超分辨率是一种这样的图像处理技术：可组合重叠或基本上重叠的图像，以便产生比其输入图像数据具有更高分辨率的输出图像，并且减少数字噪声和可能在数字成像期间引入的其他视觉伪影。

新产生的输出图像，特别是全景图像和超分辨率图像，可受益于作为能够移动的视图的显示器，以便利用它们的增大的分辨率，同时还为外科医生或其他用户提供手术部位内和周围的熟悉的运动和导航感，如前所述。图10示出了一组示例性步骤(240)的流程图，该组示例性步骤可执行以针对一个或多个增强的内窥镜视图(诸如上述全景视图或超分辨率视图)提供能够移动的视图或可视化窗口。系统可经由显示屏(16)将可视化窗口显示(框242)为实时内窥镜图像或视频，示出手术部位的视图。可视化窗口中所示的图像可以是接收(框202)的图像的一部分，或者可以是由接收(框202)的图像按诸如图7至图9所示的那些步骤的步骤产生的图像的一部分。例如，已经通过组合(框216)输入图像的部分而产生的全景图像可以是3000x2000，而可视化窗口可以示出1000x1000像素区域，这意味着在任何一个时间都可以在可视化窗口内仅示出约15％的图像。作为一个示例，图12A示出了由诸如双相机内窥镜(50)的内窥镜捕获的图像(316)，该图像可以是由系统捕获或产生的正常图像、全景图像、超分辨率图像或其他图像类型。可视化窗口(318)被示出为叠加在较大图像(316)上的框。图12B示出了包含在可视化窗口(318)内的图像(316)的能够查看的区段(320)。能够查看的区段(320)可经由显示屏(16)以显示屏(16)所支持的期望分辨率显示，使得手术部位的能够查看的区段(320)可根据需要以高细节层次(例如，显示屏(16)所支持的最大分辨率，而无需任何按比例缩小)进行查看。

用户可与诸如操作控件(14)的一组用户输入装置进行交互，以便将可视化窗口(318)移动并重新定位在较大图像(316)的期望区段上。这可包括与触摸屏进行交互以触摸并拖动到图像的新区段，与软件按钮进行交互以沿期望方向移动视图，使用键盘或鼠标滚动视图，以及其他类型的输入。当接收(框244)到用户输入时，可视化窗口(318)和所得显示可更新以反映窗口相对于较大图像的移动(例如，较小可视化窗口在较大图像上移动以显示新区段)或窗口相对于较大图像的尺寸变化(例如，由可视化窗口显示的区段的尺寸改变，从而模拟向内向外移动)。可视化窗口的变化可逐渐显示以模拟三维空间内运动的感觉或体验，诸如在提供图像的内窥镜实际移动(例如，向上或向下移动、推进或回缩、取向旋转)时可能经历的感觉或体验。

一些具体实施还可允许旋转可视化窗口，以引起查看图像的视角的取向的对应变化。这可通过应用图像处理算法来实时修改和重新显示图像来实现。这可产生与内窥镜旋转的视觉效果或内窥镜旋转(例如，围绕x轴或y轴)的能够移动的透镜的视觉效果类似的视觉效果。用于使图像的视角移位的图像处理可受益于具有更详细和更高分辨率的输入图像，以便产生逼真的、视角移位的输出图像，并且因此可有利地应用于全景图像、超分辨率图像以及根据本文所述技术中的一种或多种技术捕获或产生的其他图像。

当接收到输入时，系统将确定(框246)这些输入是指示可视化窗口水平、垂直还是两者的移动，诸如平移，并且作为响应，可以将可视化窗口逐渐过渡(框248)到新区段。以这种方式显示可以模拟内窥镜相对于手术部位或其他观察目标水平(例如，沿着x轴)和垂直(例如，沿着y轴)的移动。

系统还可以确定(框250)输入是指示可视化窗口朝向手术部位还是远离手术部位的移动，诸如缩放，并且作为响应，可以将可视化窗口内显示的区段的尺寸或放大水平逐渐改变(框252)为新的尺寸。以这种方式显示可以模拟内窥镜相对于手术部位或其他观察目标(例如，沿着z轴)的推进或撤回。

系统还可以确定(框254)输入是指示可视化窗口相对于手术部位的旋转变化还是视角变化，并且作为响应，可以将可视化窗口内显示的区段的视角逐渐改变(框256)为新视角。改变(框256)视角可被限制在能够配置的边界内，以便防止观察视角的变化，该变化将导致低质量的视角移位输出图像(例如，其中图像区域内像素的自动减少或引入超过所配置的阈值)或如此明显偏斜以至于破坏观察者的沉浸感的视角。

以这种方式显示可以模拟内窥镜相对于手术部位或其他观察目标的旋转变化或角度变化。例如，如上文在图5B的上下文中所讨论的，来自第一视场(108)和第二视场(110)的图像可以在其间手动平移或枢转，以提供两个视角之间的枢转感，即使在以二维方式查看时也是如此。可通过在来自第一相机(60)和第二相机(61)的两个源图像之间逐渐变形或以其他方式组合这两个源图像而产生的任何中间图像可模拟第一相机(60)和第二相机(61)之间存在的多个观察角度并且能够以多个观察角度观察。可视化窗口过渡(框248)、尺寸改变(框252)和视角改变(框256)的速度和响应性可被配置为提供三维空间内的稳定移动感，而源图像和内窥镜本身的视角不改变。

作为一个示例，图13A至图13D示出了例如当可视化窗口(318)从图12A所示的位置移动到图13A所示的位置时，可在可视化窗口的使用和导航期间显示的一组模拟图像。出于描述模拟图像的目的，标记为A、B和C的一组参考点叠加在源图像(316)上。图13B示出了起源图像(326)，该起源图像显示图12A所示的起始点处的包含在可视化窗口(318)内的源图像(316)的一部分。图13C示出了过渡图像(328)，当可视化窗口(318)由于用户输入而过渡(框248)到源图像(316)的新区段时，该过渡图像将包含在该可视化窗口内。从参考点A和B可以看出，可视化窗口(318)已相对于图13B垂直向下和水平向右移动。图13D示出了目标图像(330)，该目标图像显示图13A所示的结束点处的包含在可视化窗口(318)内的源图像(316)的一部分。参考点B和C示出了可视化窗口(318)已相对于图13C垂直向下和水平向右移动。在诸如上述的过渡(框248)期间，可在起源和目标之间显示可能需要的任何数量的过渡图像，以响应于用户输入而向目标提供渐进且平滑的移动感。

IV.示例性组合

以下实施例涉及本文的教导内容可被组合或应用的各种非穷尽性方式。应当理解，以下实施例并非旨在限制可在本专利申请或本专利申请的后续提交文件中的任何时间提供的任何权利要求的覆盖范围。不旨在进行免责声明。提供以下实施例仅仅是出于例示性目的。预期本文的各种教导内容可按多种其他方式进行布置和应用。还设想到，一些变型可省略在以下实施例中所提及的某些特征。因此，下文提及的方面或特征中的任一者均不应被视为决定性的，除非另外例如由发明人或关注发明人的继承者在稍后日期明确指明如此。如果本专利申请或与本专利申请相关的后续提交文件中提出的任何权利要求包括下文提及的那些特征之外的附加特征，则这些附加特征不应被假定为因与专利性相关的任何原因而被添加。

实施例1

一种系统，包括：内窥镜，所述内窥镜包括：联接单元；轴，所述轴从所述联接单元延伸；以及一组相机，所述一组相机定位在所述轴的远侧端部处，其中所述一组相机能够操作以捕获图像数据并将所述图像数据传送到所述联接单元；图像处理器，所述图像处理器被配置为从所述联接单元接收图像数据；以及显示器；其中所述图像处理器被配置为：从所述一组相机中的第一相机接收第一图像并从所述一组相机中的第二相机接收第二图像，基于所述第一图像和所述第二图像确定第一图像独特部分、重叠部分和第二图像独特部分，基于所述第一图像独特部分、所述重叠部分和所述第二图像独特部分产生增强图像，以及提供可视化窗口，所述可视化窗口经由所述显示器显示所述增强图像的当前区段。

实施例2

根据实施例1所述的系统，其中所述图像处理器还被配置为在产生所述增强图像时，组合所述第一图像独特部分、所述重叠部分和所述第二图像独特部分以产生全景图像，其中所述全景图像包括比所述第一图像和所述第二图像更高的分辨率。

实施例3

根据实施例1至2中任一项或多项所述的系统，其中所述图像处理器还被配置为在产生所述增强图像时：确定所述第一图像和所述第二图像完全或基本上重叠，使得所述第一图像独特部分和所述第二图像独特部分不包含图像数据或包含能够忽略不计的图像数据，以及组合来自所述第一图像和所述第二图像的所述重叠部分以产生超分辨率图像，其中所述超分辨率图像包括比所述重叠部分更高的分辨率。

实施例4

根据实施例1至3中任一项或多项所述的系统，其中所述图像处理器还被配置为在产生所述增强图像时，产生所述重叠部分的3D图像，其中所述3D图像被配置为显示为以下项中的一者或多者：能够在三维显示器上以三维方式查看的图像，以及通过在所述重叠部分的第一视角与所述重叠部分的第二视角之间来回枢转而能够在二维显示器上以三维方式查看的图像。

实施例5

根据实施例1至4中任一项或多项所述的系统，其中所述第一相机和所述第二相机被取向成使得所述第一相机和所述第二相机具有彼此平行的相应瞄准线，并且其中所述处理器还被配置为基于所述第一图像、所述第二图像和静态重叠值来确定所述重叠部分，其中所述静态重叠值基于在所述远侧末端上所述第一相机和所述第二相机的位置之间的距离来确定。

实施例6

根据实施例1至5中任一项或多项所述的系统，还包括一组操作控件，其中所述图像处理器还被配置为：经由所述一组操作控件接收一组输入，以及基于所述一组输入更新在所述可视化窗口中显示的所述当前区段。

实施例7

根据实施例6所述的系统，其中所述图像处理器还被配置为，在所述一组输入包括指示所述可视化窗口沿着x轴和y轴中的一个或多个轴的移动的输入的情况下：基于所述输入和所述当前区段来确定所述增强图像的目标区段，以及使用所述目标区段作为所述当前区段来刷新并提供所述可视化窗口。

实施例8

根据实施例7所述的系统，其中所述图像处理器还被配置为，当使用所述目标区段作为所述当前区段来刷新并提供所述可视化窗口时：确定所述增强图像中位于所述当前区段与所述目标区段之间的一个或多个过渡区段，以及在显示所述目标区段之前，以有序序列显示所述一个或多个过渡区段。

实施例9

根据实施例6至8中任一项或多项所述的系统，其中所述图像处理器还被配置为，在所述一组输入包括指示所述可视化窗口沿着z轴的移动的输入的情况下：基于所述输入来确定新的放大水平，以及基于所述当前区段和所述新的放大水平来刷新并重新显示所述可视化窗口。

实施例10

根据实施例9所述的系统，其中所述图像处理器还被配置为，当基于所述当前区段和所述新的放大水平来刷新并提供所述可视化窗口时：确定位于处于原始放大水平下的所述当前区段与处于所述新的放大水平下的所述当前区段之间的所述增强图像的一个或多个过渡放大率，以及在显示处于所述新的放大水平下的所述当前区段之前，以有序序列显示所述一个或多个过渡放大率。

实施例11

根据实施例6至10中任一项或多项所述的系统，其中所述图像处理器还被配置为，在所述一组输入包括指示所述可视化窗口的视角的旋转的输入的情况下：基于所述输入确定目标视角，基于所述目标视角以数字方式改变所述增强图像的所述当前区段，以及基于所述以数字方式改变的当前区段来刷新并提供所述可视化窗口。

实施例12

根据实施例11所述的系统，其中所述处理器还被配置为当产生所述增强图像时，组合所述第一图像和所述第二图像以产生第三图像，其中所述第三图像包括比所述第一图像和所述第二图像更高的分辨率。

实施例13

根据实施例1至12中任一项或多项所述的系统，其中所述一组相机中的每个相机包括数字成像装置，其中所述一组相机中的每个相机被配置为经由所述轴内的导电连接件向所述联接单元提供图像数据，并且其中所述图像处理器是图像引导外科手术导航系统的处理器。

实施例14

一种方法，包括：将内窥镜定位在手术部位处，其中所述内窥镜包括定位在所述内窥镜的轴的远侧端部处的第一相机和第二相机；在图像处理器处，接收来自所述第一相机的第一图像和来自所述第二相机的第二图像，其中所述第一图像和所述第二图像被同时捕获；基于所述第一图像和所述第二图像确定第一图像独特部分、重叠部分和第二图像独特部分；基于所述第一图像独特部分、所述重叠部分和所述第二图像独特部分产生增强图像；以及提供可视化窗口，所述可视化窗口经由显示器显示所述增强图像的当前区段。

实施例15

根据实施例14所述的方法，还包括当产生所述增强图像时，组合所述第一图像独特部分、所述重叠部分和所述第二图像独特部分以产生全景图像，其中所述全景图像包括比所述第一图像和所述第二图像更高的分辨率。

实施例16

根据实施例14至15中任一项或多项所述的方法，还包括当产生所述增强图像时：确定所述第一图像和所述第二图像完全或基本上重叠，使得所述第一图像独特部分和所述第二图像独特部分不包含图像数据或包含能够忽略不计的图像数据；以及组合来自所述第一图像和所述第二图像的所述重叠部分以产生超分辨率图像，其中所述超分辨率图像包括比所述重叠部分更高的分辨率。

实施例17

根据实施例14至16中任一项或多项所述的方法，还包括：经由一组操作控件接收一组输入；在所述一组输入中的输入指示所述可视化窗口沿着x轴和y轴中的一个或多个轴的移动的情况下，基于所述输入和所述当前区段来确定所述增强图像的目标区段；确定所述增强图像中位于所述当前区段与所述目标区段之间的一个或多个过渡区段；以及在显示所述目标区段之前，以有序序列显示所述一个或多个过渡区段。

实施例18

根据实施例14至17中任一项或多项所述的方法，还包括：经由一组操作控件接收一组输入；在所述一组输入中的输入指示所述可视化窗口沿z轴的移动的情况下，基于所述输入来确定新的放大水平；确定位于处于原始放大水平下的所述当前区段与处于所述新的放大水平下的所述当前区段之间的所述增强图像的一个或多个过渡放大率；以及在显示处于所述新的放大水平下的所述当前区段之前，以有序序列显示所述一个或多个过渡放大率。

实施例19

根据实施例14至18中任一项或多项所述的方法，还包括：经由一组操作控件接收一组输入；在所述一组输入中的输入指示所述可视化窗口的视角的旋转的情况下，基于所述输入确定目标视角；确定位于当前视角与所述目标视角之间的所述增强图像的一个或多个过渡视角；以及在以所述目标视角显示所述当前区段之前，以数字方式改变所述当前区段，从而以所述一个或多个过渡视角中的每个过渡视角显示所述当前区段。

实施例20

一种内窥镜，包括：联接单元，所述联接单元能够操作以与图像处理器通信；柔性轴，所述柔性轴从所述联接单元延伸，所述柔性轴包括远侧端部；一组相机，所述一组相机定位在所述远侧端部上，其中所述一组相机中的每个相机能够操作以经由所述柔性轴中的导电连接件捕获图像数据并将所述图像数据传送到所述联接单元；一组冲洗通道，所述一组冲洗通道位于所述柔性轴内，其中所述一组冲洗通道中的每个冲洗通道将接收的液体从所述柔性轴的近侧端部输送到所述远侧末端处的所述一组相机中的相机的盖；以及器械通道，所述器械通道位于所述柔性轴内，其中所述器械通道将柔性外科器械从所述柔性轴的所述近侧端部引导至所述远侧末端。

V.杂项

应当理解，本文所述的任何示例还可包括除上述那些之外或代替上述那些的各种其他特征。仅以举例的方式，本文所述的任何示例还可包括以引用方式并入本文的各种参考文献中任何一者中公开的各种特征中的一种或多种。

应当理解，本文所述的教导内容、表达、实施方案、示例等中的任何一者或多者可与本文所述的其他教导内容、表达、实施方案、示例等中的任何一者或多者进行组合。因此，上述教导内容、表达、实施方案、示例等不应视为彼此孤立。参考本文的教导内容，本文的教导内容可进行组合的各种合适方式对于本领域的技术人员而言将显而易见。此类修改和变型旨在包括在权利要求书的范围内。

应当理解，据称以引用方式并入本文的任何专利、专利公布或其他公开材料，无论是全文或部分，仅在所并入的材料与本公开中所述的现有定义、陈述或者其他公开材料不冲突的范围内并入本文。因此，并且在必要的程度下，本文明确列出的公开内容代替以引用方式并入本文的任何冲突材料。据称以引用方式并入本文但与本文列出的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，将仅在所并入的材料与现有的公开材料之间不产生冲突的程度下并入。

本文所公开的装置的型式可设计为使用一次后丢弃，也可设计为供多次使用。在任一种情况下或两种情况下，可对这些型式进行修复以在至少一次使用之后重复使用。修复可包括以下步骤的任意组合：拆卸装置，然后清洁或替换特定零件以及随后进行重新组装。具体地，可拆卸所述装置的型式，并且可选择性地以任何组合形式来更换或拆除所述装置的任意数量的特定部件或零件。在清洁和/或更换特定零件时，所述装置的型式可在修复设施中进行重新组装以供随后使用，或者在即将进行外科手术前由外科团队进行重新组装。本领域的技术人员将会了解，装置的修复可利用多种技术进行拆卸、清洁/更换、以及重新组装。此类技术的使用以及所得的修复装置均在本申请的范围内。

仅以举例的方式，本文所述的型式可在外科手术之前进行处理。首先，可以获取新的或用过的器械，并且根据需要进行清洁。然后，可对器械进行消毒。在一种消毒技术中，将所述器械放置在密闭且密封的容器(诸如，塑料或TYVEK袋)中。然后可将容器和器械置于可穿透所述容器的辐射场，诸如γ辐射、x射线或高能电子。辐射可杀死器械上和容器中的细菌。经消毒的器械随后可被储存在无菌容器中。密封的容器可使器械保持无菌，直到在外科设施中打开所述容器。还可使用本领域已知的任何其他技术对装置进行消毒，所述技术包括但不限于β辐射或γ辐射、环氧乙烷或蒸汽。

在已经示出并描述了本发明的各种型式的情况下，通过本领域技术人员在不脱离本发明范围的前提下进行适当修改来实现对本文所述方法和系统的进一步改进。已经提及了若干此类可能的修改，并且其他修改对于本领域的技术人员而言将显而易见。例如，上文所讨论的示例、型式、几何形状、材料、尺寸、比率、步骤等等均是示例性的而非必需的。因此，本发明的范围应根据以下权利要求书来考虑，并且应理解为不限于说明书和附图中示出和描述的结构和操作的细节。