立体可视化相机和平台
阅读说明：本技术 立体可视化相机和平台 (Stereoscopic visualization camera and platform ) 是由 M·瑞米瑞兹卢纳 M·韦斯曼 T·P·瑞德尔 G·C·坡尔金 A·B·特瑞帕斯 于 2018-04-19 设计创作，主要内容包括：披露了一种立体可视化相机和平台。一种示例立体可视化相机包括沿着第一光路定位的第一多个透镜、以及用于根据所述第一光路中的光记录目标部位的第一图像流的第一图像传感器。所述立体可视化相机还包括沿着与所述第一光路平行的第二光路定位的第二多个透镜、以及用于根据所述第二光路中的光记录所述目标部位的第二图像流的第二图像传感器。所述立体可视化相机还包括处理器,所述处理器被配置用于通过选择所述第一图像传感器和所述第二图像传感器的像素网格的像素集来减少所述第一图像流与所述第二图像流之间的假视差,使得变焦重复点(“ZRP”)位于相应像素网格的中心。(A stereoscopic visualization camera and platform are disclosed. An example stereoscopic visualization camera includes a first plurality of lenses positioned along a first optical path, and a first image sensor to record a first image stream of a target site from light in the first optical path. The stereoscopic visualization camera also includes a second plurality of lenses positioned along a second optical path parallel to the first optical path, and a second image sensor for recording a second image stream of the target site from light in the second optical path. The stereoscopic visualization camera also includes a processor configured to reduce false disparity between the first image stream and the second image stream by selecting a set of pixels of a grid of pixels of the first image sensor and the second image sensor such that a zoom repeat point ("ZRP") is centered on a respective grid of pixels.)
技术领域
本披露总体上涉及外科手术相机，更具体地涉及用于显微外科手术应用的立体相机和立体可视化平台。
背景技术
外科手术是一门艺术。有成就的艺术家创作的艺术品远远超出了普通人的能力。艺术家使用画笔将涂料罐转换为生动的图像，这些图像引起了观众强烈而独特的情感。艺术家将普通的文字写在纸上，并将其变成戏剧性的且令人振奋的表演。艺术家掌握乐器使它们发出优美的音乐。类似地，外科医生使用看似普通的手术刀、镊子和探针，创造改变生命的生物学奇迹。
像艺术家一样，外科医生也有他们自己的方法和偏好。有抱负的艺术家被教导他们的工艺基础知识。初学者经常遵循规定的方法。随着他们获得经验、信心和知识，他们发展出他们自己的独特技艺以反映出他们自己和他们的个人环境。类似地，医学生被教导外科手术的基础知识。他们关于这些方法上经过严格测试。随着这些学生通过实习和专业实践取得进步，他们会基于他们认为的应该完成外科手术的最好方式来发展基础知识的衍生(仍在医学标准之内)。例如，考虑由不同的知名外科医生执行的相同医疗程序。事件的顺序、起搏、工作人员的安排、工具的放置以及对成像设备的使用在各外科医生之间基于他们的偏好而有所不同。甚至切口的大小和形状对外科医生来说也可能是独一无二的。
外科医生的艺术般的独特性和成就使他们厌倦了改变或更改他们的方法的外科手术工具。工具应是外科医生的延伸，同时操作和/或协调同步地操作。决定手术流程或改变外科医生节奏的外科手术工具常常会被丢弃或被修改以使符合要求。
在示例中，考虑显微外科手术可视化，其中，某些外科手术涉及的患者结构对于人类来说太小以至于无法用肉眼轻易地看见。对于这些显微外科手术，需要放大以充分观察微观结构。外科医生通常需要可视化工具，这些工具是他们眼睛的自然延伸。的确，显微外科手术可视化的早期工作包括将放大透镜附接到头戴式光学目镜(称为外科手术放大镜)上。第一副是在1876年开发的。如今外科医生仍在使用大幅改进版本的外科手术放大镜(某些包括光学变焦和集成光源)。图1示出了具有光源102和放大透镜104的一副外科手术放大镜100的图。外科手术放大镜150年来经久不衰可以归因于它们实际上是外科医生眼睛的延伸。
尽管外科手术放大镜使用寿命长，但它们并不完美。具有放大透镜和光源的放大镜，比如图1的放大镜100，具有大得多的重量。即使在外科医生的面部前面施加很小的重量，也可能增加不适感和疲劳感，尤其是在持续很久的手术中。外科手术放大镜100还包括连接到远程电源的电缆106。电缆有效地起到了链条的作用，从而限制了外科医生在其外科手术执行期间的移动性。
另一个显微外科手术可视化工具是外科手术显微镜，也称为手术显微镜。外科手术显微镜的大范围商业发展始于1950年代，目的是更换外科手术放大镜。外科手术显微镜包括光路、透镜和聚焦元件，与外科手术放大镜相比，这些外科手术显微镜提供了更大的放大率。较大的光学元件阵列(以及由此产生的重量)意味着必须将外科手术显微镜与外科医生分离。虽然这种分离为外科医生提供了更多的操作空间，但外科手术显微镜的体积使其占用了患者上方相当大的手术空间，从而减小了外科手术台的大小。
图2示出了现有技术的外科手术显微镜200的图。可以想象，外科手术显微镜在手术区域的大小和存在使其容易发生碰撞。为了在显微镜头部201处提供稳定性和刚性，显微镜被连接到相对较大的伸缩臂202和204或其他类似的支撑结构。大的伸缩臂202和204占用了额外的外科手术空间，并降低了外科医生和工作人员的可操纵性。总体上，图2所示的外科手术显微镜200可能重达350千克(“kg”)。
为了使用外科手术显微镜200查看目标外科手术部位，外科医生直接通过目镜206进行观察。为了减轻外科医生背部的压力，通常将目镜206沿着外科医生的自然视线定位，使用臂202来调整高度。然而，外科医生并不仅通过观察目标外科手术部位来进行手术。目镜206必须被定位成使得外科医生在到患者的工作距离的臂长度内。这种精确定位对于确保外科手术显微镜200成为外科医生的延伸而不是阻碍是至关重要的，尤其是在长时间段使用时。
像任何复杂的仪器一样，使用外科手术显微镜需要外科医生花费数十至数百小时才能感到舒适。如图2所示，外科手术显微镜200的设计需要从外科医生到目标外科手术部位有大致90°角的光路。例如，从目标外科手术部位到显微镜头部201需要完全竖直的光路。这意味着对于每次显微外科手术，必须将显微镜头部201定位在患者的正上方。另外，外科医生必须几乎水平地(或者向下某个微小的角度)向目镜206里看。外科医生的自然倾向是在外科手术部位将他的视线引导至他的手。一些外科医生甚至想将其头部移近外科手术部位，以更精确地控制其手部移动。遗憾的是，外科手术显微镜200没有给予外科医生这种灵活性。相反，外科手术显微镜200无情地指示，外科医生在其外科手术执行期间要将其眼睛放在目镜206上并且将其头部保持在臂长处，同时还要占用患者上方的宝贵外科手术空间。外科医生甚至不能简单地低头看着病人，因为显微镜头部201挡住了外科医生的视线。
更糟糕的是，有些外科手术显微镜200包括用于辅助手术人员(例如，助理外科医生、护士或其他临床工作人员)的第二副目镜208。第二副目镜208通常与第一目镜206成直角定位。目镜206与目镜208之间的紧密度决定了助手必须站立(或坐)在紧靠外科医生的位置，这进一步限制了移动。对于一些喜欢在某个空间进行手术的外科医生来说，这可能会是令人厌烦的。尽管具有放大的优点，但是外科手术显微镜200并不是外科医生的自然延伸。相反，它们是外科手术室里的主导引向器(overbearing director)。
发明内容
本披露涉及立体可视化相机和平台，所述立体可视化相机被配置成作为外科医生眼睛的延伸而有效地操作，同时给予外科医生自由以一般不受限制地进行显微外科手术。本文披露的所述示例立体可视化相机包括用于显微外科手术应用的具有全范围、操作者独立取向的数字立体可视化平台。所述示例立体可视化相机和平台将显微外科手术可视化系统与外科医生的头部和眼睛分离，以提供外科手术可视化系统相对于外科医生和目标外科手术领域的多种多轴取向。结果，不必在定位于患者上方和外科医生面前的大体积显微镜周围工作，就可为外科医生提供外科手术部位的增强的放大视图。因此，所述示例立体可视化相机使外科医生能够在适合外科医生的任何位置舒适地完成改变生命的显微手术。此外，本披露的所述外科手术可视化相机可以沿着并且围绕相对于外科手术领域的任何数量的取向(这些取向最适合外科医生或患者的需求)被定位，而没有对可视化装置的物理和机械限制。
与已知的单视和立体相机相比，所述示例立体可视化相机和相应平台具有许多明显的优点。当前的单视和立体相机连接至外科手术显微镜的光路。当被连接至所述光路时，这些相机无法控制聚焦、变焦和/或设置工作距离。相反，这些控件位于所述外科手术显微镜的显微镜头部。另外，外科手术显微镜中的光学元件为目镜提供通常可接受的图像质量。然而，当被相机获取并显示在视频监视器上时，图像质量的缺陷或右视图和左视图的轻微错位变得更加明显。
所述示例立体可视化相机通过被配置为不依赖外部显微镜光学元件的自含式(self-contained)设备，克服了已知的单视和立体相机的上述问题。相反，所述示例立体可视化相机使外科手术显微镜上常见的这些光学元件内化。这些光学元件可以被设置在相机内的导轨和/或挠曲件上，以允许手动和/或自动调节。因此，可以通过连接至相机的相机控件和/或用户输入设备来提供对这些光学元件的调整，这使得能够专门针对相机进行调整。另外，可以自动和/或手动调整立体可视化相机的这些光学元件以对准左图像和右图像的焦点并减少视觉缺陷和/或假视差。最终结果是一个相对轻巧的可操作的立体可视化相机，所述相机提供了几乎无瑕疵的三维立体显示，使外科医生可以在没有视觉障碍的情况下练习自己的技术。
在示例实施例中，立体成像装置被配置用于减少目标部位的并行获取或记录的第一图像流与第二图像流之间的假视差。所述装置包括沿第一光路定位的第一光学元件。所述第一光学元件包括：第一多个透镜，所述第一多个透镜包括被配置成可在z方向上沿所述第一光路移动的第一变焦透镜；以及第一图像传感器，所述第一图像传感器用于根据所述第一光路中的光获取所述目标部位的所述第一图像流。所述装置还包括沿着平行于所述第一光路的第二光路定位的第二光学元件。所述第二光学元件包括：第二多个透镜，所述第二多个透镜包括被配置成可在z方向上沿所述第二光路移动的第二变焦透镜；以及第二图像传感器，所述第二图像传感器用于根据所述第二光路中的光获取所述目标部位的所述第二图像流。所述装置进一步包括处理器，所述处理器被配置用于通过以下方式定位第一变焦重复点(“ZRP”)的位置：在记录所述第一图像流期间，使所述第一变焦透镜沿所述z方向移动；在所述第一图像流中的图像内定位不沿x方向或y方向移动的第一部分区域；以及将所述第一图像流中的至少一个图像内的原点与所述第一部分区域之间的第一距离确定为所述第一ZRP的位置。所述示例处理器还被配置用于使用所述第一距离确定所述第一图像传感器的第一像素网格的第一像素集以使得所述第一ZRP位于所述第一像素集的中心，以及确定所述第二图像传感器的第二像素网格的第二像素集，所述第二像素集包括与来自所述第一图像传感器的所述第一像素集的图像对准的图像。所述示例处理器进一步被配置用于通过以下方式定位第二ZRP的位置：在记录所述第二图像流期间，使所述第二透镜沿所述z方向移动；在所述第二图像流中的图像内定位不沿所述x方向或所述y方向移动的第二部分区域；以及将所述第二像素集的中心与所述第二部分区域之间的第二距离确定为所述第二ZRP的位置。此外，所述示例处理器被配置用于在所述x方向、所述y方向和倾斜方向中的至少一个方向上调整所述第二多个透镜之一或所述第二图像传感器，以使所述第二ZRP基于所确定的第二距离与所述第二像素集的中心对准。
所述示例处理器通过使用所述第一距离确定所述第一图像传感器的第一像素网格的第一像素集以使得所述第一ZRP位于所述第一像素集的中心来减少或消除假视差。另外，所述处理器确定所述第二图像传感器的第二像素网格的第二像素集，所述第二像素集包括与来自所述第一图像传感器的所述第一像素集的图像对准的图像。进一步地，所述示例处理器在所述x方向、所述y方向和倾斜方向中的至少一个方向上调整所述第二多个透镜之一，以使所述第二ZRP基于所确定的第二距离与所述第二像素集的中心对准。在替代实施例中，所述示例处理器可以以数字改变所述第二多个透镜中的那个透镜的光学性质，以具有与移动所述第二多个透镜中的那个透镜相同的效果。所述处理器将关于所述第一变焦透镜和所述第二变焦透镜的放大率水平的所述第一像素集和所述第二像素集的位置存储为校准点。当所述立体成像装置随后返回到相同或相似的放大率水平时，所述处理器可以使用所述校准点并选择所述像素集的存储位置。
在另一个实施例中，立体成像装置被配置用于减少目标部位的并行记录的第一图像流与第二图像流之间的假视差。所述示例装置包括第一光学元件，所述第一光学元件沿着第一光路定位并且包括：第一多个透镜，所述第一多个透镜包括被配置成可在z方向上沿所述第一光路移动的第一变焦透镜；以及第一图像传感器，所述第一图像传感器用于根据所述第一光路中的光获取所述目标部位的所述第一图像流。所述示例装置还包括沿着与所述第一光路平行的第二光路定位的第二光学元件，所述第二光学元件包括：第二多个透镜，所述第二多个透镜包括被配置成可在所述z方向上沿所述第二光路移动的第二变焦透镜；以及第二图像传感器，所述第二图像传感器用于根据所述第二光路中的光记录所述目标部位的所述第二图像流。所述示例装置进一步包括处理器，所述处理器被配置用于在所述第一图像流中定位第一变焦重复点(“ZRP”)的位置，确定所述第一图像传感器的第一像素网格的第一像素集，使得所述第一ZRP位于所述第一像素集的中心，以及确定所述第二图像传感器的第二像素网格的第二像素集，使得来自所述第二像素集的图像与来自所述第一像素集的图像在视觉上对准。
本文所讨论的优点可以在本文披露的实施例中的一个或一些实施例(也许不是全部实施例)中找到。附加特征和优点在本文进行了描述，并且从以下详细说明和附图来看将是显而易见的。
附图说明
图1示出了一副现有技术的外科手术放大镜的图。
图2示出了现有技术的外科手术显微镜的图。
图3和图4示出了根据本披露的示例实施例的立体可视化相机的透视图。
图5和图6示出了根据本披露的示例实施例的包括图3和图4的立体可视化相机的显微外科手术环境的图。
图7和图8示出了根据本披露的示例实施例的展示图3至图6的示例立体可视化相机内的光学元件的图。
图9示出了根据本披露的示例实施例的图7和图8的示例立体可视化相机的偏转元件的图。
图10示出了根据本披露的示例实施例的图7和图8的示例立体可视化相机的右光学图像传感器和左光学图像传感器的示例的图。
图11和图12示出了根据本披露的示例实施例的图7和图8的示例立体可视化相机的光学元件的示例载架的图。
图13示出了根据本披露的示例实施例的图7和图8的示例立体可视化相机的示例挠曲件的图。
图14示出了根据本披露的示例实施例的用于获取和处理图像数据的示例立体可视化相机的模块的图。
图15示出了根据本披露的示例实施例的图14的模块的内部部件的图。
图16示出了根据本披露的示例实施例的图14和图15的信息处理器模块的图。
图17示出了根据本披露的示例实施例的显示监视器的示例。
图18至图21示出了展示右光路与左光路之间的假视差的图。
图22示出了展示与用于对应右光路和左光路的两个平行透镜的位置相关的离焦条件的图。
图23和图24示出了展示当融合到立体图像时，假视差如何导致数字图形和/或图像失去准确性的图。
图25和图26展示了根据本披露的示例实施例的示出减少或消除假视差的示例程序的流程图。
图27示出了根据本披露的示例实施例的展示相对于光学图像传感器的像素网格如何调整变焦重复点的图。
图28至图32示出了根据本披露的示例实施例的展示用于定位变焦重复点的模板匹配程序的图。
具体实施方式
本披露总体上涉及立体可视化相机和平台。立体可视化相机可以被称为数字立体显微镜(“DSM”)。示例相机和平台被配置用于将显微镜光学元件与视频传感器集成到自含式头部单元中，该自含式头部单元比现有技术显微镜(比如图1的外科手术放大镜100和图2的外科手术显微镜200)显著地更小、更轻、并且更具操纵性。示例相机被配置用于在外科手术环境内将立体视频信号传输至一个或多个电视监视器、投影仪、全息设备、智能眼镜、虚拟现实设备或其他视觉显示设备。
监视器或其他视觉显示设备可以被定位在外科手术环境中，以便在对患者进行外科手术时容易地处于外科医生的视线内。这种灵活性使外科医生能够基于个人偏好或***台)使外科医生和外科手术团队能够对患者进行复杂的显微外科手术，而不受移动性的支配或限制。因此，示例立体可视化平台作为外科医生的眼睛的延伸，使外科医生能够进行杰作般的显微手术而无需处理由先前已知的可视化系统引起的压力、限制和局限。
本文的披露内容总体上涉及显微外科手术。示例立体可视化相机实际上可用于任何显微外科手术，包括例如颅脑外科手术、脑部外科手术、神经外科手术、脊柱外科手术、眼外科手术、角膜移植、矫形外科手术、耳鼻喉外科手术、牙外科手术、整形和重建外科手术、或普通外科手术。
本披露在本文中还涉及目标部位、场景或视野。如本文中所使用的，目标部位或视野包括由示例立体可视化相机正在记录或以其他方式成像的物体(或物体的一部分)。通常，目标部位、场景或视野是距示例立体可视化相机的主物镜组件的工作距离，并且与示例立体可视化相机对准。目标部位可以包括患者的生物组织、骨骼、肌肉、皮肤或其组合。在这些实例中，通过具有与病人解剖结构进展相对应的深度分量，目标部位可能是三维的。目标部位还可以包括用于示例立体可视化相机的校准或验证的一个或多个模板。这些模板可以是二维的、比如在纸(或塑料片材)上的图形设计，或者可以是三维的、比如以接近某个区域中的患者解剖结构。
在全文中还参考x方向、y方向、z方向和倾斜方向。z方向沿着从示例立体可视化相机到目标部位的轴，并且一般是指深度。x方向和y方向在入射到z方向的平面中并且包括目标部位的平面。x方向是沿着与y方向的轴成90°的轴。沿x方向和/或y方向的移动是指平面内移动，并且可以指示例立体可视化相机的移动、示例立体可视化相机内的光学元件的移动和/或目标部位的移动。
倾斜方向对应于相对于x方向、y方向和/或z方向沿着欧拉角(例如，偏航轴、俯仰轴和横滚轴)的移动。例如，完全对准的透镜相对于x方向、y方向和/或z方向大体上是0°倾斜。换言之，透镜的面与沿z方向的光成90°或垂直。另外，透镜的边缘(如果透镜具有矩形形状)沿x方向和y方向平行。可以通过偏航移动、俯仰移动和/或侧倾移动来为透镜和/或光学图像传感器命名。例如，透镜和/或光学图像传感器可以沿相对于z方向的俯仰轴命名为面向上或面向下。沿z方向的光以非垂直角度接触透镜的面(向上或向下倾斜)。透镜和/或光学图像传感器沿偏航轴、俯仰轴或侧倾轴的倾斜使得例如焦点或ZRP能够被调整。
I.示例立体可视化相机
图3和图4示出了根据本披露的示例实施例的立体可视化相机300的透视图。示例相机300包括外壳302，该外壳被配置用于封闭光学元件、透镜电机(例如，致动器)和信号处理电路。相机300的宽度(沿x轴)在15至28厘米(cm)之间、优选地在22cm左右。另外，相机300的长度(沿y轴)在15至32cm之间、优选地在25cm左右。进一步地，相机300的高度(沿z轴)在10至20cm之间、优选地在15cm左右。相机300的重量在3至7kg之间、优选地在3.5kg左右。
相机300还包括控制臂304a和304b(例如，操作手柄)，其被配置用于控制放大率水平、聚焦和其他显微镜特征。控制臂304a和304b可以包括用于激活或选择某些特征的对应的控件305a和305b。例如，控制臂304a和304b可以包括控件305a和305b，这些控件用于选择荧光模式、调整投射到目标部位的光的量/类型以及控制显示输出信号(例如，在1080p或4K和/或立体中间选择)。另外，控件305a和/或305b可用于启动和/或执行校准程序和/或移动连接至立体可视化相机300的机械臂。在一些实例中，控件305a和305b可以包括相同的按钮和/或特征。在其他实例中，控件305a和305b可以包括不同的特征。进一步地，控制臂304a和304b还可以被配置为把手以使操作员能够定位立体可视化相机300。
如图3所示，每个控制臂304经由可旋转的柱306连接至外壳302。该连接使得控制臂304能够相对于外壳302旋转。该旋转为外科医生提供了灵活性，以根据需要布置控制臂304，从而进一步增强了立体可视化相机300与外科手术执行同步的适应性。
虽然图3和图4所示的示例相机300包括两个控制臂304a和304b，但应当理解，相机300可以只包括一个控制臂或零个控制臂。在立体可视化相机300不包括控制臂的实例中，控件可以与外壳302集成和/或经由遥控器提供。
图4示出了根据本披露的示例实施例的立体可视化相机300的后侧的自底向上透视图。立体可视化相机300包括被配置为连接至支撑件的安装支架402。如图5和图6中更详细描述的，支撑件可以包括具有一个或多个接合部的臂，以提供显著的可操作性。臂可以连接至可移动的推车上或者固定在墙壁或天花板上。
立体可视化相机300还包括被配置用于接收电源适配器的电源端口404。可以从AC插座和/或推车上的电池接收电力。在一些实例中，立体可视化相机300可以包括内部电池以方便在没有连接线的实例中操作。在这些实例中，电源端口404可以用于为电池充电。在替代实施例中，电源端口404可以与安装支架402集成，使得立体可视化相机300经由支撑件内的电线(或其他导电路由材料)接收电力。
图4还示出了立体可视化相机300可以包括数据端口406。示例数据端口406可以包括任何类型的端口，包括例如以太网接口、高清晰度多媒体接口(“HDMI”)接口、通用串行总线(“USB”)接口、串行数字接口(“SDI”)、数字光学接口、RS-232串行通信接口等。数据端口406被配置用于在立体可视化相机300与路由到一个或多个计算设备、服务器、记录设备和/或显示设备的连接线之间提供通信连接。通信连接可以传输立体视频信号或二维视频信号以用于进一步处理、存储和/或显示。数据端口406还可以使控制信号能够被发送到立体可视化相机300。例如，连接的计算机(例如，膝上型计算机、台式计算机和/或平板计算机)处的操作员可以将控制信号传输至立体可视化相机300以指导操作、执行校准或改变输出显示设置。
在一些实施例中，数据端口406可以用无线接口代替(和/或补充)。例如，立体可视化相机300可以经由Wi-Fi将立体显示信号传输至一个或多个显示设备。无线接口的使用，再结合内部电池，使立体可视化相机300能够不需要电线，从而进一步提高了外科手术环境中的可操作性。
图4所示的立体可视化相机300还包括主物镜组件的前工作距离主物镜408。示例透镜408是立体可视化相机300内的光路的起点。从内部光源到立体可视化相机300的光通过透镜408透射到目标部位。另外，从目标部位反射的光在透镜408中被接收并传递到下游光学元件。
II.立体可视化相机的示例性可操作性
图5和图6示出了根据本披露的示例实施例的在显微外科手术环境500内使用的立体可视化相机300的图。如图所示，立体可视化相机300(尤其是当与多自由度臂结合使用时)的小占地面积和可操作性使得能够相对于患者502灵活定位。从立体可视化相机300的角度来看，患者502的一部分包括目标部位503。外科医生504可以将立体可视化相机300定位在几乎任何取向，同时在(以仰卧位躺着的)患者502上方留出足够的外科手术空间。立体可视化相机300因此具有最低程度的侵入性(或不具有侵入性)以使外科医生504能够在不受干扰或阻碍的情况下进行改变生命的显微外科手术。
在图5中，立体可视化相机300经由安装支架402连接至机械臂506。臂506可以包括带有机电制动器的一个或多个旋转或可延伸的接合部，以便于容易地重新定位立体可视化相机300。为了移动立体可视化相机300，外科医生504或助手508致动臂506的一个或多个接合部上的制动释放器。在将立体可视化相机300移动到期望位置之后，可以接合制动器以将臂506的接合部锁定在位。
立体可视化相机300的重要特征是它不包括目镜。这意味着立体可视化相机300不必与外科医生504的眼睛对准。这种自由度使得立体可视化相机300能够被定位并定向在期望的位置，这在现有的已知外科手术显微镜中是不可行或不可能的。换言之，外科医生504可以以用于执行该程序的最佳视图来执行显微外科手术，而不是仅限于由外科手术显微镜的目镜所指示的适当视图。
返回图5，立体可视化相机300经由机械臂506连接至具有显示监视器512和514的推车510(统称为立体可视化平台516)。在所展示的配置中，立体可视化平台516是自含式的并且可以被移动到显微外科手术环境500中的任何期望位置，包括在外科手术室之间。集成平台516使立体可视化相机300能够按需移动和使用，而无需花费时间通过连接显示监视器512和514来配置系统。
显示监视器512和514可以包括任何类型的显示器，包括高清电视、超高清电视、智能眼镜、投影仪、一个或多个计算机屏幕、膝上型计算机、平板计算机和/或智能电话。显示监视器512和514可以连接至机械臂以实现类似于立体可视化相机300的灵活定位。在一些实例中，显示监视器512和514可以包括触摸屏，以使操作员能够将命令发送到立体可视化相机300和/或调整显示器的设置。
在一些实施例中，推车516可以包括计算机520。在这些实施例中，计算机520可以控制连接至立体可视化相机300的机器人机械臂。另外或可替代地，计算机520可以处理来自立体可视化相机300的视频(或立体视频)信号(例如，图像或帧流)，以在显示监视器512和514上显示。例如，计算机520可以组合或交织来自立体可视化相机300的左视频信号与右视频信号以创建用于显示目标部位的立体图像的立体信号。计算机520还可以用于将视频和/或立体视频信号存储到视频文件中(存储到存储器中)，从而可以记载外科手术执行并进行回放。进一步地，计算机520还可以将控制信号发送到立体可视化相机300以选择设置和/或执行校准。
在一些实施例中，图5的显微外科手术环境500包括眼外科手术。在本实施例中，机械臂506可以被编程用于对患者的眼睛进行眼眶扫描。这种扫描使外科医生能够在玻璃体视网膜手术中检查外周视网膜。相比之下，对于传统的光学显微镜，外科医生可以观察到外周视网膜的唯一方法是使用被称为巩膜凹陷的技术将眼睛的一侧推入视野。
图6示出了显微外科手术环境500的图，其中患者502处于用于后部接近颅底神经外科手术的坐姿。在所展示的实施例中，立体可视化相机300被定位在水平位置以面对患者502的头后部。机械臂506包括接合部，这些接合部使立体可视化相机300能够如图所示被定位。另外，推车510包括监视器512，该监视器可以与外科医生的自然视线方向对准。
缺少目镜使得立体可视化相机300能够被水平定位并低于外科医生504的视平线。进一步地，相对低的重量和灵活性使得立体可视化相机300能够以其他已知外科手术显微镜无法想象的方式被定位。立体可视化相机300从而为患者502和/或外科医生504的任何期望位置和/或取向提供显微外科手术视图。
虽然图5和图6示出了用于定位立体可视化相机300的两个示例实施例，但是应当理解，立体可视化相机300可以根据机械臂506的自由度数值而定位在任意数量的位置。在一些实施例中完全可以将立体可视化相机300定位成面向上(例如，倒置)。
III.示例立体可视化平台与已知外科手术显微镜的比较
将图3至图6的立体可视化相机300与图2的外科手术显微镜200进行比较，差异显而易见。在外科手术显微镜中包括目镜206需要外科医生不断地将他/她的眼睛朝向目镜，该目镜相对于显微镜头部201和患者处于固定位置。进一步地，外科手术显微镜的体积和重量限制了它仅被定位在相对于患者大致竖直的取向上。相比之下，示例立体可视化相机300不包括目镜，并且可以相对于患者以任何取向或位置被定位，从而使外科医生在外科手术期间自由移动。
为了使其他临床工作人员能够查看显微外科手术目标部位，外科手术显微镜200需要添加第二目镜208。通常，大多数已知的外科手术显微镜200不允许增加第三目镜。相比之下，示例立体可视化相机300可以通信地耦合至无限数量的显示监视器。当上述图5和图6示出了连接至推车510的显示监视器512和514时，外科手术室可能被显示监视器包围，这些显示监视器全部示出了由立体可视化相机300记录的显微外科手术视图。因此，整个外科手术团队都可以查看目标外科手术部位的放大视图，而不是将视图局限于一个或两个人(或需要共享目镜)。此外，可以向其他房间(比如培训室和观察室)中的人呈现显示给外科医生的相同的放大视图。
与立体可视化相机300相比，双目镜外科手术显微镜200更容易受到碰撞或被无意地移动。由于在外科手术期间外科医生将其头部放置在目镜206和208上以通过目镜观察，所以显微镜头部201受到恒定力和周期性撞击。添加第二目镜208使来自第二角度的力加倍。总之，外科医生的恒定力和周期性撞击可能导致显微镜头部201移动，从而需要重新定位显微镜头部201。这种重新定位会延迟外科手术并扰乱外科医生。
示例立体可视化相机300不包括目镜，并且一旦其被锁定到某个位置就不旨在接收来自外科医生的接触。这对应于在外科医生的执行期间立体可视化相机300被意外地移动或碰撞的可能性显著降低。
为了有助于第二目镜208，外科手术显微镜200必须配备有分束器210，该分束器可以包括容纳在精密金属管中的玻璃透镜和反射镜。分束器210的使用减少了在第一目镜处接收的光，因为一些光被反射到了第二目镜208。进一步地，第二目镜208和分束器210的添加增加了显微镜头部201的重量和体积。
与外科手术显微镜200相比，立体可视化相机300仅包含用于传感器的光路，从而减轻了重量和体积。另外，光学传感器接收全部入射光，因为不需要分束器来重定向一部分光。这意味着示例立体可视化相机300的光学传感器接收到的图像尽可能明亮和清晰。
某些型号的外科手术显微镜可以使能够附接视频相机。例如，图2的外科手术显微镜200包括经由分束器214连接至光路的单视视频相机212。视频相机212可以是单视的或立体的，比如
每个分束器210和214将入射光部分地分成三个路径，从而从外科医生的视野中移除光。外科医生的眼睛对低光的敏感性有限，因此来自呈现给他/她的手术部位的光必须足以允许外科医生进行该手术。然而，外科医生不能总是增加施加到患者目标部位的光的强度，尤其是在眼科手术中。在产生光毒性之前，患者的眼睛对高光的敏感性有限。因此，对分束器的数量和比例以及可以从第一目镜206分离的光量存在限制，以能够使用辅助设备208和212。
图3至图6的示例立体可视化相机300不包括分束器，使得光学成像传感器从主物镜组件接收全部光量。由于后期处理可以使图像足够明亮和可见(并且可调整)以在监视器上显示，因此这使得能够使用具有低光敏感性的传感器或者甚至使用敏感性超出可见光波长的光学传感器。
进一步地，由于限定光路的光学元件是自含于立体可视化相机300内的，因此可以通过相机来控制这些光学元件。该控制允许光学元件的放置和调整是针对三维立体显示器而不是针对显微镜目镜进行优化的。相机的这种配置允许从相机控件或从远程计算机以电子方式提供控制。另外，可以通过相机300上的一个或多个程序来自动提供控制，该一个或多个程序被配置用于调整光学元件以在变焦时保持焦点或针对光学缺陷和/或假视差进行调整。相比之下，外科手术显微镜200的光学元件在视频相机212的外部并且仅经由操作员输入来控制，该操作员输入通常被优化用于通过目镜206观察目标部位。
在最终比较中，外科手术显微镜200包括用于移动视野或目标场景的X-Y摇摄(panning)设备220。X-Y摇摄设备220通常是大型、笨重且昂贵的机电模块，因为它必须牢固地支撑和移动外科手术显微镜头部201。另外，移动显微镜头部201会改变外科医生的到目镜206的新位置的定位。
相比之下，示例立体可视化相机300包括存储器，该存储器包括指令，这些指令在被执行时使处理器选择光学传感器的像素数据以使得能够在宽像素网格上进行X-Y摇摄。另外，示例立体可视化相机300可以包括小型电机或致动器，该小型电机或致动器控制主物镜光学元件以在不移动相机300的情况下改变到目标部位的工作距离。
IV.立体可视化相机的示例光学元件
图7和图8示出了根据本披露的示例实施例的展示图3至图6的示例立体可视化相机300内的光学元件的图。获取目标部位的左视图和右视图以构造立体图像可能看起来相对简单。然而，如果没有仔细的设计和补偿，许多立体图像在左视图与右视图之间会出现对准问题。当长时间查看时，由于左视图与右视图之间的差异，对准问题会在观察者的大脑中造成混乱。这种混乱可能导致头痛、疲劳、眩晕甚至恶心。
示例立体可视化相机300通过具有右光路和左光路并具有对一些光学元件的独立控制和/或调整而将其他左光学元件和右光学元件固定在公共载架中来减少(或消除)对准问题。在示例实施例中，一些左变焦透镜和右变焦透镜可以固定到公共载架上，以确保左放大率和右放大率基本相同。然而，前透镜或后透镜可以是径向地、旋转地、轴向地和/或倾斜地独立可调的，以补偿变焦倍数、视觉缺陷和/或假视差(比如变焦重复点的移动)中的小差异。可调整透镜提供的补偿会在整个变焦放大范围内实现几乎完美对准的光路。
另外或可替代地，可以使用像素读出和/或渲染技术来减少(或消除)对准问题。例如，可以相对于左图像(由左光学传感器记录)来向上或向下调整右图像(由右光学传感器记录)以校正图像之间的竖直失准。类似地，可以相对于左图像来向左或向右调整右图像以校正图像之间的水平失准。
下面的图7和图8示出了光学元件的示例布置和定位，这些光学元件提供了几乎伪像、假视差和无畸变的对准光路。如稍后所讨论的，某些光学元件可以在校准和/或用于进一步对准光路并移除任何剩余的畸变、假视差和/或缺陷期间移动。在所展示的实施例中，光学元件被定位在两条平行的路径中以产生左视图和右视图。替代实施例可以包括折叠的、偏转的或以其他方式不平行的光路。
所展示的路径对应于人类的视觉系统，使得如在立体显示器上显示的，左视图和右视图看起来相隔一段距离，该距离产生了大约6度的会聚角，这个会聚角相当于用于成年人的眼睛在大约4英尺远处观看物体的会聚角，从而产生立体视觉。在一些实施例中，从左视图和右视图生成的图像数据在显示监视器512和514上组合在一起以生成目标部位或场景的立体图像。替代实施例包括其他立体显示器，其中，左视图仅呈现给观看者的左眼，并且对应的右视图仅呈现给右眼。在用于调整和验证适当对准和校准的示例性实施例中，两个视图被重叠显示给两只眼睛。
立体视图优于单视视图，因为立体视图更接近地模仿了人类的视觉系统。立体视图提供深度感知、距离感知和相对大小感知，以向外科医生提供目标外科手术部位的真实视图。对于诸如视网膜外科手术之类的手术，立体视图至关重要，因为外科手术移动和力如此之小以至于外科医生无法感觉到它们。提供立体视图有助于外科医生的大脑在大脑感知深度的同时甚至感觉到微小移动时放大触觉。
图7示出了示例立体可视化相机300的侧视图，其中外壳302是透明的以显露光学元件。图8示出了展示由图7所示的光学元件提供的光路的图。如图8所示，光路包括右光路和左光路。从面向前方并向下观看立体可视化相机300的角度示出了图8中的光路。从该视图来看，左光路出现在图8的右侧，而右光路示出在左侧。
图7所示的光学元件是左光路的一部分。应当理解，关于光学元件的关系位置和布置，图7中的右光路通常与左光路相同。如上所述，光路的中心之间的瞳孔间距在58mm至70mm之间，其可以缩放为10mm至25mm。这些光学元件中的每一个包括具有特定直径(例如，在2mm与29mm之间)的透镜。因此，光学元件自身之间的距离在1mm至23mm之间、优选地在10mm左右。
示例立体可视化相机300被配置用于获取目标部位700的图像(也称为场景或视野)。目标部位700包括患者身上的解剖位置。目标部位700还可以包括实验室生物样品、校准载玻片/模板等。来自目标部位700的图像经由主物镜组件702在立体可视化相机300处被接收，该主物镜组件包括前工作距离透镜408(如图4所示)和后工作距离透镜704。
V.示例主物镜组件
示例主物镜组件702可以包括任何类型的屈光组件或反光组件。图7示出了作为消色差屈光组件的物镜组件702，其中前工作距离透镜408是固定的，而后工作距离透镜704是沿z轴可移动的。前工作距离透镜408可以包括平凸(“PCX”)透镜和/或新月形透镜。后工作距离透镜704可以包括消色差透镜。在主物镜组件702包括消色差屈光组件的示例中，前工作距离透镜408可以包括半球形透镜和/或新月形透镜。另外，后工作距离透镜704可以包括消色差双合透镜、消色差双合透镜组和/或消色差三合透镜。
主物镜组件702的放大率在6x至20x之间。在一些实例中，主物镜组件702的放大率可以基于工作距离而略有变化。例如，主物镜组件702针对200mm的工作距离可以具有8.9x的放大率，并且针对450mm的工作距离可以具有8.75x的放大率。
示例后工作距离透镜704被配置成相对于前工作距离透镜408可移动以改变它们之间的间隔。透镜408与704之间的间隔确定了主物镜组件702的整体前焦距长度，并且因此确定了焦平面的位置。在一些实施例中，焦距是透镜408与704之间的距离加上前工作距离透镜408的厚度的一半。
前工作距离透镜408和后工作距离透镜704一起被配置用于提供无限共轭图像以便为下游光学图像传感器提供最佳焦点。换言之，正好位于目标部位700的焦平面的物体将以无限远的距离投射其图像，从而在所提供的工作距离处无限耦合。通常，物体从焦平面沿着光路的一定距离焦点对准地出现。然而，经过一定的阈值距离后，物体开始显得模糊或离焦。
图7示出了工作距离706，该工作距离是前工作距离透镜408的外表面至目标部位700的焦平面之间的距离。工作距离706可以对应于角度视野，其中，更长的工作距离导致更宽的视野或更大的可视区域。因此，工作距离706设置了焦点对准的目标部位或场景的平面。在所展示的示例中，通过移动后工作距离透镜704可在200至450mm之间调整工作距离706。在示例中，当工作距离为450mm时，可以使用上游变焦透镜在20mm x 14mm至200mm x140mm之间调整视野。
图7和图8所示的主物镜组件702针对左光路和右光路两者都提供了目标部位700的图像。这意味着透镜408和704的宽度应该至少与左光路和右光路一样宽。在替代实施例中，主物镜组件702可以包括分开的左前工作距离透镜和右前工作距离透镜408以及分开的左后工作距离透镜和右后工作距离透镜704。每对分开的工作距离透镜的宽度可以在图7和图8所示的透镜408和704的宽度的1/4至1/2之间。进一步地，后工作距离透镜704中的每一个都可以是独立可调的。
在一些实施例中，主物镜组件702可以是可替换的。例如，可以添加不同的主物镜组件以改变工作距离范围、放大率、数值孔径和/或折射/反射类型。在这些实施例中，立体可视化相机300可以基于安装了哪个主物镜组件而改变下游光学元件的定位、光学图像传感器的性质和/或图像处理的参数。操作员可以使用图3的控件305之一和/或用户输入设备来指定在立体可视化相机300中安装哪个主物镜组件。
A.示例光源
为了照亮目标部位700，示例立体可视化相机300包括一个或多个光源。图7和图8示出了三个光源，这三个光源包括可见光源708a、近红外(“NIR”)光源708b和近紫外(“NUV”)光源708c。在其他示例中，立体可视化相机300可以包括附加的或更少的(或不包括)光源。例如，可以省略NIR光源和NUV光源。示例光源708被配置用于生成被投射到目标场景700的光。所生成的光与目标场景相互作用并反射离开目标场景，其中一些光被反射到主物镜组件702。其他示例可以包括外部光源或来自环境的环境光。
示例可见光源708a被配置用于输出光谱的人类可见部分中的光以及波长在可见光范围之外的一些光。NIR光源708b被配置用于输出主要是波长略超过可见光谱的红色部分的光，其也被称为“近红外”。NUV光源708c被配置用于输出主要是波长在可见光谱中蓝色部分中的光，其被称为“近紫外”。由光源708输出的光谱由对应控制器进行控制，如下所述。光源708发射的光的亮度可以通过切换速率和/或施加的电压波形来控制。
图7和图8展示了可见光源708a和NIR光源708b直接通过主物镜组件702被提供至目标部位700。如图8所示，来自可见光源708a的可见光沿着可见路径710a传播。另外地，来自NIR光源708b的NIR光沿着NIR路径710b传播。虽然光源708a和708b示出为位于主物镜组件702的后面(相对于目标部位700而言)，但在其他示例中，可以将光源708a和708b设置在主物镜组件702的前面。在一个实施例中，光源708a和708b可以设置在外壳302的外侧并且面向目标部位700。在又其他实施例中，可以使用例如科赫尔照明设置和/或暗场照明设置来将光源708与立体可视化相机300分开设置。
与光源708a和708b相比，来自NUV光源708c的NUV光由偏转元件712(例如，分束器)使用落射照明设置反射到主物镜组件702。偏转元件712可以被涂覆或以其他方式被配置成仅反射超出NUV波长范围的光，从而过滤NUV光。来自NUV光源708c的NUV光沿着NUV路径710c传播。
在一些实施例中，NIR光源和NUV光源708b和708c可以与激发滤光器一起使用以进一步过滤可能未被滤光器(例如，滤光器740)阻挡的光。可以将滤光器放置在主物镜组件702之前和/或在主物镜组件之后的光源708b和708c的前面。来自NUV和NIR光源708b和708c的光经过滤之后包括激发解剖物体的荧光部位914(图9所示)中的荧光的波长。进一步地，来自NUV和NIR光源708b和708c的光经过滤之后可以包括与荧光部位914发射的波长不在同一范围内的波长。
来自光源708的光通过主物镜组件的投射提供了基于工作距离706和/或焦平面来改变被照明的视野的好处。由于光通过主物镜组件702，因此光被投射的角度基于工作距离706而变化，并且对应于角度视野。因此，此配置确保了无论工作距离或放大率如何，光源708都可以适当地照亮视野。
B.示例偏转元件
图7和图8所展示的示例偏转元件712被配置用于通过主物镜组件702将特定波长的光从NUV光源708c透射至目标部位700。偏转元件712还被配置用于将从目标部位700接收的光反射到下游光学元件，该光学元件包括用于变焦和记录的前透镜组714。在一些实施例中，偏转元件712可以过滤通过主物镜组件702从目标部位700接收的光，使得某些波长的光到达前透镜组714。
偏转元件712可以包括任何类型的反射镜或透镜以在指定方向上反射光。在示例中，偏转元件712包括二向色镜或滤光器，该二向色镜或滤光器在不同波长下具有不同的反射和透射特性。图7和图8的立体可视化相机300包括单个偏转元件712，该偏转元件针对右光路和左光路两者提供光。在其他示例中，相机300可以包括针对右光路和左光路中的每一个的单独的偏转元件。进一步地，可以针对NUV光源708c提供单独的偏转元件。
图9示出了根据本披露的示例实施例的图7和图8的偏转元件712的图。为简洁起见，未示出主物镜组件702。在本示例中，偏转元件712包括两个平行面902和904，这两个平行面用于透射和反射某些波长的光。平行面902和904被设置为相对于左光路和右光路(表示为路径906)成45°角。选择45°角是因为这个角度会使反射光与透射光成90°角传播，从而提供最佳分离而不会导致在下游前透镜组714中检测到分离出的光。在其他实施例中，偏转元件712的角度可以在10度与80度之间，而不会无意地传播不需要的波长的光。
示例NUV光源708c位于偏转元件712的后面(相对于目标部位700)。来自光源708c的光沿路径908传播并且接触偏转元件712。NUV光源708c的主波长范围附近的NUV光通过偏转元件712沿着路径910透射到目标部位700。来自NUV光源708c的、波长在NUV光源708c的主波长范围之上(和之下)的光沿着路径912反射到外壳302的光吸收器或未使用区域。
当NUV光到达目标部位700时，它被解剖物体的一个或多个荧光部位914吸收。在一些实例中，解剖物体可能已被注入造影剂，该造影剂被配置用于吸收NUV光并且发射具有不同主波长的光。在其他实例中，解剖物体可能会自然地吸收NUV光并且发射具有不同主波长的光。荧光部位914反射或发射的光中的至少一些沿着路径916传播，直到它接触偏转元件712为止。大部分光沿着路径906从表面904反射到前透镜组714。包括在NUV光源708c的主波长范围附近的NUV光在内的一部分光沿着路径918通过偏转元件712透射到外壳302的光吸收器或未使用区域。因此，图9所示的偏转元件712使得能够利用光谱的一个区域在目标部位700处对荧光剂进行光学激发，同时阻止许多激发光行进到下游前透镜组714。
应当理解，可以改变偏转元件712的反射率和透射率特性以满足其他光谱要求。在一些实例中，外壳302可以包括槽，该槽使得能够基于期望的光反射率和透射率特性来更换偏转元件712和/或NUV光源708c。还应当理解，在路径908与路径910之间的偏转元件712内部的第一路径以及在路径916与路径918之间的偏转元件712内部的第二路径分别成角度以示意性地表示光在空气与偏转元件712的内部之间传播时光的折射。所示角度并不意味着表示实际的反射角度。
C.示例变焦透镜
图7和图8的示例立体可视化相机300包括一个或多个变焦透镜，该一个或多个变焦透镜用于改变目标部位700的焦距和视角以提供变焦放大率。在所展示的示例中，变焦透镜包括前透镜组714、变焦透镜组件716和透镜筒组718。应当理解，在其他实施例中，可以省略前透镜组714和/或透镜筒组718。可替代地，变焦透镜可以包括附加透镜以提供进一步的放大率和/或图像分辨率。
前透镜组714包括针对右光路的右前透镜720和针对左光路的左前透镜722。透镜720和722可各自包括正会聚透镜以将来自偏转元件712的光引导至变焦透镜组件716中的对应透镜。因此，透镜720和722的横向位置限定了从主物镜组件702和偏转元件712被传播到变焦透镜组件716的光束。
透镜720和722中的一个或两个可以是径向可调的以匹配左光路和右光路的光轴。换言之，透镜720和722中的一个或两个可以在入射到光路的平面中左右移动和/或上下移动。在一些实施例中，透镜720和722中的一个或多个可以旋转或倾斜以减少或消除图像光学缺陷和/或假视差。变焦期间移动透镜720和722的任一个或两个可能会导致每个光路的变焦重复点(“ZRP”)对用户来说似乎保持静止。除了径向移动之外，前透镜720和722中的一个或两个可以轴向地(沿着对应的光路)移动以匹配光路的放大率。
示例变焦透镜组件716形成无焦点变焦系统，该无焦点变焦系统用于通过改变传播到透镜筒组718的光的大小来改变视野(例如，线性视野)的大小。变焦透镜组件716包括具有右前变焦透镜726和左前变焦透镜728的前变焦透镜组724。变焦透镜组件716还包括具有右后变焦透镜732和左后变焦透镜734的后变焦透镜组730。前变焦透镜726和728可以是正会聚透镜，而后变焦透镜732和734包括负发散透镜。
基于前变焦透镜726和728、后变焦透镜732和734与透镜筒组718之间的距离来确定针对左光路和右光路中的每一个的图像光束的大小。通常，随着后变焦透镜732和734朝着透镜筒组718(沿着对应光路)移动，光路的大小减小，从而减小放大率。另外，当后变焦透镜732和734朝着透镜筒组718移动时，前变焦透镜726和728也可以朝着(或远离)透镜筒组718移动(比如以抛物线弧形)，以保持焦平面在目标部位700上的位置，从而保持焦点。
前变焦透镜726和728可以被包括在第一载架(例如，前变焦组724)内，而后变焦透镜732和724被包括在第二载架(例如，后变焦组730)内。载架724和730中的每一个可以沿着光路在导轨(或轨道)上移动，使得左放大率和右放大率同时改变。在本实施例中，可以通过移动右前透镜720和/或左前透镜722来校正左光路与右光路之间的放大率的任何细微差异。另外或可替代地，透镜筒组718的右透镜筒736和/或左透镜筒738可以轴向地移动。
在替代实施例中，右前变焦透镜726可以与左前变焦透镜728轴向地移动分开。另外，右后变焦透镜732可以与左后变焦透镜734轴向地移动分开。分开的移动可使变焦透镜组件716能够校正小的放大率差异，尤其是当前透镜组714和透镜筒组718沿光路静止时。进一步地，在一些实施例中，右前变焦透镜726和/或左前变焦透镜728可以是径向地和/或旋转地可调的(和/或倾斜的)，以保持ZRP在光路上的表观位置。另外或可替代地，右后变焦透镜732和/或左后变焦透镜734可以是径向地和/或旋转地可调的(和/或倾斜的)，以保持ZRP在光路上的表观位置。
示例透镜筒组718包括右透镜筒736和左透镜筒738，它们与变焦透镜组件716一起是无焦点变焦系统的一部分。透镜736和738可以包括正会聚透镜，该正会聚透镜被配置用于拉直或聚焦来自变焦透镜组件716的光束。换言之，透镜736和738使变焦透镜组件716的无限耦合输出聚焦。
在一些示例中，透镜筒组718被径向地并且轴向地固定在外壳302内。在其他示例中，透镜筒组718可以沿光路轴向地移动以提供增大的放大率。另外或可替代地，透镜736和738中的每一个可以是径向地和/或旋转地可调的(和/或倾斜的)，以例如校正前透镜组714、前变焦透镜组724和/或后变焦透镜组730的左透镜与右透镜之间的光学性质上的差异(由于制造或自然玻璃偏差)。
总之，示例前透镜组714、变焦透镜组件716和透镜筒组718被配置用于实现5倍至大约20倍之间的光学变焦、优选地在具有受衍射限制的分辨率的变焦级别上。在一些实施例中，如果可以损害图像质量，则前透镜组714、变焦透镜组件716和透镜筒组718可以提供更高的变焦范围(例如，25倍至100倍)。在这些实施例中，立体可视化相机300可以向操作员输出消息来指示所选光学范围在光学范围之外并且受到图像质量下降的影响。
在一些实施例中，前透镜组714、变焦透镜组件716、透镜筒组718和/或主物镜组件702的透镜可以使用平衡彼此的光学畸变参数的材料分别由多个光学子元件构造成双合透镜。双合透镜结构减少了色差和光学像差。例如，前工作距离透镜408和后工作距离透镜702可以各自被构造为双合透镜。在另一个示例中，前透镜720和722、前变焦透镜726和728、后变焦透镜732和734以及透镜筒736和738可以各自包括双合透镜。
在又进一步的实施例中，前透镜组714、变焦透镜组件716、透镜筒组718和/或主物镜组件702的透镜可以被不同地调谐和/或具有不同的性质以提供具有不同性能的两个平行光路。例如，可以选择变焦透镜组件716中的右透镜为右光路提供5倍至10倍的光学变焦，而选择变焦透镜组件716中的左透镜为左光路提供15倍至20倍的光学变焦。这种配置可以使两个不同的放大率能够在单视视图中在同一时间和/或在同一屏幕上示出。
D.示例滤光器
图7和图8的示例立体可视化相机300包括一个或多个滤光器740(或滤光器组件)，该一个或多个滤光器用于选择性地透射期望波长的光。图8示出了可以将单个滤光器740应用于右光路和左光路。在其他示例中，每个光路可以具有单独的滤光器。包括单独的滤光器使得例如能够在同一时间从左光路和右光路过滤不同波长的光，例如能够将荧光图像与可见光图像结合显示。
图7示出了滤光器740包括绕其旋转轴旋转的轮。在所展示的实施例中，滤光器740可以容纳三个不同的光学滤光器对。然而，在其他实施例中，滤光器740可以包括附加的或更少的滤光器对。通常，在滤光器740处从目标部位700接收的光包括广谱的波长。主物镜组件702、前透镜组714、变焦透镜组件716和透镜筒组718的透镜被配置用于使相对较宽的光带宽通过，该光带宽包括操作员感兴趣的波长和不期望的波长。另外，下游光学图像传感器对某些波长敏感。因此，示例滤光器740使光谱的某些部分通过并阻挡光谱的某些部分，以实现不同的期望特征。
作为轮，滤光器740包括能够每秒大约四次改变位置的机械设备。在其他实施例中，滤光器740可以包括数字微型反射镜，该数字微型反射镜可以以诸如每秒60次的视频帧率改变光路的方向。在这些其他实施例中，左光路和右光路中的每一个都将包括微型反射镜。左微型反射镜和右微型反射镜可以具有同步或同时切换。
在一些实施例中，滤光器740可以与光源708同步以实现“时间交织的”多光谱成像。例如，滤光器740可以包括红外截止滤光器、近红外带通滤光器和近紫外截止滤光器。选择不同的滤光器类型来处理光源708的不同光谱以及偏转元件712的反射率和透射率特性以在预定时间使某些期望波长的光通过。
在一种模式中，滤光器740和光源708被配置用于提供可见光模式。在这种模式中，可见光源708a将光从可见光范围透射到目标部位700，其中的一些光反射到主物镜组件702。反射的光可以包括可见光谱之外的一些光，这可能会影响光学图像传感器。可见光被偏转元件712反射，并且通过前透镜组714、变焦透镜组件716以及透镜筒组718。在该示例中，滤光器740被配置用于将红外截止滤光器或近紫外截止滤光器应用于光路以移除可见光谱之外的光，使得仅可见光谱中的光通过最终光学组742和光学图像传感器744。
在另一种模式中，滤光器740和光源708被配置用于向光学传感器744提供窄波长的荧光。在这种模式中，NUV光源708c将光从光谱的深蓝区域透射到目标部位700。偏转元件712允许深蓝区域的期望光在反射不期望的光的同时通过。深蓝光与目标部位700相互作用，从而发射荧光。在一些示例中，将δ-氨基酮戊酸(“5ala”)和/或原卟啉IX施用于目标部位700以使在接收到深蓝光时发射荧光。除了反射的深蓝光和一些可见光之外，主物镜组件702还接收荧光。深蓝光从右光路和左光路通过偏转元件712。因此，仅可见光和荧光通过前透镜组714、变焦透镜组件716和透镜筒组718。在该示例中，滤光器740被配置用于将近紫外截止滤光器应用于光路以移除期望荧光光谱之外的光，包括可见光和任何剩余的NUV深蓝光。因此，仅窄波长的荧光到达光学图像传感器744，这使得能够基于相对强度更容易地检测并辨别荧光。
在又一模式中，滤光器740和光源708被配置用于向光学传感器744提供吲哚菁绿(“ICG”)荧光。在这种模式中，NIV光源708b将可见光谱的远红区域(也被认为是近红外区域)中的光透射到目标部位700。另外，可见光源708a将可见光透射到目标场景700。可见光和远红光在目标部位被带有ICG的物质吸收，然后该物质在更远红区域中发射高度受激发的荧光。除了反射的NIR光和可见光之外，主物镜组件702还接收荧光。光被偏转元件712反射到前透镜组714、变焦透镜组件716和透镜筒组718。在该示例中，滤光器740被配置用于将近红外带通滤光器应用于光路以移除期望荧光光谱之外的光，包括可见光和至少一些NIR光。因此，仅更远红区域中的荧光到达光学图像传感器744，这使得能够基于相对强度更容易地检测并辨别荧光。
表1
上面的表1示出了光源和滤光器的不同可能组合的汇总，这些光源和滤光器用于使某个期望波长的光到达光学光传感器744。应当理解，可以使用其他类型的滤光器和/或光源来进一步增加在图像传感器744处接收的不同类型的光。例如，被配置用于使窄波长的光通过的带通滤光器可用于对应于施加到目标部位700的某些生物染色剂或造影剂。在一些示例中，滤光器740可以包括级联或多于一个的滤光器，以使得来自两个不同范围的光能够被过滤。例如，第一滤光器740可以应用红外截止滤光器和近紫外截止滤光器，使得仅期望波长范围的可见光通过光学传感器744。
在其他实施例中，单独的滤光器740可以用于左光路和右光路。例如，右滤光器可以包括红外截止滤光器，而左滤光器包括近红外带通滤光器。这种配置使得能够在可见波长中同时观察到目标部位700与IGC绿色荧光波长。在另一个示例中，右滤光器可以包括红外截止滤光器，而左滤光器包括近紫外截止滤光器。在这种配置中，目标部位700可以与5ALA荧光同时在可见光中示出。在这些其他实施例中，右图像流和左图像流仍可以被组合成立体视图，该立体视图提供了与可见光中的目标部位700的视图相结合的某些解剖结构的荧光视图。
E.示例最终光学元件组
图7和图8的示例立体可视化相机300包括用于将从滤光器740接收的光聚焦到光学图像传感器744上的最终光学元件组742。最终光学元件组742包括右最终光学元件745和左最终光学元件747，该右最终光学元件和左最终光学元件可以各自包括正会聚透镜。除了使光聚焦之外，光学元件745和747可以被配置用于在光到达光学图像传感器744之前校正右光路和左光路中的微小像差。在一些示例中，透镜745和747可以径向地和/或轴向地移动以校正由前透镜组714、变焦透镜组件716和透镜筒组718引起的放大率和/或聚焦像差。在示例中，左最终光学元件747可以径向地移动，而右最终光学元件745被固定以在放大率改变期间移除ZRP移动。
F.示例图像传感器
图7和图8的示例立体可视化相机图300包括用于获取和/或记录从最终光学元件组742接收的入射光的图像传感器744。图像传感器744包括：右光学图像传感器746，用于获取和/或记录沿右光路传播的光；以及左光学图像传感器748，用于获取和/或记录沿左光路传播的光。左光学图像传感器746和右光学图像传感器748各自包括例如互补金属氧化物半导体(“CMOS”)感测元件、N型金属氧化物半导体(“NMOS”)、和/或半导体电荷耦合器件(“CCD”)感测元件。在一些实施例中，左光学传感器746和右光学传感器748是相同的和/或具有相同的性质。在其他实施例中，左光学传感器746和右光学传感器748包括不同的感测元件和/或性质以提供不同的能力。例如，右光学图像传感器746(使用第一滤色器阵列)可以被配置成对蓝色荧光更敏感，而左光学图像传感器748(使用第二滤色器阵列)被配置成对可见光更敏感。
图10示出了根据本披露的示例实施例的图像传感器744的右光学图像传感器746和左光学图像传感器748的示例。右光学图像传感器746包括光感测元件(例如，像素)的第一二维网格或矩阵1002。另外，左光学图像传感器748包括光感测元件的第二二维像素网格1004。每个像素都包括滤光器，该滤光器仅使特定波长的光通过，从而与底层光检测器接触。用于不同颜色的滤光器分散在传感器746和748上，以跨网格提供对所有波长的光检测。光检测器可能对可见光以及在可见光谱之上和之下的其他范围敏感。
网格1002和1004的光感测元件被配置用于记录光的波长范围，作为视野中的目标部位700的表示。入射在光感测元件上的光使电变化累积。读取电荷以确定在感测元件处接收的光量。另外，由于感测元件的滤光特性在制造公差内是已知的，因此所接收的光的波长范围是已知的。目标部位700的表示被引导到光感测元件上，使得用于对应光学图像传感器746和748的网格1002和1004在空间上对目标部位700进行采样。空间采样的分辨率是影响图像质量和均等性(parity)的参数。
图10中的像素网格1002和1004中示出的像素数不表示光学图像传感器746和748中的实际像素数。相反，传感器的分辨率通常在1280x 720像素与8500x 4500像素之间，优选地在2048x 1560像素左右。然而，并非栅格1002和1004的所有像素都被选择用于图像传输。而是，选择栅格1002和1004的子集或像素集用于传输。例如，在图10中，从像素网格1002选择像素集1006作为右图像进行传输，并且从像素网格1004选择像素集1008作为左图像进行传输。如所展示的，关于对应的像素网格1002和1004，像素集1006不需要位于与像素集1008相同的位置。对像素集1006和1008的单独控制使得左图像和右图像能够针对图像缺陷和/或假视差(诸如，移动ZRP)被对准和/或校正。
从像素网格中选择像素集使得能够选择像素网格的用于补偿图像缺陷/假视差和/或用于使左光学图像和右光学图像更对准的一部分。换言之，可以针对像素网格(实时地)移动或调整像素集，以通过减少或消除假视差来提高图像质量。可替代地，立体图像的左视图和右视图中的任一者或两者都可以在图像处理流水线中(例如，在渲染视图以供显示期间)虚拟地移动以实现相同的效果。传感器的旋转失准也可以被虚拟地校正。在使用期间，像素集还可以跨像素网格移动，以提供摇摄视野的外观。在示例中，可以从具有2048x1560像素的像素网格中选择具有1920x 1080像素的像素集或像素窗口。像素窗口或像素集的位置可以由软件/固件控制，并且可以在设置和/或使用期间移动。因此，基于像素集或像素窗口的长度和宽度方向上的像素数量来指定光学图像传感器746和748的分辨率。
1.使用示例图像传感器进行颜色感测
如上所述，光学感测元件746和748包括具有不同滤光器的像素，以检测某些颜色的光。例如，一些像素被主要通过红光的滤光器覆盖，一些像素被主要通过绿光的滤光器覆盖，并且一些像素被主要通过蓝光的滤光器覆盖。在一些实施例中，将拜耳模式(Bayerpattern)应用于像素网格1002和1004。然而，应当理解的是，在其他实施例中，可以使用针对某些波长的光优化的不同颜色图案。例如，每个感测区域中的绿色滤光器可以被宽带滤光器或近红外滤光器替换，从而扩展感测光谱。
通过以下方式实施拜耳模式：将对两行乘两列的像素进行分组；并且一个用红色滤光器覆盖、一个用蓝色滤光器覆盖、两个用绿色滤光器覆盖，每一个都采用棋盘格模式。因此，红色和蓝色的分辨率各自是整个感兴趣的感测区域的四分之一，而绿色分辨率是整个感兴趣的感测区域的一半。
可以将绿色分配给一半的感测区域，以使光学图像传感器746和748作为亮度传感器进行操作并模仿人类视觉系统。另外，红色和蓝色模仿人类视觉系统中的色度传感器，但不如绿色感测重要。一旦确定了某个区域的红色、绿色和蓝色的量，就可以通过对红色、绿色和蓝色值进行求平均值来确定可见光谱中的其他颜色，如结合以下讨论的图16的去拜耳(de-Bayer)程序1580a所讨论的。
在一些实施例中，光学图像传感器746和748可以使用堆叠的部件而不是滤光器来感测颜色。例如，感测元件可以包括竖直地堆叠在像素区内的红色、绿色和蓝色感测部件。在另一示例中，棱镜一次或多次使用特殊涂层的分束器将入射光分成多个分量(通常至少两次产生三种分量颜色，称为“3芯片”)，其中感测元件被放置在每个分束的路径中。其他传感器类型使用不同的模式，诸如用宽带滤光器或近红外滤光器替换绿色滤光器之一，从而扩展数字外科手术显微镜的感测可能性。
2.使用示例图像传感器感测可见范围之外的光
光学图像传感器746和748的示例感测元件滤光器被配置用于还使感测元件可以检测到的范围内的近红外光通过。这使得光学图像传感器746和748能够检测可见范围之外的至少一些光。这种敏感性可能会降低光谱的可见部分中的图像质量，因为其会“洗掉”图像，从而降低许多类型场景中的对比度，并对色彩质量产生负面影响。结果，滤光器740可以使用红外截止滤光器来阻挡近红外波长，同时使可见波长通过光学图像传感器746和748。
然而，这种近红外敏感性可能是令人期望的。例如，可以将诸如ICG的荧光剂引入目标部位700。ICG变成被可见波长或光或其他波长或光激发或激活，并发射近红外范围内的荧光。如上所述，NIR光源708b提供NIR光，并且可见光源708a提供可见光以激发具有ICG的试剂。所发射的光进一步沿着红色光谱，其可以穿过使用近红外带通滤光器或高通滤光器的滤光器740。然后，由光学图像传感器746和748检测来自红色光谱的光。通过使滤光器740的光谱特性与光源708和荧光剂的预期行为相匹配，可以在目标部位700处将试剂和生物结构(诸如包含试剂的血液)与不包含试剂的其他结构区分开。
注意，在此示例中，NIR光源708b具有与滤光器740中的近红外滤光器不同的主波长。具体地，NIR光源708b具有在780纳米(“nm”)左右的主波长(光输出光谱的大部分存在于该主波长左右)。相比而言，滤光器740的近红外滤光器透射波长在近似810nm至910nm范围内的光。来自NIR光源708b的光和穿过滤光器740的光均为“近红外”波长。然而，光波长是分开的，使得示例立体可视化相机300可以使用光源708进行激发并且在对激发光进行滤光时用光学图像传感器744进行检测。因此，此配置使得能够使用荧光剂。
在另一实施例中，试剂可以在蓝色、紫色和近紫外区域被激发，并在红色区域发出荧光。这种试剂的示例包括由于引入5ALA引起的恶性胶质瘤中的卟啉累积。在此示例中，需要滤除蓝光，同时使光谱的剩余部分通过。近紫外截止滤光器适用于这种情况。如以上讨论的具有“近红外”的情况一样，NUV光源708c具有与滤光器740中的近紫外截止滤光器不同的主波长。
G.示例透镜载架
以上第IV(D)节提到，前透镜组714、变焦透镜组件716和/或透镜筒组718中的至少一些透镜可以沿轨道在一个或多个载架中移动。例如，前变焦透镜组724可以包括使前变焦透镜726和728轴向地一起移动的载架。
图11和图12示出了根据本披露的示例实施例的示例载架的图。在图11中，载架724包括在支撑结构1102内的右前变焦透镜726和左前变焦透镜728。载架724包括被配置用于可移动地连接到轨道1106的轨道固持器1104。对致动部分1108施加力“F”，以使载架724沿轨道1106移动。力“F”可以由导螺杆或其他线性致动设备施加。如图11中所展示的，将力“F”施加在载架724的偏移处。轨道1106与载架724之间的摩擦产生力矩My，该力矩使支撑结构1102绕图11中所示出的Y轴略微移动。这种略微移动可能导致右前变焦透镜726和左前变焦透镜728在相反的方向上略微移位，从而导致假视差，该假视差是立体图像的视图之间的视差误差。
图12示出了载架724的另一示例。在此示例中，将力“F”对称地施加在中心结构1202上，该中心结构连接到轨道固持器1104和支撑结构1102。力“F”产生力矩Mx，该力矩使载架724围绕图12中所示出的X轴略微旋转或移动。旋转移动使右前变焦透镜726和左前变焦透镜728在相同方向上移位相同程度的移动，从而减少(或消除)假视差的发生。
同时图11和图12示出了一个载架内的透镜726和728，在其他实施例中，透镜726和728可以各自处于载架内。在这些示例中，每个透镜将处于单独的导轨或轨道上。可以为每个透镜提供单独的导螺杆，以沿着对应的光路提供独立的轴向移动。
H.示例挠曲件
以上第IV(D)节提到，前透镜组714、变焦透镜组件716和/或透镜筒组718中的至少一些透镜可以径向地移动、旋转和/或倾斜。另外或可替代地，光学图像传感器746和748可以相对于它们对应的入射光路轴向地移动和/或倾斜。轴向和/或倾斜移动可以由一个或多个挠曲件提供。在一些示例中，挠曲件可以级联，使得第一挠曲件提供在第一方向上的运动，而单独的挠曲件提供在第二方向上的独立运动。在另一个示例中，第一挠曲件提供沿俯仰轴的倾斜，而单独的挠曲件提供沿偏航轴的倾斜。
图13示出了根据本披露的示例实施例的示例双挠曲件1300的图。图13中展示的挠曲件1300用于光学图像传感器744，并且被配置用于使右光学图像传感器746和左光学图像传感器748沿其对应的光轴独立地移动，以用于最终聚焦的目的。挠曲件1300包括支撑梁1301，该支撑梁用于连接至示例立体可视化相机300的壳体302并提供用于致动的刚性基座。挠曲件1300还包括用于每个通道(例如，传感器746和748)的梁1302，该梁在除了运动方向1310之外的所有方向上都是刚性的。梁1302连接到挠性铰链1303，该挠性铰链使得梁1302能够在运动方向1310上移动，在此示例中为平行四边形平移。
致动器设备1304使梁1302在期望的方向上挠曲期望的距离。致动器设备1304包括用于每个通道的推螺杆1306和拉螺杆1308，该推螺杆和该拉螺杆向梁1302施加相反的力，从而使挠性铰链1303移动。例如，可以通过转动推螺杆1306以推动梁1302来向内移动梁1302。图13中所展示的挠曲件1300被配置用于使右光学图像传感器746和左光学图像传感器748沿着其光轴独立地轴向移动。
在使梁1302挠曲到所期望的位置之后，锁定机构被接合以防止进一步移动，从而产生刚性柱。锁定机构包括推螺杆1306及其对应的同心拉螺杆1308，当拧紧该推螺杆和该拉螺杆时，会在梁1302的刚性柱中产生较大的反作用力。
尽管光学图像传感器746和748被示出为连接到同一挠曲件1300，但是在其他示例中，传感器可以连接到单独的挠曲件。例如，返回到图8，右光学图像传感器746连接到挠曲件750，而左光学图像传感器748连接到挠曲件752。使用单独的挠曲件750和752使得光学图像传感器746和748能够被分别调整成例如使左光学视图和右光学视图对准、和/或减少或消除假视差。
另外，尽管图13示出了连接至挠曲件1300的图像传感器746和748，但是在其他示例中，前透镜组714、变焦透镜组件716、透镜筒组718和/或最终光学元件组742的透镜可以替代地连接到可替代的或附加的挠曲件。在一些实例中，前透镜组714、变焦透镜组件716、透镜筒组718和/或最终光学元件组742的右透镜和左透镜中的每一个都可以连接到单独的挠曲件1300以提供独立的径向调整、旋转调整和/或倾斜调整。
挠曲件1300可以提供小于微米的运动分辨率。由于非常精细的运动调整，因此对于4K显示监视器，来自右光路和左光路的图像可能具有几个或甚至一个像素的对准精度。通过使左视图与右视图叠加并用双眼而不是立体地观察两个视图，在每个显示器512、514上查看这种准确性。
在一些实施例中，挠曲件1300可以包括标题为“SYSTEM FOR THE SUB-MICRONPOSITIONING OF A READ/WRITE TRANSDUCER(用于读/写换能器的亚微米定位的系统)”的美国专利号5,359,474中披露的挠曲件，该美国专利的全部内容通过引用并入本文。在又其他实施例中，前透镜组714、变焦透镜组件716、透镜筒组718和/或最终光学元件组742的透镜可能在径向方向上是静止的。相反，可以使用在光路上具有可调整偏转方向的偏转元件(例如，反射镜)来操控右光路和/或左光路，以调整对准和/或假视差。另外或可替代地，可以在光路上设置倾斜/移位透镜。例如，可以使用可调整楔形透镜来控制光轴的倾斜。在其他实施例中，前透镜组714、变焦透镜组件716、透镜筒组718和/或最终光学元件组742的透镜可以包括具有可以以电子方式变化的参数的动态透镜。例如，透镜可以包括InveniosFrance SAS生产的Varioptic液体镜片。
VI.立体可视化相机的示例处理器
示例立体可视化相机300被配置用于记录来自右光路和左光路的图像数据，并将该图像数据输出到(多个)监视器512和/或514以显示为立体图像。图14根据本披露的示例实施例示出了用于获取和处理图像数据的示例立体可视化相机300的模块的图。应当理解的是，模块展示了由某些硬件、控制器、处理器、驱动器和/或接口执行的操作、方法、算法、例程、和/或步骤。在其他实施例中，模块可以被组合、被进一步划分和/或被移除。进一步地，模块中的一个或多个(或模块的一部分)可以设置在立体可视化相机300的外部，诸如设置在远程服务器、计算机和/或分布式计算环境中。
在图14所展示的实施例中，图7至图13中的部件408、702至750和1300统称为光学元件1402。光学元件1402(具体是光学图像传感器746和748)通信地耦合到图像捕获模块1404以及电机和照明模块1406。图像捕获模块1404通信地耦合到信息处理器模块1408，该信息处理器模块可以通信地耦合到位于外部的用户输入设备1410以及一个或多个显示监视器512和/或514。
示例图像捕获模块1404被配置用于从光学图像传感器746和748接收图像数据。另外，图像捕获模块1404可以在对应像素网格1002和1004内定义像素集1006和1008。图像捕获模块1404还可以指定图像记录性质，诸如帧率和曝光时间。
示例电机和照明模块1406被配置用于控制一个或多个电机(或致动器)以改变光学元件1402中的一个或多个光学元件的径向位置、轴向位置和/或倾斜位置。例如，电机或致动器可以转动传动螺杆以使载架724沿着如图11和图12中所示出的导轨1106移动。电机或致动器还可以转动图13的挠曲件1300的推螺杆1306和/或拉螺杆1308，以调整透镜和/或光学图像传感器的径向位置、轴向位置或倾斜位置。电机和照明模块1406还可包括用于控制光源708的驱动器。
示例信息处理器模块1408被配置用于处理图像数据以供显示。例如，信息处理器模块1408可以提供对图像数据的颜色校正、从图像数据中滤除缺陷和/或渲染图像数据以用于立体显示。信息处理器模块1408还可以通过向图像捕获模块1404和/或电机和照明模块1406提供指令以对光学元件执行指定的调整，来执行一个或多个校准例程以对立体可视化相机300进行校准。信息处理器模块1408可以进一步确定指令并将这些指令实时地提供给图像捕获模块1404和/或电机和照明模块1406，以改善图像对准和/或减少假视差。
示例用户输入设备1410可以包括计算机，该计算机提供用于改变立体可视化相机300的操作的指令。用户输入设备1410还可以包括用于选择立体可视化相机300的参数和/或特征的控件。在实施例中，用户输入设备1410包括图3的控制臂304。用户输入设备1410可以硬连线到信息处理器模块1408。另外或可替代地，用户输入设备1410以无线方式或光学方式通信地耦合到信息处理器模块1408。
示例显示监视器512和514包括例如被配置用于提供三维观看体验的电视和/或计算机监视器。例如，显示监视器可以包括
以下各节更详细地描述了图像捕获模块1404、电机和照明模块1406、以及信息处理器模块1408。
A.示例图像捕获模块
图15示出了根据本披露的示例实施例的图像捕获模块1404的图。示例图像捕获模块1404包括图像传感器控制器1502，该图像传感器控制器包括处理器1504、存储器1506和通信接口1508。处理器1504、存储器1506和通信接口1508可以经由图像传感器控制器总线1512通信地耦合在一起。
处理器1504可使用永久性存储在存储器1506内的一个或多个程序1510进行编程。程序1510包括机器可读指令，这些机器可读指令当被执行时使处理器1504执行一个或多个步骤、例程、算法等。在一些实施例中，可以将程序1510从信息处理器模块1408和/或从用户输入设备1410传输至存储器1506。在其他示例中，可以将程序1510直接从信息处理器模块1408和/或从用户输入设备1410传输至处理器1504。
示例图像传感器控制器1502通信地耦合到光学元件1402的右光学图像传感器746和左光学图像传感器748。图像传感器控制器1502被配置用于除了发送定时控制数据和/或编程数据之外，还向光学图像传感器746和748提供功率。另外，图像传感器控制器1502被配置用于从光学图像传感器746和748接收图像和/或诊断数据。
光学图像传感器746和748中的每一个都包含用于控制某些参数和/或特性的可编程寄存器。寄存器中的一个或多个可以指定像素集1006和1008在图10的对应像素网格1002和1004内的位置。寄存器可以存储相对于像素网格1002和1004的原点或边缘点的起始位置的值。寄存器还可以指定像素集1006和1008的宽度和高度，以定义感兴趣的矩形区域。图像传感器控制器1502被配置用于读取处于指定像素集1006和1008内的像素的像素数据。在一些实施例中，光学图像传感器746和748的寄存器可以促进对其他形状(诸如，圆形、椭圆形、三角形等)的像素集的指定。另外或可替代地，光学图像传感器746和748的寄存器可以使得能够为像素网格1002和1004中的每个网格同时指定多个像素集。
像素网格1002和1004的像素的光感测部分由嵌入式电路系统控制，该嵌入式电路系统指定不同的光感测模式。这些模式包括重置模式、积分模式和读出模式。在重置模式期间，像素的电荷存储部件被重置为已知的电压电平。在积分模式期间，像素被切换到“开”状态。到达像素的感测区或元件的光使电荷累积在电荷存储部件(例如，电容器)中。所存储的电荷量与在积分模式期间入射在感测元件上的光量相对应。在读出模式期间，电荷量被转化为数字值，并且经由嵌入式电路系统从光学图像传感器746和748中读出，并被传输至图像传感器控制器1502。为了读取每个像素，在给定区域中的每个像素的电荷存储部件通过开关式内部电路系统顺序连接到读出电路，该读出电路执行电荷从模拟值到数字数据的转化。在一些实施例中，像素模拟数据被转化为12位数字数据。然而，应当理解的是，基于噪声、调整时间(settling time)、帧率和数据传输速度的考虑，分辨率可以更低或更高。每个像素的数字像素数据可以被存储到寄存器中。
图15的图像传感器控制器1502的示例处理器1504被配置用于从像素集1006和1008内的每个像素接收像素数据(例如，指示存储在像素中的与像素元素上的入射光量相对应的电荷的数字数据)。处理器1504根据从右光学图像传感器746接收的像素数据形成右图像。另外，处理器1504根据从左光学图像传感器748接收的像素数据形成左图像。可替代地，处理器1504在向下游传输数据之前仅形成每个左图像和右图像的一部分(例如，一行或几行)。在一些实施例中，处理器1504使用寄存器位置来确定图像内的每个像素的位置。
在创建右图像和左图像之后，处理器1504使右图像和左图像同步。然后，处理器1504将右图像和左图像两者传输至通信接口1508，该通信接口将图像处理成用于经由通信信道1514传输至信息处理器模块1408的格式。在一些实施例中，通信信道1514符合USB 2.0或3.0标准，并且可以包括铜或光缆。通信信道1514可以使得每秒能够传输高达大约每秒60对(或更多)左图像和右图像(具有1920x 1080的立体分辨率和12位的数据转化分辨率)。使用铜USB线缆使得能够从信息处理器模块1408向图像捕获模块1404提供功率。
以下各节进一步描述了由图像传感器控制器1502的、执行某些程序1510以从光学图像传感器746和748获取图像数据和/或处理该图像数据的处理器1504提供的特征。
1.曝光示例
示例处理器1504可以控制或编程光学图像传感器746和748处于积分模式的时间量，如上所讨论的。积分模式在称为曝光时间的时间段内发生。处理器1504可以通过将值写入光学图像传感器746和748的曝光寄存器来设置曝光时间。另外或可替代地，处理器1504可以将指令传输至以信号的形式发送曝光时间的开始和结束的光学图像传感器746和748。曝光时间可以被编程为在几毫秒(“ms”)到几秒之间。优选地，曝光时间大约是帧率的倒数。
在一些实施例中，处理器1504可以将卷帘快门(rolling shutter)方法应用于光学图像传感器746和748以读取像素数据。在这种方法下，像素集1006和1008的给定像素行的曝光时间恰好在该行中的像素已经被读出并且然后被重置之后开始。短时间之后，根据其重新开始的曝光时间来读取并且因此重置下一行(通常在物理上最接近刚设置的行)。对每个像素行的顺序读取继续，直到像素集1006和1008的最后一行或底部行已被读取并重置。然后，处理器1504返回到像素集1006和1008的顶部行，以读取下一图像的像素数据。
在另一实施例中，处理器1504应用全局快门(global shutter)方法。在这种方法下，处理器1504以与卷帘快门方法类似的方式实施读出和重置。然而，在这种方法中，对于像素集1006和1008中的所有像素同时发生积分。与卷帘快门方法相比，全局快门方法具有减少图像中的缺陷的优点，因为所有像素同时被曝光。相比之下，在卷帘快门方法中，在曝光像素集的线之间存在较小的时间延迟。小缺陷可能在线曝光之间(特别是在目标部位700处读数之间的小变化可能发生的顶部线与底部线之间)的时间段内形成。
2.动态范围示例
示例处理器1504可以执行一个或多个程序1510以检测光学图像传感器746和748的动态范围之外的光。通常，极亮的光完全填充像素的电荷存储区域，从而导致丢失关于确切亮度水平的图像信息。类似地，极暗的光或光不足不能在像素中产生有意义的电荷，这也导致丢失图像信息。因此，由这种像素数据创建的图像不能准确地反映目标部位700处的光强度。
为了检测动态范围之外的光，处理器1504可以执行若干个高动态范围(“HDR”)程序1510之一，这些高动态范围程序包括例如多重曝光程序、多斜率像素积分程序和多传感器图像融合程序。在示例中，多重曝光程序可以利用与光学图像传感器746和748集成或相嵌的HDR特征。在这种方法下，像素集1006和1008在正常曝光时间内被置于积分模式中。读取像素集1006和1008的这些线并将其存储在光学图像传感器746和748处的存储器中和/或图像传感器控制器1502的存储器1506中。在由处理器1504执行读取之后，像素集1006和1008中的每条线再次被打开持续小于正常曝光时间的第二曝光时间。处理器1504在第二曝光时间之后读取像素的每条线，并将这个像素数据与相同线的由于正常曝光时间而产生的像素数据进行组合。处理器1504可以应用色调映射以在来自正常长度曝光时间的像素数据与来自短长度曝光时间的像素数据之间进行选择(或进行组合)，并且将所得到的像素数据映射到与下游处理和显示兼容的范围。使用多重曝光程序，处理器1504能够扩展光学图像传感器746和748的动态范围并压缩所得到的像素数据范围以进行显示。
处理器1510可以针对相对较暗的光操作类似的程序。然而，不是第二曝光时间小于正常时间，而是第二曝光时间大于正常时间，从而为像素提供更多的时间来累积电荷。处理器1510可以使用色调映射来调整读取的像素数据以补偿更长的曝光时间。
3.帧率示例
示例处理器1510可以控制或指定光学图像传感器746和748的帧率。在一些实施例中，光学图像传感器746和748包括板载定时电路系统和可编程控制寄存器，以指定像素集1006和1008中的每个像素通过以上讨论的成像模式每秒循环的次数。每当像素集经过这三种模式时，就会形成帧或图像。帧率是每秒对像素集1006和1008中的像素进行积分、读取和重置的次数。
处理器1510可以与光学图像传感器746和748同步，使得在适当的时间进行读取。在其他示例中，处理器1510与光学图像传感器746和748异步。在这些其他示例中，光学图像传感器746和748可以在本地读取之后将像素数据存储到临时存储器或队列中。然后可以由处理器1510周期性地读取像素数据以用于右图像和左图像同步。
以时间顺序的方式处理帧或图像(例如，创建图像流)提供了如视频传达的运动的错觉。示例处理器1510被配置用于对向观察者提供流畅视频的外观的帧率进行编程。太低的帧率使任何运动出现断断续续或不均匀。高于最大阈值帧率的电影质量对观察者而言是无法辨别出的。示例处理器1510被配置用于每秒生成大约20至70帧，优选地每秒50与60帧之间，以用于典型的外科手术可视化。
4.传感器同步示例
图15的示例处理器1504被配置用于控制光学图像传感器746和748的同步。处理器1504可以例如同时向光学图像传感器746和748提供功率。处理器1504然后可以将时钟信号提供给光学图像传感器746和748两者。时钟信号使得光学图像传感器746和748能够以自由运行模式但以同步和/或同时的方式独立地操作。因此，光学图像传感器746和748几乎同时记录像素数据。示例处理器1504从光学图像传感器746和748接收像素数据、构建图像和/或帧的至少一部分、并且使图像和/或帧(或其部分)同步，以解释任何略微的定时失配。通常，光学图像传感器746和748之间的滞后小于200微秒。在其他实施例中，处理器1504可以在例如每个重置模式之后使用同步引脚来同时激活光学图像传感器746和748。
B.示例电机和照明模块
图15的示例立体可视化相机300包括电机和照明模块1406，该电机和照明模块控制用于使光学元件1402的透镜移动和/或控制来自光源708的照明输出的一个或多个电机或致动器。示例电机和照明模块1406包括电机和照明控制器1520，该电机和照明控制器包含经由通信总线1528可通信地耦合在一起的处理器1522、存储器1524和通信接口1526。存储器1524存储一个或多个程序1530，该一个或多个程序可在处理器1522上执行以执行对光学元件1402的透镜和/或对光源708的控制、调整和/或校准。在一些实施例中，可以将程序1530从信息处理器模块1408和/或用户输入设备1410传输至存储器1524。
通信接口1526通信地耦合到图像捕获模块1404的通信接口1508和信息处理器模块1408的通信接口1532。通信接口1526被配置用于从图像捕获模块1404和信息处理器模块1408接收命令消息、定时信号、状态消息等。例如，图像捕获模块1404的处理器1504可以向处理器1522发送定时信号，以使光学图像传感器746和748的照明控制与曝光时间之间的定时同步。在另一示例中，信息处理模块1408可以发送指导激活某些光源708和/或使光学元件1402的某些透镜移动的命令消息。命令可以响应于经由例如用户输入设备1410从操作者接收到的输入。另外或可替代地，命令可以响应于校准例程和/或实时调整，以减少或消除图像失准和/或缺陷(诸如，假视差)。
示例电机和照明模块1406包括驱动器，该驱动器向控制电机提供功率，以调整光学元件1402的透镜的轴向位置和/或径向位置和/或从光源708输出的光。具体地，电机和照明模块1406包括：用于将NUV信号传输至NUV光源708c的NUV光驱动器1534、用于将NIR信号传输至NIR光源708b的NIR光驱动器1536、以及用于将可见光信号传输至可见光源708a的可见光驱动器1538。
另外，电机和照明模块1406包括滤光器电机驱动器1540，该滤光器电机驱动器用于将滤光器电机信号传输至控制图7和图8的滤光器740的滤光器电机1542。电机和照明模块1406包括：用于将后变焦透镜电机信号传输至后变焦透镜电机1546的后变焦透镜电机驱动器1544、用于将前变焦透镜电机信号传输至前变焦透镜电机1550的前变焦透镜电机驱动器1548、以及用于将工作距离透镜电机信号传输至工作距离透镜电机1554的后工作距离透镜电机驱动器1552。电机和照明模块1406还可包括使偏转元件712移动和/或倾斜的电机和/或致动器。
后变焦透镜电机1546被配置用于旋转使载架730沿着导轨或轨道轴向移动的传动螺杆。前变焦透镜电机1550被配置用于旋转使载架724沿着图11和图12所示出的导轨1106轴向移动的传动螺杆。工作距离透镜电机1554被配置用于旋转使后工作距离透镜702沿导轨或轨道轴向移动的传动螺杆。
驱动器1536、1538和1540可以包括任何类型的照明驱动器、变压器和/或镇流器。驱动器1536、1538和1540被配置用于输出脉冲宽度调制(“PWM”)信号以控制由光源708输出的光强度。在一些实施例中，处理器1522可以控制驱动器1536、1538和1540的定时以与用于使用滤光器电机驱动器1540来应用特定滤光器的定时相对应。
示例驱动器1540、1544、1548和1552可以包括例如步进电机驱动器和/或DC电机驱动器。同样地，电机1542、1546、1550和/或1554可以包括步进电机、DC电机或其他电、磁、热、液压或气动致动器。电机1542、1546、1550和/或1554可以包括例如旋转编码器、有槽光学开关(例如，光斩波器)和/或线性编码器，以报告轴和/或轮轴的角位置以便进行反馈报告和控制。可替代实施例可以包括具有合适的驱动器及其等效物的音圈电机、压电电机、线性电机。
为了控制驱动器1534、1536、1538、1540、1544、1548和1552，处理器1522被配置用于使用程序1530来将命令消息转化为数字信号和/或模拟信号。处理器1522将数字信号和/或模拟信号传输至输出模拟功率信号(诸如，与所接收的信号相对应的PWM信号)的适当的驱动器。模拟功率信号向适当的电机或致动器提供功率，从而使其旋转(或以其他方式移动)所期望的量。
处理器1522可以从驱动器1534、1536、1538、1540、1544、1548和1552，电机1542、1546、1550和/或1554和/或光源708接收反馈。该反馈与例如照明水平或照明输出相对应。关于电机，反馈与电机(或其他致动器)的位置和/或移动量相对应。处理器1522使用程序1530将所接收的信号转译成数字反馈，以基于相应的电机或致动器轴的角位置来确定例如透镜的径向位置、倾斜位置和/或轴向位置。然后，处理器1522可以将具有位置信息的消息传输至信息处理器模块1408以显示给用户和/或跟踪光学元件1402的透镜的位置以进行校准。
在一些实施例中，电机和照明模块1406可以包括附加的驱动器，以改变光学元件1402内的各个透镜的轴向位置、倾斜位置和/或径向位置。例如，电机和照明模块1406可以包括驱动器，该驱动器控制用于致动光学图像传感器746和748的挠曲件750和752以进行倾斜调整和/或径向调整/轴向调整的电机。进一步地，电机和照明模块1406可以包括驱动器，该驱动器控制用于分别沿x轴或y轴径向地和/或轴向地倾斜和/或调整前透镜720和722、前变焦透镜726和728、后变焦透镜732和734、透镜筒736和738、和/或最终光学元件745和747的电机(或致动器)。对透镜和/或传感器的独立调整使得例如电机和照明控制器1520能够移除图像缺陷和/或使左图像和右图像对准。
以下各节描述了处理器1552如何执行一个或多个程序1530来改变工作距离、变焦、滤光器位置、透镜位置和/或光输出。
1.工作距离示例
图15的电机和照明模块1406的示例处理器1522被配置用于调整立体可视化相机300的工作距离。通过调整后工作距离透镜704与前工作距离透镜408之间的距离来设置工作距离。处理器1522通过使后工作距离透镜704相对于前工作距离透镜408移动来调整距离。具体地，处理器1522向后工作距离透镜电机驱动器1552发送信号，该信号在与后工作距离透镜704要被移动的量成比例的预定时间内激活工作距离透镜电机1554。工作距离透镜电机1554通过附接到保持后工作距离透镜704的滑轨的螺纹来传动导螺杆。工作距离透镜电机1554使得透镜704移动所期望的距离，从而调整工作距离。工作距离透镜电机1554可以向处理器1522提供反馈信号，该反馈信号判定后工作距离透镜704是否被移动了所期望的量。如果移动小于或大于所期望的量，则处理器1522可以发送进一步细化后工作距离透镜704的位置的指令。在一些实施例中，信息处理器模块1408可以确定针对后工作距离透镜704的反馈控制。
为了确定后工作距离透镜704的位置，处理器1522可以操作一个或多个校准程序1530。例如，一旦激活，处理器1522就可以指导工作距离透镜电机1554传动导螺杆以使后工作距离透镜704沿着导轨或轨道移动，直到在运动范围的一端处触发限位开关为止。处理器1522可以将这个停止位置指定为电机1554的编码器的零点。了解后工作距离透镜704的当前位置和相应的编码器值，处理器1522变得能够确定使后工作距离透镜704移动至所期望的位置轴旋转的次数。轴旋转的次数以模拟信号的形式(经由驱动器1552)传输至工作距离透镜电机1554，以相应地使透镜704移动到指定位置。
2.变焦示例
图15的示例处理器1522被配置用于执行一个或多个程序1530以改变立体可视化相机300的变焦水平。如以上所讨论的，通过改变前变焦组724和后变焦组730相对于彼此以及相对于前透镜组714和透镜筒组718的位置来实现变焦(例如，放大率改变)。与以上针对后工作距离透镜704描述的校准过程类似，处理器1522可以沿着导轨或轨道校准组724和730的位置。特别地，处理器1522发送指令使后变焦透镜电机1546和前变焦透镜电机1550沿着一个轨道(或多个轨道)将组724和730(例如，载架)移动到限位开关处的停止位置。处理器1522从电机1546和1550接收编码器反馈以确定与组724和730的停止位置相关联的编码器值。然后，处理器1522可以使编码器值归零，或者使用停止位置处的已知编码器值来确定要激活多少个电机1546和1550来实现组724和730沿轨道的所期望位置。
除了对停止位置的校准之外，处理器1522还可以执行定义组724和730的位置的程序1530以实现所期望的变焦水平。例如，在校准过程期间，可以将相对于一组所期望变焦值的距离设置的已知模式存储为程序1530(或查找表)。校准过程可以包括将模板放置在目标部位700内，并且指导处理器522移动组724和730，直到某个指定的标记或字符为在右图像或帧和左图像或帧中的某个大小。例如，校准例程可以确定组724和730在轨道上的位置，这些位置与在目标部位700处的模板上的字符“E”在右图像和左图像中被显示为具有10个像素高度时相对应。
在一些实施例中，信息处理器模块1408可以执行视觉分析，并且向处理器1522发送指令，这些指令与针对组724和730所期望的移动相关，以进行放大或缩小。另外，信息处理器1408可以发送用于移动焦平面的指令，使得处于所期望的变焦水平的目标部位700焦点对准。指令可以包括例如用于使后工作距离透镜704移动、和/或使组724和730一起移动和/或单独移动的指令。在一些可替代实施例中，处理器1522可以从用户输入设备1410或另一计算机接收处于某些变焦水平的前变焦组724和后变焦组730的轨道位置的校准参数。
示例处理器1522和/或信息处理器模块1408可以发送指令，使得当放大率改变时图像保持焦点对准。处理器1522例如可以使用程序1530和/或查找表来确定如何沿着光轴移动某些透镜以将焦点保持在目标部位700上。程序1530和/或查找表可以指定放大率水平和/或轨道上的设置点以及防止焦平面移动所需的相应透镜调整。
以下表2示出了示例程序1530或查找表，处理器1522可以使用该示例程序或查找表以在改变放大率时保持焦点。基于轨道到对应组724和730的停止位置的长度来使前变焦透镜组724和后变焦透镜组730的位置标准化。为了减小放大率，使后变焦透镜组朝向透镜筒组718移动，从而沿轨道增加位置。前变焦透镜组724也被移动。然而，该前变焦透镜组的移动不一定等于后变焦透镜组730的移动。而是，前变焦透镜组724的移动导致改变组724与730之间的距离，以保持焦平面的位置从而在改变放大率时维持焦点。例如，为了将放大率水平从10倍减小到9倍，处理器1522指导后变焦透镜组730沿着轨道从位置10移动到位置11。另外，处理器1522指导前变焦透镜组724沿着轨道(或与组730相同的轨道)从位置5移动到位置4。不仅使组724和730移动以改变放大率，而且使组724和730相对于彼此移动以保持焦点。
放大率
前变焦透镜组位置
后变焦透镜组位置
10倍
5
10
9倍
4
11
8倍
3
12
7倍
4.5
14
6倍
6
17
5倍
8
20
表2
应当理解的是，表2提供了可以使组724和730如何移动的示例。在其他示例中，表2可以包括考虑组724和730的更精确的放大率和/或位置的附加行。另外或可替代地，表2可以包括针对后工作距离透镜704的列。例如，后工作距离透镜704可以代替前变焦透镜组724或与前变焦透镜组结合移动以保持焦点。进一步地，表2可以包括指定组724和730以及后工作距离透镜704的位置的行，以在工作距离改变期间保持焦点。
可以通过校准来确定和/或从远程计算机或用户输入设备1410接收表2中的值。在校准期间，信息处理器模块1408可以操作校准程序1560，该校准程序通过不同的放大率和/或工作距离来进行。信息处理器模块1408处的处理器1562可以对图像本身或所接收的像素数据执行图像处理，以确定何时使用例如具有预定形状和/或字符的模板来实现所期望的放大率。处理器1562判定所接收的图像是否是焦点对准的。响应于确定图像是离焦的，处理器1562将指令发送到处理器1522，以调整前变焦透镜组724和/或后工作距离透镜组704。该调整可以包括沿着光路在向前和向后方向上的迭代移动，直到处理器1562确定图像是焦点对准的为止。为了确定图像是焦点对准的，处理器1562可以执行例如图像分析，从而搜索光模糊性最小的图像和/或分析相邻像素区域之间的光值差异(其中较大的差异对应于更多的焦点对准图像)的像素数据。在确定图像是以所期望的工作距离和放大率焦点对准之后，处理器1562和/或处理器1522然后可以记录组724和730和/或后工作距离透镜704的位置以及相应的放大率水平。
3.滤光器位置示例
图15的电机和照明模块1406的示例处理器1522被配置用于基于所接收的指令使滤光器740移动到右光路和左光路中。在一些示例中，滤光器740可以包括反射镜阵列。在这些示例中，处理器1522将指令发送到滤光器电机驱动器1540，以致动一个或多个电机1542来改变反射镜的位置。在一些实例中，驱动器1540可以沿着一条或多条路径将电荷发送到滤光器740，从而使某些反射镜元件切换到打开位置或关闭位置。在这些示例中，基于致动哪些反射镜，滤光器类型选择通常有两种。
在其他示例中，滤光器740可以包括具有不同类型的滤光器(诸如，红外截止滤光器、近红外带通滤光器、和近紫外光截止滤光器)的轮。在这些示例中，轮由滤光器电机1542旋转。处理器1522确定轮的与不同滤光器之间的划分相对应的停止位置。处理器1522还确定与每个停止位置相对应的旋转编码器值。
处理器1522可以操作校准程序1530和/或处理器1562可以操作校准程序1560以确定停止位置。例如，处理器1522可以使滤光器轮740缓慢旋转，其中，处理器1562(使用图像分析或从图像捕获模块1404读取像素数据)确定在像素处接收到的光何时变化。像素处的光值的变化指示应用于光路的滤光器类型的变化。在一些实例中，当应用不同的滤光器类型时，处理器1522可以改变哪些光源708被激活，以在像素处创建进一步的区别。
4.光控制和滤光器示例
如以上所讨论的，处理器1522可以结合滤光器740来控制光源708，以使期望波长的光到达光学图像传感器746和748。在一些示例中，处理器1522可以控制或同步激活一个或多个光源708与激活一个或多个滤光器740之间的定时。为了同步定时，程序1530可以指定用于激活某个滤光器的延迟时间。处理器1522使用这个程序1530来确定相对于发送用于打开光源708的信号何时传输用于例如激活滤光器740的信号。预定的定时确保当激活指定的光源708时应用适当的滤光器740。这种配置使得由一个光源708(诸如，荧光)突出显示的特征能够基于在第二光源708(诸如，白光或环境光)下显示的特征或与之相结合地示出。
在一些实例中，可以与可以改变滤光器740一样快地切换光源708，从而使得在不同的光中记录的图像能够基于彼此相结合地显示。例如，发出荧光(由于施用的染料或造影剂)的静脉或其他解剖结构可以在环境照明下的图像上示出。在此示例中，将相对于可见光中所示出的背景解剖特征来突出显示静脉。在这个实例中，信息处理器模块1408的处理器1562和/或图形处理单元1564(例如，视频卡或图形卡)将在应用一个滤光器期间记录的一个或多个图像与在应用后一个滤光器期间记录的图像相组合或相叠加。
在一些实施例中，处理器1522可以同时激活多个光源708。可以同时或顺序地激活光源708以“交织”不同波长的光，以使得能够使用光学图像传感器746和748处的适当像素来提取不同的信息。同时激活光源可有助于照亮暗场。例如，一些应用使用UV光来刺激目标部位700处的荧光。然而，UV光***作者感知为非常暗。因此，处理器1522可以周期性地激活可见光源1538以将一些可见光添加到视野中，使得外科医生可以观察不具有对UV光敏感的压倒性像素的视野，但还可以检测一些可见光。在另一示例中，光源708之间的交替在一些实例中避免了冲洗掉光学图像传感器746和748的在其范围的边缘处具有重叠敏感性的像素。
5.光强度控制
图15的示例处理器1522被配置用于执行一个或多个程序1530，以改变由光源708提供的照明强度或照明水平。应当理解的是，景深取决于目标部位700处的照明水平。通常，较高的照明度提供较大的景深。处理器1522被配置用于确保在不冲洗或过热视野的情况下为所期望的景深提供适量的照明。
可见光源708a由可见光驱动器1538驱动，并且输出光谱的人类可见部分中的光以及此区域之外的一些光。NIR光源708b由NIR光驱动器1536驱动，并且输出波长主要在被称为近红外处的光。NUV光源708c由NUV光驱动器1534驱动，并且输出波长主要在可见光谱的被称为近紫外的蓝色部分深度处的光。对应的光驱动器1534、1536和1538由处理器1522提供的命令控制。对光源708的对应输出光谱的控制通过PWM信号来实现，其中，控制电压或电流在最小值(例如，断开)与最大值(例如，接通)之间切换。通过改变切换速率以及PWM信号中电压或电流处于每个周期的最大电平的时间百分比，来控制从光源708输出的光的亮度。
在一些示例中，处理器1522基于视野或变焦水平的大小来控制光源708的输出。处理器1522可以执行程序1530，该程序针对某些光敏设置指定光强度为变焦的函数。程序1530可以包括例如将变焦水平与光强度值进行相关的查找表。处理器1522使用程序1530基于所选的放大率水平来选择用于光源708的PWM信号。在一些示例中，处理器1522可以随着放大率的增加而减小光强度，以维持提供给每单位面积视野的光量。
C.示例信息处理器模块
图15的立体可视化相机300内的示例信息处理器模块1408被配置用于分析并处理从图像捕获模块1404接收的图像/帧以进行显示。另外，信息处理器模块1408被配置用于与不同的设备进行接口连接并且将控制指令转译成用于图像捕获模块1404和/或电机和照明模块1406的消息。信息处理器模块1408还可以提供用于手动校准和/或管理光学元件1402的自动校准的接口。
如图15中所示出的，信息处理器模块1408通信地和/或电耦合到图像捕获模块1404以及电机和照明模块1406。例如，除了通信信道1566和1568之外，通信信道1514还可以包括USB 2.0或USB 3.0连接。这样，信息处理器模块1408调节并向模块1404和1406提供功率。在一些实施例中，信息处理器模块1408将来自壁式插座的110伏交流(“AC”)功率转化为用于模块1404和1406的5伏、10伏、12伏和/或24伏直流(“DC”)供应。另外或可替代地，信息处理器模块1408从立体可视化相机300的壳体302内部的电池和/或在推车510处的电池接收电功率。
示例信息处理器模块1408包括用于与图像捕获模块1404以及电机和照明模块1406进行双向通信的通信接口1532。信息处理器模块1408还包括处理器1562，该处理器被配置用于执行一个或多个程序1560以处理从图像捕获模块1404接收的图像/帧。程序1560可以存储在存储器1570中。另外，处理器1562可以执行对光学元件1402的校准和/或调整光学元件1402以使右图像和左图像对准和/或移除视觉缺陷。
为了将图像和/或帧处理成经渲染的三维立体显示，示例信息处理器模块1408包括图形处理单元1564。图16示出了根据本披露的示例实施例的图形处理单元1564的图。在操作期间，处理器1562从图像捕获模块1404接收图像和/或帧。解包例程1602将图像/帧从有利于跨通信信道1514传输的格式转化或以其他方式改变成有利于图像处理的格式。例如，图像和/或帧可以在多个消息中跨通信信道1514传输。示例解包例程1602组合来自多个消息的数据以重组帧/图像。在一些实施例中，解包例程1602可以将帧和/或图像排队，直到由图形处理单元1564请求为止。在其他示例中，处理器1562可以在每个右和左图像/帧对被完全接收并解包之后对其进行传输。
示例图形处理单元1564使用一个或多个程序1580(图15所示出的)来准备图像以便进行渲染。在图15和图16中示出了程序1580的示例。程序1580可以由图形处理单元1564的处理器执行。可替代地，图16中所示出的每个程序1580可以由单独的图形处理器、微控制器和/或专用集成电路(“ASIC”)执行。例如，去拜耳程序1580a被配置用于在邻近像素上对像素值进行平滑或平均处理，以补偿施加到图7和图8的右光学图像传感器746的像素网格1002和左光学图像传感器748的像素网格1004的拜耳模式。图形处理单元1564还可包括用于颜色校正和/或白平衡调整的程序1580b、1580c和1580d。图形处理单元1564还包括渲染器程序1580e，该渲染程序用于准备经颜色校正的图像/帧以在显示监视器512和514上显示。图形处理单元1564可以进一步交互和/或包括***输入单元接口1574，该***输入单元接口被配置用于组合、融合或以其他方式包括与目标部位700的立体显示一起呈现的其他图像和/或图形。以下更一般地讨论了程序1580和信息处理器模块1408的进一步细节。
示例信息处理器模块1408可以执行一个或多个程序1562，以检查并改善立体可视化相机300的等待时间。等待时间是指事件在目标部位700处发生并且该事件由显示监视器512和514示出所花费的时间量。低等待时间提供了一种感觉，即立体可视化相机300是外科医生的眼睛的延伸，而高等待时间倾向于从显微外科手术中分神。示例处理器1562可以跟踪从光学图像传感器746和748读取图像之间逝去了多少时间，直到基于所读取图像的组合立体图像被传输用于显示为止。对高等待时间的检测可以使处理器1562减少排队时间、增加帧率和/或跳过一些颜色校正步骤。
1.用户输入示例
图15的信息处理器模块1408的示例处理器1562被配置用于将用户输入指令转化为用于电机和照明模块1406和/或图像捕获模块1402的消息。用户输入指令可以包括改变立体可视化相机300的光学方面(包括放大率水平、工作距离、焦平面(例如，焦点)的高度、光源708和/或滤光器740的滤光类型)的请求。用户输入指令还可以包括执行校准(包括图像处于焦点对准的指示和/或图像对准的指示、和/或对左图像与右图像之间对准的ZRP的指示)的请求。用户输入指令可以进一步包括对立体可视化相机300的参数(诸如帧率、曝光时间、颜色校正、图像分辨率等)的调整。
可以从用户输入设备1410接收用户输入指令，该用户输入设备可以包括图3的控制臂304的控件305和/或远程控件。用户输入设备1410还可以包括计算机、平板计算机等。在一些实施例中，经由网络接口1572和/或***输入单元接口1574来接收指令。在其他实施例中，可以从有线连接接口和/或RF接口接收指令。
示例处理器1562包括用于确定指令类型以及确定如何处理用户输入的程序1560。在示例中，用户可以按下控件305的按钮来改变放大率水平。可以继续按下按钮，直到操作者已经使立体可视化相机300达到所期望的放大率水平为止。在这些示例中，用户输入指令包括指示例如要增加放大率水平的信息。对于所接收的每个指令(或接收到指示指令的信号的每个时间段)，处理器1562将指示放大率变化的控制指令发送到电机和照明处理器1406。处理器1522根据程序1530使用例如表2来确定要移动多少个变焦透镜组724和730。因此，处理器1522将信号或消息传输至后变焦透镜电机驱动器1544和/或前变焦透镜电机驱动器1548，从而使后变焦透镜电机1546和/或前变焦透镜电机1550将后变焦透镜组730和/或前变焦透镜组724移动由处理器1562指定的量以实现所期望的放大率水平。
应当理解的是，在以上示例中，立体可视化相机300基于用户输入提供改变，但还进行自动调整以维持焦点和/或较高的图像质量。例如，处理器1522确定如何移动变焦透镜组724和730，而不是简单地改变放大率水平，以仍然保持焦点，从而使操作者不必手动执行此任务。另外，处理器1562可以随着放大率水平的改变而实时地调整和/或对准右图像和左图像内的ZRP。例如，这可以通过选择或改变像素集1006和1008相对于图10的像素网格1002和1004的位置来完成。
在另一示例中，处理器1562可以从用户输入设备1410接收指令以改变帧率。处理器1562将消息传输至图像捕获模块1404的处理器1504。进而，处理器1504向右图像传感器746和左图像传感器748的寄存器写入新帧率的指示。处理器1504还可以用新帧率来更新内部寄存器，以改变读取像素的速度。
在又一示例中，处理器1562可以从用户输入设备1410接收指令以开始对ZRP的校准例程。作为响应，处理器1562可以执行指定如何操作校准的程序1560。除了用于验证图像质量的例程之外，程序1560还可以包括例如放大率水平和/或工作距离的进展或迭代。例程可以指定：对于每个放大率水平，除了验证ZRP之外，还应验证焦点。例程还可以指定如何调整变焦透镜组724和730和/或后工作距离透镜704以实现焦点对准的图像。例程可以进一步针对放大率水平指定如何使右图像和左图像的ZRP居中。一旦已经验证了图像质量，程序1560除了存储像素集1006和1008的位置以及相应的放大率水平之外，还可以存储(到查找表)变焦透镜组724和/或730和/或后工作距离透镜704的位置。因此，当在随后的时间请求相同的放大率水平时，处理器1562使用查找表来指定变焦透镜组724和/或730、和/或后工作距离透镜704到电机和照明模块1406的位置以及像素集1006和1008到图像捕获模块1404的位置。应当理解的是，在一些校准例程中，可以径向地/旋转地调整和/或倾斜光学元件1402中的至少一些透镜以使ZRP居中和/或使右图像和左图像对准。
2.接口示例
为了促进立体可视化相机300与外部设备之间的通信，示例信息处理器模块1408包括网络接口1572和***输入单元接口1574。示例网络接口1572被配置用于使得远程设备能够通信地耦合到信息处理器模块1408，以例如存储所记录的视频，控制立体可视化相机300的工作距离、变焦水平、焦点、校准或其他特征。在一些实施例中，远程设备可以提供用于校准查找表的值或参数，或更一般地，提供具有校准参数的程序1530。网络接口1572可以包括以太网接口、局域网接口和/或Wi-Fi接口。
示例***输入单元接口1574被配置用于可通信地耦合到一个或多个***设备1576，并且促进立体图像数据与***数据(诸如，患者生理数据)的集成。***输入单元接口1574可以包括
***设备1576可以包括例如数据或视频存储单元、患者生理传感器、医学成像设备、输注泵、透析机器和/或平板计算机等。***数据可以包括来自专用二维红外专用相机的图像数据、来自用户的膝上型计算机的诊断图像和/或来自眼科设备(诸如，Alcon系统和WaveTec公司的Optiwave Refractive Analysis(ORATM)系统)的图像或患者诊断文本。
示例***输入单元接口1574被配置用于将来自***设备1576的数据转化和/或格式化为适当数字形式以便与立体图像一起使用。一旦采用数字形式，图形处理单元1564就将***数据与其他系统数据和/或立体图像/帧集成。该数据被渲染有在显示监视器512和/或514上显示的立体图像。
为了配置***数据与立体图像的包含，处理器1562可以控制集成设置。在示例中，处理器1562可以使图形处理单元1564在显示监视器512和/或514上显示配置面板。配置面板可以使得操作者能够将***设备1576连接到接口1574和处理器1562，以随后与设备1576建立通信。处理器1564然后可以读取哪些数据可用或者使得操作者能够使用配置面板来选择数据目录位置。目录位置中的***数据显示在配置面板中。配置面板还可以向操作者提供用于使***数据与立体图像数据叠加或显示为单独图片的选项。
***数据(和叠加格式)的选择使处理器1562读取数据并将其传输至图形处理单元1564。图形处理单元1564将***数据应用于立体图像数据以作为叠加图形(诸如，将术前图像或图形与实时立体图像融合)、“画中画”、和/或在主立体图像窗口之侧或之上的子窗口来呈现。
3.去拜耳程序示例
图16的示例去拜耳程序1580a被配置用于产生在每个像素值处具有红色、绿色和蓝色值的图像和/或帧。如以上所讨论的，右光学图像传感器746和左光学图像传感器748的像素具有使红色波长范围、蓝色波长范围或绿色波长范围的光通过的滤光器。因此，每个像素仅包含光数据的一部分。因此，在信息处理器模块1408中从图像捕获模块1404接收的每个图像和/或帧具有包含红色、蓝色或绿色像素数据的像素。
示例去拜耳程序1580a被配置用于对相邻和/或邻近像素的红色、蓝色和绿色像素数据求平均，以确定每个像素的更完整颜色数据。在示例中，具有红色数据的像素和具有蓝色数据的像素位于具有绿色数据的两个像素之间。对两个像素的绿色像素数据进行求平均，并将其分配给具有红色数据的像素和具有蓝色数据的像素。在一些实例中，可以基于具有红色数据的像素和具有蓝色数据的像素距对应的绿色像素的距离来对平均绿色数据进行加权。计算之后，最初只有红色或蓝色数据的像素现在包括绿色数据。因此，在由图形处理单元1564执行去拜耳程序1580a之后，每个像素包含红色、蓝色和绿色光量的像素数据。混合不同颜色的像素数据以确定色谱上的所得颜色，可以由渲染器程序1580e将该所得颜色用于显示和/或用于显示监视器512和514。在一些示例中，去拜耳程序1580a可以确定所得颜色并存储指示该颜色的数据或标识符。
4.颜色校正示例
示例颜色校正程序1580b、1580c和1580d被配置用于调整像素颜色数据。传感器颜色校正程序1580b被配置用于考虑或调整光学图像传感器746和748的颜色感测中的可变性。用户颜色校正程序1580c被配置用于基于操作者的感知和反馈来调整像素颜色数据。进一步地，显示颜色校正程序1580d被配置用于基于显示监视器类型来调整像素颜色数据。
为了校正用于传感器可变性的颜色，示例颜色校正程序1580b指定可由图形处理单元1564和/或处理器1562执行的校准例程。传感器校准包括将校准的颜色图表(诸如，如爱色丽(X-Rite)公司的Color
在一些示例中，可以在像素的区域上对差异进行求平均，使得程序1580b找到颜色校正数据的最佳拟合，该最佳拟合可以全局地应用于光学图像传感器746和748的所有像素，以产生尽可能接近颜色图表的颜色。另外或可替代地，程序1580b可以处理从用户单元设备1410接收的用户输入指令以校正颜色。指令可以包括基于操作者的偏好对红色、蓝色和绿色像素数据进行的区域性和/或全局性改变。
示例传感器颜色校正程序1580b还被配置用于校正白平衡。通常，白光应导致具有相等值的红色、绿色和蓝色像素。然而，像素之间的差异可以由成像期间使用的光的色温、每个像素的滤光器和感测元件的固有方面、以及例如图7和图8的偏转元件712的光谱滤光参数引起。示例传感器颜色校正程序1580b被配置用于指定用于对光不平衡进行校正的校准例程。
为了执行白平衡，处理器1562(根据来自程序1580b的指令)可以在显示监视器512和/或514上显示指令，以供操作者将中性卡放置在目标部位700上。然后，处理器1562可以指导图像捕获模块1404记录中性卡的一个或多个图像。在通过解包例程1602和去拜耳程序1580a进行处理之后，程序1580b确定红色、蓝色和绿色数据中的每一个的区域性和/或全局性白平衡校准权重值，使得每个像素具有基本相等的红色、蓝色和绿色数据值。将白平衡校准权重值存储到存储器1570。在操作期间，图形处理单元1564使用程序1580b来应用白平衡校准参数以提供白平衡。
在一些示例中，程序1580b针对右光学图像传感器746和左光学图像传感器748逐个确定白平衡校准参数。在这些示例中，程序1580b可以存储用于左图像和右图像的单独的校准参数。在其他实例中，传感器颜色校正程序1580b确定右视图与左视图之间的权重，以使得右光学图像传感器746和左光学图像传感器748的颜色像素数据几乎相同。可以将确定的权重应用于白平衡校准参数，以便随后在立体可视化相机300的操作期间使用。
在一些实施例中，图16的传感器颜色校正程序1580b指定将白平衡校准参数作为右光学图像传感器746和左光学图像传感器748的像素上的数字增益来应用。例如，图像捕获模块1404的处理器1504将数字增益应用于从每个像素读取的像素数据。在其他实施例中，将白平衡校准参数作为每个像素颜色感测元件的模拟增益来应用。
当激活不同的光源708和/或滤光器740的滤光类型时，示例传感器颜色校正程序1580b可以执行白平衡和/或颜色校正。结果，存储器1570可以基于选择哪个光源708来存储不同的校准参数。进一步地，传感器颜色校正程序1580b可以针对不同类型的外部光执行白平衡和/或颜色校正。操作者可以使用用户输入设备1410来指定外部光源的特性和/或类型。这种校准使得立体可视化相机300能够针对不同的照明环境提供颜色校正和/或白平衡。
示例程序1580b被配置用于分别对光学图像传感器746和748中的每一个执行校准。因此，程序1580b在操作期间将不同的校准参数应用于右图像和左图像。然而，在一些示例中，可以仅对一个传感器746或748执行校准，并且将校准参数用于另一传感器。
示例用户颜色校正程序1580c被配置用于请求操作者提供的关于图像质量参数(诸如，亮度、对比度、伽马、色调和/或饱和度)的反馈。反馈可以作为指令从用户输入设备1410接收。由用户进行的调整作为用户校准参数存储在存储器1570中。这些参数随后由用户颜色校正程序1580c在对光学图像传感器746和748进行颜色校正之后应用于右光学图像和左光学图像。
图16的示例显示颜色校正程序1580d被配置用于使用例如DatacolorTM斯派德(Spyder)颜色检查器来校正显示监视器的图像颜色。与程序1580b类似的程序1580d指导图像捕获模块1404记录显示颜色模板在目标场景700处的图像。显示颜色校正程序1580d操作例程以调整像素数据以便与存储在存储器1570中的查找表中的预期显示输出匹配。调整后的像素数据可以作为显示校准参数存储到存储器1570中。在一些示例中，相机或其他成像传感器可以连接到***输入单元接口1574，该***输入单元接口提供关于由用于调整像素数据的显示监视器512和514记录的颜色的图像或其他反馈。
5.立体图像显示示例
图16的图形处理单元1564的示例渲染器程序1580e被配置用于准备左右图像和/或帧以便进行三维立体显示。在通过程序1580b、1580c和1580d对左右图像的像素数据进行颜色校正之后，渲染器程序1580e被配置用于将左眼和右眼数据绘制成适合于立体显示的格式并且将最终渲染的版本放置到输出缓冲器中以便传输至显示监视器512或514之一。
通常，渲染器程序1580e接收右图像和/或帧以及左图像和/或帧。渲染器程序1580e将左图像和/或帧以及右图像和/或帧组合成单个帧。在一些实施例中，程序1580e操作自上而下模式，并将左图像数据的高度缩短一半。然后，程序1580e将缩短的左图像数据放置在组合帧的上半部分中。类似地，程序1580e将右图像数据的高度缩短一半，并将缩短的右图像数据放置在组合帧的下半部分。
在其他实施例中，渲染器程序1580e操作并排模式，其中左图像和右图像中的每一个在宽度上被缩短一半并且被组合成单个图像，使得左图像数据被设置在左图像数据的左半部分，而右图像被设置在图像的右半部分。在又一可替代实施例中，渲染器程序1580e操作行交织模式，其中，左帧和右帧中的每隔一行被丢弃。将左帧和右帧组合在一起以形成完整的立体图像。
示例渲染器程序1580e被配置用于分别为每个连接的显示监视器渲染组合的左图像和右图像。例如，如果将显示监视器512和514两者连接，则渲染器程序1580e为显示监视器512渲染第一组合的立体图像，并且为显示监视器514渲染第二组合的立体图像。渲染器程序1580e格式化第一和第二组合的立体图像，使得它们可与显示监视器和/或屏幕的类型和/或屏幕大小兼容。
在一些实施例中，渲染器程序1580e基于显示监视器将如何显示立体数据来选择图像处理模式。操作者的大脑对立体图像数据的正确解释要求将立体图像的左眼数据传达到操作者的左眼，并且将立体图像的右眼数据传达到操作者的右眼。通常，显示监视器为左眼数据提供第一偏振并且为右眼数据提供第二相反的偏振。因此，组合的立体图像必须与显示监视器的偏振匹配。
图17示出了根据本披露的示例实施例的显示监视器512的示例。显示监视器512可以是例如具有屏幕1702的
为了观看在屏幕1702上显示的立体图像，外科医生504(从图5中记住他)戴着眼镜1712，该眼镜包括包含与行1704的第一偏振匹配的第一偏振的左镜片1714。另外，眼镜1712包括包含与行1706的第二偏振匹配的第二偏振的右镜片1716。因此，左镜片1714仅允许来自左行1704的左图像数据的大部分光通过，同时阻挡来自右图像数据的大部分光。另外，右镜片1716允许来自右行1706的右图像数据的大部分光通过，同时阻挡来自左图像数据的大部分光。来自“错误”视图的、到达每只对应眼睛的光量被称为“串扰”，并且通常保持在足够低的值以允许舒适地观看。因此，外科医生504在左眼中观看由左光学图像传感器748记录的左图像数据，而在右眼中观看由右光学图像传感器746记录的右图像数据。外科医生的大脑将这两个视图融合在一起，以创建三维距离和/或深度的感知。进一步地，使用这种显示监视器对于观察立体可视化相机300的准确性而言是有利的。如果外科医生或操作者不戴眼镜，则左视图和右视图可用双眼观察到。如果将平面目标放置在焦平面上，则两个图像将在理论上对准。如果检测到失准，则可以由处理器1562启动重新校准过程。
示例渲染器程序1580e被配置用于渲染圆偏振的左视图和右视图。然而，在其他实施例中，渲染器程序1580e可以提供与线性偏振兼容的立体图像。无论使用哪种类型的偏振，示例处理器1562都可以执行程序1560以验证或检查由渲染器程序1580e输出的立体图像的偏振。为了检查偏振，处理器1562和/或***输入单元接口1574将诊断数据***左图像和/或右图像。例如，处理器1562和/或***输入单元接口1574可以将“左”文本叠加到左图像上，并且将“右”文本叠加到右图像上。处理器1562和/或***输入单元接口1574可以显示提示，该提示指示操作者在戴眼镜1712时一次闭一只眼，以确认在左眼处正在接收左视图并且在右眼处正在接收右视图。操作者可以经由用户输入设备1410提供指示偏置是否正确的确认。如果偏振不正确，则示例渲染器程序1580e被配置用于反转将左图像和右图像***到组合的立体图像中的位置。
在又其他实施例中，示例渲染器程序1580e被配置用于提供帧顺序投影，而不是创建组合的立体图像。在此，渲染器程序1580e渲染与右图像和/或帧以时间顺序交织的左图像和/或帧。因此，左图像和右图像交替地呈现给外科医生504。在这些其他实施例中，屏幕1702未偏振。相反，眼镜1712的左镜片和右镜片可以被电子地或光学地同步到其帧序列的对应部分，这向用户提供相应的左视图和右视图以辨别深度。
在一些示例中，渲染器程序1580e可以提供右图像和左图像中的某些图像，以显示在单独的显示监视器上或一个显示监视器上的单独窗口中。当光学元件1402的右光路和左光路的透镜可独立地调整时，这种配置可能特别有益。在示例中，可以将右光路设置为第一放大率水平，而将左光路设置为第二放大率水平。因此，示例渲染器程序1580e可以在显示监视器512上显示来自左视图的图像流，并在显示监视器514上显示来自右视图的图像流。在某些实例中，左视图可以在显示监视器512上的第一窗口中显示，而右视图在同一显示监视器512的第二窗口中显示(例如，画中画)。因此，虽然不是立体的，但是同时显示左图像和右图像向外科医生提供了有用的信息。
在另一示例中，光源708和滤光器740可以快速切换以利用可见光和荧光生成交替的图像。示例渲染器程序1580e可以将左视图和右视图进行组合以在不同光源下提供立体显示，以便例如在可见光下示出背景的同时用染料突出显示静脉。
在又一示例中，可以将数字变焦应用于右光学图像传感器746和/或左光学图像传感器748。通常，数字变焦会影响图像的感知分辨率，并且取决于诸如显示分辨率和观看者的偏好等因素。例如，图像捕获模块1404的处理器1504可以通过创建在以数字方式变焦的像素之间合成和间置的内插像素来应用数字变焦。处理器1504可以操作程序1510，该程序协调光学图像传感器746和748的选择和内插像素。处理器1504传输具有应用于信息处理器模块1408的数字变焦的右图像和左图像，以进行后续渲染和显示。
在一些实施例中，处理器1504从处理器1562接收指令：要在没有数字变焦的图像之间记录数字变焦图像，以提供目标部位700的感兴趣区域的数字变焦的画中画(或单独窗口)显示。因此，处理器1504将数字变焦应用于从像素网格1002和1004读出的每隔一个的图像。除了以数字方式变焦的立体图像之外，这使得渲染器程序1580e能够同时显示立体全分辨率图像。可替代地，要以数字方式变焦的图像从当前图像复制、缩放、并且在渲染阶段期间被放置在叠加在当前图像之上的适当位置。这种可替代地配置避免了“交替”记录要求。
6.校准示例
图14至图16的示例信息处理器模块1408可以被配置用于执行一个或多个校准程序1560，以校准例如工作距离和/或放大率。例如，处理器1562可以向电机和照明模块1406发送指令，以执行用于将从主物镜组件702到目标部位700的工作距离(以毫米为单位测得的)映射到工作距离透镜电机1554的已知电机位置的校准步骤。处理器1562通过沿光轴以离散步长顺序地移动物平面并且使左图像和右图像重新聚焦、同时记录编码器计数和工作距离来执行校准。在一些示例中，工作距离可以由外部设备测量，该外部设备经由***输入单元接口1574和/或到用户输入设备1410的接口将所测得的工作距离值传输至处理器1562。处理器1562可以存储后工作距离透镜704的位置(基于工作距离透镜电机1554的位置)和相应的工作距离。
示例处理器1562还可以执行程序1560以执行放大率校准。处理器1562可以使用电机和照明模块1406设置光学元件1402以选择放大率水平。处理器1562可以记录光学元件1402的位置或相对于每个放大率水平的相应电机位置。可以通过测量已知大小的物体在图像中的高度来确定放大率水平。例如，处理器1562可以将物体测量为具有10个像素的高度，并使用查找表来确定10个像素的高度对应于5倍放大率。
为了与两种不同成像模态的立体透视图匹配，通常期望如同该立体透视图是简单的针孔相机那样对他们两者进行建模。可以从用户可调整的方向和距离来观看3D计算机模型(诸如，MRI脑肿瘤)的透视图(例如，如同图像是由合成的立体相机记录的那样)。可调整性可以用于匹配实时外科手术图像的透视，因此该透视图必须是已知的。示例处理器1562可以校准这些针孔相机参数中的一个或多个，诸如，例如右光学图像传感器746和左光学图像传感器748的投影中心(“COP”)。为了确定投影中心，处理器1562确定从投影中心到物平面的焦点距离。首先，处理器1562以某一放大率水平来设置光学元件1402。然后，处理器1562在沿光轴的三个不同距离处记录图像高度的测量结果，该三个不同距离包括在物平面处、小于物平面距离的距离d、以及大于物平面距离的距离d。处理器1562对两个最极端位置处的相似三角形使用代数公式，以确定到投影中心的焦点距离。处理器1562可以使用相同的方法或通过确定用于校准的放大率之间的比率来确定其他放大率下的焦点距离。处理器可以使用投影中心来将诸如MRI肿瘤模型等所期望融合物体的图像的透视图与实时立体外科手术图像匹配。另外或可替代地，可以使用诸如开放式CV校准相机(OpenCVcalibrateCamera)等现有相机校准过程来找到上述参数以及诸如光学元件1402的畸变模型等附加相机信息。
示例处理器1562可以进一步校准左光轴和右光轴。处理器1562确定左光轴与右光轴之间的瞳距，以进行校准。为了确定瞳距，示例处理器1562记录像素集1006和1008以像素网格1002和1004为中心的左图像和右图像。处理器1562确定左图像和右图像的ZRP的位置(和/或到移位物体的距离)，该位置指示图像失准和视差程度。另外，处理器1562基于放大率水平缩放视差和/或距离。然后，处理器1562使用考虑了视差程度和/或到显示器中物体的缩放距离的三角测量计算来确定瞳距。接下来，处理器1562将瞳距与在指定放大率水平下作为校准点的光轴相关联。
VII.图像对准和假视差调整实施例
与人类视觉类似，立体图像包括会聚在感兴趣点的右视图和左视图。以与感兴趣点略微不同的角度来记录右视图和左视图，这会导致两个视图之间出现视差。感兴趣点之前或之后的场景中的项展现出视差，使得可以推算出项距观看者的距离或深度。感知距离的准确性取决于例如观看者视力的清晰度。大多数人展现出其视力有某种程度的缺陷，从而导致右视图与左视图之间存在一些不准确。然而，他们仍然可能通过大脑以某种程度的准确性融合视图来实现立体视觉。
当左图像和右图像由相机记录而不是由人类观看时，显示屏上组合的图像之间的视差产生立体视觉，这会在二维显示器上提供三维立体图像的外观。视差中的误差可能影响三维立体图像的质量。与理论上完美的视差相比，观察到的视差的不准确性被称为假视差。与人类不同，相机没有自动补偿不准确性的大脑。
如果假视差变得很显著，则三维立体图像可能无法观看，以达到引起眩晕、头痛和恶心的程度。存在可能影响显微镜和/或相机中的视差的多种因素。例如，右视图和左视图的光学通道可能不完全相等。光通道可能具有不匹配的焦点、放大率和/或感兴趣点失准。这些问题可能在不同的放大率和/或工作距离下具有不同的严重性，从而减少了通过校准所做的校正努力。
诸如图2的外科手术显微镜200等已知的外科手术显微镜被配置用于通过目镜206提供适当的视图。通常，已知外科手术显微镜的光学元件的图像质量不足以用于立体相机。其原因是因为外科手术显微镜的制造商认为主要的观看是通过目镜。任何相机附件(诸如，相机212)要么是单视场的并且不受假视差的影响，要么是具有假视差不那么明显的低图像分辨率的立体式。
国际标准，诸如，ISO 10936-1:2000，光学和光学仪器-手术显微镜-第1部分：要求和测试方法已经产生，以提供对外科手术显微镜的图像质量的规范限制。规范限制通常是针对通过外科手术显微镜的目镜进行观看而设置的，并且不考虑三维立体显示。例如，关于假视差，ISO 10936-1:2000指定左视图与右视图之间的竖直轴差应小于15弧分。轴的小角度偏差通常以弧分(与1/60度相对应)或弧秒(与1/60弧分相对应)进行量化。15弧分规范限制与具有为250mm的工作距离和为35mm的视野(其具有为8°的角度视野)的典型外科手术显微镜的左视图与右视图之间的3％差异相对应。
对于目镜观看，3％差异是可以接受的，其中，外科医生的大脑能够克服较小程度的误差。然而，在显示监视器上以立体方式观看时，此3％差异会在左视图与右视图之间产生明显的差异。例如，当左视图和右视图一起示出时，3％差异导致图像看起来不相连，并且难以长时间观看。
另一个问题是，已知的外科手术显微镜可能仅在一个或几个放大率水平下满足15弧分规范限制，和/或仅单独光学元件可能满足某个规范限制。例如，制造单独透镜以满足某个准则。然而，当在光路中组合各个光学元件时，偏离标准的较小偏差可能被放大而不是被抵消。当在包括共用主物镜的光路中使用五个或更多个光学元件时，这可能是特别明显的。另外，很难完全匹配平行通道上的光学元件。最多，在制造期间，仅在一个或几个特定放大率水平下对外科手术显微镜的光学元件进行校准，以满足15弧分的规范限制。因此，尽管据称外科手术显微镜满足ISO 10936-1:2000规范，但校准点之间的误差可能更大。
另外，ISO 10936-1:2000规范在添加附加部件时允许更大的公差。例如，添加第二目镜(例如，目镜208)使假视差增加2弧分。此外，尽管这种误差对于通过目镜206和208进行观看是可以接受的，但是当通过相机以立体方式观看时，图像失准变得更加明显。
与已知外科手术显微镜相比，本文披露的示例立体可视化相机300被配置用于自动调整光学元件1402中的至少一些以减少或消除假视差。将光学元件嵌入立体可视化相机300内使得能够针对三维立体显示进行自动地(有时实时地)精细调整。在一些实施例中，示例立体可视化相机300可以提供20至40弧秒的准确性，这与已知外科手术显微镜的15弧分准确性相比，光学误差减少了接近97％。
准确性的提高使得示例立体可视化相机300能够提供使用已知的立体显微镜不能够执行的特征。例如，许多新的显微外科手术都依赖于实时手术现场中的精确测量结果，以便进行最佳大小调整、定位、匹配、定向和诊断。这包括确定血管的大小、复曲面人工晶状体(“IOL”)的放置角度、从术前图像到实时视图的脉管系统匹配、动脉下方肿瘤的深度等。因此，示例立体可视化相机300使得能够使用例如图形叠加或图像分析来进行精确测量，以确定解剖结构的大小。
已知的外科手术显微镜要求外科医生将已知大小的物体(诸如，微型尺)放入视野内。外科医生将物体的大小与周围的解剖结构进行比较，以确定近似大小。然而，此过程相对较慢，因为外科医生必须将物体放置在正确的位置，并且然后在执行测量后将其移除。另外，由于大小是基于外科医生的主观比较和测量，因此测量仅提供近似值。一些已知的立体相机提供图形叠加以确定大小。然而，如果左视图与右视图之间存在假视差，则会降低这些叠加的准确性。
A.ZRP作为假视差来源
ZRP不准确性在左图像与右图像之间提供了重要误差来源，从而导致假视差。ZRP或变焦重复点是指在改变放大率水平时在视野中保持在同一位置的点。图18和19示出了不同放大率水平的左视野和右视野中的ZRP的示例。具体地，图18示出了低放大率水平的左视野1800和高放大率水平的左视野1850。另外，图19示出了低放大率水平的右视野1900和高放大率水平的右视野1950。
应当注意的是，图18和19示出了十字准线1802和1902，以提供本披露的示例性参考点。十字准线1802包括沿着y方向或y轴定位的第一十字准线1802a和沿着x方向或x轴定位的第二十字准线1802b。另外，十字准线1902包括沿着y方向或y轴定位的第一十字准线1902a和沿着x方向或x轴定位的第二十字准线1902b。在实际实施方式中，在默认情况下示例立体可视化相机300通常不包括十字准线或者将十字准线添加到光路(除非操作者要求这样)。
理想地，ZRP应该被定位在中心位置或原点。例如，ZRP应该在十字准线1802和1902中居中。然而，光学元件1402中的不准确和/或光学元件1402之间的略微失准导致ZRP将被定位成远离十字准线1802和1902的中心。除了ZRP在左视图与右视图之间的失准之外，假视差的程度还与左视图和右视图中的每个ZRP距各自中心有多远相对应。此外，光学元件1402中的不准确可能导致ZRP随着放大率变化而略微漂移，从而进一步导致更大程度的假视差。
图18示出了图7的目标部位700的视野1800和1850中的三个新月形的物体1804、1806和1808。应当理解的是，相对于光学图像传感器746和748，视野1800和1850是线性视野。将物体1804、1806和1808放置在视野1800中，以展示如何从左图像失准和右图像失准中生成假视差。将物体1804沿着十字准线1802a定位在十字准线1802b上方。将物体1806沿着十字准线1802b定位并且在十字准线1802a的左侧。将物体1808定位在十字准线1802b的略微下方，并且在十字准线1802a的右侧。用于左视野1800的ZRP 1810被定位在物体1808的凹口中。
通过使用示例立体可视化相机300的变焦透镜组件716增大放大率水平(例如，变焦)，将左视野1800改变为左视野1850。增大放大率使物体1804、1806和1808看起来扩展或增长，如视野1850中所示出的。在所展示的示例中，视野1850近似为视野1800的放大率水平的3倍。
与低放大率视野1800相比，高放大率视野1850中的物体1804、1806和1808的大小已经增加了约3倍，同时还相对于ZRP 1810彼此移动间隔开3倍。另外，物体1804、1806和1808的位置已相对于十字准线1802移动。现在将物体1804移位至十字准线1802a的左侧，并且被移位成略微远离十字准线1802b。另外，物体1806现在进一步移位至十字准线1802a的左侧，并略微高于十字准线1802b。通常，物体1808相对于十字准线1802位于相同(或几乎相同)的位置，其中，ZRP 1810相对于十字准线1802和物体1806位于完全相同(或几乎相同)的位置。换言之，随着放大率的增大，物体1804、1806和1808(以及视野1850中的任何其他物体)看起来都远离ZRP 1810并向外移动。
在图19中所展示的右视野1900和1950中示出了相同的物体1804、1806和1808。然而，ZRP的位置不同。具体地，ZRP 1910位于右视野1900和1950的十字准线1902b的上方并且在十字准线1902a的左侧。因此，ZRP 1910位于与左视野1800和1850中的ZRP 1810不同的位置处。在所展示的示例中，假设左光路和右光路在第一放大率水平下完全对准。因此，在右视野1900中示出的物体1804、1806和1808位于与左视野1800中相同的物体1804、1806和1808所在的相同位置。由于左视图和右视图是对准的，因此不存在假视差。
然而，在高放大率视野1950中，物体1804、1806和1808扩展并远离ZRP 1910移动。给定ZRP 1910的位置，物体1804向右移动或移位，并且物体1806向下移动或移位。另外，与物体1808其在视野1900中的位置相比，该物体向下和向右移动。
图20示出了将高放大率左视野1850与高放大率右视野进行比较的像素图。网格2000可以表示物体1804(L)、1806(L)和1808(L)在左光学图像传感器748的像素网格1004上的位置与物体1804(R)、1806(R)和1808(R)在左光学图像传感器746的像素网格1002上的位置相叠加。图20清楚地示出了物体1804、1806和1808处于左视野1850和右视野1950中的不同位置。例如，物体1804(R)位于十字准线1902a的右侧并且在十字准线1902b的上方，而相同的物体1804(L)位于十字准线1802a的左侧并且进一步在十字准线1802b的上方。
物体1804、1806和1808的位置差异与由在不同位置产生ZRP1810和1910的光学元件1402的光学对准缺陷所产生的假视差相对应。假设没有畸变或其他成像误差，图20所示出的假视差对于图像内的所有点通常是相同的。当通过外科手术显微镜(诸如，图2的显微镜200)的目镜进行观看时，物体1804、1806和1808的位置差异可能不明显。然而，当以立体图像在显示监视器512和514上进行观看时，差异变得显而易见，并且可能导致头痛、恶心和/或眩晕。
图21示出了展示关于左ZRP和右ZRP的假视差的图。该图包括像素网格2100，该像素网格包括图10的右像素网格1002和左像素网格1004的叠加。在这个展示的示例中，用于左光路的左ZRP 2102位于沿x轴的+4处以及沿y轴的0处。另外，用于右光路的右ZRP 2104位于沿x轴的-1处以及沿y轴的0处。在x轴和y轴的相交处示出了原点2106。
在此示例中，物体2108在第一低放大率下相对于左图像和右图像对准。当放大率增加3倍时，物体2108的大小增加，并且远离ZRP 2102和2104移动。轮廓物体2110基于ZRP2102和2104与原点2106对准而示出物体2108在第二较高放大率下的理论位置。具体地，物体2108在第一放大率水平下的凹口在沿x轴的位置+2处。在3倍放大率的情况下，凹口沿x轴移动3倍，使得在较高放大率水平下凹口位于沿x轴的+6处。另外，由于ZRP 2102和2104在理论上将在原点2106处对准，因此物体2110将在左视图与右视图之间对准(图21中被示出为在假设叠加下的单个物体)。
然而，在此示例中，左ZRP 2102和右ZRP 2104的失准使物体2110在较高放大率下在左视图与右视图之间失准。关于右光路，右ZRP 2104位于沿着x轴的-1处，使得其在低放大率下偏离物体2108的凹口3个像素。当放大3倍时，此差异变为9个像素，该物体被显示为物体2110(R)。类似地，左ZRP 2102位于沿x轴的+4像素处。在3倍放大率下，物体2108从偏离2像素移动到偏离6像素，该物体被示出为在沿x轴的-2处的物体2110(L)。
物体2110(L)和物体2110(R)的位置差异与在较高放大率下的左视图与右视图之间的假视差相对应。如果将右视图和左视图组合成立体图像以进行显示，则在渲染器程序1850e使用行交织模式时，物体2110的位置将在每行处失准。该失准将不利于生成立体视觉，并且可能产生看起来模糊或使操作者感到困惑的图像。
B.假视差的其他来源
尽管左光路与右光路之间的ZRP失准是假视差的重要来源，但也存在其他误差来源。例如，假视差可能是由于右光路与左光路之间的不相等放大率变化而引起的。平行光路之间的放大率差异可能是由于光学元件1402的透镜的光学性质或特性的略微差异而引起的。进一步地，如果图7和图8的左前变焦透镜726和右前变焦透镜728中的每一个和左后变焦透镜736和右后变焦透镜738中的每一个都被独立地控制，则略微差异可能由于定位而引起的。
返回参照图18和图19中，对于左光路和右光路，放大率变化的差异产生不同大小的物体以及物体之间的不同间距。例如，如果左光路具有较高的放大率变化，则与图19中的右视野1950中的物体1804、1806和1808相比，物体1804、1806和1808将看起来更大，并且移动距ZRP 1810更大的距离处。即使ZRP 1810和1910对准，物体1804、1806和1808的位置的差异也会导致假视差。
假视差的另一来源是由于左光路和右光路的不均等聚焦而引起的。通常，左视图与右视图之间的焦点对准的任何差异都可能导致感知到的图像质量下降，并可能导致关于左视图或右视图是否占主导地位的潜在混乱。如果焦点差异明显，则可能导致离焦(“OOF”)状况。在左视图和右视图被示出在同一图像的立体图像中，OOF状况特别明显。另外，OOF状况不容易校正，因为重新聚焦离焦光路通常导致另一个光路变成未聚焦。通常，需要确定两个光路都是焦点对准的点，这可以包括沿着光路改变左透镜和右透镜的位置和/或调整距目标部位700的工作距离。
图22示出了展示OOF状况如何形成的图。该图将感知的分辨率(例如，焦点)与相对于最佳分辨率部分2202的透镜位置相关。在此示例中，左后变焦透镜734处于位置L1处，而右后变焦透镜732处于位置R1处。在位置L1和R1处，后变焦透镜732和734都在最佳分辨率2202的范围内，使得左光路和右光路具有匹配的焦点水平。然而，L1和R1的位置存在与距离ΔP相对应的差异。在稍后的时间，工作距离706被改变，使得点离焦。在此示例中，后变焦透镜732和734两者移动到位置L2和R2的相同距离，使得距离ΔP不变。然而，位置改变导致分辨率ΔR的显著改变，使得左后变焦透镜734具有比右后变焦透镜732更高的分辨率(例如，更好的焦点)。分辨率ΔR与OOF状况相对应，这会由于右光路与左光路之间的焦点失准而导致假视差。
假视差的又另一来源可能是由于对在目标部位700处正在移动的物体进行成像引起的。假视差是由于右光学图像传感器746和左光学图像传感器748的曝光之间的较小同步误差引起的。如果没有同时记录左视图和右视图，则物体看起来在两个视图之间移位或失准。组合的立体图像在左视图和右视图的两个不同位置处示出了同一物体。
此外，假视差的另一来源涉及在放大率期间移动的ZRP点。以上在第IV(A)节中讨论的示例假设左视图和右视图的ZRP不在x方向或y方向上移动。然而，如果变焦透镜726、728、732和/或734不与光路或轴完全平行地(例如，在z方向上)移动，则ZRP可能会在放大率期间移位。如以上参照图11所讨论的，当将力施加到致动部分1108时，载架724可以略微地移位或旋转。此旋转可能使左右ZRP在改变放大率水平时略微地移动。
在示例中，在放大率改变期间，载架730在单个方向上移动，而对于放大率的一部分改变，载架724在相同方向上移动，并且对于放大率的剩余部分改变，载架在相反方向上移动，以进行焦点调整。如果载架724的运动轴线相对于光轴略微倾斜或旋转，则左光路和/或右光路的ZRP将在第一部分的一个方向上移位，随后在放大率改变的第二部分的相反方向上移位。另外，由于不均匀地施加力，因此右前变焦透镜726和左前变焦透镜728可能经历左光路与右光路之间不同程度的ZRP移位。总之，ZRP的位置变化导致光路失准，从而产生假视差。
C.减少假视差促进数字图形和图像与立体视图结合
随着外科手术显微镜变得越来越数字化，设计人员正在添加将图形、图像和/或其他数字效果叠加到实时视图图像上的特征。例如，引导叠加、立体磁共振成像(“MRI”)图像的融合和/或外部数据可以与由相机记录的图像组合，或者甚至可以在目镜自身中显示。假视差降低了与底层立体图像叠加的准确性。外科医生通常要求例如将经由MRI可视化的肿瘤尽可能准确地通常以三维的形式放置在融合的实时外科手术立体视图中。否则，术前肿瘤图像为外科医生提供很少信息，从而从执行过程中分散注意力。
例如，外科手术引导件可以与右视图图像对准而与左视图不对准。在两个视图之间失准的外科手术引导件对于操作者而言是显而易见的。在另一示例中，在图形处理单元1564创建组合的立体图像之前，可以在信息处理器模块1408中将外科手术引导件分别与左视图和右视图对准。然而，左视图与右视图之间的失准在引导件之间产生失准，从而降低了引导件的有效性并在显微外科手术过程中产生混乱和延迟。
标题为“IMAGING SYSTEM AND METHODS DISPLAYING A FUSED MULTIDIMENSIONALRECONSTRUCTED IMAGE(显示融合的多维重建图像的成像系统和方法)”的第9,552,660号美国专利(通过引用并入本文)披露了如何将术前图像和/或图形在视觉上与立体图像进行融合。图23和24示出了展示假视差如何使数字图形和/或图像在融合到立体图像时失去准确性的图。图24示出了患者眼睛2402的正视图，并且图23示出了眼睛沿图24的平面A-A的截面视图。在图23中，指导信息处理器模块1408确定从焦平面2302到例如眼睛2402的后囊上的感兴趣物体2304的尾部距离d。信息处理器模块1408操作程序1560，该程序指定例如通过对来自眼睛2402的左右视图的图像数据进行三角测量计算来确定距离d。由左光学图像传感器748的透视图示出了视图2306，并且由右光学图像传感器746的透视图示出了视图2308。假设左视图2306和右视图2308与眼睛2402的前中心2310重合。另外，左视图2306和右视图2308是被投影到焦平面2302上的物体2304的作为理论右投影2312和理论左投影2314的二维视图。在此示例中，处理器1562通过使用三角测量例程来计算理论右投影2312的外延和理论左投影2314的外延的交点来确定到感兴趣物体2304的距离d。
然而，在此示例中，存在假视差，这导致实际左投影2316位于理论左投影2314的左侧距离P处，如图23和图24中所示出的。处理器1562使用实际左投影2316和右投影2312来使用三角测量例程确定到右投影2312的外延与实际左投影2316的外延的交点2320的距离。交点2320的距离等于距离d加上误差距离e。因此，假视差使用从立体图像获取的数据导致错误的距离计算。如图23和24中所示出的，即使很小程度的假视差也可能产生显著误差。在融合图像的上下文中，错误的距离可能导致用于与立体图像融合的肿瘤三维可视化的不准确放置。不准确放置可能延迟外科手术、妨碍外科医生的执行或使整个可视化系统被忽略。更糟糕的是，外科医生可能在显微外科手术过程中依据肿瘤图像的不准确放置并且犯错。
D.示例立体可视化相机减少或消除假视差
图3至图16的示例立体可视化相机300被配置用于减少或消除视觉缺陷、假视差和/或通常导致假视差的失准光路。在一些示例中，立体可视化相机300通过将左光路和右光路的ZRP对准到右光学图像传感器746和左光学图像传感器748的像素集1006和1008的对应中心来减少或消除假视差。另外或可替代地，立体可视化相机300可以使左图像和右图像的光路对准。应当理解的是，立体可视化相机300可以执行用于减少校准期间的假视差的动作。另外，立体可视化相机300可以在使用期间实时地减少检测到的假视差。
图25和图26展示了根据本披露的示例实施例的示出用于减少或消除假视差的示例过程2500的流程图。尽管参照图25和图26中所展示的流程图描述了过程2500，但应当理解的是，可以使用执行与过程2500相关联的步骤的许多其他方法。例如，许多框的顺序可以改变，某些框可以与其他框组合，并且所描述的许多框是可选的。进一步地，可以在多个设备之间执行过程2500中描述的动作，该多个设备包括例如示例立体可视化相机300的光学元件1402、图像捕获模块1404、电机和照明模块1406和/或信息处理器模块1408。例如，过程2500可以由信息处理器模块1408的程序1560之一执行。
示例过程2500在立体可视化相机300接收到用于使右光路和左光路对准的指令时开始(框2502)。可以响应于操作者请求立体可视化相机300执行校准例程来从用户输入设备1410接收指令。在其他示例中，可以在确定右图像和左图像失准之后从信息处理器模块1408接收指令。信息处理器模块1408可以通过执行程序1560来确定图像失准，该程序使右图像与左图像相叠加并确定像素值的差异，其中大面积像素上的较大差异指示失准图像。在一些示例中，程序1560可以在不执行叠加功能的情况下将左图像和右图像的像素数据进行比较，其中，例如，从右像素数据中减去左像素数据以确定失准的严重性。
在接收到用于减少假视差的指令之后，示例立体可视化相机300定位左或右光路之一的ZRP。为了展示的目的，过程2500包括首先确定左光路的ZRP。然而，在其他实施例中，过程2500可以首先确定右光路的ZRP。为了确定左ZRP，立体可视化相机300将至少一个变焦透镜(例如，左前变焦透镜728和/或左后变焦透镜734)沿着左光路的z方向移动到第一放大率水平处(框2504)。在前变焦透镜726和728连接到同一载架724并且后变焦透镜732和734连接到同一载架730的实例中，左透镜的移动导致右透镜也移动。然而，在过程2500的这个部分期间仅考虑了左透镜的移动。
在第一放大率水平下，立体可视化相机300使左变焦透镜沿z方向移动(框2506)。该移动可以包括例如在第一放大率水平附近的来回移动。例如，如果第一放大率水平是5倍，则移动可能在4倍与6倍之间。该移动还可以包括在一个方向上的移动，诸如，从5倍到4倍。在此移动期间，立体可视化相机300可以调整一个或多个其他透镜以维持目标部位700的焦点。在框2508处，在左变焦透镜移动期间，立体可视化相机300使用例如左光学图像传感器748记录目标部位700的图像和/或帧2509的流或序列。使用被配置用于包含像素网格1004的原点和左ZRP的潜在位置的超大像素集1008来记录图像2509。
信息处理器模块1408的示例处理器1562分析图像流以定位不在图像之间的x方向或y方向上移动的一部分区域(框2510)。该一部分区域可以包括一个或几个像素，并且与左ZRP相对应。如以上所讨论的，在放大率改变期间，物体远离ZRP移动或朝向ZRP移动。在放大率改变时，只有ZRP处的物体相对于视野保持在恒定位置中。处理器1562可以使用像素数据来计算每个像素的图像流之间的增量。整个图像流中具有最小增量的区与左ZRP相对应。
信息处理器模块1408的示例处理器1562接下来根据像素网格1004确定在图像流之间不移动的一部分区域的坐标(例如，确定左ZRP的位置)(框2512)。在其他示例中，信息处理器模块1408的处理器1562确定原点与同左ZRP相对应的一部分区域之间的距离。该距离用于确定左ZRP在像素网格1004上的位置。一旦确定了左ZRP的位置，信息处理器模块1408的处理器1562就确定左光学图像传感器748的像素集(例如，像素集1008)，使得左ZRP位于像素集的中心处(在一个像素中)(框2514)。在这一点上，左ZRP在左光路内居于中心。
在一些示例中，可以通过重新选择像素集来迭代地执行框2504至2514，直到左ZRP处于原点的像素内并且假视差被最小化为止。在确定像素网格之后，信息处理器模块1408的处理器1562将像素集的坐标和/或左ZRP的坐标中的至少一个存储到存储器1570作为校准点(框2516)。信息处理器模块1408的处理器1562可以将第一放大率水平与校准点相关联，使得当立体可视化相机300返回到第一放大率水平时选择相同的像素集。
图27示出了展示如何根据左光学图像传感器748的像素网格来调整左ZRP的图。最初，选择以原点2704为中心的初始(例如，超大)像素集2702。像素集2702足够大以在图像流中记录潜在的ZRP。在此所展示的示例中，左ZRP 2706位于原点2704的上方和右侧。信息处理器模块1408的处理器1562基于左ZRP 2706的位置来确定像素集2708，使得左ZRP 2706位于或被定位在像素集2708的中心处。
在确定了左ZRP并将其与图25中的像素集的原点对准之后，示例过程2500使图26中的左图像与右图像对准。为了对准图像，示例处理器1562将来自在左ZRP与原点对准之后记录的左图像和右图像的像素数据进行比较。在一些实施例中，处理器1562使左图像与右图像相叠加，以使用例如减法和/或模板方法来确定差异。处理器1562选择或确定右光路的像素集，使得所得到的右图像与左图像对准或重合(框2519)。
在所展示的实施例中，示例处理器1562确定右ZRP。该步骤类似于在框2504至2512中针对左ZRP讨论的步骤。例如，在框2518处，立体可视化相机300将右变焦透镜移动到第一放大率水平。在一些实施例中，右透镜的放大率水平不同于用于确定左ZRP的放大率水平。然后，信息处理器模块1408的示例处理器1562使右变焦透镜移动到放大率水平附近，并在移动期间从右光学图像传感器746接收图像流2521(框2520和2522)。信息处理器模块1408的示例处理器1562通过定位在图像之间不移动的一部分区域来确定来自右图像流的右ZRP(框2524)。接下来，处理器1562确定右ZRP的坐标和/或对准的像素集1006的中心到右ZRP之间的距离(框2526)。
处理器1562然后例如使用右ZRP的距离或坐标来指导电机和照明模块1406在右光路中在x方向、y方向和/或倾斜方向中的至少一个方向上移动至少一个透镜，以使右ZRP与对准像素集1006的中心对准(框2528)。换言之，右ZRP被移动成与对准的像素集1006的中心重合。在一些示例中，右前透镜720、右透镜筒736、右最终光学元件745和/或右图像传感器746在相对于右光路的z方向的x方向、y方向和/或倾斜方向上移动(使用例如挠曲件)。移动程度与右ZRP距像素集1006中心的距离成比例。在一些实施例中，处理器1562以数字方式改变右前透镜720、右透镜筒736和/或右最终光学元件745的性质，以具有与使透镜移动相同的效果。处理器1562可以重复步骤2520至2528和/或使用后续的右图像进行以下各项：确认右ZRP与像素集1006的中心对准、和/或迭代地确定使右ZRP与像素集的中心对准所需的进一步的透镜移动。
示例处理器1562将右像素集和/或右ZRP的坐标存储到存储器1570作为校准点(框2530)。处理器1562还可以将被移动以对准右ZRP的右透镜的位置存储成校准点。在一些示例中，结合第一放大率水平，右光路的校准点与左光路的校准点一起存储。因此，当立体可视化相机300随后被设置为第一放大率水平时，处理器1562将校准点内的数据应用于光学图像传感器746和748和/或一个或多个光学元件1402的径向定位。
在一些示例中，可以针对不同的放大率水平和/或工作距离重复过程2500。因此，处理器1562判定对于另一放大率水平或工作距离是否需要ZRP校准(框2532)。如果要选择另一放大率水平，则过程2500返回到图25中的框2504。然而，如果不需要其他放大率水平，则示例过程结束。
可以将每个校准点存储在查找表中。表中的每一行可以与不同的放大率水平和/或工作距离相对应。查找表中的列可以提供左ZRP、右ZRP、左像素集和/或右像素集的坐标。另外，一列或多列可以指定光学元件1402的透镜的相关位置(例如，径向位置、旋转位置、倾斜位置和/或轴向位置)，以实现除了对准的左右图像以外的放大率水平下的聚焦。
因此，除了目标部位的视图之外，过程2500还导致右和左ZRP被对准到对应光学图像传感器746和748的像素网格以及在三维立体图像中彼此对准。在某些实例中，左图像和右图像以及相应的ZRP具有准确性并且对准到一个像素内。通过使左视图与右视图(例如，来自左光路和右光路的图像)相叠加并用双眼而不是立体地观察两个视图，这种准确性可以在显示器514或514上观察到。
应当理解的是，在一些示例中，首先选择右像素集，使得右ZRP与像素集的原点对准或重合。然后，可以通过移动光学元件1402的一个或多个右透镜和/或左透镜来使右光学图像和左光学图像对准。此可替代过程仍然提供彼此并且相对于光学图像传感器746和748居中并对准的右ZRP和左ZRP。
程序2500通过确保左右ZRP保持对准以及右图像和左图像保持对准，最终在全光学放大率范围内减少或消除立体可视化相机300中的假视差。换言之，使右光学图像传感器746和左光学图像传感器748的双光学器件对准，使得左光路与右光路之间的图像中心处的视差在焦平面处近似为零。另外，示例立体可视化相机300在放大率范围内是同焦的，并且在放大率和工作距离范围内是同心的，因为每个光路的ZRP已经对准到对应像素集的中心。因此，在相同的中心点上进行训练时，仅改变放大率将在光学图像传感器746和748两者中保持目标部位700的焦点。
可以在执行外科手术之前和/或根据操作者的要求在校准时执行以上过程2500。示例过程2500还可以在使用术前显微外科手术图像和/或外科手术指引图形进行图像配准之前执行。进一步地，示例过程2500可以在立体可视化相机300的操作期间自动地实时执行。
1.模板匹配示例
在一些实施例中，信息处理器模块1408的示例处理器1562被配置用于结合一个或多个模板使用程序1560来确定右ZRP和/或左ZRP的位置。图28示出展示处理器1562如何使用目标模板2802来确定左ZRP的位置的图。在此示例中，图28示出了第一左图像，该第一左图像包括与左光学图像传感器748的左像素网格1004的原点2804或中心对准的模板2802。可以通过将立体可视化相机300移动到适当的位置来对准模板2802。可替代地，模板2802可以在目标部位700处移动直到对准为止。在其他示例中，模板2802可以包括不需要与像素网格1004的中心对准的另一图案。例如，模板可以包括图形波图案、图形呼吸描记器图案、患者的外科手术部位的视图和/或具有在x和y方向上都具有一定程度的非周期性的视觉上可辨识特征的网格。模板被配置用于防止周期性图像的子集在多个位置完全地对准到较大图像上，这使得这种模板不适用于匹配。适用于模板匹配的模板图像被称为“可模板匹配的”模板图像。
图28中所示出的模板2802在第一放大率水平下成像。针对模板2802示出了左ZRP2806。ZRP 2806具有相对于原点2804的坐标Lx，Ly。然而，在目前情况下，处理器1562尚未标识出左ZRP 2806。
为了定位ZRP 2806，处理器1562使左变焦透镜(例如，左前变焦透镜728和/或左后变焦透镜734)将放大率从第一放大率水平改变为第二放大率水平(在此示例中，具体为从1倍改变到2倍)。图29示出了第二左图像的图，该第二左图像包括在放大率水平增大两倍的情况下像素网格1004上的目标2802。从第一放大率水平到第二放大率水平，目标2802的一部分在大小上增大并且远离相对于第一和第二图像保持静止的左ZRP 2806均匀地扩展。另外，像素网格1004的原点2804与左ZRP 2806之间的距离保持为相同。
示例处理器1562从图29中所示出的第二图像合成数字模板图像3000。为了创建数字模板图像，处理器1562复制图29中所示出的第二图像，并通过从第一放大率到第二放大率的放大率变化的倒数来缩放复制的图像。例如，如果从第一图像到第二图像的放大率变化2倍，则将第二图像缩放1/2。图30示出了包括模板2802的数字模板图像3000的图。将图30的数字模板图像3000中的模板2802缩放成与图28中所示出的第一个左图像中的模板2802相同的大小。
示例处理器1562使用数字模板图像3000来定位左ZRP 2806。图31示出了示出叠加在像素网格1004中记录的第一左图像(或以第一放大率水平记录的随后左图像)上的数字模板图像3000的图。数字模板图像3000与第一左图像的组合产生了如图31中所展示的合成视图。最初，数字模板图像3000以像素网格1004的原点2804为中心。
示例处理器1562将数字模板图像3000与底层模板2802进行比较以确定它们是否对准或匹配。然后，示例处理器1562将数字模板图像3000水平地或竖直地移动一个或多个像素，并执行另一比较。处理器1562迭代地移动数字模板图像3000，该数字模板图像针对每个位置编译关于数字模板图像3000与底层模板2802匹配的接近程度的度量矩阵。处理器1562选择矩阵中与最佳匹配度量相对应的位置。在一些示例中，处理器1562使用OpenCVTM模板匹配功能。
图32示出了具有与模板2802对准的数字模板图像3000的图。使数字模板图像3000移动以实现最佳匹配的距离被示为Δx和Δy。知道数字模板图像3000是在M1/M2(第一放大率水平除以第二放大率水平)的缩放下合成的情况下，处理器1562使用以下等式(1)和(2)来确定左ZRP 2806的坐标(Lx，Ly)。
Lx ＝ Δx/(M1/M2) - 等式(1)
Ly ＝ Δy/(M1/M2) - 等式(2)
在确定左ZRP 2806的坐标(Lx，Ly)之后，示例处理器1562选择或确定具有与左ZRP2806对准或重合的原点的像素子集，如以上结合图25和图26的过程2500所讨论的。在一些实施例中，处理器1562可以迭代地使用模板匹配以收敛于高准确ZRP位置和/或像素子集。进一步地，尽管以上示例讨论了定位左ZRP，但是可以使用相同的模板匹配过程来定位右ZRP。
在一些实施例中，可以使用以上描述的模板匹配程序1560来使左图像与右图像对准。在这些实施例中，在某一放大率水平下记录左图像和右图像。两个图像都可以包括例如图28的目标模板2802。选择右图像的一部分并且将其与左图像相叠加。然后，右图像的该部分在左图像周围水平地和/或竖直地移位一个或多个像素。示例处理器1562在右图像的该部分的每个位置处执行比较，以确定与左图像存在多近的匹配。一旦确定了最佳位置，就确定了右像素网格1002的像素集1006，使得右图像总体上与左图像重合。可以基于右图像的部分被移动了多少以与左图像重合来确定像素集1006的位置。具体地，处理器1562使用在x方向、y方向和/或倾斜方向上的移动量来确定右像素集1006的相应坐标。
2.右图像和左图像对准示例
在一些实施例中，图14和图16的信息处理器模块1408的示例处理器1562在显示监视器512和/或514上显示右图像与左图像的叠加。处理器1562被配置用于接收用于使右图像与左图像对准的用户反馈。在此示例中，使用例如图形处理单元1564将用于右图像和左图像的每个像素数据精确地映射成显示监视器512的对应像素。左图像和右图像相叠加的显示使任何假视差对于操作者而言显而易见。通常，在没有假视差的情况下，左图像和右图像应几乎完全对准。
如果操作者检测到假视差，则操作者可以致动控件305或用户输入设备1410以使右图像或左图像移动以便与右图像和左图像中的另一个对准。来自控件305的指令可以使处理器1562相应地实时调整左像素集或右像素集的位置，使得随后的图像在反映操作者输入的显示监视器512上显示。在其他示例中，指令可以使处理器1562经由径向调整、旋转调整、轴向调整或倾斜来改变光学元件1402中的一个或多个光学元件的位置。操作者继续经由控件305和/或用户输入设备1410提供输入，直到左图像和右图像对准为止。在接收到确认指令时，处理器1562将校准点存储到反映在设置放大率水平下的图像对准的查找表。
另外或可替代地，可以使用以上所描述的模板匹配方法在聚焦于与立体可视化相机300的立体光轴近似正交的平面目标上时执行图像对准。此外，每当“可模板匹配的”场景在左光路和右光路两者的视图中时，模板匹配方法可以用于实时地使左视图与右视图对准。在示例中，从例如以视图中心为中心或在该中心附近的左视图的子集复制模板图像。从焦点对准图像的中心采样可以确保在其他视图(在此示例中，为右视图)中呈现目标部位700的相似视图。对于离焦图像，情况并非如此，在当前实施例中，仅在成功自动聚焦操作之后才执行此对准方法。然后在另一个视图(在此示例中，为右视图)的当前视图(或其副本)中匹配所选模板，并且从结果中仅获取y值。当视图竖直地对准时，模板匹配中的y值为零像素或接近零像素。非零y值指示两个视图之间的竖直失准，并且应用使用相同的y值进行校正以选择第一视图的像素读出集，或者将使用y的取反值进行的校正应用于另一视图的像素读数集。可替代地，校正可以应用于可视化流水线的其他部分，或者在(多个)像素读出集与所述流水线之间拆分。
在一些示例中，操作者还可以手动地使右ZRP与像素网格1002的原点对准。例如，在确定右ZRP的位置之后，处理器1562(和/或***输入单元接口1574或图形处理单元1564)使右ZRP以图形方式突出显示在由显示监视器512显示的右图像上。处理器1562还可以显示指示像素网格1002的原点的图形。操作者使用控件305和/或用户输入设备1410将右ZRP操控到原点。处理器1562使用来自控件305和/或用户输入设备1410的指令来相应地移动光学元件1402中的一个或多个。除了以图形方式显示右ZRP的当前位置和原点之外，处理器1562还可以实时地提供右图像流，以向操作者提供关于定位的更新反馈。操作者继续经由控件305和/或用户输入设备1410提供输入，直到右ZRP对准为止。在接收到确认指令时，处理器1562将校准点存储到反映在设置的放大率水平下光学元件1402的位置的查找表。
3.对准误差比较
与已知的具有立体相机的数字外科手术显微镜相比，示例立体可视化相机300在右图像与左图像之间产生较少的对准误差。以下讨论的分析比较了具有相机和示例立体可视化相机300的已知数字外科手术显微镜的ZRP失准生成的假视差。最初，两个相机都被设置在第一放大率水平下，其中，焦平面被定位在患者眼睛的第一位置上。使用以下等式(3)来确定从每个相机到眼睛的工作距离(“WD”)。
WD ＝ (IPD/2)/tan(α) - 等式(3)
在此等式中，IPD对应于瞳距，该瞳距近似为23mm。另外，α是例如右光学图像传感器746与左光学图像传感器748之间的角的一半，在此示例中，该角为2.50°。会聚角是此角的两倍，在此示例中，该会聚角为5°。所得的工作距离为263.39mm。
将相机放大到第二放大率水平，并且对患者眼睛的第二位置进行三角测量。在此示例中，第二位置处于与第一位置距相机相同的物理位置处，但在第二放大率水平下呈现。放大率的变化由于一个或两个ZRP相对于传感器像素网格中心的失准而生成假水平视差。对于已知的相机系统，假视差被确定为例如与0.05°相对应的3弧分。在以上等式(3)中，将0.05°值加到α，这产生为258.22mm的工作距离。工作距离之差为5.17mm(263.39mm-258.22mm)，这与已知的具有相机附件的数字外科手术显微镜的误差相对应。
相比而言，示例立体可视化相机300能够自动地使ZRP对准在像素集或网格的中心的一个像素内。如果角度视野为5°并使用与4k显示监视器结合使用的4k图像传感器来记录，则一个像素准确性与0.00125°(5°/4000)或4.5弧秒相对应。使用以上等式(3)，将0.00125°值加到α，这产生263.25mm的工作距离。立体可视化相机300的工作距离之差为0.14mm(263.39mm-263.25mm)。当与已知的数字外科手术显微镜的5.17mm误差相比时，示例立体可视化相机300减少97.5％的对准误差。
在一些实施例中，立体可视化相机300可以在更高的分辨率下更准确。在以上示例中，对于5°视野，分辨率约为4.5弧秒。对于具有2°视野的8K超高清晰度系统(4000行中的每行中具有8000个像素)，立体可视化相机300的分辨率近似为1弧秒。这意味着左视图和右视图的ZRP可以对准到一个像素或1弧秒。这比具有数量级为弧分的假视差的已知的数字显微镜系统明显更精确。
4.减少假视差的其他来源
以上示例讨论了示例立体可视化相机300如何减少由于失准的ZRP和/或左图像和右图像本身而导致的假视差。立体可视化相机300还可以被配置用于减少假视差的其他来源。例如，立体可视化相机300可以通过同时对右光学图像传感器746和左光学图像传感器748进行计时以在基本上相同的时刻记录图像来减少由于运动引起的假视差。
示例立体可视化相机300还可以减少由于左光路与右光路之间的不同放大率而引起的假视差。例如，立体可视化相机300可以基于左光路来设置放大率水平。立体可视化相机300然后可以进行自动调整，使得右图像的放大率与左图像匹配。处理器1562例如可以使用图像数据例如通过测量左图像和右图像中共同的某些特征之间的像素数量来计算控制参数。处理器1562然后可以通过数字缩放、***内插像素和/或删除外来像素来均衡左图像和右图像的放大率水平。示例处理器1562和/或图形处理单元1564可以重新渲染右图像，使得放大率与左图像匹配。另外或可替代地，立体可视化相机300可以包括对左右光学元件1402的独立调整。处理器1562可以分别控制左右光学元件1402以实现相同的放大率。在一些示例中，处理器1562可以首先设置例如左放大率水平，然后单独地调整右光学元件1402以实现相同的放大率水平。
示例立体可视化相机300可以进一步减少由于不同的焦点而引起的假视差。在示例中，处理器1562可以执行程序1560，该程序为给定的放大率和/或工作距离的每个光路确定最佳焦点。处理器1562首先在最佳分辨率点处对光学元件1402进行聚焦。处理器1562然后可以在合适的非物平面位置处检查OOF状况，并且匹配左图像与右图像的焦点。接下来，处理器1562以最佳分辨率重新检查焦点，并迭代地调整焦点，直到左右光学元件1402两者在物平面或远离物平面都很好地一样聚焦为止。
示例处理器1562可以通过监视与右图像和左图像之一或两者的焦点有关的信号来测量和验证最佳焦点。例如，“锐度”信号由图形处理单元1564针对左图像和右图像同时和/或同步地生成。信号随着焦点的变化而变化，并且可以由图像分析程序、边缘检测分析程序、模式强度傅里叶变换带宽程序和/或调制传递函数(“MTF”)测量程序来确定。处理器1562在监视指示锐度图像的最大信号的同时调整光学元件1402的焦点。
为了优化OOF状况，处理器1562可以监视左图像和右图像两者的锐度信号。如果焦点移离物平面并且与例如左图像有关的信号增加但与右图像有关的信号减少，则处理器1562被配置用于确定光学元件1402正在移出焦点。然而，如果与右图像和左图像两者相关的信号相对较高并且近似相等，则处理器1562被配置用于确定光学元件1402被适当地定位以进行聚焦。
5.低假视差的益处
由于右图像与左图像之间的低假视差，示例立体可视化相机300具有优于已知数字外科手术显微镜的许多优点。例如，几乎完全对准的左右图像为外科医生提供几乎完全的立体显示，从而减少眼睛疲劳。这允许将立体可视化相机300用作外科医生的眼睛的延伸，而不是累赘的工具。
在另一个示例中，精确对准的左图像和右图像允许以数字方式获取外科手术部位的精确测量结果。例如，可以测量患者的晶状体囊的大小，使得可以确定并且准确地植入正确大小的IOL。在另一实例中，可以测量移动血管的运动，使得可以将红外荧光素叠加准确地放置在融合图像中。在此，实际运动速度通常不是外科医生感兴趣的，而对于叠加图像的放置和实时调整至关重要。叠加图像的正确匹配的缩放、配准和透视对于提供正确融合的组合实时立体图像和替代模式图像都很重要。
在一些示例中，处理器1562可以使操作者能够在显示监视器512上绘制测量参数。处理器1562在屏幕上接收绘制的坐标，并相应地将坐标转译成立体图像。处理器1562可以通过将显示监视器512上绘制的标尺缩放到立体图像中所示出的放大率水平来确定测量值。处理器1562进行的测量包括在立体显示器中显示的两个或三个位置的点对点测量、点对表面测量、表面特性测量、体积确定测量、速度验证测量、坐标变换、仪器和/或组织跟踪等。
本披露的附加方面
本文所描述的主题的各方面可以单独使用或与本文所描述的一个或多个其他方面结合使用。在不限制前述描述的情况下，在本披露的第一方面中，一种立体成像装置被配置用于减少目标部位的并行记录的第一图像流与第二图像流之间的假视差。所述示例装置包括第一光学元件，所述第一光学元件沿第一光路定位并且包括(i)第一多个透镜，所述第一多个透镜包括被配置成可在z方向上沿所述第一光路移动的第一变焦透镜；以及(ii)第一图像传感器，所述第一图像传感器用于根据所述第一光路中的光来记录所述目标部位的所述第一图像流。所述示例装置还包括第二光学元件，所述第二光学元件沿着与所述第一光路平行的第二光路定位，并且包括(i)第二多个透镜，所述第二多个透镜包括被配置成可在z方向上沿所述第二光路移动的第二变焦透镜；以及(ii)第二图像传感器，所述第二图像传感器用于根据所述第二光路中的光来记录所述目标部位的所述第二图像流。所述示例装置进一步包括处理器，所述处理器被配置用于通过以下方式定位第一变焦重复点(“ZRP”)的位置：在记录第一图像流期间，使所述第一变焦透镜沿所述z方向移动；在所述第一图像流中的图像内定位不沿x方向或y方向上移动的第一部分区域；以及将所述第一图像流中的至少一个图像内的原点与所述第一部分区域之间的第一距离确定为所述第一ZRP的位置。所述示例处理器还被配置用于：使用所述第一距离来确定所述第一图像传感器的第一像素网格的第一像素集，使得所述第一ZRP位于所述第一像素集的中心；确定所述第二图像传感器的第二像素网格的第二像素集，所述第二像素集包括与来自所述第一图像传感器的所述第一像素集的图像对准的图像；以及通过以下方式来定位第二ZRP的位置：在记录所述第二图像流期间，使所述第二透镜沿Z方向移动；在所述第二图像流中的图像内定位不在x方向或y方向上移动的第二部分区域；以及将所述第二像素集的中心与所述第二部分区域之间的第二距离确定为所述第二ZRP的位置。所述示例处理器进一步被配置用于在所述x方向、所述y方向和倾斜方向中的至少一个方向上调整所述第二多个透镜之一或所述第二图像传感器，以使所述第二ZRP基于所确定的第二距离与所述第二像素集的中心对准。
根据本披露的第二方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述第二多个透镜中的那个透镜是第二变焦透镜。
根据本披露的第三方面，除非另有声明，否则其可以与本文列出的任何其他方面结合使用，所述处理器被配置用于将所述第一像素集相对于所述第一像素网格的第一坐标，所述第二像素集相对于所述第二像素网格的第二坐标，在所述x方向、所述y方向、和所述倾斜方向中的至少一个方向上调整的所述第二多个透镜中的那个透镜的位置，以及所述第一变焦透镜和所述第二变焦透镜的放大率水平存储在查找表中作为校准点。
根据本披露的第四方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述处理器被配置用于在所述第一变焦透镜和所述第二变焦透镜移动到所述放大率水平时，在使用所述立体成像装置期间使用所述查找表来选择用于所述第一图像传感器的所述第一像素集和用于第二图像传感器的所述第二像素集。
根据本披露的第五方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述处理器被配置用于：在不同的放大率水平下来定位所述第一ZRP和所述第二ZRP；并且将以下各项存储到所述查找表中作为针对不同放大率水平的校准点：针对每个放大率水平所述第一像素集相对于所述第一像素网格的第一坐标，针对每个放大率水平所述第二像素集相对于所述第二像素网格的第二坐标，在x所述方向、所述y方向、和所述倾斜方向中的至少一个方向上调整的所述第二多个透镜中的那个透镜的位置，以及所述第一变焦透镜和所述第二变焦透镜的所述放大率水平。
根据本披露的第六方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述处理器被配置用于记录所述第二多个透镜中的那个透镜在所述x方向、所述y方向和所述倾斜方向上被调整以使所述第二ZRP与第二原点对准的量和方向作为移动量。
根据本披露的第七方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述处理器被配置用于在记录所述第一图像流期间使所述第一变焦透镜从第一放大率水平移动到两倍于所述第一放大率水平的第二放大率水平，并且所述处理器被配置用于在记录所述第二图像流期间使所述第二变焦透镜从所述第一放大率水平移动到所述第二放大率水平。
根据本披露的第八方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述第一距离包括所述第一ZRP相对于所述原点的坐标。
根据本披露的第九方面，除非另外声明，否则其可以与本文中列出的任何其他方面组合使用，所述目标部位包括具有图形特征的模板、患者的外科手术部位、以及具有视觉上可区分的特征的网格中的至少一个。
根据本披露的第十方面，除非另外声明，否则其可以与本文中列出的任何其他方面组合使用，所述模板包括靶心、波图案和呼吸描记器图案中的至少一个。
根据本披露的第十一方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述处理器被配置用于：根据所述第一透镜移动结束时在第二放大率水平下记录的图像创建合成的目标部位图像，所述第二放大率水平基于所述第一透镜沿所述z轴的移动量进行缩放；以及基于在所述x方向和所述y方向移动量来确定所述第一ZRP的位置，以使所述合成的目标部位图像与在所述第一透镜沿所述z方向移动之前在第一放大率水平下记录的目标部位图像对准。
根据本披露的第十二方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，立体成像装置被配置用于减少目标部位的并行记录的第一图像流与第二图像流之间的假视差。所述示例装置包括第一光学元件，所述第一光学元件沿第一光路定位并且包括(i)第一多个透镜，所述第一多个透镜包括被配置成可在z方向上沿所述第一光路移动的第一变焦透镜；以及(ii)第一图像传感器，所述第一图像传感器用于根据所述第一光路中的光来记录所述目标部位的所述第一图像流。所述示例装置还包括沿着与所述第一光路平行的第二光路定位的第二光学元件，所述第二光学元件包括(i)第二多个透镜，所述第二多个透镜包括被配置成可在所述z方向上沿所述第二光路移动的第二变焦透镜；以及(ii)第二图像传感器，所述第二图像传感器用于根据所述第二光路中的光来记录所述目标部位的所述第二图像流。所述示例装置进一步包括处理器，所述处理器被配置用于在所述第一图像流中定位第一变焦重复点(“ZRP”)的位置，确定所述第一图像传感器的第一像素网格的第一像素集，使得所述第一ZRP位于所述第一像素集的中心，以及确定所述第二图像传感器的第二像素网格的第二像素集，使得来自所述第二像素集的图像与来自所述第一像素集的图像在视觉上对准。
根据本披露的第十三方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述装置进一步包括主物镜组件，所述主物镜组件被配置用于设置到所述目标部位上的焦平面的工作距离以及接收来自所述目标部位的光，其中，所述第一多个透镜包括被配置用于根据由所述主物镜组件接收的光来限定所述第一光路的第一前透镜，以及被配置用于将所述第一光路聚焦在所述第一图像传感器上的第一最终光学元件，并且其中，所述第二多个透镜包括被配置用于根据由所述主物镜组件接收的光来限定所述第二光路的第二前透镜，以及被配置用于将所述第二光路聚焦在所述第一图像传感器上的第二最终光学元件。
根据本披露的第十四方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述处理器进一步被配置用于在确定所述第二像素集之前，在x方向、y方向和倾斜方向中的至少一个方向上调整所述第二多个透镜之一或所述第二图像传感器，以使所述第二ZRP与所述第二图像流内的原点对准。
根据本披露的第十五方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述第二前透镜和所述第二最终光学元件中的至少一个是在所述x方向、所述y方向和所述倾斜方向中的至少一个方向上调整的所述第二多个透镜中的那个透镜。
根据本披露的第十六方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述装置进一步包括挠曲件，所述挠曲件连接至在所述x方向、所述y方向和所述倾斜方向中的至少一个方向上调整的所述第二多个透镜中的那个透镜或所述第二图像传感器，所述挠曲件机械地连接至致动器，所述致动器被配置用于使所述挠曲件的梁移动以调整所述第二多个透镜中的那个透镜或所述第二个图像传感器。
根据本披露的第十七方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述装置进一步包括可见光源、近红外(NIR)光源和近紫外线(NUV)光源。
根据本披露的第十八方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述可见光源和所述NIR光源位于所述主物镜组件与偏转元件之间，并且所述NUV光源位于偏转元件的后面，使得从所述NUV光源传输的NUV光在所述NUV光的一部分到达所述主物镜组件之前与所述偏转元件接触以传播到所述目标部位。
根据本披露的第十九方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述装置进一步包括两个低通激发滤光器，所述两个低通激发滤光器被配置用于分别阻挡来自所述NIR光源和所述NUV光源的一部分光波长，所述部分光波长干扰来自荧光的发射波长。
根据本披露的第二十方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述装置进一步包括：红外截止滤光器，所述红外截止滤光器被配置成与所述可见光源结合使用以使可见光能够通过到达所述第一图像传感器和所述第二图像传感器；近紫外截止滤光器，所述近紫外截止滤光器被配置成与所述NUV光源结合使用以阻挡某个近紫外波长的光通过到达所述第一图像传感器和所述第二图像传感器；以及近红外带通滤光器，所述近红外带通滤光器被配置成与所述NIR光源和所述可见光源结合使用以使得某个近红外波长的光能够通过到达所述第一图像传感器和所述第二图像传感器。
根据本披露的第二十一方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述处理器被配置用于：使从所述第一像素集记录的第一图像与从所述第二像素集记录的第二图像同步；渲染所述第一图像和所述第二图像以进行立体显示；并且将渲染后的所述第一图像和第二图像传输至至少一个显示监视器。
根据本披露的第二十二方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，渲染后的所述第一图像和第二图像提供所述目标部位的三维立体视图、以及所述第一图像对准并覆盖所述第二图像的视图中的至少一个。
根据本披露的第二十三方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述装置进一步包括外壳，所述外壳被配置用于封闭所述第一光学元件、所述第二光学元件和所述处理器，其中，所述外壳的宽度在20cm与22cm之间、长度在23cm与27cm之间、并且高度在13cm与17cm之间。
根据本披露的第二十四方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述第一光路与所述第二光路以瞳孔间距分开。
根据本披露的第二十五方面，除非另外声明，否则其可以与本文列出的任何其他方面结合使用，所述第一变焦透镜被配置用于在沿所述z方向被固定在位时改变所述第一图像流的大小，并且所述第二变焦透镜被配置用于在沿所述z方向被固定在位时改变所述第二图像流的大小。
根据本披露的第二十六方面，结合图3至图32展示和描述的结构和功能中任何一个可以与结合图3至图32中的任何其他图以及结合前述方面中的任何一个或多个展示和描述的结构和功能中的任何一个结合使用。
鉴于以上方面和本文的披露内容，因此，本披露内容的优点是提供一种自含式并且不依赖于外部显微镜光学元件的立体可视化平台和相机。
本披露内容的另一个优点是减少了目标部位的并行获取或记录的第一图像流与第二图像流之间的假视差。
结论
将理解的是，本文描述的系统、结构、方法和过程中的每一个可以使用一个或多个计算机程序或部件来实施。这些程序和部件可以作为一系列计算机指令在任何常规计算机可读介质上提供，所述任何常规计算机可读介质包括随机存取存储器(“RAM”)、只读存储器(“ROM”)、闪速存储器、磁盘或光盘、光学存储器或其他存储介质、及其组合和衍生物。指令可以被配置成由处理器执行，所述处理器当执行一系列计算机指令时执行或促进对所披露的方法和过程的全部或部分的执行。
应当理解的是，对本文描述的示例实施例的各种改变和修改对于本领域技术人员而言将是显而易见的。在不脱离本主题的精神和范围并且不减少其预期优点的情况下，可以进行这种改变和修改。因此，意图是这种改变和修改由所附权利要求覆盖。此外，与当前美国法律一致，应理解的是，除非在本权利要求中明确地阐述了术语“装置”或“步骤”，否则不旨在引用35 U.S.C.112(f)或pre-AIA 35 U.S.C.112的段落6。因此，权利要求并不旨在限于说明书或其等效物中描述的相应结构、材料或动作。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：光扫描装置以及光扫描装置的调整方法