具体实施方式

在外科手术期间，患者扫描(例如，计算机断层摄影(CT)扫描、磁共振成像(MRI)扫描或正电子发射断层摄影(PET)扫描)或基于患者扫描构建的三维(3D)模型通常显示在手术室(OR)中的显示器(例如，图1的外部监视器140)上。根据用于显示患者扫描或3D模型的方法，可以示出一个平面(例如，图2A中图示的轴向(A)平面202)，或者可以示出另外的平面(例如，图2A中图示的冠状(C)平面204和矢状(S)平面206)。

一旦外科医生参加手术，外科医生可能无法轻松、准确且无菌地操纵显示在OR显示器上的患者扫描信息。例如，OR显示器可以用无菌袋覆盖，这可能影响触摸屏能力和通过无菌袋看到的OR显示器的清晰度，使得外科医生难以准确地或适当地操纵OR显示器的触摸屏以尤其聚焦在患者体积的相关部分上。外科医生可以有三种选择：使用可灭菌的指向装置(例如跟踪球、操纵杆)、自己脱掉手术服并操纵OR显示器，或指导手术团队的非灭菌成员调整OR显示器。然而，这些选择具有以下缺点：可灭菌的接口并不总是可用的，外科医生必须在脱掉手术服并操纵OR显示器之后参加手术，从而延长了手术时间，并且向手术团队的非灭菌成员提供口头指示对于外科医生来说可能是困难且令人沮丧的，这取决于手术团队的非灭菌成员的知识和经验。

如图1所示，本公开的一个方面是让临床医生102，例如外科医生，直接、免提地控制如何在手术室中的外部监视器140上显示患者扫描145的一个或多个平面。临床医生102佩戴增强现实(AR)耳机110或具有框架112的任何其它合适的头戴式装置(HMD)，其结合了眼睛跟踪硬件(例如，眼睛跟踪传感器)并且支持包括用于显示患者扫描115的投影118的透视耳机显示器116的透镜124。患者扫描115可以是患者扫描145的修改版本(例如，较低分辨率版本)，使得患者扫描115可以作为投影118显示在AR耳机110的透视耳机显示器116上。

集成到AR耳机110中的耳机计算机(例如，图3的耳机计算机310)监视外科医生注视焦点的当前位置或移动，基于外科医生注视焦点的当前位置或移动来更新耳机显示器116上的患者扫描115，并将扫描显示信息(包括与更新的患者扫描115相关联的显示参数)提供给外部医学图像计算机130的通信接口135。然后，处理器131执行存储在外部医学图像计算机130的存储器132中的指令，以使医学图像计算机330基于从AR耳机110接收到的扫描显示信息来改变所显示的患者扫描145。

耳机计算机可以采用任何适当的方法来放置扫描信息(例如，患者扫描115)的投影118，其不妨碍手术视野或以其它方式干扰临床医生准确查看手术视野的能力。在一个实例方法中，患者扫描115的投影118相对于AR耳机110以固定的位置和/或定向连续显示。例如，如果患者扫描115的投影118显示在透视耳机显示器116的右上角，则无论AR耳机110的位置和/或定向如何，患者扫描115的投影118连续显示在透视耳机显示器116的右上角。

在另一实例方法中，将投影118锚定到固定位置，使得佩戴AR耳机110的用户必须在固定位置的大体方向上观看才能看到投影118。AR耳机110可以包括用于确定AR耳机110的定向的一个或多个传感器。因此，当佩戴AR耳机110的用户将其头部转离固定位置时，投影通过AR耳机110移出用户的视野。而当用户将其头部朝向固定位置时，投影118通过AR耳机110返回到用户的视野。在一个方面，可以在用户视野的边缘处显示指向投影118的方向的图标，以当投影118在用户的当前视野之外时帮助重新定位所述投影。

在本公开的方面，耳机显示器116可以示出用于控制在耳机显示器116和外部监视器140上显示扫描信息的一个或多个图标或按钮。一个或多个图标可以朝向显示器116的边缘示出，在主视野之外，以避免遮挡外科医生对手术部位的视野。根据显示方法的实例，一个或多个图标包括表示图2A所示的完整显示的图标或其它符号，例如，缩略图。然后，当眼睛跟踪器322检测到外科医生的注视聚焦在图标上时，所述图标被图2A的完整显示代替。在一些方面，眼睛跟踪器322通过检测用户眼睛聚焦在图标上的长时间停顿或长时间眨眼来检测用户对图标的选择。可替换地，可以连续显示图2A，而不显示表示图2A所示的完整显示的图标或其它符号。显示在耳机显示器116上的患者扫描115的平面数量可以基于来自医学图像计算机130的信息，以便反映当前显示在OR监视器上或可用但当前未显示的那些平面。在各方面，耳机显示器116可以显示一个或多个隐藏/示出图标，当由用户的注视选择时，所述图标使患者扫描115的一个或多个平面或3D模型被示出或隐藏。

在图2A所示的患者扫描200显示在AR耳机110的显示器上之后，外科医生选择平面(例如，平面202、204或206)以用于调整患者扫描200。如图2B和2C进一步所示，当外科医生的视野或注视212聚焦在轴向平面202上的点210上预定时间段时，轴向平面202被突出显示224，指示轴向平面202已被外科医生选择。在其它方面，可以通过检测外科医生注视212焦点的运动中的长时间停顿或通过检测预定持续时间的眨眼来选择平面。突出显示可以包括改变所选平面的填充颜色或图案，或改变所选平面的边框颜色或样式(例如，点、破折号或散列)。

在选择平面之后，在耳机显示器116中显示前向控制按钮221和后向控制按钮222，如图2C所示。在一些方面，所选平面可以在显示前向控制按钮221和后向控制按钮222时保持突出显示。另外地或可替换地，可以在耳机显示器116中显示上控制按钮和下控制按钮。在各方面，控制按钮221、222可作为自动重复按钮来操作，当由外科医生的注视连续选择时，自动重复按钮使所选平面移动，直到外科医生的注视焦点从控制按钮221、222中的一个移开。当外科医生的注视212焦点在前向控制按钮221上持续预定时间段或更长时间时，所选平面202在后向方向上移动，如后向控制按钮221上显示的箭头所示。类似地，当外科医生的注视焦点在后向控制按钮221上持续预定时间段或更长时间时，所选平面在后向方向上移动，如后向控制按钮221上显示的箭头所示。在一些方面，前向控制按钮221和后向控制按钮222可以具有与图2C所示的位置和/或定向不同的位置和/或定向。例如，前向控制按钮221和后向控制按钮222可以彼此相邻地定位在患者扫描115下方，或者可以平行于冠状平面204定向。

图2C中所示的前向控制按钮221和后向控制按钮222旨在是控制对象的说明性实例，这些控制对象可由用户的眼睛经由眼睛跟踪器控制以操纵由AR耳机110显示的患者扫描115或模型。例如，控制对象可以包括虚拟操纵杆、可选按钮或图标以及滚动条，其可以以适于操纵由AR耳机110显示的患者扫描115或模型的方式来定位和/或定向。

在一些方面，随着外科医生的注视焦点连续地保持在控制按钮221、222中的一个上，所选平面可以首先以慢速率移动，然后加速到预定的最大加速率。加速率可以是线性的或可以以步长变化(例如，1×、2×、5×、10×)，其中每个步长的聚焦时间可以是设定量(例如，五秒的连续聚焦增加步长)。图2C中的所选平面可以相应地移动，以在例如方向和当前身体位置上向外科医生提供视觉反馈。

现在参考图3，由于耳机显示器326的低分辨率，因此耳机计算机304在耳机显示器326上显示医学图像可能是不实际的。另外，耳机显示器326的对比度可能既不足以阻挡背景干扰(例如，耳机305外部将在耳机显示器326后面的背景干扰)，也不足以克服如手术室灯的强光。为了解决这些问题，当系统初始启动时，医学图像计算机330将当前显示在OR显示器或其它外部显示器上的扫描的位置信息(例如，可用平面、显示的平面、每个平面的当前位置)通知耳机计算机310。耳机计算机310然后构建当前显示在外部监视器340上的扫描信息的局部视图，其至少包括当前显示在外部监视器340上的扫描信息的表示。

一旦构建了局部视图，耳机计算机310就可以基于由用户的眼睛经由眼睛跟踪器322提供的用户输入或命令将控制消息或命令传送到医学图像计算机330。例如，耳机计算机310可以向医学图像计算机330传送命令以滚动所显示的扫描信息以及添加或删除所显示的扫描信息的平面。然后医学图像计算机330相应地更新外部监视器340。当外部用户(例如，未佩戴AR耳机305的用户)使用医学图像计算机330滚动所显示的扫描信息时，可以将新的扫描信息实时发送到耳机计算机310以更新耳机显示器326所显示的对应扫描信息。

在各方面，用户输入或命令包括注视用于在视图之间切换的按钮，例如，在包括3D模型的视图与包括一个或多个医学扫描(例如，CT或荧光镜扫描)的视图之间切换。视图可以是窗口。如果同时显示两个或更多个视图，例如，在一个视图中显示3D模型，并且在一个或多个其它视图中显示一个或多个2D医学图像，则用户可以通过注视视图预定时间段来选择视图进行操纵，例如，旋转或缩放。另外地或可替换地，用户输入可以包括在特定方向上移动用户的注视，这在由眼睛跟踪器322检测时可以使视图改变。

在各方面，用户的注视和/或用户的注视的移动用于操纵，例如，滚动、缩放或旋转3D模型或一个或多个医学扫描。例如，用户可以在通过AR耳机305显示给用户的滚动条或缩放条的滑块上注视预定时间段以抓住滑块，然后用户可以将用户的注视移动到滚动条或缩放条上的所需位置以实现所需的滚动量或缩放量。为了放开滑块，用户可以在特定方向上，例如在基本上垂直于滚动条或缩放条的定向的方向上快速地将他们的注视从滑块移开。

作为另一实例，用户可以注视3D模型(例如，肺的3D模型)的AR视图上的位置预定时间段，以抓住3D模型的AR视图的该位置。然后，用户可以在所需方向上移动用户的注视以在该方向上旋转3D模型的AR视图。在一些方面，用户可以注视3D模型的AR视图中的位置预定时间段，以使得对应于该位置的2D医学图像被显示在同一和/或另一AR视图中。

当用户的注视按钮达预定时间段时，或者当用户以特定方式移动用户的注视时，例如，用户在一个方向上移动用户的注视大于预定距离，然后在另一方向上移动用户的注视大于预定距离时，可以启用用于操纵医学图像或视图的操纵模式，例如，缩放或旋转医学图像或视图。当启用操纵模式时，AR耳机305可以显示项目菜单，例如，按钮和/或滑动条。

在一些方面，AR耳机305可以显示具有一个或多个操纵杆和/或按钮(例如，方向按钮)的虚拟控制器接口，其可以由用户的注视控制以控制机器人医疗装置(例如，柔性机器人内窥镜)的导航。在其它方面，用户可以通过注视由AR耳机305显示的3D模型中的特定目的地来控制机器人医疗装置的导航。用户可以通过注视由AR耳机305显示的按钮来启用此类导航模式。

本公开的系统和方法可以包括其它医疗信息的显示和控制。例如，术前计划、手术检查表、生命体征、医疗设备状态(例如RF生成器设置)、吹气状态，或该信息的任何组合可以显示在外部监视器340上。

图4示出了具有透视显示器402的可佩戴眼镜形式的示范性头戴式显示器(HMD)400。例如，HMD 400可以是图1的AR耳机110和/或图3的AR耳机305的非限制性实例。HMD 400可以采用任何其它合适的形式，其中透明、半透明和/或非透明显示器被支撑在观看者的一只或两只眼睛的前面。此外，本文描述的实施方式可以与任何其它合适的计算装置一起使用，包括但不限于移动计算装置、膝上型计算机、台式计算机、平板计算机、其它可穿戴计算机等。

HMD 400包括透视显示器402、控制器404和连接到控制器404的存储器412。控制器404可以被配置成执行与眼睛注视检测或跟踪、用户输入识别、增强现实医学图像在透视显示器402上的视觉呈现以及本文描述的其它操作相关的各种操作。

透视显示器402可以使如增强现实图像(也称为增强图像或全息图)的图像能够被传递到HMD 400的佩戴者的眼睛。透视显示器402可以被配置成向通过透视显示器402查看物理环境的佩戴者可视地增强真实世界物理环境的外观。可以使用任何适当的机制来经由透视显示器402显示图像。例如，透视显示器402可以包括位于透镜406内的图像产生元件(例如，透视有机发光二极管(OLED)显示器)。作为另一实例，透视显示器402可以包括位于HMD 400的框架内的显示装置(例如，硅基液晶(LCOS)装置或OLED微显示器)。在该实例中，透镜406可以用作或以其它方式包括用于将光从显示装置传递到佩戴者的眼睛的光波导。此类光波导可以使佩戴者能够感知位于佩戴者正在查看的物理环境(例如，手术室)内的3D全息医学图像，同时还允许佩戴者直接查看物理环境中的物理对象，从而创建混合现实环境。另外地或可替换地，透视显示器402可以经由各自的左眼显示器和右眼显示器呈现左眼增强现实图像和右眼增强现实图像。

HMD 400还可以包括各种传感器和相关系统以向控制器404提供信息。此类传感器可以包括但不限于一个或多个面向内的图像传感器408A和408B，以及一个或多个面向外的图像传感器410A和410B。一个或多个面向内的图像传感器408A、408B可以被配置成从佩戴者的眼睛获取注视跟踪数据形式的图像数据(例如，传感器408A可以获取佩戴者的一只眼睛的图像数据，并且传感器408B可以获取佩戴者的另一只眼睛的图像数据)。HMD 400的控制器404可以被配置成基于从图像传感器408A、408B接收到的信息以任何合适的方式确定佩戴者的每只眼睛的注视方向。例如，一个或多个光源418A、418B，如红外光源，可以被配置成使闪光从佩戴者的每只眼睛的角膜反射。然后，一个或多个图像传感器408A、408B可以被配置成捕获佩戴者眼睛的图像。

控制器404可以使用从图像传感器408A、408B收集的图像数据确定的闪光和瞳孔的图像来确定每只眼睛的光轴。使用该信息，控制器404可以被配置成确定佩戴者注视的方向(也称为注视矢量)。控制器404可以被配置成通过将用户的注视矢量投影到周围环境的3D模型上来另外确定佩戴者正在注视的物理和/或虚拟对象的身份。一个或多个光源418A、418B、一个或多个面向内的图像传感器408A、408B以及控制器404可以共同地表示被配置成确定HMD 400的佩戴者的眼睛的注视矢量的注视检测器。

在其它实施方式中，可以在HMD 400中采用不同类型的注视检测器/传感器来测量用户眼睛的一个或多个注视参数。可以由控制器404用来确定眼睛注视样本的一个或多个注视传感器测量的注视参数的实例可以包括眼睛注视方向、头部定向、眼睛注视速度、眼睛注视加速度、眼睛注视方向的角度变化，和/或任何其它合适的跟踪信息。在一些实施方式中，可以针对HMD 400的佩戴者的两只眼睛独立地记录眼睛注视跟踪。在一个方面，控制器404可以确定用户的左眼和右眼中的一个。这些与用户眼睛有关的用户特定属性可用于提高眼睛跟踪的鲁棒性和准确性。例如，眼睛跟踪可以将更多的权重放在从优势眼获得的眼睛跟踪信息上。

现在参考图5，其是被配置成与包括图6的方法的本公开的方法一起使用的手术室显示系统的框图。手术室显示系统包括增强现实(AR)头戴式装置(HMD)510、医学图像计算机530(也称为工作站或手术室计算机)和手术室(OR)显示器540。医学图像计算机530可以是如个人计算机的固定计算装置或如平板计算机的便携式计算装置。

HMD 510包括控制电路505，其可以与功率管理电路(未示出)通信以管理对HMD510的组件的功率分配和控制。控制电路505包括处理器511、与存储器528(例如，D-RAM)通信的存储器控制器518、摄像机接口512、摄像机缓冲器513、用于驱动眼睛跟踪灯524的光驱动器514，以及用于驱动HMD显示器526的显示驱动器516。在一个方面，控制电路505的所有组件经由一条或多条总线的专用线路或使用共享总线彼此通信。在另一方面，控制电路505的组件中的每一个与处理器511通信。

医学图像计算机530包括处理器531、存储器532、用于驱动OR显示器540的操作的显示驱动器533、医学图像数据库534和通信接口535，以实现医学图像到HMD 510的控制电路505的通信。医学图像计算机530可以任选地连接到成像装置，例如，计算机断层摄影(CT)扫描器、磁共振成像(MRI)扫描器、正电子发射断层摄影(PET)扫描器或荧光镜。成像装置可以例如通过无线通信直接或间接地连接到医学图像计算机530。处理器531可以包括一个或多个处理器。存储器532可以存储一个或多个应用程序，并且医学图像数据库534可以存储医学图像数据1014。一个或多个应用程序可以包括可由处理器531执行的指令，用于执行本公开的方法，包括执行图6的方法的步骤的一部分。

在一些方面，医学图像计算机530可以包括输入装置(未示出)，其可以是用户可以通过其与医学图像计算机530进行交互的任何装置，例如，鼠标、键盘、脚踏板、触摸屏和/或语音接口。医学图像计算机530还可以包括输出模块(未示出)。输出模块可以包括任何连接端口或总线，例如，并行端口、串行端口、通用串行总线(USB)或本领域技术人员已知的任何其它类似连接端口。

HMD 510和医学图像计算机530的通信接口515、535可以被配置成连接到网络，诸如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络、蜂窝网络和/或因特网。通信接口515、535可用于在HMD 510与医学图像计算机530之间建立连接。通信接口515、535还可以用于从成像装置接收包括医学图像数据的扫描信息。

本领域技术人员应当理解，存储器528、532可以是可由处理器511、531存取的任何介质。即，介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的非暂时性、易失性和非易失性、可移动和不可移动介质。例如，存储器532可以包括RAM、ROM、EPROM、EEPROM、闪存或其它固态存储器技术、CD-ROM、DVD、蓝光或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储装置，或可用于存储所需信息并可由处理器531存取的任何其它介质。

眼睛跟踪摄像机522可以用于检测眼睛元素，诸如每只眼睛的角膜中心、眼球旋转中心和瞳孔中心。基于此类信息，和/或使用眼睛跟踪摄像机522获得的其它信息，可以确定用户的左眼和右眼的位置，包括左眼与右眼之间的瞳孔间距。另外，可以确定左眼和右眼相对于HMD 510以及相对于彼此的垂直位置。处理器511可以基于由眼睛跟踪摄像机522获得的图像和/或其它信息来确定(例如，计算)用户的左眼和右眼的位置。

摄像机接口512提供到眼睛跟踪摄像机522的接口，其可以包括一个或两个面向外的摄像机，并且在一方面，包括IR摄像机。摄像机接口512将从眼睛跟踪摄像机522接收到的各个图像存储在摄像机缓冲器513中。显示驱动器516可以驱动HMD显示器526，例如，微显示装置或透视微显示装置。控制电路505可以包括显示格式器(未示出)，其可以将关于在HMD显示器526上显示的虚拟图像的信息提供给一个或多个计算机系统的一个或多个处理器(例如，医学图像计算机530的处理器531)，以执行增强现实系统的处理。

图6是根据本公开的方面的通过使用眼睛跟踪器和HMD的显示器来控制显示在外部显示器上的医学图像的至少一个平面的方法600的流程图。在框602处，将存储在医学图像计算机中的医学图像的至少一个平面显示在外部显示器上，所述外部显示器可以是手术室监视器。外部显示器可以是LED显示器、OLED显示器、LCD显示器或适合于在手术室设置中由临床医生查看的任何其它显示器。医学图像的至少一个平面可以包括轴向平面、冠状平面和矢状平面中的一个或多个。

在框604处，处理医学图像的所述至少一个平面，使得医学图像的处理后的至少一个平面可以显示在AR HMD的显示器上。所述处理可以包括图像处理，以降低医学图像的所述至少一个平面的分辨率，使得AR HMD的显示器能够显示医学图像的所述至少一个平面。所述处理可以包括其它图像处理，以使得佩戴AR HMD的临床医生能够轻松地查看医学图像的至少一个平面，同时还使得临床医生能够通过AR HMD清楚地看到手术视野。

在框606处，将医学图像的处理后的至少一个平面显示在AR HMD的显示器上，并且在框608处，将与医学图像的处理后的至少一个平面相关联的控制图标也显示在AR HMD的显示器上。在框610处，例如通过结合到AR HMD中的眼睛跟踪器来监视用户的注视的焦点。在框612处，方法600涉及检测用户的注视是否在一段时间内聚焦在医学图像的处理后的至少一个平面的平面上。该时间段可以是适于检测用户期望选择平面的预定时间段。例如，预定时间段可以在3秒到7秒之间。预定时间段也可以由用户调整。如果用户的注视在该时间段内聚焦在平面上，则在AR HMD的显示器上突出显示该平面。这向用户指示用户期望控制(例如，移动或滚动)的平面。

在框614处，在AR HMD的显示器上突出显示该平面之后，监视用户的注视的新焦点。在框616处，方法600涉及检测用户的注视是否聚焦在AR HMD的显示器上显示的控制图标上。如果用户的注视聚焦在AR HMD的显示器上显示的控制图标上，则基于与控制图标相关联的改变指令，在外部显示器上改变对应于突出显示的平面的医学图像的平面的显示。改变指令可以包括用于放大或旋转外部显示器上的医学图像的平面的指令。

虽然在附图中已经示出了本公开的几个方面，但是其并不旨在将本公开限制于此，因为其旨在使本公开的范围与本领域所允许的一样宽，并以同样的方式阅读本说明书。因此，以上描述不应被解释为限制性的，而仅仅是作为特定方面的例证。

应当理解，本文公开的各个方面可以以与说明书和附图中具体给出的组合不同的组合进行组合。还应当理解，根据实例，本文描述的任何过程或方法的某些动作或事件可以以不同的顺序执行，可以添加、合并或完全省略(例如，所有描述的动作或事件对于执行该技术可能不是必需的)。另外，虽然为了清楚起见，本公开的某些方面被描述为由单个模块或单元来执行，但应当理解，本公开的技术可由与(例如)医疗装置相关联的单元或模块的组合来执行。

在一个或多个实例中，可以以硬件、软件、固件或其任何组合来实现所描述的技术。如果以软件实施，则功能可以作为一个或多个指令或代码存储在计算机可读介质上并由基于硬件的处理单元执行。计算机可读介质可以包括非暂时性计算机可读介质，其对应于有形介质，如数据存储介质(例如，RAM、ROM、EEPROM、闪存或可用于存储呈指令或数据结构形式的所需程序代码并且可由计算机存取的任何其它介质)。

指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。因此，如本文所使用的术语“处理器”可以指代任何前述结构或适合于实施所描述的技术的任何其它物理结构。另外，这些技术可以在一个或多个电路或逻辑元件中完全实现。