具体实施方式

本公开的各种实施例涉及单个实施例或多个实施例中的用于虚拟现实(VR)/增强现实(AR)/混合现实(MR)的系统、方法和制品。在具体实施方式、附图和权利要求中描述了本公开的其他目的、特征和优点。

现在将参考附图详细描述各种实施例，附图作为说明性示例被提供以使得本领域技术人员能够实践本公开。值得注意的是，下面的附图和示例并不意味着限制本公开的范围。在本公开的某些要素可以使用已知部件(或方法或过程)来被部分或完全实现的情况下，将仅描述此类已知部件(或方法或过程)中对于理解本公开所必需的那些部分，并且将省略此类已知部件(或方法或过程)的其他部分的详细描述，以免混淆本公开。此外，各种实施例包括本文中通过说明的方式提及的部件的当前和未来已知的等效物。

根据本公开的实施例解决了通常依赖于现成部件和定制部件的组合的VR/AR/MR系统的实施方式的问题。在某些情况下，现成部件不具备实现待部署VR/AR/MR系统的某些期望方面所需的所有特征或性能特性。一些实施例涉及用于添加功能和/或再利用资源以适应待部署VR/AR/MR系统的期望特征或性能特性的方法。本文的附图和讨论呈现了用于VR/AR/MR系统的示例环境、系统、方法和计算机程序产品。

头戴式视听显示系统和3D图像渲染系统可以独立于AR/MR系统实现，但是下面的一些实施例仅出于说明的目的关于AR/MR系统进行描述。本文描述的3D图像渲染和显示系统也可以以与VR系统类似的方式被使用。

问题总结及解决方案

如上所述，VR/AR/MR系统具有3D图像渲染和显示限制，可能导致聚散-调节冲突和关联的VR/AR/MR体验劣化。VR/AR/MR系统也有一些限制，诸如尺寸和便携性、电池寿命、系统过热、处理能力、内存、带宽、数据源、部件延迟以及其他系统和光学挑战，这些都会消极地影响VR/AR/MR系统性能。这些限制可能会导致图形处理和图像显示需求的减少，从而成为改进3D图像渲染和显示的挑战。

例如，由于潜在的图形处理和尺寸/便携性问题，VR/AR/MR系统，尤其是头戴式系统，可以仅包括足够的部件以能够以最小帧速率(例如60Hz)在每帧一个深度平面上渲染和显示彩色图像，从而平滑显示移动的虚拟对象(即离散模式)。图8A至图9B中示出了这种在离散模式中运行的VR/AR/MR系统的示例。如图8A示意性地所示，3D图像包括与各个深度平面相邻的三个虚拟对象(近立方体810、远立方体812和一个圆柱体814，其中，近立方体810与近深度平面0相邻，远立方体812和圆柱体814与远深度平面1相邻)。在一些实施例中，近深度平面0处于大约1.96屈光度处并且远深度平面1处于大约0.67屈光度处。图8B是图8A所示的3D图像的观看者透视图。在图8B中，跟踪观看者/用户816的眼睛指示观看者的眼睛趋向于与近立方体810的位置重合的聚散点818。在离散模式中，每帧仅照射单个深度平面(即，渲染和显示的图像)。如图9A中示意性地所示，由于聚散点818与邻近近深度平面0的近立方体810的位置重合，因此3D图像的所有内容(即，近立方体810、远立方体812、以及圆柱体814)被投影到近深度平面0。图9B是3D图像的内容已被投影到近深度平面0上之后的观看者透视图。仅照射近深度平面0，并且观看者的眼睛816针对近深度平面0进行调节。

在一些实施例中，将3D图像的所有内容投影到单个深度平面上仅触发最小聚散-调节冲突(例如，最小的用户不适、眼睛疲劳、头痛)。这是因为调节和聚散度之间存在弱耦合(loose coupling)，因此人脑可以容忍调节和聚散度之间高达大约0.75屈光度的失配。如图10A所示，这个±0.75屈光度公差转化为近调节区1010和远调节区1012。由于距离和屈光度之间的反比关系，如图10B所示，远调节区1012大于近调节区1010。对于图10A所示的实施例中的近深度平面0和远深度平面1，±0.75屈光度公差也导致调节区重叠1014，其中落在调节区重叠1014中的对象深度可以被显示在近深度平面0和远深度平面1中的一个或两个上，例如以不同的比例，以不同的亮度和/或颜色值等。在3D图像的所有内容位于近调节区1010或远调节区1012并且观看者816的眼睛趋向该深度平面的实施例中，将3D图像的所有内容投影到该深度平面上将仅触发最小聚散-调节冲突。

在一些实施例中，将3D图像的所有内容投影到单个深度平面上可能会触发足以影响/限制VR/AR/MR体验的聚散-调节冲突(例如，用户不适、眼睛疲劳、头痛)。例如，在图10A所示的实施例中，远立方体812和圆柱体814位于远调节区1012中近调节区1010之外。在观看者816的注意力被引导到近立方体810时，如图8B所示，观看者816仍然可以在观看者816的视场中看到远立方体812和圆柱体814。远立方体812和圆柱体814的光学表现不进行与其各自深度处的真实世界内容相同的方式光学行为，如图11所示。远立方体812和圆柱体814的聚散估计深度(即，远处)和调节估计深度(即，近处)之间的失配会导致聚散-调节冲突和相关联的VR/AR/MR体验的劣化(例如，用户不适、眼睛疲劳、头痛)。

此外，远立方体812和圆柱体814将不会具有自然调节引入的深度模糊。为了简化3D图像渲染，近立方体810、远立方体812、和圆柱体814都在深度平面0处以完全锐度渲染。3D图像内容的锐度/模糊形成大脑用来估计深度的另一线索。因此，远立方体812和圆柱体814的聚散估计深度(即，远处)和锐度/模糊估计深度(即，近处)之间的失配会加剧聚散-调节冲突和相关联的VR/AR/MR体验劣化。由于眼睛跟踪误差和切换深度平面的延迟而选择不正确的深度平面的可能性会延长观看者的聚散-调节冲突。

本文描述的实施例包括用于各种VR/AR/MR系统的3D图像渲染及显示系统和方法。这些3D图像渲染及显示系统和方法在“混合模式”中渲染显示3D图像以在减少系统资源消耗的时最小化聚散-调节冲突，从而解决许多上述问题。

说明性VR、AR和/或MR系统

下面的描述关于可用于实践各种3D图像渲染和显示系统的实施例的说明性VR、AR和/或MR系统。然而，应当理解，这些实施例也适于在其他类型的显示系统(包括其他类型的VR、AR、和/或MR系统)中的应用，因此这些实施例不仅限于本文公开的说明性系统。

本文公开的VR/AR/MR系统可以包括向用户呈现计算机生成的影像(视频/图像数据)的显示器。在一些实施例中，显示系统是可穿戴的，这可以有利地提供更加沉浸的VR/AR/MR体验。VR、AR、和/或MR虚拟图像系统100的各种部件在图2至5中示出。虚拟图像生成系统100包括：由终端用户50穿戴的框架结构102；由框架结构102承载的显示子系统110，使得显示子系统110被定位在终端用户50的眼前；以及由框架结构102承载的扬声器106，使得扬声器106被定位在最终用户50的耳道附近(可选地，另一扬声器(未示出)被定位在最终用户50的另一耳道附近以提供立体声/可塑形声音控制)。显示子系统110被设计为通过高水平的图像质量和三维感知向终端用户50的眼睛呈现可以被舒适地感知为物理现实增强的光图案，以及能够呈现二维内容。显示子系统110以提供单个相干场景的感知的高频率呈现一系列帧。

在所示实施例中，显示子系统110采用“光学透视”显示器，通过该显示器，用户可以经由透明(或半透明)元件直接观看来自真实物体的光。通常被称为“组合器”的透明元件将来自显示器的光叠加在用户的真实世界的视图上。为此，显示子系统110包括部分透明的显示器。在一些实施例中，透明显示器可以是电子控制的。在一些实施例中，透明显示器可以包括分区调光以控制透明显示器的一个或多个部分的透明度。在一些实施例中，透明显示器可以包括全局调光以控制整个透明显示器的透明度。显示器位于终端用户50的眼睛和周围环境之间的终端用户50的视场中，使得来自周围环境的直射光通过显示器透射到终端用户50的眼睛。

在所示的实施例中，图像投影组件向部分透明的显示器提供光，从而与来自周围环境的直射光结合，并从显示器透射到用户50的眼睛。投影子系统可以是基于光纤扫描的投影设备，并且显示器可以是基于波导的显示器，来自投影子系统的扫描光被注入该显示器中以产生例如比无穷大更近的单个光学观看距(例如，手臂的长度)处的图像、多个离散光学视距或焦平面上的图像，和/或在多个视距或焦平面上堆叠的图像层，以表示立体3D对象。光场中的这些层可以被足够紧密地堆叠在一起，以对于人类视觉系统看来是连续的(即，一个层位于相邻层的锥形干扰区内)。附加地或替代地，图片元素(即，子图像)可以跨两个或更多个层被混合以增加光场中的层之间的过渡的感知连续性，即使这些层被更稀疏地堆叠在一起(即，一个层位于相邻层的锥形干扰区之外)。显示子系统110可以是单目或双目的。

虚拟图像生成系统100还可以包括安装到框架结构102上的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和运动和/或终端用户50的眼睛位置和眼距。此类传感器可以包括图像捕获设备(诸如照相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备和/或陀螺仪)。这些传感器中的许多是在它们所附接的框架102进而基本固定到用户的头部、眼睛和耳朵的假设下工作。

虚拟图像生成系统100还可以包括用户取向检测模块。用户取向检测模块检测终端用户50的头部54的瞬时位置(例如，经由耦合到框架102的传感器)并且可以基于从传感器接收的位置数据来预测终端用户50的头部54的位置。检测终端用户50的头部54的瞬时位置有助于确定终端用户50正在注视的特定实际对象，从而提供与该实际对象相关地生成的特定虚拟对象的指示，并进一步提供虚拟对象将被显示的位置的指示。用户取向模块还可基于从传感器接收的跟踪数据来跟踪终端用户50的眼睛。

虚拟图像生成系统100还可以包括可采取多种形式中任一种的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器、或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其他集成电路控制器，诸如专用集成电路(ASIC)、显示桥接芯片、显示控制器、可编程门阵列(PGA)，例如现场PGA(FPGA)和/或可编程逻辑控制器(PLU)。

虚拟图像生成系统100的控制子系统可以包括中央处理单元(CPU)、图形处理单元(GPU)、一个或多个帧缓冲器、以及用于存储三维场景数据的三维数据库。CPU可以控制整体操作，而GPU可以根据存储在三维数据库中的三维数据渲染帧(即，将三维场景转换为二维图像)并将这些帧存储在帧缓冲器中。一个或多个附加集成电路可以控制帧被读入帧缓冲器和/或从帧缓冲器读取帧，以及显示子系统110的图像投影组件的操作。

虚拟图像生成系统100的各种处理部件可以被物理地包含在分布式子系统中。例如，如图2至图5所示，虚拟图像生成系统100可以包括本地处理和数据模块130，其诸如通过有线引线或无线连接136被可操作地耦合到本地显示桥142、显示子系统110、和传感器。本地处理和数据模块130可以以多种配置被安装，例如固定地附接到框架结构102(图2)，固定地附接到头盔或帽子56(图3)、可移除地附接到终端用户50的躯干58(图4)、或以腰带耦合式配置可移除地附接到终端用户50的髋部60(图5)。虚拟图像生成系统100还可以包括远程处理模块132和远程数据存储库134，诸如通过有线引线或无线连接138、140可操作地耦合到本地处理和数据模块130以及本地显示桥142，使得这些远程模块132、134可操作地彼此耦合并且作为资源可用于本地处理和数据模块130以及本地显示桥142。

本地处理和数据模块130和本地显示桥142可以各自包括节能处理器或控制器、以及数字存储器，例如闪存，这两者都可以用于辅助处理、缓存和存储从传感器捕获和/或使用远程处理模块132和/或远程数据存储库134获取和/或处理的数据，这些数据可能在这样的处理或检索之后传送到显示子系统110。远程处理模块132可以包括一个或多个被配置为分析和处理数据和/或图像信息的相对强大的处理器或控制器。远程数据存储库134可以包括相对大规模的数字数据存储设施，其可以通过互联网或“云”资源配置中的其他网络配置获得。在一些实施例中，在本地处理和数据模块130和本地显示桥142中存储所有数据并且执行所有计算，从而允许来自任何远程模块的完全自主的使用。

上述各种部件之间的耦合136、138、140可以包括一个或多个用于提供有线或光通信的有线接口或端口，或一个或多个无线接口或端口，诸如经由RF、微波、和IR提供无线通信。在一些实施方式中，所有通信可以是有线的，而在其他实施方式中，所有通信可以是无线的。在更进一步的实施方式中，有线和无线通信的选择可以不同于图2至图5所示。因此，有线或无线通信的特定选择不应被认为是限制性的。

在一些实施例中，用户取向检测模块被包含在本地处理和数据模块130和/或本地显示桥142中，而CPU和GPU被包含在远程处理模块中。在替代实施例中，CPU、GPU或其部分可以被包含在本地处理和数据模块130和/或本地显示桥142中。3D数据库可以与远程数据存储库134相关联或被设置在本地。

一些VR、AR和/或MR系统使用嵌有深度平面信息的多个体相位全息图、表面浮雕全息图或光导光学元件来生成看起来源自各个深度平面的图像。换言之，衍射图案或衍射光学元件(DOE)可以被嵌入或压印/浮饰在光导光学元件(LOE；例如平面波导)上，从而在准直光(具有基本平面波前的光束)沿LOE基本上全内反射时，它在多个位置与衍射图案相交并朝向用户的眼睛出射。DOE被配置为使得通过其从LOE出射的光趋于呈现为来自特定的深度平面。准直光可以使用光学会聚透镜(“聚光器”)生成。

例如，第一LOE可以被配置为将准直光传送到眼睛，其看起来源自光学无限深度平面(0屈光度)。另一LOE可以被配置为传送看起来源自2米距离(1/2屈光度)的准直光。又一LOE可以被配置为传送看起来源自1米距离(1屈光度)的准直光。通过使用堆叠的LOE组件，可以理解，可创建多个深度平面，每个LOE被配置为显示看起来源自特定深度平面的图像。应当理解，该堆叠可以包括任何数量的LOE。然而，需要至少N个堆叠的LOE来生成N个深度平面。此外，N、2N或3N个堆叠LOE可用于在N个深度平面上生成RGB彩色图像。

为了向用户呈现3D虚拟内容，VR、AR和/或MR系统将虚拟内容的图像投影到用户的眼睛中，使得它们看起来源自Z方向上的各个深度平面(即，正交远离用户的眼睛)。换言之，虚拟内容不仅可以在X和Y方向上(即，在与用户眼睛的中心视轴正交的2D平面中)发生变化，而且还可能看起来在Z方向上发生变化，使得用户可以感知对象非常接近或处于无限远处或处于两者之间的任何距离处。在其他实施例中，用户可以同时感知不同的深度平面处的多个对象。例如，用户可能同时看到距用户3米远的虚拟鸟和距用户一臂长(大约1米)的虚拟咖啡杯。或者，用户可能会看到一条虚拟龙从无限远处出现并向用户奔去。

多平面聚焦系统通过将图像投影到位于在Z轴距用户眼睛各个固定距处的多个平面中的部分或全部，来创建可变深度的感知。现在参考图6，应当理解，多平面聚焦系统可以在固定深度平面150(例如，图6所示的六个深度平面150)处显示帧。尽管MR系统可以包括任意数量的深度平面150，但是一个示例性多平面聚焦系统在Z方向上具有六个固定深度平面150。在生成六个深度平面150中的虚拟内容时，创建了3D感知，使得用户感知距用户眼睛不同距处的一个或多个虚拟对象。假设人眼对距离较近的对象比看起来较远的对象更敏感，因此生成距眼睛更近的多个深度平面150，如图6所示。在其他实施例中，深度平面150可以被放置在彼此等距的距离处。

深度平面位置150可以屈光度为单位测量，屈光度是等于以米为单位测量的焦距的倒数的光功率单位。例如，在一些实施例中，深度平面DP1可以是1/3屈光度远，深度平面DP2可以是0.3屈光度远，深度平面DP3可以是0.2屈光度远，深度平面DP4可以是0.15屈光度远，深度平面DP5可以是0.1屈光度远，以及深度平面DP6可以表示无限远(即0屈光度远)。应当理解，其他实施例可以在其他距离/屈光度处生成深度平面150。因此，当在战略性放置的深度平面150上生成虚拟内容时，用户能够在三个维度上感知虚拟对象。例如，当在深度平面DP1中显示时，用户可感知到第一虚拟对象离他很近，而另一虚拟对象出现在深度平面DP6处的无限远处。或者，虚拟对象可以首先被显示在深度平面DP6上，然后在深度平面DP5上，依此类推，直到虚拟对象看起来非常靠近用户。应当理解，为了说明的目的，上述示例被显著简化。在另一实施例中，所有六个深度平面可以被集中在远离用户的特定焦距上。例如，如果待显示的虚拟内容是离用户半米远的咖啡杯，则可以在咖啡杯的各个横截面处生成所有六个深度平面，从而为用户提供咖啡杯的高度颗粒化的3D视图。

在一些实施例中，VR、AR和/或MR系统可用作多平面聚焦系统。换言之，所有六个LOE可以几乎同时被照射，使得看起来源自六个固定深度平面的图像被快速连续地生成，其中，光源将图像信息快速传送到LOE 1、然后到LOE 2、然后到LOE 3等。例如，可以在时间1注入包含光学无限远处的天空图像的所需图像的一部分，并且可以利用保持光准直(例如，图6中的深度平面DP6)的LOE。然后，可以在时间2注入更近的树枝的图像，并且可以利用被配置为创建看起来源自10米远的深度平面(例如，图6中的深度平面DP5)的图像的LOE；接着可以在时间3注入笔的图像，并且可以利用被配置为创建看起来源自1米远的深度平面的图像的LOE。这种类型的范例可以以快速的时间顺序方式重复，以便用户的眼睛和大脑(例如，视觉皮层)将输入感知为同一图像的所有部分。

VR、AR和/或MR系统可以投影看起来源自沿着Z轴(即，深度平面)的各个位置的图像(即，通过发散或会聚光束)以生成用于3D体验/场景的图像。如在本申请中使用的，光束包括但不限于从光源辐射的光能(包括可见光和不可见光能)的定向投影。生成看起来源自各种深度平面的图像符合用户眼睛对该图像的聚散和调节，并最小化或消除聚散-调节冲突。

现在参考图7，示出了AR或MR系统700(以下称为“系统700”)的示例性实施例。系统700使用堆叠的光导光学元件(以下称为“LOE790”)。系统700通常包括一个或多个图像生成处理器710、一个或多个光源720、一个或多个控制器/显示桥(DB)730、一个或多个空间光调制器(SLM)740、以及用作多平面聚焦系统的一组或多组堆叠的LOE 790。系统700还可以包括眼睛跟踪子系统750。

图像生成处理器710被配置为生成待显示给用户的虚拟内容。图像生成处理器710可以将与虚拟内容相关联的图像或视频转换为能够以3D形式投影给用户的格式。例如，在生成3D内容时，可能需要设置虚拟内容的格式，使得特定图像的部分被显示在特定深度平面上，而其他部分被显示在其他深度平面上。在一个实施例中，可以在特定深度平面处生成图像的全部。在另一实施例中，图像生成处理器710可以被编程为向左右眼提供略微不同的图像，使得在被一起观看时，虚拟内容对于用户的眼睛来说看起来连贯和舒适。

图像生成处理器710还可以包括存储器712、GPU 714、CPU 716和其他用于图像生成和处理的电路。图像生成处理器710可以被编程为将所需的虚拟内容呈现给系统700的用户。应当理解，在一些实施例中，图像生成处理器710可以被容纳在系统700中。在其他实施例中，图像生成处理器710和其他电路可以被容纳在与系统700耦合的腰包中。在一些实施例中，图像生成处理器710或其一个或多个部件可以是本地处理和数据模块(例如，本地处理和数据模块130)的一部分。如上所述，本地处理和数据模块130可以以多种配置被安装，诸如固定地附接到框架结构102(图2)，固定地附接到头盔或帽子56(图3)、可移除地附接到终端用户50的躯干58(图4)，或以腰带耦合式配置可移除地附接到终端用户50的髋部60(图5)。

图像生成处理器710被可操作地耦合到投影与所需的虚拟内容相关联的光的光源720和一个或多个空间光调制器740。光源720是紧凑的并且具有高分辨率。光源720被可操作地耦合到控制器/DB 730。光源720可以包括以各种几何配置布置的颜色特定的LED和激光器。或者，光源720可以包括类似颜色的LED或激光器，每个LED或激光器与显示器视场的特定区域链接。在另一实施例中，光源720可以包括广域发射器，诸如具有用于发射区域和位置分区的掩模覆盖层的白炽灯或荧光灯。尽管在图2B中，光源720被直接连接到系统700，但是光源720可以经由光纤(未示出)被连接到系统700。系统700还可以包括被配置为准直来自光源720的光的聚光器(未示出)。

在各种示例性实施例中，SLM 740可以是反射的(例如，LCOS、FLCOS、DLP DMD或MEMS反射镜系统)、透射的(例如LCD))或发射的(例如FSD或OLED)。可以选择SLM 740的类型(例如，速度、大小等)以改进3D感知的创建。虽然以更高刷新率运行的DLP DMD可以被很容易地合并到固定系统700中，但可穿戴系统700可以使用较小尺寸和功率的DLP。DLP的功率改变了3D深度平面/焦平面被创建的方式。图像生成处理器710被可操作地耦合到SLM 740，SLM 740使用所需的虚拟内容对来自光源720的光进行编码。在来自光源720的光从SLM 740反射、发射或传播通过SLM 740时，可以用图像信息对其进行编码。

来自SLM 740的光被引导到LOE 790，使得SLM 740用一个深度平面和/或颜色的图像数据编码的光束沿着单个LOE 790有效地传播以传送到用户的眼睛。每个LOE 790被配置为将看起来源自所需深度平面或FOV角位置的图像或子图像投影到用户的视网膜上。光源720和LOE 790因此可以选择性地投影看起来源自空间中各个深度平面或位置的图像(在控制器/DB 730的控制下由SLM 740进行同步编码)。通过使用光源720和LOE 790中的每一个以足够高的帧速率(例如，以60Hz的有效全体积帧速率，对于六个深度平面，帧速率为360Hz)依次投影图像，系统700可以在各个深度平面上生成虚拟对象的3D图像，其中这些虚拟对象看上去同时存在于3D图像中。

控制器/DB 730与图像生成处理器710、光源720和SLM 740通信并被且可操作地耦合到图像生成处理器710、光源720、和SLM 740，以通过指示SLM 740使用来自图像生成处理器710的适当图像信息对来自光源720的光束进行编码来协调图像的同步显示。虽然系统包括图像生成处理器710，但是在一些实施例中，控制器/DB 730也可以执行至少一些图像生成处理，包括例如存储器712、GPU 714、和/或CPU 716的处理。在一些实施例中，控制器/DB730可以包括图像生成处理器710中所示的一个或多个部件，例如存储器712、GPU 714和/或CPU 716。

系统700还可以包括可选的眼睛跟踪子系统750，其被配置为跟踪用户的眼睛以确定用户的聚散点。在一个实施例中，系统700被配置为基于来自眼睛跟踪子系统750的输入照射LOE 790的子集，使得在与用户的聚散点重合的期望深度平面处生成图像，如图9A和9B所示。例如，如果用户的眼睛彼此平行，则系统700可以照射LOE 790，该LOE 790被配置为将准直光传送到用户的眼睛，使得图像看起来源自光学无限远。在另一示例中，如果眼睛跟踪子系统750确定用户的聚散点在1米远处，则可以替代地照射被配置为大约在该范围内聚焦的LOE 790。在接近整个深度范围的深度平面同时(或几乎同时)被照射的实施例中，不需要可选的眼睛跟踪子系统750来确定用户的聚散点以便选择照射一个或多个深度平面。消除对可选的眼睛跟踪子系统750的需要减少了VR/AR/MR系统700的尺寸、其处理要求以及其功率和存储要求。

说明性混合模式渲染和显示系统

图12示出了根据一些实施例的渲染和显示3D图像的“混合模式”。混合模式显示呈现根据至少两个离散深度平面0、1的组合生成的合成光场。由于调节和聚散之间的公差(例如，±0.75屈光度)，通过配置渲染和显示系统以在彼此的预定屈光度数(例如，1.5屈光度)内定位近深度平面0和远深度平面1，这两个深度平面0、1可以覆盖整个3D视场，从大约观看者视觉的截断最小距离至大约无限远，如图10A所示。混合模式合成光场模拟观看者针对两个深度平面0、1之间的任何位置的调节，作为投影到两个深度平面0、1上的子图像的标量混合。通过在两个深度平面0、1上的子图像的标量混合，混合模式合成光场可以模拟针对一个或多个虚拟深度平面1210的调节。

混合模式增加了观看者调节的保真度，导致更自然的深度感。例如，图13A示出了离散模式显示系统，其中响应于跟踪观看者816的聚散点到邻近近深度平面的近立方体810而将近立方体810、远立方体812、和圆柱体814投影到近深度平面0上。投影到近深度平面0上导致观看者即使针对比近深度平面0更靠近远深度平面1的远立方体812和圆柱体814，也做出针对近深度平面0的调节。

另一方面，图13B示出了根据一些实施例的混合模式合成光场。在混合显示模式中，近立方体810、远立方体812和圆柱体814被“虚拟地投影”到沿着系统的光轴(“Z轴”)与立方体810、远立方体812、和圆柱体814的各个位置相邻的各个虚拟深度平面1310、1312、1314上。近立方体810、远立方体812、和圆柱体814仅被虚拟地投影，因为只有近深度平面0和远深度平面1被实际照射到。如上所述，到虚拟深度平面1310、1312、1314上的虚拟投影是通过投影到近深度平面0和远深度平面1上的子图像的标量混合来模拟的。

图14A至图15B示出了根据一些实施例的通过投影到近深度平面0和远深度平面1上的子图像的标量混合来渲染和显示混合光场。图14A至图15B所示的实施例的硬件刷新率大约为360Hz，相当于RGB颜色的120Hz。渲染和显示系统利用人类视觉系统往往会对在时间上彼此接近(即，近深度平面0后跟远深度平面1)的两个连续闪烁进行混合，来模拟60Hz的合成3D光场混合。这将创建具有6次闪烁(例如，R0G0B0B1G1R1)的有效60Hz显示。为了渲染子图像，帧中的每个像素都用最佳(best known)深度数据(例如，来自3D图像数据)进行深度标记。然后系统使用最佳深度数据来计算每个像素的两个标量值，一个用于投影到近深度平面0，另一个用于投影到远深度平面1。任何比近深度平面0更近或比远深度平面1更远的对象都仅在相应的深度平面0、1被照射时才被投影。用于计算标量值的混合分析可以包括线性插值、非线性插值、和/或一个或多个线性插值。本领域的普通技术人员将理解，混合分析可以包括其他插值技术。

显示系统(诸如，具有硅基液晶(LCOS)光源的投影仪)在每个深度平面处顺序地闪烁每种颜色(例如，R0G0B0B1G1R1、R0R1G0G1B0B1或以某种其他方式)。通过对在两个深度平面处的彩色图像光栅化(rastering)，诸如扫描光纤显示器之类的显示系统可以在每个深度平面处“同时”闪烁图像。

图14A示出了在3D图像的子图像显示在其上时近深度平面0的标量值。子图像越亮，在近深度平面0处被照射得越多。相反，子图像越暗，在近深度平面0处被照射得越少。在该实施例中，使用线性混合来确定标量值。图14B示出了观看者看到的如图14A所示的近深度平面0的透视图。与圆柱体814相比，更靠近近深度平面0的近立方体810在近深度平面0处更亮(即，更多地被照射)。相反，与近立方体810相比，距近深度平面0更远的圆柱体814在近深度平面0处更暗(即，更少地被照射)。与近立方体810或圆柱体814相比，距近深度平面0远得多的远立方体812在近深度平面0处几乎是黑色的(即，没有被照射)。

图15A示出了在3D图像的子图像显示在其上时远深度平面1的标量值。子图像越亮，在远深度平面1处被照射得越多。相反，子图像越暗，在远深度平面1处被照射得越少。图15B示出了观看者看到的如图15A所示的远深度平面1的透视图。与圆柱体814相比，更靠近远深度平面1的远立方体812在远深度平面1处更亮(即，更多地被照射)。相反，与远立方体812相比，距远深度平面1较远的圆柱体814在远深度平面1处更暗(即，更少地被照射)。与远立方体812或圆柱体814相比，距远深度平面1远得多的近立方体810在远深度平面1处几乎是黑色的(即，最少地被照射)。

线性混合导致近深度平面0和远深度平面1处的标量值，使得近深度平面0和远深度平面1的同时的(例如，光纤扫描显示器)或近同时的顺序照射(例如，具有LCOS光源的投影仪)被人类视觉系统解释为对应的多个虚拟深度平面1410、1412、1414处的一个或多个子图像。

图16A和图16B示出了根据一些实施例的混合模式合成光场的左深度平面和右深度平面。具体地，图16A示出了混合模式合成光场的左近深度平面和右近深度平面，而图16B示出了混合模式合成光场的左远深度平面和右远深度平面。渲染左子图像和右子图像以模拟立体视觉。各个近深度平面和远深度平面上的子图像被人类视觉系统解释为一个或多个虚拟深度平面处的一个或多个子图像，从而形成3D图像的合成3D光场。

可以通过应用混合分析来渲染/生成用于在近远深度平面和远深度平面处显示的子图像。混合分析可涉及线性插值、非线性插值(例如，互补sigmoid衰减)、和/或一个或多个线性插值(例如，使用线性插值的查找表逼近曲线)。本领域的普通技术人员将理解，混合分析可以包括其他插值技术。3D图像的内容可以被标记为“仅近处”(即，比近深度平面更近)、“仅远处”(即，比远深度平面更远)或“重叠区域”(即，位于近深度平面和远深度平面之间的特定区域中)。仅近处内容可以仅被显示在近深度平面处。仅远处内容可以仅被显示在远深度平面处。如图14B和15B所示，可以使用各种技术来混合重叠区域内容以在近深度平面和远深度平面两者处进行显示。

每条3D图像内容都具有用于将内容放置在“仅近处”、“仅远处”、和“重叠区域”组中的最佳深度。可以使用包含深度分区信息(存储在深度缓冲器中)、立体颜色对信息、和真实世界网格信息的视差图和基于图块的重投影中的一个或多个来生成最佳深度。最佳深度信息也用于混合“重叠区域”组中的内容。立体颜色对信息涉及通过使用两个不同的视点投影3D图像内容而形成的2D图像对。视差图描绘了通过使用两个不同的视点投影3D图像内容而形成的2D图像之间的差异。在一个实施例中，对于3D图像内容中的每个像素，视差图包括来自不同视点的两个投影2D图像中的每一个中的投影像素之间的距离。真实世界网格信息涉及使用多边形的图像数据(例如，投影到环境上或从环境中捕获)的图形表示。

在渲染用于在近深度平面和远深度平面处显示的子图像之后，它们的显示可以由可操作地耦合到图形处理单元和显示设备的显示控制器控制。

在使用混合显示模式来模拟一个或多个虚拟深度平面的情况下，照射近深度平面和远深度平面提供了具有最小显示和图形处理要求的合成3D光场。此外，合成3D光场更准确地再现3D图像，从而减少聚散-调节冲突，诸如离散模式显示系统遇到的冲突。此外，诸如本文描述的那些混合模式显示系统可以在没有眼睛跟踪子系统(例如，相机、IR灯、处理单元、存储器等)的情况下运行，从而减少对具有有限系统资源的便携式3D显示系统的硬件和处理需求。

系统架构概述

图17是适合实现本公开的实施例的说明性计算系统1700的框图。计算机系统1700包括总线1706或用于传送信息的其它通信机制，该总线或其它信息传送机制将以下子系统和设备互连在一起：诸如处理器1707、系统存储器1708(例如，RAM)、静态存储设备1709(例如，ROM)、磁盘驱动器1710(例如，磁驱动器或光驱动器)、通信接口1714(例如，调制解调器或以太网卡)、显示器1711(例如，CRT或LCD)、输入设备1712(例如，键盘)和光标控制。

根据本公开的一个实施例，计算机系统1700通过处理器1707执行包含在系统存储器1708中的一个或多个指令的一个或多个序列来执行特定操作。这些指令可以从另一计算机可读/可用介质(诸如，静态存储设备1709或磁盘驱动器1710)读入系统存储器1708。在替代实施例中，可以使用硬连线电路代替软件指令或与软件指令组合以实现本公开。因此，本公开的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中，术语“逻辑”应表示用于实现本公开的全部或部分的任何软件或硬件组合。

如本文所用，术语“计算机可读介质”或“计算机可用介质”是指参与向处理器1707提供要执行的指令的任何介质。这种介质可以采用许多形式，包括但不限于非易失性媒介和易失性媒介。非易失性媒介例如包括光盘或磁盘，诸如磁盘驱动器1710。易失性媒介包括动态存储器，诸如系统存储器1708。

计算机可读媒介的常见形式例如包括软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、任何其它光介质、穿孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM(例如，NAND闪存、NOR闪存)，任何其它存储芯片或盒式磁带，或计算机可以读取的任何其它介质。

在本公开的实施例中，由单个计算机系统1700执行执行指令序列以实践本公开。根据本公开的其它实施例，通过通信链路1715(例如，LAN、PTSN或无线网络)耦合的两个或更多个计算机系统1700可以彼此协调地执行实践本公开所需的指令序列。

计算机系统1700可以通过通信链路1715和通信接口1714发送和接收消息、数据和指令，其中包括程序，即应用代码。接收的程序代码可以由处理器1707在接收时执行，和/或存储在磁盘驱动器1710或其它非易失性存储器中以供稍后执行。存储介质1731中的数据库1732可用于存储可由系统1700经由数据接口1733访问的数据。

虽然上述混合模式实施例包括两个深度平面(例如，近深度平面和远深度平面)，但其他实施例可以包括多于两个深度平面。增加深度平面的数量会增加模拟虚拟深度平面的保真度。然而，这种保真度的提高被硬件和处理需求的增加所抵消，这可能超过当前便携式3D渲染和显示系统中可用的资源。

本文已经描述了本公开的某些方面、优点和特征。应当理解，根据本公开的任何特定实施例，不一定可以实现所有这些优点。因此，本公开可以以实现或优化如本文所教导的一个优点或一组优点而不必实现如本文所教导或建议的其他优点的方式来体现或执行。

已经结合附图描述了实施例。然而，应当，这些图不是按比例绘制的。距离、角度等仅仅是说明性的，并不一定与所示设备的实际尺寸和布局有确切的关系。此外，已经在一定详细程度上描述了前述实施例以允许本领域普通技术人员制造和使用本文描述的设备、系统、方法等。各种各样的变化是可能的。部件、元素和/或步骤可以被更改、添加、移除或重新排列。

本文描述的设备和方法可以有利地被至少部分地使用例如计算机软件、硬件、固件或软件、硬件和固件的任何组合来实现。软件模块可以包括存储在计算机存储器中的计算机可执行代码，用于执行本文描述的功能。在一些实施例中，计算机可执行代码由一个或多个通用计算机执行。然而，本领域技术人员将理解，根据本公开，可以使用要在通用计算机上执行的软件来实现的任何模块也可以使用硬件、软件或固件的不同组合来实现。例如，这样的模块可以使用集成电路的组合在硬件中完全实现。替代地或附加地，可以使用被设计为执行本文描述的特定功能的专用计算机而不是通用计算机来完全或部分地实现这样的模块。此外，在描述至少部分由或可由计算机软件执行的方法的情况下，应当理解，此类方法可以在非暂时性计算机可读媒介上提供，在被计算机或其他处理设备读取时，这些媒介导致执行该方法。

虽然已经明确描述了某些实施例，但是基于本公开，其他实施例对于本领域普通技术人员将变得显而易见。

本文描述的各种处理器和其他电子组部件适用于任何用于投射光的光学系统。本文描述的各种处理器和其他电子部件也适用于用于接收语音命令的任何音频系统。

本文描述了本公开的各种示例性实施例。以非限制性的方式参考这些示例。提供它们以说明本公开的更广泛适用的方面。在不脱离本公开的真实精神和范围的情况下，可以对所描述的公开进行各种改变并且可以替换成等价物。此外，可以进行许多修改以使特定情况、材料、物质组成、过程、一个或多个过程动作或一个或多个步骤适应本公开的一个或多个目的、精神或范围。此外，如本领域技术人员将理解的，本文描述和图示的各个变体中的每一个都具有分立的部件和特征，其可以容易地与其他几个实施例中的任一个的特征分离或组合而不脱离本公开的范围或精神。所有这些修改都旨在落入与本公开相关联的权利要求的范围内。

本公开包括可以使用主题设备执行的方法。该方法可以包括提供这种合适的设备的动作。这种提供可以由终端用户执行。换言之，“提供”动作仅需要终端用户获得、访问、接近、定位、设置、激活、通电或以其他动作以提供主题方法中的必要设备。可以以逻辑上可能的所列举事件的任何顺序以及以所列举的事件顺序来执行本文所述的方法。

本公开的示例性方面以及关于材料选择和制造的细节已经在上文中阐述。至于本公开的其他细节，这些可以结合上面引用的专利和出版物以及本领域技术人员通常已知或理解的来理解。就通常或逻辑上采用的附加动作而言，关于本公开的基于方法的方面，这同样适用。

此外，虽然已经参考可选地包含各种特征的若干示例描述了本公开，但是本公开不限于关于本公开的每个变体所构想的描述或指示的内容。在不脱离本公开的真实精神和范围的情况下，可以对所描述的公开进行各种改变并且可以替换成等价物(无论是在本文中引用还是为了某种简洁而未包括在内)。此外，在提供值范围的情况下，应当理解，在该范围的上限和下限之间的每个中间值，以及该所述范围内的任何其他所述的值或中间值都包含在本发明内。

此外，可以构想，所描述的变体的任何可选特征可以独立地，或者与本文描述的任何一个或多个特征组合地提出和要求保护。对单数项的引用包括存在多个相同项的可能性。更具体地，如本文和与其相关的权利要求中所使用的，单数形式“一”、“一个”、“所述”和“该”包括复数所指对象，除非另有具体说明。换言之，冠词的使用允许与本公开相关联的上述描述以及权利要求中的主题项目的“至少一个”。还应注意，可以起草此类权利要求以排除任何可选元素。因此，本声明旨在作为结合权利要求要素的叙述使用诸如“仅”、“只有”等之类的排他性术语的使用，或“否定”限制的使用的先行基础。

在不使用这些排他性术语的情况下，与本公开相关联的权利要求中的术语“包括”应允许包含任何附加要素，无论这些权利要求中是否列举了给定数量的要素，或者特征的添加可被视为正在改变在此类权利要求中阐述的要素的性质。除非在本文中有明确定义，否则本文使用的所有技术和科学术语都应尽可能具有普遍理解的含义，同时保持权利要求的有效性。

本公开的广度不限于所提供的示例和/或主题说明书，而是仅受与本公开相关联的权利要求语言的范围的限制。

在上述说明书中，已经参照本公开的具体实施例描述了本公开。然而，很明显，在不脱离本公开的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。例如，上述过程流是参照过程动作的特定顺序来描述的。然而，在不影响本公开的范围或操作的情况下，可以改变许多所描述的过程动作的顺序。因此，说明书和附图被认为是说明性的而不是限制性的。