具体实施方式

本发明不限于下面描述的实施例，而是延伸到所附权利要求的全部范围。也就是说，本发明可以以不同的形式实施，并且不应该被解释为限于所描述的实施例，这些实施例是为了说明的目的而阐述的。

除非另有说明，否则单数形式的术语可以包括复数形式。

被描述为形成在另外的结构的上部/下部或者在其他结构之上/之下的结构应当被解释为包括结构彼此接触的情况，并且此外包括第三结构设置在它们之间的情况。

在描述时间关系时，例如，当事件的时间顺序被描述为“之后”、“后续”、“下一个”、“之前”等时，除非另有说明，否则本公开应当被认为包括连续和非连续事件。例如，除非使用“就在”、“立即”或“直接”等措辞，否则描述应理解为包括不连续的情况。

虽然术语“第一”、“第二”等可以在此用于描述各种元素，这些元素不受这些术语的限制。这些术语仅用于区分一种元素和另外的种元素。例如，在不脱离所附权利要求的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。

不同实施例的特征可以部分或全部彼此耦合或组合，并且可以彼此不同地相互操作。一些实施例可以彼此独立地执行，或者可以以相互依赖的关系一起执行。

光学配置

图1示出了一个实施例，其中计算机生成全息图被编码在单个空间光调制器上。计算机生成全息图是用于重建的对象的傅里叶变换。因此，可以说全息图是对象的傅里叶域或频域或谱域表示。在该实施例中，空间光调制器是反射式硅基液晶“LCOS”设备。全息图被编码在空间光调制器上，并且全息重建形成于重放场上，例如如屏幕或漫射体的光接收表面上。

光源110，例如激光器或激光二极管，被设置成通过准直透镜111照射SLM 140。准直透镜使得光的总体上平面波前入射到SLM上。在图1中，波前的方向是偏离法线的(例如，与透明层平面真正正交偏离两到三度)。然而，在其他实施例中，总体上平面的波前以垂直入射提供，并且分束器布置被用于分离输入和输出光路。在图1所示的实施例中，该布置使得来自光源的光从SLM的镜射后表面反射，并与光调制层相互作用以形成出射波前112。出射波前112被应用于包括傅里叶变换透镜120的光学器件，其焦点在屏幕125上。更具体地，傅里叶变换透镜120接收来自SLM 140的调制光束，并执行频率空间变换以在屏幕125上产生全息重建。

值得注意的是，在这种全息术中，全息图的每个像素都有助于整个重建。重放场上的特定点(或图像像素)和特定光调制元件(或全息像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光在整个重放场上分布。

在这些实施例中，全息重建在空间中的位置由傅里叶变换透镜的屈光(聚焦)度决定。在图1所示的实施例中，傅里叶变换透镜是物理透镜。即，傅里叶变换透镜是光学傅里叶变换透镜，并且傅里叶变换是光学地执行的。任何透镜都可以充当傅里叶变换透镜，但是透镜的性能会限制其执行傅里叶变换的精度。本领域技术人员理解如何使用透镜来执行光学傅里叶变换。

全息图计算

在一些实施例中，计算机生成全息图是傅里叶变换全息图，或者简单地是傅里叶全息图或基于傅里叶的全息图，其中通过利用正透镜的傅里叶变换特性在远场中重建图像。傅里叶全息图是通过将重放平面中的所需光场傅里叶变换回透镜平面来计算的。可以使用傅里叶变换来计算计算机生成的傅里叶全息图。

傅里叶变换全息图可以使用诸如Gerchberg-Saxton算法的算法来计算。此外，Gerchberg-Saxton算法可用于从空间域中的纯振幅信息(例如照片)计算傅里叶域中的全息图(即傅里叶变换全息图)。从空间域中的纯振幅信息中有效地“检索”与对象相关的相位信息。在一些实施例中，使用Gerchberg-Saxton算法或其变体从纯振幅信息计算计算机生成全息图。

Gerchberg-Saxton算法考虑了分别在平面A和平面B中的光束的亮度截面I_A(x,y)和I_B(x,y)是已知的并且I_A(x,y)和I_B(x,y)是通过单个傅里叶变换相关的情况。对于给定的亮度截面，找到了分别在平面A和平面B中的相位分布Ψ_A(x,y)和Ψ_B(x,y)的近似值。Gerchberg-Saxton算法通过遵循一个迭代过程找到这个问题的解决方案。更具体地说，Gerchberg-Saxton算法迭代地应用空间和频谱约束，同时在空间域和傅里叶(频谱或频率)域之间重复传输代表I_A(x,y)和I_B(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中相应的计算机生成全息图。该算法是收敛的，并且被布置成产生表示输入图像的全息图。全息图可以是纯振幅全息图、纯相位全息图或完全复合的全息图。

在一些实施例中，使用基于Gerchberg-Saxton算法的算法来计算纯相位全息图，例如在英国专利2,498,170或2,501,112中描述的算法，在此通过引用将其全部并入。然而，这里公开的实施例仅通过示例的方式描述了计算纯相位全息图。在这些实施例中，Gerchberg-Saxton算法检索数据集的傅里叶变换的相位信息Ψ[u,v]，该相位信息产生已知的振幅信息T[x,y]，其中振幅信息T[x,y]代表目标图像(例如照片)。由于幅度和相位在傅里叶变换中本质上是结合在一起的，所以变换后的幅度和相位包含关于计算数据集的精度的有用信息。因此，可以迭代地使用该算法，同时反馈幅度和相位信息。然而，在这些实施例中，只有相位信息Ψ[u,v]被用作全息图，以在图像平面上形成代表目标图像的全息图。全息图是相位值的数据集(例如2D阵列)。

在其他实施例中，基于Gerchberg-Saxton算法的算法被用于计算完全复合全息图。完全复合全息图是具有幅度分量和相位分量的全息图。全息图是包括复合数据值阵列的数据集(例如2D阵列)，其中每个复合数据值包括幅度分量和相位分量。

在一些实施例中，该算法处理复合数据，并且傅里叶变换是复合傅里叶变换。复合数据可以被认为包括(i)实数分量和虚数分量，或者(ii)幅度分量和相位分量。在一些实施例中，复合数据的两个分量在算法的不同阶段被不同地处理。

图2A示出了根据一些实施例的用于计算纯相位全息图的算法的第一次迭代。算法的输入是包括像素或数据值的2D阵列的输入图像210，其中每个像素或数据值是幅度值或振幅值。即，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可以被认为是纯幅度或纯振幅或纯亮度分布。这种输入图像210的一个示例是照片或包括帧的时间序列的一个视频帧。该算法的第一次迭代从数据形成步骤202A开始，包括使用随机相位分布(或随机相位种子)230将随机相位值分配给输入图像的每个像素，以形成起始复合数据集，其中该集合的每个数据元素包括幅度和相位。可以说，起始复合数据集代表空间域中的输入图像。

第一处理块250接收起始复合数据集，并执行复合傅里叶变换以形成傅里叶变换的复合数据集。第二处理块253接收傅里叶变换的复合数据集并输出全息图280A。在一些实施例中，全息图280A是纯相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280A。每个相位值根据可以在将用于“显示”纯相位全息图的空间光调制器的像素上表示的相位级来量化。例如，如果空间光调制器的每个像素提供256个不同的相位级，全息图的每个相位值被量化成256个可能相位级中的一个相位级。全息图280A是代表输入图像的纯相位傅里叶全息图。在其他实施例中，全息图280A是完全复合的全息图，包括从接收的傅里叶变换的复合数据集导出的复合数据值阵列(每个包括振幅分量和相位分量)。在一些实施例中，第二处理块253将每个复合数据值约束为多个允许的复合调制级别之一，以形成全息图280A。约束步骤可以包括将每个复合数据值设置为复合平面中最接近的允许复合调制级别。可以说全息图280A代表频谱域或傅里叶域或频率域中的输入图像。在一些实施例中，算法在这一点上停止。

然而，在其他实施例中，该算法继续，如图2A中的虚线箭头所示。换句话说，图2A中虚线箭头后面的步骤是可选的(即，不是所有实施例都必须的)。

第三处理块256从第二处理块253接收修改后的复合数据集，并执行傅里叶逆变换以形成傅里叶逆变换的复合数据集。可以说，傅里叶逆变换的复合数据集代表空间域中的输入图像。

第四处理块259接收傅里叶逆变换的复合数据集，并提取幅度值分布211A和相位值分布213A。可选地，第四处理块259评估幅度值211A的分布。具体而言，第四处理块259可以将傅里叶逆变换的复合数据集的幅度值分布211A与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值211A分布和输入图像210之间的差异足够小，则第四处理块259可以确定全息图280A是可接受的。也就是说，如果幅度值211A分布和输入图像210之间的差异足够小，则第四处理块259可以确定全息图280A足够精确地代表输入图像210。在一些实施例中，为了比较的目的，忽略傅里叶逆变换的复合数据集的相位值分布213A。应当理解，可以采用任何数量的不同方法来比较幅度值分布211A和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，全息图280A被认为是可接受的。如果第四处理块259确定全息图280A不可接受，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，所执行的算法的迭代次数是预定的或预设的或用户定义的。

图2B代表算法的第二次迭代和算法的任意进一步迭代。前一次迭代的相位值分布213A通过算法的处理块被反馈。先不考虑幅度值分布211A，而优先考虑输入图像210的幅度值分布。在第一次迭代中，数据形成步骤202A通过将输入图像210的幅度值分布与随机相位分布230相结合来形成第一复合数据集。然而，在第二次和随后的迭代中，数据形成步骤202B包括通过将(i)来自算法的前一次迭代的相位值分布213A与(ii)输入图像210的幅度值分布相结合来形成复合数据集。

由图2B中的数据形成步骤202B所形成的复合数据集然后以参考图2A描述的相同方式被处理，以形成第二次迭代全息图280B。因此，这里不再重复对该过程的解释。当已经计算出第二次迭代全息图280B时，该算法可以停止。然而，可以执行任何数量的该算法的进一步迭代。应当理解，只有当需要第四处理块259或者需要进一步迭代时，才需要第三处理块256。输出全息图280B通常随着每次迭代而变得更好。然而在实践中通常达到一个点，在该点上没有观察到可测量的改进，或者执行进一步迭代的正面好处被额外处理时间的负面影响抵消。因此，该算法被描述为迭代和收敛的。

图2C表示第二次和后续迭代的替代实施例。前一次迭代的相位值分布213A通过算法的处理块被反馈。先不考虑幅度值分布211A，而优先考虑幅度值的替代分布。在该替代实施例中，从前一次迭代的幅度值分布211中导出幅度值的替代分布。具体地，处理块258从前一次迭代的幅度值分布211中减去输入图像210的幅度值分布，将该差值缩放增益因子α，并从输入图像210中减去缩放后的差值。这由以下等式数学表示，其中下标文本和数字表示迭代次数：

R_n+1[x,y]＝F'{exp(iψ_n[u,v])}

ψ_n[u,v]＝∠F{h·exp(i∠R_n[x,y])}

h＝T[x,y]-α(|R_n[x,y]|-T[x,y])

其中:

F’是傅里叶逆变换；

F是正向傅里叶变换；

R[x,y]是由第三处理块256输出的复合数据集；

T[x,y]是输入或目标图像；

∠是相位分量；

Ψ是纯相位全息图280B；

η是新的幅度值分布211B；和

α是增益因子。

增益因子α可以是固定的或可变的。在一些实施例中，增益因子α是基于传入目标图像数据的大小和速率来确定的。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。

图2C的实施例在所有其他方面与图2A和图2B的实施例相同。可以说，纯相位全息图Ψ(u,v)包括频域或傅里叶域中的相位分布。

在一些实施例中，通过将透镜数据包括在全息图数据中在计算上来执行傅里叶变换。也就是说，全息图包括表示透镜的数据和表示对象的数据。在这些实施例中，可以省略图1的物理傅里叶变换透镜120。在计算机生成全息图的领域中，如何计算代表透镜的全息数据是已知的。代表透镜的全息数据可以被称为软件透镜。例如，可以通过计算由于其折射率和空间变化的光程长度而由透镜的每个点引起的相位延迟来形成纯相位透镜。例如，凸透镜中心的光程长度大于透镜边缘的光程长度。纯振幅透镜可以由菲涅耳波带片形成。在计算机生成全息图的领域中，已知如何将代表透镜的全息数据与代表对象的全息数据相结合，使得傅里叶变换可以在不需要物理傅里叶透镜的情况下执行。在一些实施例中，透镜数据通过简单的加法如简单的矢量加法与全息图结合。在一些实施例中，物理透镜与软件透镜结合使用来执行傅里叶变换。替代地，在其他实施例中，傅里叶变换透镜被完全省略，使得全息重建发生在远场中。在进一步的实施例中，全息图可以包括光栅数据，即是被布置来执行光栅函数(例如光束操纵)的数据。同样，在计算机生成全息图的领域中知道如何计算这样的全息数据并且知道如何将其与代表对象的全息数据相结合。例如，可以通过为闪耀光栅表面上每个点引起的相位延迟建模来形成纯相位全息光栅。纯振幅全息光栅可以简单地与代表对象的纯振幅全息图叠加，以提供纯振幅全息图的角度操纵。

在一些实施例中，傅里叶变换由物理傅里叶变换透镜和软件透镜共同执行。也就是说，有助于傅里叶变换的一些光功率(optical power)由软件透镜提供，而有助于傅里叶变换的其余光功率由一个或多个物理光学器件提供。

在一些实施例中，提供了实时引擎，该实时引擎被布置成接收图像数据并使用该算法实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图是预先计算的，存储在计算机存储器中，并且根据需要被调用以显示在SLM上。也就是说，在一些实施例中，提供了预定全息图的储存库。

实施例仅作为示例涉及傅里叶全息术和Gerchberg-Saxton型算法。本公开同样适用于菲涅耳全息术和菲涅耳全息图，它们可以通过其他的技术计算，例如基于点云方法的技术。

光调制

空间光调制器可用于显示计算机生成全息图。如果全息图是纯相位全息图，则需要调制相位的空间光调制器。如果全息图是完全复合的全息图，可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。

在一些实施例中，空间光调制器的光调制元件(即，像素)是包含液晶的多个盒。也就是说，在一些实施例中，空间光调制器是液晶设备，其中光学活性部件是液晶。每个液晶盒被配置成选择性地提供多个光调制级别。也就是说，每个液晶盒在任一时间被配置成在从多个可能的光调制级别中选择的一个光调制级别下操作。每个液晶盒可动态地重新配置成与多个光调制级别不同的光调制级别。在一些实施例中，空间光调制器是反射式硅基液晶(LCOS)空间光调制器，但是本公开并不限制于这种类型的空间光调制器。

LCOS设备在小孔径(例如几厘米宽)内提供密集的光调制元件阵列或像素阵列。像素通常约为10微米或更小，这样会得到几度的衍射角，这意味着光学系统可以是紧凑的。这与其他液晶设备的大孔径相比，更容易充分照射LCOS SLM的小孔径。LCOS设备通常是反射式的，这意味着驱动LCOS SLM的像素的电路可以埋在反射表面之下。这样得到较高的孔径比。换句话说，像素密集排列意味着像素之间几乎没有死空间。这是有利的，因为它减少了重放场中的光学噪声。LCOS SLM使用硅背板，其优点是像素是光学平坦的。这对相位调制设备尤其重要。

下面参考图3，仅通过示例的方式描述合适的LCOS SLM。使用单晶硅基板302形成LCOS设备。它具有方形平面铝电极301的2D阵列，由间隙301a隔开，布置在基板的上表面上。每个电极301可以通过埋在基板302中的电路302a寻址。每个电极形成各自的平面镜。取向层303设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置在例如玻璃的平面透明层306上。例如ITO的单个透明电极307设置在透明层306和第二取向层305之间。

每个方形电极301与透明电极307的覆盖域和中间液晶材料一起限定可控相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学活性的总像素的百分比。通过相对于透明电极307控制施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射到其上的光提供可变延迟。其效果是为波前提供纯相位调制，即没有振幅效应发生。

所描述的LCOS SLM输出反射的空间调制光。反射式LCOS SLM的一个优点在于信号线、栅极线和晶体管位于镜面之下，这样得到高填充因子(通常大于90％)和高分辨率。使用反射式LCOS空间光调制器的另外的个优点是，液晶层的厚度可以是使用透射式设备时所需厚度的一半。这大大提高了液晶的切换速度(这是投影运动视频图像的关键优点)。然而，本公开的教导同样可以使用透射式LCOS SLM来实现。

从源图像生成多个单色全息图

以下实施例涉及特定技术，其可以包括：(1)从目标图像计算源图像；(2)从源图像中确定多个单色次级图像；和(3)计算对应于每个次级图像的全息图。根据这些技术，计算与目标图像相对应的多个全息图。在一些实施例中(例如，目标图像具有足够高的分辨率)，源图像与目标图像相同。步骤1可能包括放大。在所描述的实施例中，源图像具有第一颜色分量和第二颜色分量。在步骤2中，通过使第一棋盘图案中的交替像素无效而从源图像的第一颜色分量形成第一颜色次级图像，并且通过使第二棋盘图案中的交替像素无效而从源图像的第二颜色分量形成第二颜色次级图像，第二棋盘图案与第一棋盘图案相反。

根据常规技术，计算与目标图像相对应的单个全息图。全息图以可以是HDMI帧的数据帧的形式被发送到空间光调制器的显示引擎。为图像确定的全息图的大小(即，全息图像素的数量)可以小于空间光调制器的大小(即，SLM像素的数量)。因此，在显示时，全息图可以仅占据SLM的表面区域的一部分(即，仅一些SLM像素)。在这种情况下，可以实现平铺引擎以根据平铺方案将全息图写入SLM的像素，以便使用更多的SLM像素。使用选择的和/或多种不同的平铺方案来显示全息图可以改善全息重建的分辨率。

在一些实施例中，用于投影的目标图像被“放大”以形成具有增加数量的像素的源图像。因此，提高了分辨率(就像素数数量而言)。图像的放大可以将像素数增加2的幂，因为像素数在x和y方向上都加倍。例如，图像可以在x和y方向上放大4。例如，每个单独的像素可以在放大图像中以4×4像素阵列(即具有相同像素值)被复制。结果，包括n×m像素阵列的图像被“放大”或“过度采样”以获得形成图像的过度采样或放大版本的4n×4m像素阵列。如下所述，过度采样/放大的图像可以用作源图像。可以使用更复杂的放大目标图像的方法。

使用棋盘化对源图像的单色分量进行子采样

图4A示出了根据实施例的用于根据从源图像导出的相应的第一和第二颜色次级图像来确定一对第一和第二单色全息图HR和HG的示例技术。图4A示出了示例性源图像410，其包括图像像素(P11至P48)的4×8阵列。源图像410具有第一颜色分量和第二颜色分量。特别地，源图像410的第一颜色分量包括第一颜色的子像素(例如红色子像素R11至R48)，源图像410的第二颜色分量包括第二颜色的子像素(例如，绿色子像素G11至G48)。

参照图4A，示例性源图像410被处理(例如，通过图像处理引擎)，以基于“棋盘”布局或图案生成一对单色次级图像420、430。特别地，以第一棋盘图案使用源图像的每隔一个的第一颜色的图像像素(例如，每隔一个红色子像素)并且用“零”填充其余像素，来生成第一颜色次级图像420。可以说，通过根据第一棋盘图案使交替像素值无效，从源图像410中的第一颜色的图像像素生成第一颜色次级图像420。如本领域技术人员将理解的，使像素或像素值无效的过程意味着将像素设置为黑色或零。因此，第一颜色次级图像420在位置(1，1)，(1，3)…(2，2)，(2，4)…(3，1)，(3，3)…和(4，2)…(4，8)中包括来自源图像410的第一颜色的图像像素。以第二棋盘图案使用源图像410中每隔一个的第二颜色的图像像素(例如，每隔一个绿色子像素)并用“零”填充其余像素，从而生成第二颜色次级图像430，该第二棋盘图案与第一个棋盘图案相反(即，是第一棋盘图案的反转或与第一棋盘图案互补)。可以说，通过根据第二棋盘图案使交替像素值无效，从源图像410的第二颜色的图像像素生成第二颜色次级图像430。因此，第二颜色次级图像430在位置(1，2)，(1，4)…(2，1)，(2、3)…(3，2)，(3，4)…和(4，1)…(4，7)处包括来自源图像410的第二颜色的图像像素。然后对第一颜色次级图像420(例如，通过全息图引擎)进行处理以确定相对应的第一颜色全息图(HR)425，并且类似地，对第二颜色次级图像430进行处理以确定相对应的第二颜色全息图(HG)435。可以使用任何合适的方法来计算全息图，例如上述算法。

图4B示出了根据实施例的用于从源图像导出的相应的第一和第二颜色次级图像确定一对另外的第一和第二颜色全息图H_R'和H_G'的示例。图4B的示例技术可以与图4A的示例技术结合使用。特别地，可以使用相同的源图像来执行图4A和4B的示例技术。使用图4A的示例技术显示从源图像导出的一对第一和第二单色全息图HR和HG，并且随后使用图4B的示例技术显示从同一源图像导出的一对另外的第一和第二单色全息图H_R'和H_G'可能导致本文所述的颜色混合效果。

参照图4B，包括图像像素(P11至P48)的4×8阵列的源图像410被处理(例如，由图像处理引擎处理)以基于图4A中的棋盘图案生成一对另外的次级图像420'，430'。然而，在图4B中，用于导出另外的第一和第二颜色次级图像420'，430'中的每一个的棋盘图案被反转。由此，以第二棋盘图案使用源图像的每隔一个的第一颜色的图像像素(例如，每隔一个红色子像素)并且使其余像素无效来生成另外的第一颜色次级图像420'。因此，另外的第一颜色次级图像420'在位置(1，2)，(1，4)…(2，1)，(2，3)…(3，2)，(3，4)…和(4，1)…(4，7)处包括来自源图像410的第一颜色的图像像素。以第一棋盘图案使用源图像410的每隔一个的第二颜色的图像像素(例如，每隔一个绿色子像素)并且使其余像素无效来生成另外的第二颜色次级图像430'。因此，另外的第二颜色次级图像430'在位置(1，1)，(1，3)……(2，2)，(2，4)……(3，1)，(3，3)…和(4，2)…(4，8)处包括来自源图像410的第二颜色的图像像素。然后，另外的第一颜色次级图像420'被处理(例如，通过全息图引擎处理)以确定对应的另外的第一颜色全息图(HR)425'，并且类似地，另外的的第二颜色次级图像430'被处理以确定对应的另外的第二颜色全息图(HG)435'。可以使用任何合适的方法来计算全息图，例如上述算法。

图5示出了根据实施例的通过显示使用图4A的示例技术确定的第一颜色全息图和第二颜色全息图HR和HG而产生的全息重建。

特别地，图5示出了由与第一棋盘图案的第一颜色次级图像420相对应的第一颜色全息图425的第一颜色全息重建510形成的第一颜色的像点的子集。图5示出了由与第二棋盘图案的第二颜色次级图像430相对应的第二颜色全息图435的第二颜色全息重建520形成的第二颜色的像点的子集，如上所述，第二棋盘图案与第一棋盘图案相反。图5还示出了通过在人眼的整合时间内形成第一和第二颜色全息重建510、520而向观看者呈现的组合全息重建530。

通过使用棋盘化方法，通过减少全息图像素的数量，图5所示的每个单独的单色全息重建510、520的像点(或“图像像素”)之间的间隔增加因数为两倍。可以说，每个全息重建的空间分辨率(重放场中像点的密度)降低因数为一半。这是有利的，因为它有助于防止相同颜色的相邻像点之间的任何重叠(即，它减少或防止了“像素串扰”或“像素干扰”)。如上所述，相邻像点或图像像素的重叠会产生干扰，该干扰对于观看者来说是颗粒/噪声。

在所示的实施例中，第一颜色全息重建510可以与第二颜色全息重建520基本同时形成。这具有多个优点。具体来说，如果第一和第二颜色全息重建510、520基本上同时形成，则第二颜色的图像像素填充第一颜色的图像像素之间的间隙，从而减轻了由于棋盘化造成的空间分辨率降低的缺点。另外，在接收下一个源图像进行处理之前，更多的时间可用于另外的显示事件。例如，另外的显示事件可以为全息图使用不同的平铺方案，以提高全息重建的分辨率。另外或可替代地，另外的显示事件可以显示另外的第一和第二颜色全息重建510'，520'，以提供下面参考图6描述的颜色混合效果。

因此，在实施例中，第一和第二颜色全息图425、435可以顺序地或基本同时地被写入SLM并由此显示在SLM上。在将第一和第二颜色全息图425、435依次写入SLM的情况下，以一速度显示第一和第二颜色全息图，该速度足够快以使得在人类的眼睛整合时间内形成对应的全息重建510、520。因此，观看者观察在其上形成全息重建的重放场，看到由第一和第二颜色形成的单个投影图像，而不会由于棋盘化而降低空间分辨率。

图6示出了根据实施例的通过显示使用图4B的示例技术确定的另外的第一和第二颜色全息图H_R'，H_G'，而产生的全息重建，该全息重建相当于图5所示的全息图重建。特别地，如上所述，与用于生成图4A中的相应的第一和第二颜色次级图像420，430的棋盘图案相比，用于生成图4B中相应的另外的第一和第二颜色次级图像420'，430'的棋盘图案是反转的。

因此，图6示出了与第二棋盘图案的另外的第一颜色次级图像420'对应的另外的第一颜色全息图425'的另外的第一颜色全息重建610的第一颜色的像点的子集。图6示出了由与第一棋盘图案的另外的第二颜色次级图像430'相对应的另外的第二颜色全息图435'的另外的第二颜色全息重建620形成的第二颜色的像点的子集。图6还示出了通过在人眼的整合时间内形成另外的第一和第二颜色全息重建610、620而向观看者呈现的组合的全息重建630。

在实施例中，另外的第一颜色全息图425'和第二颜色全息图435'可以被顺序地或基本同时地写入SLM并由此显示在SLM上。因此，观看者观察其上形成有全息重建610、620的重放场，看到由第一和第二颜色形成的单个投影图像，而不会由于棋盘化而降低空间分辨率。

对应于成对的第一和第二颜色全息图的图5和图6的全息重建可以依次被形成(即一个接一个)。可以说，图5和图6的全息重建可以是时间交错的。因此，在不同的时间显示第一颜色全息重建510的像点和另外的第一颜色全息重建610的像点，使得相邻的第一颜色的像点不会相互干扰。类似地，在不同的时间显示第二颜色全息重建520的像点和另外的第二颜色全息重建660的像点，使得相邻的第二颜色的像点不会相互干扰。因此，减少了像素干扰。

图像处理引擎形成第一对次级图像，且然后形成第二对次级图像。每对次级图像包括从第一颜色分量得出的次级图像和从第二颜色分量得出的次级图像。根据棋盘图案将每个次级图像的每隔一个像素无效。一对的两个次级图像是相反的，只要无效像素的位置恰好相反/互补即可。因此，一对次级图像的全息图的一个全息重建的像点填充了该对的另一个的次级图像的全息图的全息重建的像点的间隙。这减轻了由于棋盘化而导致的空间分辨率降低的缺点。此外，在形成第一对第二次级图像之后接着第二对次级图像的过程形成了具有对应于源图像的第一和第二颜色分量的所有像素的第一和第二颜色像点的相应全息重建。此外，形成第一对次级图像的全息图的全息重建然后形成第二对次级图像的全息图的全息重建，在每个像点位置一个接一个地显示第一和第二颜色的像点，从而产生彩色混合效果。发明人已经发现，这改善了感知的全色图像分辨率。

在一些实施例中，显示引擎可以被布置成多次显示每对互补的次级图像。每对次级图像的显示可以被视为“显示事件”，包括将对应的全息图写入SLM。显示引擎可以被布置成在(1)一起形成第一和第二颜色全息重建(图5)、和(2)一起形成另外的第一和第二颜色全息重建(图6)之间交替。实际上，如图5和图6所示，第一颜色光点和第二颜色光点的位置被多次反转。第一颜色光点和第二颜色光点的位置可以在视频速率帧的时间期间被多次反转。每个共形成事件(即显示事件)可以被认为是图像帧的子帧。在接收用于处理和全息投影的下一个源图像之前，即在下一个帧之前，可以将光点的位置反转多次。

因此，通过基本上同时形成第一和第二颜色全息重建510、520，并且基本上同时形成另外的第一和第二颜色全息重建610、620，可以在一个帧时间内执行更多的显示事件。如本文所述，由于更多的显示事件是可能的，所以可以实现颜色混合效果和改善的彩色图像分辨率。

在重放平面上，图5的第一和第二颜色全息重建510、520以及图6的另外的第一和第二颜色全息重建610、620的形成可以在人眼的整合时间内。

如上所述，当图5的第一和第二颜色全息重建510、520与图6的另外的第一和第二颜色全息重建610、620被时间交错时，发明人发现人类观看者在每个单色像点位置处由于颜色混合效果感知到两种颜色的像点。即，即使在每个像点位置上只有单色图像内容，在每个像点位置上看起来也似乎具有第一颜色内容和第二颜色内容(由图5和图6的组合全息重建530和630示出)。发明人发现，交换棋盘化图案的过程因此显着提高了感知的图像质量，特别是感知的分辨率。因此，可以保持棋盘化的优势，即减少相同颜色的相邻像点之间的干扰，而不会降低所感知的分辨率。可以说，发明人已经设计出一种方案，其中由于使像素值无效而损失的分辨率被完全恢复。这可以通过使用相反的和交替的棋盘图案以使像素值无效来实现。

图像放大

在一些实施例中，在形成每个单色次级图像之前，增加源图像的像素数量(例如，通过使用图像处理引擎进行处理)。例如，目标图像可以被“放大”以形成具有增加的像素数量的源图像。可以使用任何合适的放大技术。放大使得重放场中的第一颜色像点和第二颜色像点的数量可以根据应用需求而变化。例如，可以改变第一颜色像点和第二颜色像点的数量，以便优化重放场中的第一颜色像点的间隔和第二颜色像点的间隔。

特别地，可以在形成次级图像之前放大源图像(即，增加像素数量)，以便增加将产生对应的全息重建的像点的数量。因此，次级图像的像素数量不一定是原始源图像的像素数量的一半，因为在计算次级图像之前，源图像的像素数量可能会增加(例如增加25％)。因此，可以增加每个单独的全息重建中的像点的密度，以便改善感知的图像质量。放大的过程可以用于确保像点尽可能紧密地聚集，而在相邻像点之间没有干扰，以使感知的图像质量最大化。

图像处理引擎被布置成接收另外的源图像并且针对每个新的源图像交换第一棋盘图案和第二棋盘图案。每个源图像可以是形成用于投影的图像帧的视频速率序列的多个图像中的一个图像。在其他实施例中，每次接收和处理新的源图像时都可以反转棋盘化图案，而不必(或此外还)相对于同一图像可能发生的子帧级别的反转。可以说，每帧和/或每个子帧都反转了棋盘化方案。

还公开了一种全息投影的方法。该方法的第一步包括接收用于投影的源图像。源图像包括第一颜色分量和第二颜色分量。第二步骤包括通过根据第一棋盘图案使第一颜色分量的交替像素值无效来从第一颜色分量形成第一颜色次级图像。第三步骤包括通过根据第二棋盘图案使第二颜色分量的交替像素值无效来从第二颜色分量形成第二颜色次级图像。第一棋盘图案与第二棋盘图案相反。第四步骤包括确定与第一颜色次级图像相对应的第一颜色全息图和与第二颜色次级图像相对应的第二颜色全息图。第五步骤包括从第一颜色全息图形成第一颜色全息重建和从第二颜色全息图形成第二颜色全息重建(例如，一起形成)。可以按顺序执行第一至第五步骤。

该方法可以进一步包括以下步骤：根据第二棋盘图案从第一颜色分量形成另外的第一颜色次级图像，以及根据第一棋盘图案从第二颜色分量形成另外的第二颜色次级图像。可以分别从另外的第一颜色次级图像和另外的第二颜色次级图像形成另外的第一颜色全息图和另外的第二颜色全息图。可以分别从另外的第一颜色全息图和另外的第二颜色全息图形成(例如，一起形成)另外的第一颜色全息重建和另外的第二颜色全息重建。

如本领域技术人员将理解的，尽管图4A和图4B示出了从源图像生成两个次级图像，但是有可能生成三个或更多个次级图像并计算对应的全息图。这可以通过增加源图像的采样图像像素(或像素组/像素簇)之间的间隔(未采样像素数)来使用“棋盘化”来实现，从而增加棋盘图案的数量。例如，可以使用三个棋盘图案(每个棋盘图案对每行中的每三个像素进行采样)以从源图像生成三个单色次级图像，依此类推。在这种情况下，可以生成并显示三个单色全息图，以基本同时地形成对应的单色全息重建。具有互补棋盘图案的单色全息图的三元组可以在时间上交错以获得上述优点。因此，可以投影全色图像。

在一些实施例中，提供了一种显示装置，例如平视显示器，其包括全息投影仪和光学中继系统。光学中继系统被布置成形成每个全息重建的虚像。在一些实施例中，目标图像包括在目标图像的第一区域中的近场图像内容和在目标图像的第二区域中的远场图像内容。全息重建的近场内容的虚像被形成为距观看平面(例如，眼盒(eye-box))第一虚像距离，并且全息重建的远场内容的虚像被形成为距观看平面第二虚像距离，其中第二虚像距离大于第一虚像距离。在一些实施例中，多个全息图中的一个全息图对应于将在近场中向用户显示的目标图像的图像内容(例如速度信息)，并且多个全息图中的另一个全息图对应于将被投影到远场的目标图像的图像内容(例如，地标指示器或导航指示器)。远场的图像内容的刷新频率可能比近场的图像内容刷新频率更高，反之亦然。

本文公开的方法提供了多个自由度，并且因此提供了更加灵活的全息投影仪。例如，可以动态地改变定义如何从源图像导出次级图像的技术。

系统图

图7是示出根据实施例的全息系统的示意图。特别地，全息系统包括图像处理引擎950，全息图引擎960和显示引擎970。图像处理引擎950接收包括源图像的输入图像(例如，来自图像源)。源图像可以是目标图像的放大版本，或者图像处理引擎950可以如本文所述执行放大。在所示的布置中，源图像包括两个颜色分量。图像处理引擎950被布置成根据定义的方案从源图像生成多个单色次级图像，如本文所述。特别地，图像处理引擎950例如通过使用图4A或4B的示例技术的棋盘化生成第一颜色次级图像420和第二颜色次级图像430。图像处理引擎950可以接收控制信号或以其他方式确定用于生成次级图像420、430的方案。每个次级图像420、430包括源图像的单色分量的像素。图像处理引擎950将第一和第二颜色次级图像420、430传递给全息图引擎960。

图像处理引擎950可以根据控制信号生成第一和第二颜色次级图像。例如，控制信号可以动态地控制次级图像的刷新速率并且可以动态地控制棋盘化图案。可以基于外部因素确定并由控制信号指示其他动态可控制的特征和参数，例如平铺方案。全息系统可以接收与这样的因素有关的控制信号，或者可以包括用于确定这样的因素并由此产生这样的控制信号的模块，这是本领域技术人员可以理解的。

全息图引擎960布置成确定与每个单色次级图像420、430相对应的单色全息图，如本文所述。特别地，全息图引擎960确定与第一颜色次级图像420相对应的第一颜色全息图425和与第二颜色次级图像430相对应的(互补的)第二颜色全息图435。全息图引擎960将第一和第二颜色全息图425、435传递给显示引擎970。显示引擎970被设置成在相应的第一和第二SLM 940、940'上显示第一和第二颜色全息图425、435，以在公共重放平面925上形成相应的第一和第二全息重建，如图8所示并在下面进行说明。可以说图像处理引擎950、全息图引擎960和显示引擎970包括用于源图像的第一颜色分量的第一颜色通道和用于源图像的第二颜色分量的第二颜色通道。第一颜色通道从源图像的第一颜色分量产生第一颜色次级图像420，确定第一颜色全息图425并形成其第一颜色全息重建，如图7所示。类似地，第二颜色通道从源图像的第二颜色分量产生第二颜色次级图像430，确定第二颜色全息图435并形成其第二颜色全息重建，如图7所示。

图8是示出根据实施例显示一对单色全息图的图7中全息系统的显示引擎970的示意图。

如图8所示，显示引擎970包括布置成显示从全息图引擎960接收的第一颜色全息图425的第一颜色通道和布置成显示从全息图引擎960接收的第二颜色全息图435的第二颜色通道。第一颜色通道包括第一平铺引擎972、第一软件光学组合器974和第一SLM 940，第一激光器910用第一颜色的光照射第一SLM 940。第二颜色通道包括第二平铺引擎972'、第二软件光学组合器974'和第二SLM 940'，第二激光器910'用第二颜色的光照射第二SLM940'。

第一颜色通道接收第一颜色全息图425，并且第一平铺引擎972根据平铺方案来平铺第一颜色全息图425。特别地，平铺引擎970可以接收控制信号以确定平铺方案，或者可以另外基于全息图确定用于平铺的平铺方案。第一软件光学组合器974可以可选地添加相位斜坡函数(软件光栅函数也称为软件透镜)以平移重放场在重放平面上的位置。第一SLM940从第一颜色通道接收驱动信号以显示第一颜色全息图425，并由第一激光器410用第一颜色的光照射以在公共重放平面925上形成第一颜色全息重建。第二颜色通道接收第二颜色全息图435并且第二平铺引擎972'根据平铺方案对第二颜色全息图435进行平铺。第二软件光学组合器974'可以可选地添加相位斜坡函数(软件光栅函数也称为软件透镜)以平移重放场在重放平面上的位置。第二SLM 940'从第二颜色通道接收驱动信号以显示第二颜色全息图435，并由第二激光器410'用第二颜色的光照射以在公共重放平面925上形成第二颜色全息重建。因此，如本文所述，对于每个单色全息图425、435，显示引擎970的相应颜色通道被布置成向相应的SLM 940、940'输出驱动信号，以在公共重放平面925上显示全息图425、435。显示引擎990可以输出驱动信号作为显示事件。对于每个显示事件，第一SLM 940和第二SLM 940'基本上同时分别显示成对的第一颜色全息图425和第二颜色全息图435。显示引擎970可以输出驱动信号序列作为单个源图像的多个显示事件。对于每个连续的显示事件，SLM 940、940'可以一个接一个地显示不同的成对的互补全息图，例如图5中的一对单色全息图和图6中的一对单色全息图。驱动信号序列可能导致SLM 940、940'在显示不同的成对全息图之间重复交替。因此，多个显示事件可以在单个源图像的图像帧时间期间显示相同的成对全息图。

如本领域技术人员将理解的，图7和图8的全息系统的上述特征可以以软件、固件或硬件及其任意组合来实现。

附加功能

实施例仅通过示例的方式涉及电激活的LCOS空间光调制器。例如，本公开的教导可以等同地在能够显示根据本公开的计算机生成全息图的任何空间光调制器上实现，诸如任何电激活的SLM、光激活的SLM、数字微镜设备或微机电设备。

在一些实施例中，光源是诸如激光二极管的激光器。在一些实施例中，光接收表面是漫射表面或屏幕，例如漫射器。本公开的全息投影系统可以用于提供改进的平视显示器(HUD)或头戴式显示器。在一些实施例中，提供了一种交通工具，其包括安装在该交通工具中以提供HUD的全息投影系统。该交通可以是诸如汽车、卡车，厢式货车，货车，摩托车，火车，飞机，船或轮船的机动交通工具。

全息重建的质量可能受到所谓的零阶问题的影响，这是使用像素化空间光调制器的衍射性质的结果。这样的零阶光可以被认为是“噪声”，并且包括例如镜面反射光以及来自SLM的其他不需要的光。

在傅立叶全息术的示例中，这种“噪声”集中在傅立叶透镜的焦点上，从而导致全息重建中心处出现亮点。零阶光可以简单地被遮挡掉，但是这意味着用暗点代替亮点。一些实施例包括角度选择滤光器来仅去除零阶的准直射线。实施例还包括在欧洲专利2,030,072中描述的管理零阶的方法，该专利通过引用整体结合于此。

全息重放场的大小(即全息重建的物理或空间范围)由空间光调制器的像素间距(即空间光调制器的相邻光调制元件或像素之间的距离)确定。可以在重放场上形成的最小特征可以被称为“分辨率元素”、“像点”或“图像像素”。通常，空间光调制器的每个像素具有四边形形状。四边形孔径的傅立叶变换是辛格(Sinc)函数，因此每个图像像素都是辛格函数。更具体地，重放场上的每个图像像素的空间亮度分布是辛格函数。每个辛格函数可以被认为包括一个峰亮度的初级衍射阶和一系列沿径向远离初级阶的递减亮度的较高衍射阶。每个辛格函数的大小(即每个辛格函数的物理或空间范围)由空间光调制器的大小确定(即由光调制元件的阵列或空间光调制器像素的阵列形成的孔径的物理或空间范围)。具体地，由光调制像素的阵列形成的孔径越大，图像像素越小。通常希望具有小的图像像素。

在一些实施例中，实施“平铺”技术以提高图像质量。具体地，一些实施例实施平铺技术以最小化图像像素的尺寸，同时最大化进入全息重建的信号内容的量。

在一些实施例中，写入空间光调制器的全息图案包括至少一个完整的平铺块(即，完整的全息图)和平铺块的至少一小部分(即，全息图的像素的连续子集)。

全息重建是在空间光调制器定义的整个窗口的第零或初级衍射阶内创建的。优选的是，第一阶和后续阶被移位得足够远，从而不与图像重叠，并且因此可以使用空间滤光器来阻挡它们。

在实施例中，全息重建是彩色的。在本文公开的示例中，三个不同颜色的光源和三个对应的SLM用于提供复合颜色。这些示例可以被称为空间分离的颜色“SSC”。在本公开包含的变体中，每种颜色的不同全息图被显示在相同SLM的不同区域上，然后组合以形成合成彩色图像。然而，技术人员将理解，本公开的至少一些装置和方法同样可应用于提供合成彩色全息图像的其他方法。

这些方法之一被称为帧顺序颜色，“FSC”。在示例性FSC系统中，使用了三个激光器(红色，绿色和蓝色)，并且每个激光器在单个SLM处连续发射，以产生视频的每一帧。这些颜色以足够快的速率循环(红色，绿色，蓝色，红色，绿色，蓝色等)，以使人类观看者可以从由三个激光形成的图像组合中看到多色图像。因此，每个全息图都是特定于颜色的。例如，在每秒25帧的视频中，通过发射红色激光1/75秒来产生第一帧，然后发射绿色激光1/75秒，最后发射蓝色激光1/75秒。然后产生下一个帧，从红色激光开始，依此类推。

FSC方法的优点是，整个SLM用于每种颜色。这意味着所产生的三个颜色图像的质量不会受到影响，因为SLM的所有像素都用于每个颜色图像。然而，FSC方法的缺点在于，由于每个激光器仅使用三分之一的时间，因此所产生的整体图像将不如通过SSC方法所产生的对应图像明亮，而是减弱约1/3倍。可以通过过度驱动激光器或使用更强大的激光器来解决此缺陷，但这将需要使用更多的功率，会带来更高的成本，并使系统的紧凑性降低。

SSC方法的优点是，由于同时发射所有三个激光，因此图像更亮。但是，如果由于空间限制而只需要使用一个SLM，则SLM的表面区域可以分为三个部分，实际上作为三个独立的SLM。这样做的缺点是，由于每个单色图像可用的SLM表面区域的减少，每个单色图像的质量都会降低。因此，多色图像的质量相应降低。SLM可用表面区域的减少意味着SLM上可以使用的像素更少，从而降低了图像质量。由于降低了分辨率，因此降低了图像质量。实施例利用在英国专利2,496,108中公开的改进的SSC技术，该专利通过引用整体并入本文。

一些实施例仅通过示例的方式描述了二维全息重建。在其他实施例中，全息重建是3D全息重建。即，在一些实施例中，每个计算机生成全息图形成3D全息重建。

本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括被布置成临时或永久地存储数据的介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器，闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任何介质或多种介质的组合，以使得当指令被一个或多个处理器执行时，使得该机器全部或部分执行本文所述的任何一种或多种方法。

术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于固态存储器芯片、光盘、磁盘或其任何合适组合的示例形式的一个或多个有形和非暂时性数据存储库(例如，数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传达。这样的载体介质的示例包括瞬态介质(例如，传达指令的传播信号)。

对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。