阅读说明：本技术 交叉渲染多视图摄影机、系统、及方法 (Cross-rendering multi-view camera, system, and method ) 是由 D.A.法塔尔 R.达斯 E.A.达奥 于 2018-12-08 设计创作，主要内容包括：一种交叉渲染多视图摄影机,使用从场景的视差图所产生的合成图像提供该场景的多视图图像。该交叉渲染多视图摄影机包括：沿着第一轴的多个摄影机,且配置以捕获该场景的多个图像。该交叉渲染多视图摄影机进一步包括：图像合成器,配置为使用由该多个图像确定的该视差图产生合成图像,其中,该合成图像表示与该第一轴偏离的第二轴上的虚拟摄影机的位置对应的视角中的该场景的视图。一种交叉渲染多视图系统进一步包括：多视图显示器,配置以显示该多视图图像。一种交叉渲染多视图成像的方法包括：捕获该场景的该多个图像；以及使用该视差图产生该合成图像。(A cross-rendering multi-view camera provides a multi-view image of a scene using a composite image generated from a disparity map of the scene. The cross-rendering multiview camera comprises: a plurality of cameras along a first axis and configured to capture a plurality of images of the scene. The cross-rendering multiview camera further comprises: an image synthesizer configured to generate a synthesized image using the disparity map determined from the plurality of images, wherein the synthesized image represents a view of the scene in a perspective corresponding to a position of the virtual camera on a second axis that is offset from the first axis. A cross-rendering multiview system further comprising: a multi-view display configured to display the multi-view image. A method of cross-rendering multi-view imaging comprising: capturing the plurality of images of the scene; and generating the composite image using the disparity map.)

具体实施方式

根据本文描述的原理的实施例和示例提供多视图或“全像式(holographic)”成像，其可以对应至多视图显示器或与多视图显示器结合使用。具体来说，根据本文所描述的原理的各种实施例，场景的多视图成像可以由沿第一轴布置的多个摄影机来提供。多个摄影机配置为捕获场景的多个图像。然后，采用图像合成以产生合成图像，所述合成图像表示从第一轴偏移的第二轴上的虚拟摄影机的位置对应的视角(perspective)中的场景的视图(view)。根据各种实施例，通过来自场景的视差图或深度图的图像合成来生成合成图像。根据各种实施例，随后可以提供并显示包括合成图像的多视图图像。多视图图像可以进一步包括多个图像中的图像。可以在多视图显示器上查看一个或多个合成图像和多个图像中的一个或多个图像作为多视图图像。此外，在多视图显示器上观看多视图图像可以使得观看者能够在多视图显示器上观看时，以不同视深(apparent depth)感知在实体环境内的场景的多视图图像内的元素，其包含由摄影机捕获的多个图像中不存在的场景的视角视图。藉此，根据一些实施例，根据本文描述的原理的实施例的交叉渲染多视图摄影机可以产生多视图图像，当在多视图显示器上观看时，所述多视图图像可以为观看者提供比单独使用多个摄影机时更“完整”的三维(3D)观看体验。

在本文中，“二维显示器”或“2D显示器”被定义为配置以提供显示图像的显示器，不管显示图像是在2D显示器上的什么方向观看(即，在预定视角内或在2D显示器的预定范围内)，其显示图像的视图基本上是相同的。智能型手机和计算机屏幕中可能会有的液晶显示器(LCD)是2D显示器的示例。与此相反“，多视图显示器”定义为配置以在不同视图方向(view direction)上或从不同视图方向提供多视图图像的不同视图的显示器或显示系统。具体来说，不同视图可以表示多视图图像的场景或物体的不同视角视图。在一些情况下，多视图显示器也可以称为三维(3D)显示器，例如，在同时观看多视图图像的两个不同视图时，提供观看三维(3D)图像的感觉。采用根据与本文描述的原理一致的各种实施例的可适用于捕获与显示多视图图像的多视图显示器与多视图系统的用途，包括但不限于移动电话(例如，智能型手机)、手表、平板计算机、行动计算机(例如，笔记本电脑)、个人计算机、计算机屏幕、汽车显示控制面板、摄影机显示器、以及各种其他行动装置、以及基本上不可移动的显示器应用和装置。

图1A是根据与在此所描述的原理一致的示例说明一多视图显示器10的立体图。如图所示，多视图显示器10包括屏幕12，观看所述屏幕12以看见多视图图像。多视图显示器10在相对于屏幕12的不同视图方向16上提供多视图图像的不同视图14。视图方向16如箭头所示，从屏幕12以各种不同的主要角度方向延伸。不同视图14在由箭头表示视图方向16的终点处被显示为阴影多边形框框，并且仅显示四个视图14和四个视图方向16，这全都是作为示例而非限制。应注意，虽然不同的视图14在图1A中被显示为在屏幕上方，但是当多视图图像被显示在多视图显示器10上时，视图14实际上出现在屏幕12上或附近。在屏幕12上方描绘视图14仅是为简化说明，并且意图表示从对应于特定视图14的相应的视图方向16观看多视图显示器10。此外，多视图显示器10的视图14和对应的视图方向16通常以特定布置方式安排或布置，所述布置方式由多视图显示器10的实施方法所决定。举例而言，如下文进一步所述，视图14和对应的观察方向16可以矩形、正方形、圆形、六边形等方式排列，以多视图显示器的特定实施方法所决定。

根据本文的定义，视图方向或等效地具有与多视图显示器的视图方向对应的方向的光束，通常具有由角分量{θ,φ}给出的主要角度方向。角分量θ在本文中被称为光束的“仰角分量”或“仰角”。角分量φ被称为光束的“方位角分量”或“方位角”。根据定义，仰角θ是垂直平面(例如，垂直于多视图显示器屏幕的平面)中的角度，而方位角φ是在水平面(例如，平行于多视图显示器屏幕的平面)中的角度。

图1B是根据与在此所描述的原理的示例说明具有与多视图显示器的视图方向相对应的特定主要角度方向的光束20的角分量{θ,φ}的示意图。此外，根据本文的定义，光束20从特定点被发射或发出。也就是说，根据定义，光束20具有与多视图显示器内的特定原点相关联的中心射线。图1B还显示原点O的光束(或视图方向)。

在本文中，在“多视图图像”和“多视图显示器”中使用的“多视图(multiview)”一词定义为在多个视图之中的视图之间表示不同视角或包含角度差异的多个视图。此外，根据定义，术语“多视图”明确地包含多于两个不同视图(即，最少三个视图并且通常多于三个视图)。因此，举例而言，这里采用的“多视图”明确地与仅包含两个不同视图以表示场景的立体视图有所区别。然而，应注意的是，虽然多视图图像和多视图显示器包括多于两个视图，但是根据本文的定义，每次可以通过仅选择该视图中的两个视图来在多视图显示器上观看多视图图像作为立体图像对(例如，每只眼睛一个视图)。

“多视图像素”在本文中被定义为一套或一组子像素(诸如光阀)，其表示在多视图显示器的多个不同视图中的每一个视图的“视图”像素。更具体来说，多视图像素可具有个别子像素，其对应于或表示多视图图像的每个不同视图中的视图像素。再者，根据本文的定义，多视图像素的子像素是所谓的“方向性(directional)像素”，因为每个子像素与不同视图中相应的一个的预定视图方向相关联。进一步地，根据各个示例及实施例，由多视图像素的子像素表示的不同视图像素可在每个不同视图中具有等同的或至少基本上相似的位置或坐标。例如，第一多视图像素可以具有位于多视图图像的每一个不同视图中的{x₁,y₁}处的单独子像素，而第二多视图像素可以具有位于每一个不同视图中的{x₂,y₂}处的单独子像素，依此类推。

在一些实施例中，多视图像素中的子像素数量可等于多视图显示器的不同视图的数量。举例而言，多视图像素可以提供与具有八(8)、十六(16)、三十二(32)、或六十四(64)个不同视图的多视图显示器分别相关联的8、16、32、64个子像素。在另一示例中，多视图显示器可提供2乘2的视图阵列(即，4个视图)，且多视图像素可包括4个子像素(即，每个视图一个)。此外，举例而言，每个不同的子像素可包括关联方向(例如，光束方向)，所述的关联方向对应相应于不同视图的视图方向中不同的一个。进一步地，根据一些实施例，多视图显示器的多视图像素的数量大致上可等于多视图显示器的“视图”像素的数量(即，构成所选视图的像素)。例如，如果视图包括640乘480的视图像素(即，640x 480的视图分辨率)，多视图显示器可具有三十万零七千二百(307,200)个多视图像素。在另一示例中，当视图包含100乘100的像素，多视图显示器可包含总数为一万(即，100x 100＝10,000)的多视图像素。

本文中，“光导件”被定义为使用全内反射在结构内引导光的结构。具体地，光导件可以包括在光导件的工作波长处为基本上透明的芯。在各种实施例中，术语“光导件”通常是指采用全内反射来在光导件的介电材料与围绕该光导件的材料或介质之间的界面处引导光的介电光波导件。根据定义，全内反射的条件是光导件的折射率大于与光导材料的表面邻接的周围介质的折射率。在一些实施例中，光导件可以包括除上述折射率差之外或替代上述折射率差的涂层，以进一步促进全内反射。例如，涂层可以是反射涂层。光导件可以是几个光导件中的任何一个，包括但不限于板或板片光导件和条状光导件中的一个或两个。

此外，在本文中，当术语“板”应用于光导件以作为“板光导件”时，板光导件系定义为分段或差异性平面层或片，其在某些状况下，也称为“板片”光导件。尤其，板光导件系定义为配置以在两个基本上正交方向引导光的光导件，该两个基本上正交方向系由光导件之顶部表面以及底部表面(即，相对的表面)所限定。此外，由本文所定义，顶部表面以及底部表面彼此区隔开且在至少微分方面上彼此基本上平行。即，在板光导件的任何微小区块中，顶部表面和底部表面为基本上平行或共面。

在一些实施例中，板光导件可为基本上平坦(即，受限于平面)，因此，板光导件为一平面光导件。在其他实施例中，板光导件可以被弯曲成一个或两个正交维度。例如，板光导件可在单一维度中弯曲，以形成圆柱形板光导件。然而，任何弯曲皆需具有足够大的曲率半径，以保证全内反射被维持在板光导件内来导光。

本文中，“衍射光栅”通常被定义为设置成提供入射在衍射光栅上的光的衍射的多个特征部(即，衍射特征部)。在一些示例中，多个特征部可以以周期性或准周期性的方式设置。在其他示例中，衍射光栅可以是混合周期型衍射光栅，其包含多个衍射光栅，多个衍射光栅中的每一个衍射光栅具有不同的周期性特征部的排列。此外，衍射光栅可以包含布置在一维(1D)阵列中的多个特征部(例如，材料表面中的多个凹槽或脊部)。或者，衍射光栅可包括二维(2D)阵列的特征部或以限定在二维中的特征部阵列。例如，衍射光栅可以是材料表面上的凸块或材料表面中的孔洞的二维阵列。在一些示例中，衍射光栅在第一方向或维度上基本上可以是周期性的，并且在穿过或沿着衍射光栅的另一个方向上基本上是非周期性的(例如，固定的、随机的等)。

如此，根据本文的定义，“衍射光栅”是提供入射在衍射光栅上的光的衍射的结构。如果光从光导件入射在衍射光栅上，则所提供的衍射或衍射散射可以导致并且因此被称为“衍射耦合”，因为衍射光栅可以通过衍射将光耦合出光导件。衍射光栅还通过衍射(即，以衍射角)重新定向或改变光的角度。特别地，由于衍射，离开衍射光栅的光通常具有与入射在衍射光栅上的光(即，入射光)的传播方向不同的传播方向。通过衍射的光的传播方向的变化在这里被称为“衍射复位向”。因此，衍射光栅可以理解为包括衍射特征部的结构，衍射特征部衍射地复位向入射在衍射光栅上的光，并且如果光从光导件入射，则衍射光栅也可以衍射地耦合出来自光导件的光。

此外，如本说明书中的定义，衍射光栅的特征部系被称为“衍射特征部”，并且可以是位在表面处、在表面之内或在表面之上(即，“表面”所指的是两个材料之间的边界)的一个以上的衍射特征部。所述表面可以是板光导件的一个表面。衍射特征部可以包含衍射光的各种结构中的任何一种，包含但不限于凹槽、脊部、孔洞、和凸块中的一个或多个，且这些特征可以位于在表面处、表面中、或表面上中的一处或多处。例如，衍射光栅可以包括在材料表面内的多个平行的凹槽。在另一个示例中，衍射光栅可以包含从材料表面上突出的多个平行的脊部。衍射特征部(例如：凹槽、脊部、孔洞、凸部等)可以具有提供衍射的各种横截面形状或轮廓中的任何一种，包含但不限于正弦曲线轮廓、矩形轮廓(例如，二元衍射光栅)、三角形轮廓、和锯齿轮廓(例如，闪耀光栅(blazed grating))。

根据本文中所描述的各个实施例，衍射光栅(例如，如下文所述的衍射多光束元件的衍射光栅)可以被用于将光衍射地散射，或者将光耦合出光导件(例如，板光导件)以成为光束。特别是，局部周期性衍射光栅的衍射角θ_m或由局部周期性衍射光栅提供的衍射角θ_m可通过方程式(1)给定如：

其中λ是光的波长，m是衍射阶数，n是光导件的折射率，d是衍射光栅的特征部之间的距离或间隔，θ_i是衍射光栅上的光入射角度。为简单起见，方程式(1)假设衍射光栅与光导件的表面邻接并且光导件外部的材料的折射率等于1(即，n_out＝1)。通常，衍射阶数m由整数给定(即，m＝±1、±2、......)。由衍射光栅产生的光束的衍射角θ_m可以由方程式(1)给定。提供第一阶衍射或更具体地提供第一阶衍射角θ_m时，衍射阶数m等于1(即，m＝1)。

此外，根据一些实施例，衍射光栅中的衍射特征部可以是弯曲的，并且还可以具有相对于光的传播方向的预定定向(orientation)(例如，倾斜或旋转)。举例而言，衍射特征部的曲线和衍射特征部的定向中的一个或两个，可以配置为控制由衍射光栅耦合出的光的方向。例如，方向性光的主要角度方向可以是在光入射到衍射光栅的点相对于入射光的传播方向之衍射特征部的角度的函数。

根据本文的定义，“多光束元件”为产生包含多条光束的光的背光件或显示器的结构或元件。根据定义，“衍射”多光束元件是通过衍射耦合或使用衍射耦合产生多条光束的多光束元件。具体来说，在一些实施例中，衍射多光束元件可光学地耦合至背光件的光导件，以通过衍射地耦合出在所述光导件中的一部分的被引导的光而提供多条光束。此外，根据本文的定义，衍射多光束元件包括在多光束元件的边界或范围内的多个衍射光栅。根据本文的定义，由多光束元件所产生的多条光束中的光束具有彼此不同的多个主要角度方向。更具体来说，根据定义，多条光束中的光束具有不同于所述多条光束中的另一光束的预定主要角度方向。根据各个实施例，衍射多光束元件的衍射光栅中的衍射特征部间隔(spacing)或光栅间距(grating pitch)可以是亚波长(sub-wavelength)(即，小于被引导的光的波长)。

虽然具有多个衍射光栅的多光束元件可以用作下文中的讨论的说明性示例，在一些实施例中，其他元件可以用在多光束元件中，例如微反射元件和微折射元件中的至少一个。举例而言，微反射元件可包含三角形镜、梯形镜、锥形镜、矩形镜、半球形镜、凹形镜和/或凸形镜。在一些实施例中，微折射元件可包含三角形折射元件、梯形折射元件、锥形折射元件、矩形折射元件、半球形折射元件、凹形折射元件和/或凸形折射元件。

根据各种实施例，多条光束可以代表光场。例如，多条光束可被限制在基本上为圆锥形的空间区域中，或者具有包括在多条方向性光束中的光束的主要角度方向的预定角展度。组合的光束(即，多条方向性光束)的预定角展度可以代表该光场。

根据各种实施例，多条光束中的各种光束的不同主要角度方向，由包含但不限于衍射多光束元件的尺寸(例如，长度、宽度、面积等中的一个或多个)、“光栅间距”或衍射特征部间隔、或衍射多光束元件内的衍射光栅的方向的特性来决定。在一些实施例中，根据本文的定义，衍射多光束元件可被视为“延伸点光源”，即，复数点光源分布在衍射多光束元件的一个范围上。此外，由衍射多光束元件产生的光束具有由角分量{θ,φ}给出的主要角度方向，如本文所定义，并且如上文关于图1B所述。

在本文中，“准直器”一词被定义为基本上系配置为用于准直光的任何光学装置或设备。举例来说，准直器可以包含但不限于准直镜或反射器、准直透镜、准直衍射光栅以及上述各种准直器的组合。

在本文中，“准直因子”表示为σ，定义为光被准直的程度。更具体来说，如本文所定义，准直因子定义准直光束内的光线的角展度。例如，准直因子σ可以指定一束准直光中的大部分光线在特定的角展度内(例如，相对于准直光束的中心或主要角度方向的+/-σ度)。根据一些示例，准直光束的光线可以在角度方面具有高斯分布(Gaussian distribution)，并且角展度可以是由准直光束的峰值强度的一半所确定的角度。

在本文中，“光源”一词被定义为光的来源(例如，提供并且发出光线的装置或设备)。举例来说，光源可以为当启动时会发出光线的发光二极管(light emitting diode,LED)。光源可以大致为任何种类的光源或光学发射器，包括但不限于一种以上的LED、雷射、有机发光二极管(organic light emitting diode,OLED)、聚合物发光二极管、电浆型光学发射器、荧光灯、白炽灯以及基本上任何其他光源。由光源产生的光可以具有颜色(即，可以包含特定波长的光)或者可以包含特定波长的光(例如，白光)。此外，“具有不同颜色的多个光源”在本文中系明确定义为一组或一群光源，其中至少光源产生具有颜色或等同波长的光，且该光的颜色或波长与该等光源中的至少另一光源所产生的光的颜色或波长不相同。例如，不同的颜色可以包含原色(例如，红色、绿色、蓝色)。此外，只要该多个光源中有两个不同颜色的光源(即，产生不同颜色的光的至少两个光源)，“不同颜色的多个光源”可以包括具有相同或大致类似的颜色的一个以上的光源。因此，根据本文中的定义，“不同颜色的多个光源”可以包含产生第一颜色的光的第一光源以及产生第二颜色的光的第二光源，其中，第二颜色与第一颜色不相同。

在本文中，“排列”或“图案”定义为由元件的相对位置定义的元件与多个元件之间的关系。更具体地，如本文所使用的，“排列”或“图案”不限定元件之间的间隔或元件阵列边长的尺寸。如本文所定义的，“正方形”排列是元件沿直线排列，其在两个基本正交的方向中包含相等数量的元件。另一方面，“矩形”排列定义为沿直线排列，其包含在两个正交方向中上的不同数量的元件。

在本文中，根据定义，元件的阵列之间的间隔或分隔被称为“基线(baseline)”或等效的“基线距离”。举例而言，摄影机阵列的摄影机可以基线距离互相分隔，所述基线距离限定摄影机阵列的各个摄影机之间的空间或距离。

进一步根据本文的定义，如在“广角发射光”中的术语“广角”定义为具有锥角(cone angle)的光，该锥角大于多视图图像或多视图显示器的视图的锥角。具体来说，在一些实施例中，广角发射光可以具有大约大于60度(60°)的锥角。在其他实施例中，广角发射光的锥角可以大约大于50度(50°)，或者大约大于40度(40°)。举例而言，广角发射光的锥角可以是大约120度(120°)。或者，广角发射光可具有相对于显示器的法线方向的大于正负45度(例如，>±45°)的角度范围。在其他实施例中，广角发射光的角度范围可以大于正负50度(例如，>±50°)，或者大于正负60度(例如，>±60°)，或者大于正负65度(例如，>±65°)。举例而言，广角发射光的角度范围可以在显示器的法线方向的任一侧上大约大于70度(例如，>±70°)。根据本文的定义，“广角背光件”是配置为提供广角发射光的背光件。

在一些实施例中，广角发射光的锥角可以大约定义为等于LCD计算机屏幕、LCD平板计算机、LCD电视、或其他用于广角观看(例如，大约±40°至65°)的相似的数字显示设备的视角。在其他实施例中，广角发射光也可以表征为或描述为漫射光、大致漫射光、非方向性光(即，缺少任何具体或明确的方向性)、或者具有单一或大致均匀方向的光。

可以使用各种装置和电路来实现与本文所描述的原理一致的实施例，所述各种装置和电路包括但不限于集成电路(integrated circuit,IC)、超大型积体(very largescale integrated,VLSI)电路、特殊应用集成电路(application specific integratedcircuit,ASIC)、场可程序逻辑门阵列(field programmable gate array,FPGA)、数字信号处理器(digital signal processor,DSP)、图形处理单元(graphical processor unit,GPU)等、韧体、软件(例如程序模块或指令集)，以及上述所提的两者或更多的组合。举例而言，下文所述的图像处理器或其他元件都可以实现为ASIC或VLSI电路内的电路元件。采用ASIC或VLSI电路的应用是基于硬件的电路应用的示例。

在另一示例中，图像处理器的实施例可以使用在操作环境或基于软件的建模环境(modeling environment)(例如，MathWorks、Inc.、Natick、MA)中执行的计算器程序语言(例如，C/C++)实现为软件，其通过计算机以执行(例如，储存在内存中并由计算机的处理器或图形处理器执行)。应注意，一个或多个的计算机程序或软件可以构成计算机程序结构，并且程序语言可以被编译(compiled)或被直译(interpreted)，例如，可配置或被配置(在此处可以互换使用)，由处理器或者由计算机的图形处理器执行。

在又一示例中，可以使用实际电路或实体电路(例如，作为IC或ASIC)来实现这里描述的装置、设备、或系统(例如，图像处理器、摄影机等)的区块、模块、或元件，而另一区块、另一模块、或另一元件可以用软件或韧体实现。具体来说，例如，根据上述的定义，本文所述的一些实施例可以使用基本上基于硬件的电路方法或装置(例如，IC、VLSI、ASIC、FPGA、DSP、韧体等)来实现，而其他实施例也可以使用计算机处理器或图形处理器执行软件来以软件或韧体实现，或者作为软件或韧体和基于硬件的电路的组合来实现。

此外，如本文所使用的，冠词“一”旨在具有其在专利领域中的通常含义，即“一个或多个”。例如，“摄影机”指一个或多个摄影机，更确切来说，“该摄影机”于此意指“该(等)摄影机”。此外，本文中对“顶部”、“底部”、“上”、“下”、“向上”、“向下”、“前”、“后”、“第一”、“第二”、“左”、或“右”并非意使其成为任何限制。本文中，除非有另外特别说明，“大约(about)”一词在应用于某个值时通常意味着在用于产生该值的设备的公差范围内，或者可以表示加减10％、或加减5％、或加减1％。此外，本文使用的术语“基本上(substantially)”是指大部分、或几乎全部、或全部、或在约51％至约100％的范围内的量。而且，本文中的示例仅仅是说明性的，并且是为讨论的目的而不是为限制的目的。

根据在此所描述的原理的一些实施例，提供了一种交叉渲染多视图摄影机。图2A是根据与在此所描述的原理一致的一实施例说明示例中的交叉渲染多视图摄影机100的示意图。图2B是根据与在此所描述的原理一致的一实施例说明示例中的交叉渲染多视图摄影机100的立体图。交叉渲染多视图摄影机100配置为捕获场景102的多个图像104，然后合成或生成场景102的合成图像。具体来说，交叉渲染多视图摄影机100可以配置为捕获场景102的多个图像104，多个图像104表示场景102的不同视角视图，然后，从不同于由多个图像104表示的不同视角视图中的视角产生表示场景102的视图的合成图像106。如此，根据各种实施例，合成图像106可以表示场景102的“新”视角视图。

如图所示，交叉渲染多视图摄影机100包括沿第一轴互相隔开的多个摄影机110。举例而言，多个摄影机110可以在x方向上互相隔开作为线性阵列，如图2B所示。如此，第一轴可以包括x轴。应注意，虽然显示在公共轴(即，线性阵列)上，但是在一些实施例中，多个摄影机中的多组摄影机110可以沿着若干不同的轴(图中未显示)排列。

多个摄影机110配置为捕获场景102的多个图像104。具体来说，多个摄影机中的每个摄影机110可以配置为捕获多个图像中的图像104的不同的一个。举例而言，多个摄影机可以包括两个(2个)摄影机110，每个摄影机110配置为捕获多个图像中的两个图像104中的不同的一个图像。举例而言，两个摄影机110可以表示立体对(stereo pair)的摄影机或简称为“立体摄影机”。在其他示例中，多个摄影机可包括配置为捕获三个(3个)图像104的三个(3个)摄影机110、或配置为捕获四个(4个)图像104的四个(4个)摄影机110、或配置为捕获五个(5个)图像104的五个(5个)摄影机110等。此外，多个图像的不同图像104借助于摄影机110沿第一轴彼此间隔开来表示场景102的不同视角视图，例如，如图所示的x轴。

根据各个实施例，多个摄影机中的摄影机110可包括基本上任何摄影机或相关的成像装置或图像捕获设备。具体来说，摄影机110可以是配置为捕获数字图像的数字摄影机。举例而言，数字摄影机可包含数字图像传感器，例如但不限于感光耦合元件(charge-coupled device,CCD)图像传感器、互补式金属氧化物半导体(complimentary metal-oxide semiconductor,CMOS)图像传感器、或背照式CMOS(back-side-illuminated CMOS,BSI-CMOS)传感器。此外，根据各个实施例，摄影机110可以配置为捕获静止图像(例如，照片)和动态图像(例如，影片)中的一个或两个。在一些实施例中，摄影机110捕获多个图像中的振幅或强度和相位信息。

图2A至图2B中所示的交叉渲染多视图摄影机100进一步包括图像合成器120。图像合成器配置为使用从多个图像确定的场景102的视差图或深度图来生成场景102的合成图像106。具体来说，图像合成器120可以配置为从由摄影机阵列捕获的多个图像(例如，一对图像)中的图像104确定视差图。然后，图像合成器120可以使用所确定的视差图来结合多个图像中的图像104的一个或多个来生成合成图像106。根据各个实施例，可以采用确定视差图(或等效地，深度图)的多种不同方法中的任何一种。在一些实施例中，图像合成器120进一步配置为对视差图和合成图像106中的一个或两个提供空洞填补(hole-filling)。举例而言，图像合成器120可以采用以下任何方法，例如：由Hamzah等人所著的“关于立体视线视差图算法的文献调查(Literature Survey on Stereo Vision Disparity MapAlgorithms)”(Journal of Sensors,Vol.2016,Article ID 8742920)、或由Jain等人所著的“有效率的立体至多视图合成(Efficient Stereo-to-Multiview Synthesis)”(ICASSP2011,pp.889-892)、或由Nquyen等人所著的“具有空间及视图间一致性之多视图合成方法以及显示设备(Multiview Synthesis Method and Display Devices with Spatial andInter-View Consistency)”(US 2016/0373715 A1)，其每一个皆通过引用并入本文。

根据各个实施例，由图像合成器产生的合成图像106，表示位在与第一轴偏离的第二轴上的虚拟摄影机110'的位置对应的视角中的场景102的视图。举例而言，如图2B所示，多个摄影机中的摄影机110可以沿着x轴以线性方式彼此布置并且互相隔开，并且虚拟摄影机110'可以与该多个摄影机沿着y轴偏离。

在一些实施例中，第二轴垂直第一轴。举例而言，如图2B所示，当第一轴位在x方向时，第二轴可以在y方向上(例如，y轴)。在其他实施例中，第二轴可以与第一轴平行但横向偏离第一轴。举例而言，第一轴和第二轴都可以在x方向上，但是第二轴可以在y方向上相对于第一轴横向偏离。

在一些实施例中，图像合成器120配置为使用视差图以提供多个合成图像106。具体地，多个合成图像中的每个合成图像106，可以表示相对于多个合成图像中的其他合成图像106的场景102的不同视角中的场景102的视图。举例而言，多个合成图像106可以包含两个(2个)、三个(3个)、四个(4个)、或更多个合成图像106。因此，举例而言，多个合成图像106可以表示场景102的视图，其对应至相似的多个虚拟摄影机110'的位置。此外，在一些示例中，多个虚拟摄影机110'可以位于与第二轴对应的一个或多个不同的轴上。在一些实施例中，多个合成图像106可以等同于由多个摄影机捕获的多个图像104。

在一些实施例中，多个摄影机110可包括配置为立体摄影机的一对摄影机110a、110b。此外，由立体摄影机捕获的场景102的多个图像104可以包括场景102的立体对的图像104。在这些实施例中，图像合成器120可以配置为提供多个合成图像106，其表示与多个虚拟摄影机110'的位置对应的视角中的场景102的视图。

在一些实施例中，第一轴可以是或代表水平轴，第二轴可以是或代表垂直于水平轴的垂直轴。在这些实施例中，立体对的图像104可以布置在与水平轴对应的水平方向上，并且包括一对合成图像106的多个合成图像可以布置在与垂直轴对应的垂直方向上。

图3A是根据与在此所描述的原理一致的一实施例说明与另一示例中的交叉渲染多视图摄影机100相关的图像的图形表示。具体来说，图3A的左侧显示由作为立体摄影机的一对摄影机110捕获的场景102的立体对的图像104。如图所示，立体对的图像中的图像104沿水平方向排列，因此可以称为横摆定向(landscape orientation)。图3A的右侧显示由交叉渲染多视图摄影机100的图像合成器120产生的立体对的合成图像106。如图所示，立体对的合成图像106中的合成图像106在垂直方向上排列，因此可以称为直摆定向(portraitorientation)。左侧立体图像和右侧立体图像之间的箭头表示图像合成器120的操作，包含确定视差图以及产生立体对的合成图像106。根据各个实施例，图3A可以显示将在横摆定向上由多个摄影机捕获的图像104转换为直摆定向上的合成图像106。尽管未明确说明，但是相反的情形也是成立，其中在直摆定向(即，由垂直布置的摄影机110所捕获)上的图像104被图像合成器120转换为或者提供为在横摆定向上的合成图像106(即，成为水平布置)。

图3B是根据与在此所描述的原理一致的一实施例说明与另一示例中的交叉渲染多视图摄影机100相关的图像的图形表示。具体来说，图3B的顶部显示由作为立体摄影机的一对摄影机110捕获的场景102的立体对的图像104。图3B的底部显示由交叉渲染多视图摄影机100的图像合成器120产生的立体对的合成图像106。此外，立体对的合成图像106与位于第二轴上的一对虚拟摄影机110'对应，所述第二轴与第一轴平行但与第一轴偏离，多个摄影机中的摄影机110沿着所述的第一轴布置。根据各个实施例，由摄影机110捕获的立体对的图像104可以与立体对的合成图像106组合，以提供场景的四个(4个)视图，以提供场景102的多视图图像的所谓四视图(four-view,4V)。

在一些实施例中(未在图2A至图2B中明确地显示)，交叉渲染多视图摄影机100可以进一步包括处理子系统、内存子系统、电源子系统、以及网络子系统。处理子系统可以包含一个或多个配置为执行计算操作的装置，例如但不限于微处理器、图形处理器单元(GPU)、或数字信号处理器(DSP)。内存子系统可以包含一个或多个装置，用于储存数据和指令中的一个或两个，其可以由处理子系统使用以提供与控制交叉渲染多视图摄影机100的操作。举例而言，储存的数据和指令可以包含但不限于：开始使用多个摄影机110捕获多个图像的步骤、实施图像合成器120、以及在显示器(例如，多视图显示器)上显示包含图像104和合成图像106的多视图内容的数据与指令中的一个或多个。举例而言，内存子系统可以包含一种或多种类型的内存，包含但不限于随机存取内存(random access memory,RAM)、只读存储器(read-only memory,ROM)和各种形式的闪存。

在一些实施例中，储存在内存子系统中并由处理子系统使用的指令，举例而言，包括但不限于程序指令或指令集、和操作系统。举例而言，程序指令和操作系统可以在交叉渲染多视图摄影机100的操作期间由处理子系统执行。应注意，一个或多个计算机程序可以构成计算机程序结构、计算机可读取储存(computer-readable storage)媒体、或软件。此外，内存子系统中的各种模块中的指令可以用高阶程序语言(procedural language)、面向对象程序语言、以及汇编语言或机器语言中的一个或多个来实现。此外，根据各个实施例，程序语言可被编译或直译，例如，可配置或配置为(其在本讨论中可互换使用)由处理子系统执行。

在各个实施例中，电源子系统可包含一个或多个储能元件(例如电池)，其配置为向交叉渲染多视图摄影机100中的其他元件提供电力。网络子系统可以包含一个或多个装置和子系统或模块，其配置为耦合到有线网络和无线网络中的一个或两个并在其上通讯(即，执行网络操作)。举例而言，网络子系统可以包括蓝牙网络系统、蜂巢式网络系统(例如，诸如通用行动通讯系统(universal mobile telecommunications system,UMTS)、长期演进技术(long term evolution,LTE)等3G/4G/5G网络、通用串行总线(universal serialbus,USB)网络系统、基于IEEE 802.12所述的标准网络系统(例如，WiFi网络系统)、以太网络系统中的任何一个或全部。

应注意，虽然前述实施例中的一些操作可以用硬件或软件实现，但是通常前述实施例中的操作可以用各种各样的配置和结构来实现。因此，前述实施例中的一些或所有操作可以用硬件、软件或两者来执行。举例而言，显示技术中的至少一些操作可以使用程序指令、操作系统(诸如，用于显示子系统的驱动器)、或在硬件中来实现。

根据在此所描述的原理的其他实施例，提供了一种交叉渲染多视图系统。图4是根据与在此所描述的原理一致的实施例说明示例中的交叉渲染多视图系统200的方块图。交叉渲染多视图系统200可用于捕获场景202或使场景202成像。举例而言，图像可以是多视图图像208。此外，根据各个实施例，交叉渲染多视图系统200可以配置为显示场景202的多视图图像208。

如图4所示，交叉渲染多视图系统200包括多视图摄影机阵列210，其具有沿第一轴彼此间隔开的摄影机。根据各个实施例，多视图摄影机阵列210配置为捕获场景202的多个图像204。在一些实施例中，多视图摄影机阵列210可以基本上类似于上文关于交叉渲染多视图摄影机100所述的多个摄影机110。具体来说，多视图摄影机阵列210可包括沿第一轴排列的线性配置的多个摄影机。在一些实施例中，多视图摄影机阵列210可包含不在第一轴上的摄影机。

图4中所示的交叉渲染多视图系统200进一步包括图像合成器220。图像合成器220配置为生成场景202的合成图像206。具体来说，图像合成器配置为使用从多个图像中的图像204确定的视差图来生成合成图像206。在一些实施例中，图像合成器220可以基本上类似于上述交叉渲染多视图摄影机100的图像合成器120。举例而言，图像合成器220还可以配置为确定视差图，合成图像206从该视差图生成。此外，图像合成器220可以对视差图和合成图像206中的一个或两个提供空洞填补。

如图所示，交叉渲染多视图系统200进一步包括多视图显示器230。多视图显示器230配置为显示包括合成图像206之场景202的多视图图像208。根据各个实施例，合成图像206表示位在与第一轴垂直的第二轴上的虚拟摄影机的位置对应的视角中的场景202的视图。此外，多视图显示器230可以包含合成图像206，以作为场景202的多视图图像208中的视图。在一些实施例中，多视图图像208可包括多个合成图像206，其对应于多个虚拟摄影机，并且表示相似的多个不同视角中的场景202的多个不同视图。在其他实施例中，多视图图像208可包括合成图像206以及多个图像中的一个或多个图像204。举例而言，多视图图像208可包括四视图(4V)，四视图的前两个视图是一对合成图像206，并且四视图的后两个视图是多个图像的一对图像204，例如，如图3B所示。

在一些实施例中，多个摄影机可包括多视图摄影机阵列210中的一对摄影机，其配置为提供场景202的立体对的图像204。在这些实施例中，视差图可以由使用立体图像对(stereo image pair)的图像合成器220来确定。在一些实施例中，图像合成器220配置为提供场景202的一对合成图像206。在这些实施例中，多视图图像208可包括该对合成图像206。在一些实施例中，多视图图像208可进一步包括多个图像的一对图像204。

在一些实施例中，图像合成器220可以在远程处理器中实现。举例而言，远程处理器可以是云端运算服务的处理器或所谓的「云端」处理器。当图像合成器220实现为远程处理器时，多个图像204可通过交叉渲染多视图系统发送到远程处理器，并且交叉渲染多视图系统可以从远程处理器接收合成图像206，以使用多视图显示器230显示。根据各个实施例，与远程处理器之间的传输可以使用因特网或类似的传输媒介。在其他实施例中，图像合成器220可以使用另一处理器来实现，例如但不限于交叉渲染多视图系统200的处理器(例如，GPU)。在其他实施例中，交叉渲染多视图系统200的专用硬件电路(例如，ASIC)可用以实现图像合成器220。

根据各个实施例，交叉渲染多视图系统200的多视图显示器230可以是任何多视图显示器或能够显示多视图图像的显示器。在一些实施例中，多视图显示器230可以是使用光的方向性散射并随后调节散射光的多视图显示器，以提供或显示多视图图像。

图5A是根据与在此所描述的原理一致的实施例说明示例中的多视图显示器300的横截面图。图5B是根据与在此所描述的原理一致的实施例说明示例中的多视图显示器300的平面图。图5C根据与在此描述的原理一致的一实施例说明在示例中的多视图显示器300的立体图。图5C中的立体图被显示为部分切除，以仅便于在本文中讨论。根据一些实施例，多视图显示器300可以用作交叉渲染多视图系统200的多视图显示器230。

图5A至图5C示出的多视图显示器300用以提供具有彼此不同的主要角度方向的多个方向性光束302(例如，成为光场)。具体来说，所提供的多个方向性光束302配置为在与多视图显示器300的各个视图方向对应的不同主要角度方向上散射出并被引导远离多视图显示器300，或等效地对应于由多视图显示器300显示的多视图图像(例如，交叉渲染多视图系统200的多视图图像208)的不同视图方向。根据各种实施例，可以调节方向性光束302(例如，使用光阀，如下所述)以便于显示具有多视图内容的信息，即多视图图像208。图5A至图5C还示出包括子像素和光阀330阵列的多视图像素306，其在下文进一步详细描述。

如图5A至图5C所示，多视图显示器300包括光导件310。光导件310配置为以沿着光导件310的长度方向引导光，以作为被引导的光304(即，被引导的光束)。例如，光导件310可以包括配置为光波导的介电材料。介电材料可具有第一折射率，其大于围绕该介电光波导件的介质之第二折射率。例如，根据光导件310的一个或多个导光模式，折射率的差异系配置以促成被引导的光304的全内反射。

在一些实施例中，光导件310可以是板片或平板光波导件(即，板光导件)，其包括延伸、基本上平坦的光学透明介电材料片。所述之大致为平面薄板状的介电材料，是通过全内反射来引导被引导的光304。根据各个示例，光导件310中的光学透明材料可包含各种任何的介电材料，其可包含但不限于，各种形式的玻璃中的一种或多种玻璃(例如，硅石酸盐玻璃(silica glass)、碱铝硅酸盐玻璃(alkali-aluminosilicate glass)、硼硅酸盐玻璃(borosilicate glass)等)以及基本上光学透明的塑料或聚合物(例如，聚甲基丙烯酸甲酯(poly(methyl methacrylate))或“压克力玻璃(acrylic glass)”、聚碳酸酯(polycarbonate)等)。在一些示例中，光导件310还可以在光导件310的表面(例如，顶部表面和底部表面中的一个或两个)的至少一部分上包括电镀层(图中未显示)。根据一些示例，电镀层可以用于进一步促进全内反射。

此外，根据一些实施例，光导件310配置以根据在光导件310的第一表面310'(例如，“前”表面或前侧)和第二表面310"(例如，“后”表面或后侧)之间的非零传播角度的全内反射来引导被引导的光304。具体来说，被引导的光304被引导并且通过以非零传播角度在光导件310的第一表面310'和第二表面310"之间反射或“反弹”而传播。在一些实施例中，被引导的光304中的多个被引导的光束包括数种不同颜色的光，其可于复数不同的颜色特定的非零传播角度中相应的一个被光导件310引导。应注意的是，为简化说明，非零传播角度并未于图5A至图5C中示出。然而，描绘传播方向303的粗体箭头示出被引导的光304的总体传播方向，其沿着图5A中的光导件的长度方向。

如本文所定义，“非零传播角度”是相对于光导件310的表面(例如，第一表面310'或第二表面310")的角度。此外，根据各种实施例，非零传播角度均大于零且小于光导件310内的全内反射的临界角度。例如，被引导的光304的非零传播角度可以在大约十度(10°)和大约五十度(50°)之间，或者在一些示例中，在大约二十度(20°)和大约四十度(40°)之间、或者约二十五度(25°)和约三十五度(35°)之间。例如，非零传播角度可以是大约三十度(30°)。在其他示例中，非零传播角度可以是大约20°、或者大约25°、或者大约35°。此外，对于特定的实施，可以选择(例如，任意地)特定的非零传播角度，只要特定的非零传播角度被选择为小于光导件310内的全内反射的临界角度。

光导件310中的被引导的光304可以非零传播角度被引入或被耦合到光导件310中(例如，大约30°至35°)。在一些示例中，例如但不限于光栅、透镜、镜子或类似的反射器(例如，倾斜的准直反射器)、衍射光栅、与棱镜(图中未显示)以及其各种组合的耦合结构，可以促使光以非零传播角度被耦合至光导件310的输入端以成为被引导的光304。在其他示例中，可以在没有或基本上不使用耦合结构的情况下将光直接引入光导件310的输入端(即，可以采用直接或“对接”耦合)。一旦耦合至光导件310中，被引导的光304(例如，作为被引导的光束)配置以可以在大致上远离输入端的传播方向303沿着光导件310传播(例如，图5A中以指向x轴的粗体箭头示出)。

进一步地，根据各个实施例，通过将光耦合至光导件310中所产生的被引导的光304(或等效地被引导的光束)可为准直光束。在本文中，“准直光”或“准直光束”通常定义为一束光，其中，数道光束在光束内(例如，被引导的光束内)基本上互相平行。同样地，根据本文的定义，从准直光束偏离或散射的光线不被视为是准直光束的一部分。在一些实施例中(图中未显示)，多视图显示器300可包含准直器，例如光栅、透镜、反射器、或镜子，如上文所述(例如，倾斜准直反射器)，以将光准直，例如，准直来自光源的光。在一些实施例中，光源本身包括准直器。在任一情况下，提供给光导件310的准直光是准直的被引导的光束。在各个实施例中，被引导的光304可以根据准直因子σ以准直，或者被引导的光304具有准直因子σ。或者，在其他实施例中，被引导的光304可以是未准直的。

在一些实施例中，光导件310可用以“回收”被引导的光304。具体来说，已经沿着光导件长度方向被引导的被引导的光304可以以不同于传播方向303之其他传播方向303'沿着该长度方向被重新定向返回。举例而言，光导件310可以包含反射器(图中未显示)，其位于光导件310的一端部，所述的端部相对于与光源相邻的输入端。反射器可用以将被引导的光304反射回输入端，以作为回收的被引导的光。在一些实施例中，除光回收以外或者为了取代光回收，另一个光源可以在另一个传播方向303'上提供被引导的光304。如下文所述的，通过使被引导的光让例如多光束元件使用一次以上，让被引导的光304的回收以及使用另一光源的一个或两个提供具有另一传播方向303'的被引导的光304，可增加多视图显示器300的亮度(例如，增加方向性光束302的强度)。

在图5A中，表示回收被引导的光的传播方向303'的粗体箭头(例如，指向负x轴方向)显出在光导件310中回收的被引导的光的大致传播方向。替代地(例如，相对于回收的被引导的光)，可以通过以另一传播方向303'将光引入光导件310中来提供在另一传播方向303'上传播的被引导的光304(例如，除具有传播方向303的被引导的光304之外)。

如图5A至图5C所示，多视图显示器300进一步包括沿光导件长度方向彼此间隔开的多光束元件320的阵列。具体来说，多光束元件阵列中的多光束元件320以有限(finite)空间彼此分开，并且沿着光导件长度方向表示个别独立元件。因此，根据本文的定义，多光束元件阵列中的多光束元件320根据有限(即，非零)的元件间距(例如，有限的中心至中心距离)彼此隔开。此外，根据一些实施例，多个多光束元件320通常不交叉、重迭或彼此接触。因此，复数多光束元件320中的每一个多光束元件320通常是不同的且与复数多光束元件320中的其他多光束元件320分离。

根据一些实施例，多光束元件阵列中的多光束元件320可以排列成1D阵列或2D阵列。例如，多光束元件320可以排列为线性1D阵列。在另一例子中，多光束元件320可以被排列成矩形2D阵列或圆形2D阵列。进一步地，在一些示例中，阵列(即，1D或2D阵列)可以是常规或统一的阵列。具体来说，多个多光束元件320之间的元件间距(例如，中心至中心的距离或间距)可以在整个阵列上基本均匀或恒定。在其他示例中，多个多光束元件320之间的元件间距可以在横跨阵列与沿着光导件310的长度方向的其中一个或两个变化。

根据各种实施例，多光束元件阵列中的多光束元件320配置为将被引导的光304的一部分提供、耦合出、或散射为多个方向性光束302。例如，根据各种实施例，可以使用衍射散射、反射散射、和折射散射或耦合中的一种或多种来耦合出或散射出部分被引导的光。图5A和图5C将方向性光束302显示为多个发散箭头，其被描绘为从光导件310的第一表面(或前表面)310'导离。此外，根据各种实施例，如上文所定义并在下文进一步描述且在图5A至图5C中所示，多光束元件320的尺寸可相比拟于多视图像素306的子像素(或等效地的光阀330)的尺寸。在本文中，“尺寸”可以包含但不限于，长度、宽度、或面积的各种方式中的任何一种来定义。例如，光阀330或子像素的尺寸可以是其长度，并且多光束元件320的可相比拟尺寸也可以是多光束元件320的长度。在另一示例中，尺寸可被称为面积，使得多光束元件320的面积可相比拟于子像素的面积(或等效地，光阀330)。

在一些实施例中，多光束元件320的尺寸可相比拟于子像素的尺寸，使得多光束元件尺寸系介于子像素尺寸的百分之五十(50％)至百分之两百(200％)之间。例如，如果多光束元件尺寸系标示为“s”及子像素尺寸系标示为“S”(如图5A中所示)，那么多光束元件尺寸s可用以下方程式给定：

在其他例子中，多光束元件尺寸大于该子像素尺寸的约百分之六十(60％)、或大于该子像素尺寸的约百分之七十(70％)、或大于该子像素尺寸的约百分之八十(80％)、或大于该子像素尺寸的约百分之九十(90％)，且多光束元件尺寸小于该子像素尺寸的约百分之一百八十(180％)、或小于该子像素尺寸的约百分之一百六十(160％)、或小于该子像素尺寸的约百分之一百四十(140％)、或小于该子像素尺寸的约百分之一百二十(120％)。例如，通过“可相比拟尺寸”，多光束元件尺寸可在子像素尺寸的约百分之七十五(75％)及约百分之一百五十(150％)之间。在另一例子中，多光束元件320尺寸可以相比拟于子像素尺寸，其中，多光束元件尺寸系在子像素尺寸的约百分之一百二十五(125％)及百分之八十五(85％)之间。根据一些实施例，可以选择多光束元件320和子像素的可相比拟尺寸，以减少多视图显示器的视图之间的暗区(dark zone)，或在一些示例中将其最小化。此外，可以选择多光束元件320和子像素的可相比拟尺寸，以减少多视图显示器的视图(或视图像素)之间的重叠，并且在一些示例中将其最小化。

图5A至图5C中所示的多视图显示器300进一步包括光阀330的阵列，配置为调节多个方向性光束中的方向性光束302。在各个实施例中，不同种类的光阀可被用作光阀阵列的多个光阀330，光阀的种类包括但不限于，多个液晶光阀、多个电泳光阀、及基于电润湿的多个光阀中的其中一个或多个。

如图5A至图5C所示的，具有不同主要角度方向的不同的方向性光束302穿过且可通过光阀阵列中不同的多个光阀330来调节。此外，如图所示，光阀阵列中的光阀330对应于多视图像素306的子像素，并且一组光阀330对应于多视图显示器的多视图像素306。具体来说，光阀阵列中不同组的光阀330系配置为接收及调节来自多光束元件320中对应的多光束元件320的方向性光束302，即，如图中所示，每一个多光束元件320具有一组独特的光阀330。

如图5A所示，第一组光阀330a配置为接收并调节来自第一多光束元件320a的方向性光束302。此外，第二组光阀330b配置为接收并调节来自第二多光束元件320b的方向性光束302。因此，如图5A中所示，光阀阵列中的多个组光阀的每一组(例如，第一组光阀330a及第二组光阀330b)分别对应于不同的多光束元件320(例如，元件320a以及元件320b)，并且对应于不同的多视图像素306，其中多个组光阀的单独光阀330对应于相应的多视图像素306的子像素。

应注意的是，如图5A中所示，多视图像素306'的子像素的尺寸可对应于该光阀阵列中的光阀330的尺寸。在其他例子中，子像素尺寸可被定义为光阀阵列中相邻的多个光阀330之间的距离(例如，中心至中心距离)。举例而言，光阀330可小于光阀阵列中之多个光阀330之间的中心至中心距离。例如，子像素尺寸可被定义为光阀330的尺寸或对应于多个光阀330之间的中心至中心距离的尺寸。

在一些实施例中，多光束元件320与对应的多视图像素306(即，子像素组和对应的组光阀330)之间的关系可以是一对一的关系。即，可以存在相同数量的多视图像素306和多光束元件320。图5B以示例的方式明确地示出一对一的关系，其中包括不同的组光阀330(与对应的子像素)之每一个多视图像素306被示为被虚线围绕。在其他实施例中(未于图中示出)，多视图像素306与多光束元件320的数量可以彼此不同。

在一些实施例中，多个多光束元件320中的一对多光束元件之间的元件间距(例如，中心至中心距离)可等于对应之多个多视图像素中的一对多视图像素306之间的像素间距(例如，中心至中心距离)，例如，由多个组光阀表示。例如，如图5A中所示，第一多光束元件320a及第二多光束元件320b之间的中心至中心距离d系基本上等同于第一组光阀330a及第二组光阀330b之间的中心至中心距离D。在另一实施例中(图中未显示)，该对多光束元件320及对应组光阀的相对中心至中心距离可不同，例如，多光束元件320可具有大于或小于表示多视图像素306的多个组光阀之间的间距(例如，中心至中心距离D)的元件间间距(即，中心至中心距离d)。

在一些实施例中，多光束元件320的形状类似于多视图像素306的形状，或者等同的，与多视图像素306对应的一组(或“子阵列”)光阀330的形状。举例而言，多光束元件320可以具有正方形的形状，并且多视图像素306(或对应的一组光阀330的布置)可以基本上是方形的。在另一示例中，多光束元件320可具有长方形的形状，即，可具有大于宽度或横向尺寸的长度或纵向尺寸。在此示例中，对应多光束元件320的多视图像素306(或等同于复阵列光阀330的排列)可具有类似矩形的形状。图5B显示正方形多光束元件320和对应的正方形多视图像素306的上视图或平面图，所述多视图像素306包括正方形的复阵列光阀330。在进一步的其他示例中(图中未显示)中，多光束元件320和对应的多视图像素306具有各种形状，包含或至少近似但不限于，三角形、六角形、和圆形。

此外(例如，如图5A所示)，根据一些实施例，每个多光束元件320配置为基于分配给特定多视图像素306的该组子像素，在给定时间向一个且仅一个多视图像素306提供方向性光束302。具体来说，对于给定的一个多光束元件320以及该组子像素对特定多视图像素306的分配，具有与该多视图显示器的复数不同视图对应的复数不同主要角度方向的复数方向性光束302基本上限于单个对应的多视图像素306及其子像素，即，对应于多光束元件320的一单组光阀330，如图5A中所示。因此，多视图显示器300的每一个多光束元件320提供具有对应于多视图显示器300的复数不同视图的一组不同主要角度方向的对应的一组方向性光束302(即，该组方向性光束302包含具有对应于每一个不同视图方向的方向的光束)。

如图所示，多视图显示器300可进一步包括光源340。根据各种实施例，光源340用以提供在光导件310内之被引导的光。尤其，光源340可以位在相邻于光导件310的入口表面或入口端(输入端)。在各个实施例中，光源340可包括基本上任何光源(例如，光学发射器)，其包含但不限于LED、雷射(例如，雷射二极管)或其组合。在一些实施例中，光源340可以包括光学发射器，其配置为产生代表特定颜色之具有窄频带光谱的基本上为单色的光。具体来说，该单色光的颜色可为特定色彩空间或特定颜色模型的原色(例如，红-绿-蓝颜色模型)。在其他示例中，光源340可以是用以提供基本上宽带或多色光的基本宽带光源。例如，光源340可提供白光。在一些实施例中，光源340可以包括多个不同的光学发射器，用于提供不同颜色的光。不同的光学发射器可配置以提供具有不同、特定颜色、非零传播角度的被引导的光的光，该被引导的光对应于各个不同颜色的光。

在一些实施例中，光源340可进一步包括准直器。准直器可以用于接收来自光源340的一个以上的光学发射器的大致非准直光。准直器系进一步用于将大致非准直光转换为准直光。具体来说，根据一些实施例，准直器可提供具有非零传播角度并且依据预定准直因子σ以准直的准直光。而且，当采用不同颜色的光学发射器时，准直器可用以提供具有不同的、颜色特定、非零传播角度、以及不同颜色特定的准直因子中的一个或两个的准直光。准直器进一步用以将准直光束传送到光导件310，以将其传播为被引导的光304，如上文所述。

在一些实施例中，多视图背光件300系配置以在穿过光导件310的一方向上透光，该方向为正交于被引导的光304的传播方向303、303'(或基本上正交)。具体来说，在一些实施例中，光导件310和间隔开的多光束元件320允许光通过第一表面310'和第二表面310"以穿过光导件310。由于多光束元件320的相对小的尺寸和多光束元件320的相对大的元件间距(例如，与多视图像素306一对一的对应)，可以至少一部分地改善透明度。此外，根据一些实施例，多光束元件320对于与光导件表面310'、310"正交传播的光也可以是基本透光的。

根据各个实施例，可以使用各种各样的光学元件来产生方向性光束302，包括光学地连接到光导件310之衍射光栅、微反射元件和/或微折射元件，以散射出被引导的光304来作为方向性光束302。应注意，这些光学元件可以位于光导件310的第一表面310'、第二表面310"、或甚至位于光导件310的第一表面310'和第二表面310"之间。此外，根据一些实施例，光学元件可以是从第一表面310'或第二表面310"突出的「正性特征」、或者可以是凹入第一表面310'或第二表面310"的“负性特征”。

在一些实施例中，光导件310、多光束元件320、光源340和/或可选的准直器用作多视图背光件。多视图背光件可以与多视图显示器300中的光阀阵列结合使用，例如，作为多视图显示器230。举例而言，多视图背光件可以用作光阀330的阵列的光源(通常作为面板背光件)，其调节由多视图背光件提供的方向性光束302以提供多视图图像208的方向性视图，如上文所述。

在一些实施例中，多视图显示器300可进一步包括广角背光件。具体来说，除如上文所述的多视图背光件之外，多视图显示器300(或交叉渲染多视图系统200的多视图显示器230)可以包括广角背光件。举例而言，广角背光件可以与多视图背光件相邻。

图6是根据与在此所描述的原理一致的实施例说明示例中的包含广角背光件350的多视图显示器300的横截面图。如图所示，广角背光件350配置为在第一模式时提供广角发射光308。根据各个实施例，多视图背光件(例如，光导件310、多光束元件320、和光源340)可以配置为在第二模式时提供方向性发射光，以作为方向性光束302。此外，光阀阵列配置为调节广角发射光308以在第一模式期间提供二维(2D)图像，并调节方向性发射光(或方向性光束302)以在第二模式期间提供多视图图像。举例而言，当采用图6中所示的多视图显示器300作为交叉渲染多视图系统200的多视图显示器230时，2D图像可以由多视图摄影机阵列210的一个或多个摄影机捕获。如此一来，根据一些实施例，2D图像可以简单地在第二模式期间表示场景202的该等方向性视图中的一个方向性视图。

如图6的左侧所示，通过启动光源340，可使用多光束元件320提供从光导件310散射出的方向性光束302，以使用多视图背光件提供多视图图像(图中所示的“多视图”)。或者，如图6的右侧所示，可以通过关闭光源340并启动广角背光件350，以向光阀330的阵列提供广角发射光308，来提供2D图像。如此一来，根据各种实施例，包括广角背光板350的多视图显示器300可以在显示多视图图像和显示2D图像之间作切换。

根据本文所述的原理的其他实施例，提供一种交叉渲染多视图成像的方法。图7是根据与在此所描述的原理一致的实施例说明示例中的交叉渲染多视图成像的方法400的流程图。如图7中所示，交叉渲染多视图成像的方法400，包括使用沿第一轴彼此间隔开的多个摄影机捕获场景的多个图像的步骤410。在一些实施例中，多个图像和多个摄影机可以分别基本上类似于交叉渲染多视图摄影机100的多个图像104和多个摄影机110。同样地，根据一些实施例，所述的场景可以基本上类似于场景102。

图7中所示的交叉渲染多视图成像的方法400，进一步包括使用从多个图像确定的场景的视差图生成场景的合成图像的步骤420。根据各个实施例，合成图像表示位在从第一轴偏离的第二轴上的虚拟摄影机的位置对应的视角中的场景的视图。在一些实施例中，图像合成器可以基本上类似于上述交叉渲染多视图摄影机100中的图像合成器120。具体来说，根据各种实施例，图像合成器可以从多个图像的图像确定视差图。

在一些实施例(图中未显示)中，交叉渲染多视图成像的方法400可以进一步包括对视差图和合成图像中的一个或两个进行空洞填补的步骤。举例而言，可以通过图像合成器实现空洞填补。

在一些实施例中，多个摄影机可包括一对摄影机，配置为捕获场景的立体对图像。在这些实施例中，可以使用立体图像对来确定视差图。此外，生成合成图像的步骤320，可以从对应于相似的多个虚拟摄影机的位置的视角，产生表示场景的视图的多个合成图像。

在一些实施例(图中未显示)中，交叉渲染多视图成像的方法400，进一步包括使用多视图显示器将合成图像显示为多视图图像的视图的步骤。具体来说，多视图图像可以包括一个或多个合成图像，其表示由多视图显示器显示的多视图图像的不同视图。此外，多视图图像可以包括视图，其表示多个图像中的一个或多个图像。举例而言，多视图图像可以包括如图3A所示的立体对的合成图像，或者包括如图3B所示的立体对合成图像和多个图像中的一对图像。在一些实施例中，多视图显示器可以基本上类似于交叉渲染多视图系统200的多视图显示器230，或者基本上类似于上文所述的多视图显示器300。

因此，已经描述交叉渲染多视图摄影机、交叉渲染多视图系统、和从由多个摄影机捕获的图像的视差/深度图提供合成图像的交叉渲染多视图成像的方法的示例和实施例。应该理解的是，上述示例仅仅是说明代表在此描述的原理的许多具体示例中的一些示例。显然，所属技术领域中具有通常知识者可以很容易地设计出许多其他的配置，而不偏离由所附权利要求所界定的范畴。