具体实施方式

在图像捕获中使用大光圈的影响。

使用有限光圈的实际相机产生具有一定景深(DoF)的图像。景深可以被描述为距捕获点的距离跨度，在该跨度内像素是对焦的。在DoF之外，像素变得散焦或模糊。

当摄像机参数已知时，可以使用已知公式来计算或估计DoF。

在一个极端，理想化的针孔照相机是具有无限小的光圈的照相机。理想的针孔照相机产生具有无限大的DoF的图像，并且所有像素都对焦而不管它们的深度。实际上，在非常良好照明的条件下，针孔相机可以通过使用物理相机中的小光圈来近似。

在实际成像条件下，可以通过捕获和组合聚焦堆叠图像、具有若干焦距的图像来实现对针孔图像的近似。存在各种算法来将这些图像组合成一个扩展焦点图像。使用焦点捕获的离散集合来形成扩展焦点图像。

图3A是包括附近无线电设备、在中间距离处的窗框和在更远距离处的建筑物的场景的针孔图像302的示意性表示。由于针孔照相机的小光圈，所有距离处的对象都是对焦的。

图3B-3D是用聚焦在不同距离的较大光圈相机捕获的相同场景的图像的示意性表示。在一些实施例中，图3B-3D的图像被同时或基本上同时捕获(或者，在虚拟图像的情况下，被生成以表示基本上相同的时刻)。

图3B是聚焦在近距离f₁的图像304的示意表示。无线电设备本身是对焦的(用实线示出)，而更远的窗框和建筑物至少部分地是未对焦的(用虚线示出)。

图3C是聚焦在中间距离f₂的图像306的示意表示。窗框是对焦的，但是附近的无线电设备和更远的建筑物至少部分地是未对焦的。如图3C中还示意性地示出的，给定非零光圈尺寸，对焦窗框“通过”未对焦的无线电设备的天线部分可见。虽然这种影响在窄对象(例如无线电天线)中最显著，但是在较大的现实世界对象的边缘周围也是显著的。然而，为了保持本附图的清晰度和可再现性，这里仅针对窄对象示出该影响。

图3D是聚焦在更大距离f₃的图像308的示意表示。附近的无线电设备和稍微更远的窗框是不对焦的，但是通过窗户可见的建筑物是对焦的。给定光圈尺寸，窗框的窄窗格条(水平和垂直横档)看起来至少部分透明，无线电天线也是如此。结果，与图3A的针孔图像相比，所捕获的图像包含关于建筑物的更大比例的信息。

图3A-3D示出了在不同焦点捕获中遮挡的影响。图3A-3D示出了当改变焦距时，由近的对象引起的遮挡不保持相同。例如，在图3D的图像中，聚焦于远处的建筑物，诸如窗格条和无线电天线的遮挡看起来被侵蚀和滤波，从而与聚焦于较近距离的图3B和3C的图像相比，揭示了更多的背景细节。

诸如图3A-3D所表示的那些图像可包含诸如色彩和亮度信息(例如，亮度和色度信息或RGB信息)等信息但不包含深度信息，它们在此被称为纹理图像。在一些情况下，在图像数据包括纹理和深度信息两者(例如RGBD图像)的情况下，术语纹理图像可用于指所述图像数据的含有亮度和/或色彩信息的一部分。

深度测量技术。

一些类型的深度传感器使用常规相机光学器件，并且产生深度图，该深度图通过其焦点属性相应地类似于照片。通常，对于深度感测，小光圈是有利的，以便获得在大景深(DoF)上对焦的深度图。大的光圈将增加灵敏度和范围，但是也将降低DoF。

在S.Honnungar等人的“用于大光圈飞行时间相机的焦点扫描(Focal-sweep forLarge Aperture Time-of-Flight Cameras)”，IEEE国际图像处理会议(ICIP)，2016，pp.953-957中描述了具有相对大光圈的深度传感器系统的示例。在一些实施例中，这种大光圈飞行时间相机可以用于深度感测。

能够生成深度图(指示距捕获设备的像素距离)的设备的一个示例是Kinect传感器。当将视图分解到焦平面(MFP)时，可以使用深度图。一种替代技术是拍摄基于相机的焦点捕获，并使用滤波和其他图像处理手段以使用“焦点距离深度”方法导出深度图。

散焦图的一个特性是，尽管在焦距的后面或前面有相同的距离，但它示出具有相同的散焦值的对象。另一个特性是，散焦图值-尽管相对于深度是非线性的-可以通过使用关于照相机参数(光圈、焦距等)的信息而被映射到线性距离，如在Shaojie Zhuo，TerenceSim，“根据单个图像的散焦图估计(Defocus map estimation from a single image)”，模式识别44(2011)，pp.1852-1858中所描述的。

在一些实施例中解决了的问题。

多焦平面(MFP)表示提供支持观看者调节而没有极端带宽的益处，并且捕获完整光场表示的挑战。当前MFP方法的局限性在于，由于例如遮挡造成的信息丢失，不能完全保留整个光场中存在的信息。

现有的MFP方法通常使用一个纹理图像和相应的深度图作为输入。除了几个其它影响质量的参数之外，获取每个纹理图像的精度限制了相应的MFP分解处理的质量及其结果，焦平面。

此外，当前的方法一般不利用由焦点堆栈提供的附加信息，焦点堆栈是利用从一个视图以变化的焦距捕获的图像的集合。特别地，当前的方法通常不利用由利用大光圈捕获的焦点堆栈提供的附加信息。这导致信息的丢失，否则当使用大光圈捕获时，这些信息可能在遮挡对象或结构之后或通过遮挡对象或结构被捕获。

在传统的MFP方法中，根据“针孔视点”形成深度图，并且在每个距离处形成MFP时使用相同的分割(遮挡)。为了从场景捕获更多信息，本文描述的一些示例针对每个捕获的图像使用若干焦点捕获(称为焦点堆栈)和单独的基于深度的分割(深度图)。

形成和使用MFP是一种用于避免聚散度-调节冲突以便使观看者能够自然地聚焦于深度维度中的图像信息的方法。该方法在近眼(眼镜)显示器中特别有用。发现渲染相对少量的MFP(4-6)对于质量是足够的，同时在技术上是可行的。

在用于MFP形成的当前方法中，通常使用纹理图像和相应的像素距离(深度图)。在一些情况下，该信息是虚拟的，并且使用3D建模产生，导致在任何地方都对焦的纹理(称为全对焦内容)。

3D信息也可以从真实世界视图中捕获。该视图可以由具有一个焦距、光圈和其他参数的物理相机来捕获，这导致仅在距捕获设备的特定距离处对焦的纹理图像。相应地，内容不是全对焦的。

实施例概述。

本文描述的过程和系统的示例操作以使用焦点堆栈(具有变化焦距的图像)作为输入来形成多个焦平面(MFP)。在一个示例中，对于每个焦点堆栈图像并行地执行多个传统MFP形成工艺，并且使用对焦最佳的像素和深度。

以变化的焦距捕获场景也可以应用于深度传感器，在一些实施例中，深度传感器使用具有可变焦距的相对大光圈光学器件。

基于深度的分解对每个纹理图像使用不同的分割(深度图)。相应地，在一些实施例中，所得到的MFP使用所有的焦点堆栈图像和(大部分)它们的信息内容。具体而言，与常规MFP方法相比，更多的信息被捕获到遮挡周围的焦平面。

通常，较大的光圈导致在遮挡对象边缘之后捕获更多的图像信息。该信息扩展了焦平面图像，并在它们之间产生了一些重叠。当叠加焦平面图像时，此重叠可表现为对象边缘附近的一些发亮。根据期望的用途，可以存在关于感知的图像质量的最佳重叠量。相应地，光圈尺寸可被选择为足以捕获足够的被遮挡区域而不会过度地突出显示或增强对象边缘。

在一些实施例中，由于在捕获多个焦点堆栈图像时使用相对大的光圈，遮挡对象或图像区域后面的信息也被捕获并被传递到MFP形成处理。与将焦点堆栈图像组合成一个扩展焦点图像时不同，该额外的信息在过程中被保存，并且导致具有扩展的信息量的MFP堆栈，在此称为具有扩展的焦平面的扩展的MFP堆栈。

一些实施例使用焦点堆栈(一系列纹理图像)和一系列对应的深度图作为输入。可通过以不同焦距拍摄一系列纹理图像或从自所述视图捕获的光场解析所述纹理图像来捕获焦点堆栈图像。在将适当的压缩方案应用于数据之后，发送该系列纹理图像和相应的深度图。

在传统的MFP处理中，将单个纹理图像乘以源自单个深度图的聚焦权重图。在一些实施例中，另一方面，以不同焦距捕获的一系列纹理图像对应于一系列略微不同的深度图和聚焦权重图。使用相对大的光圈和变化的焦距来捕获深度图。在一些实施例中，相同的光圈和焦距(光学器件)被用于焦点堆叠中的纹理图像。

所接收的深度图被用于生成聚焦权重图，所述聚焦权重图被用于焦平面(MFP)的形成和混合。焦点堆栈中的每个纹理图像与相应的聚焦权重图相乘以形成相应的焦平面图像。在一些实施例中，每个纹理图像与一聚焦权重图相乘，该聚焦权重图是从根据/针对相同焦距捕获的深度图形成的。

常规MFP方法分解具有一个焦距的一个图像或一个扩展焦点图像(虚拟建模场景或若干纹理图像的汇编)。遮挡对象或区域背后的相当数量的信息不进入MFP形成过程。

在一些实施例中，每个焦平面图像使用其对应的焦点捕获作为输入来形成。除了从所有焦距收集准确信息之外，该方法还利用了遮挡对象或区域背后的信息。使用本文所述的技术生成的焦平面被称为扩展MFP。

本文所使用的实施例可以在使用焦平面来生成虚拟视点改变的系统中采用。可以通过使MFP相对于彼此侧向移位来针对横向移位的视点执行虚拟视点改变的生成。移位的量取决于所选择的视点变化量(视差)以及每个MFP离观看者的距离。在一些实施例中，可以通过MFP的缩放，其中较近的MFP比较远的MFP缩放更大的量，来对在向前或向后方向上移位的视点执行虚拟视点改变的生成。

与传统MFP的移位相比，扩展MFP的移位可以导致去遮挡或空洞的级别降低。相应地，该益处可以用于增加虚拟视点改变的视差量。

一些现有的方法使用焦点捕获作为MFP分解程序的输入，但是已经被限制到对于人眼典型的光圈尺寸(在正常观看条件下在3-4mm的量级)。这些方法不能用于利用由在遮挡对象后面延伸的焦平面实现的内部涂色效应(减少孔洞)。

一些实施例在捕获聚焦叠层时受益于使用大光圈。光场也是用于提供具有变化焦距的大光圈图像的可行选项。与基于传输所有捕获数据的光场解决方案不同，一些实施例产生作为光场的近似进行操作的MFP，其可以被有效地压缩和传输。

由于可接受的技术复杂性和良好的渲染质量，MFP显示器是用于支持对3D内容的自然适应的非常可行的方法。因此，使用MFP也是捕获和传输所支持的非常自然的选择。

基于滤波的实施例可以操作以还针对场景中可能的非朗伯现象捕获焦点属性(例如，还针对反射和折射的图像信息示出正确的焦点)。

示例图像处理和显示方法。

捕获具有不同焦距的N个图像的集合。

一些实施例在使用相对大光圈图像捕获时利用从场景获取的额外信息。相对大的光圈在这里是指基本上大于人眼的光圈，在正常条件下为大约3mm。例如，可以使用1cm或更大的光圈。在一些实施例中，可以使用大约36mm的光圈。在一些实施例中，所述光圈在一厘米至几厘米的范围内。

捕获场景的N个纹理图像的集合，具有焦距f₁,f₂…f_N。例如，图3B、3C和3D的纹理图像可以用相应的焦距f₁、f₂、f₃来捕获。在该示例中，N是用于MFP形成和渲染中的焦平面的相同的相对小的数量。为了简单起见，在该示例中，MFP显示在相应的距离d_i处，其中d₁＝f₁,d₂＝f₂…d_N＝f_N。

当改变焦距时，所获得的纹理图像在相应的距离处聚焦。由于所使用的大光圈，每个纹理图像还可以包含来自遮挡对象边缘后面的一些信息，诸如图3D中建筑物被前景对象遮挡的部分。稍后在该过程中，该信息最终到达对应的焦平面(MFP)。在一些示例中，符号p_i用于指代由值i索引的纹理图像，其中p_i(x,y)是该纹理图像内的位置(x,y)处的像素值(例如，亮度值或RGB值，以及其他可能性)。

捕获或形成N个深度图。

在此示例中，对于N个纹理图像中的每一者，捕获单独的深度图。在不同的焦距的情况下，场景的最佳分割和深度像素的相应分配可以是不同的。

在一些示例中，符号z_i用于指代与纹理图像p_i对应的深度图。在一些实施例中，使用与用于相应的纹理图像p_i的焦距相同的焦距d_i来捕获深度图z_i。除了其它选项之外，可以使用飞行时间相机或结构光相机来捕获深度图。符号z_i(x,y)在一些示例中用于指代针对该纹理图像内的位置(x,y)记录的深度。

在以大光圈尺寸(例如，1cm或更大)捕获的深度图中，较近对象与较远对象之间的边界可能“模糊”。例如，即使在较近和较远对象之间实际上存在清晰边界，用大光圈捕获的深度图也可展示跨像素的测量距离的逐渐过渡。例如，在如Honnungar等人所使用的飞行时间相机的情况下，边界附近的像素可以测量时间调制光的叠加，从而将从较近对象反射的光与从较远对象反射的光进行组合。在处理所接收的光以测量“飞行时间”(例如，根据Honnungar等人的等式1)时，结果可以反映在较近对象的深度和较远对象的深度之间的深度。虽然深度值的这种“模糊”在现有系统中可能被认为是不期望的，但是在本文描述的一些示例中使用该效果以有利地形成用于显示的扩展的焦平面，同时减少焦平面之间的孔或间隙的出现。

深度检测光学器件的焦距被调整，使得N个深度图中的每一个在与相应的焦点捕获图像相同的距离处对焦。当使用大光圈时，也可以获得被较近对象遮挡的像素/区域的深度值。

图4A-4D是表示用不同焦距捕获的深度图的示意图。图4A-4D中所示的示意性深度图对应于图3A-3D中所示的相应纹理图像。

图4A表示以非常小的光圈和基本上无限的焦深捕获的图3A-3D的场景的“针孔”深度图402。更远的区域用更深的影线表示，而更近的区域用更浅的影线表示(或者最近区域没有影线)。

图4B是使用与图3B的捕获纹理图像所使用的相同的光圈和焦距f₁捕获的深度图404的示意图。具体地，图4B的深度图聚焦于前景中的无线电设备。更远的窗口窗格条是离焦的，并且因此对于深度相机而言显得至少部分透明。(为了说明，图4B的示意图中的窗格条被处理为完全透明的)。

图4C是使用与图3C的捕获纹理图像所使用的相同的光圈和焦距f₂捕获的深度图406的示意图。具体地，图4C的深度图聚焦于中间距离处的窗框。无线电设备比焦距更靠近照相机。结果，无线电设备天线对深度相机表现为至少部分透明。(为了说明，在图4C的示意图中，天线被处理为完全透明)。

图4D是使用与图4D的捕获纹理图像所使用的相同的光圈和焦距f₃捕获的深度图408的示意图。具体地，图4D的深度图聚焦于背景中的建筑物。无线电设备和窗框比焦距更靠近照相机。结果，无线电设备天线和窗口窗格条对于深度相机显得至少部分透明。(为了说明，天线和窗格条在图4D的示意图中被处理为完全透明的)

产生N个聚焦权重图。

深度混合可通过将深度混合函数应用于深度图来实现，例如，如在Kurt Akeley,Simon J.Watt,Ahna Reza Girshick,和Martin S.Banks(2004),“具有多个焦距的立体显示原型(A Stereo Display Prototype with Multiple Focal Distances)”ACM图形处理(TOG),v.23n.3,2004年08月,pp.804-813中所描述的。在一些实施例中，使用线性滤波器(也称为帐篷式滤波器)，尽管在一些实施例中可以使用非线性滤波器。

在一些实施例中，深度图被用于生成聚焦权重图(例如，N个聚焦权重图)，其指示图像像素对每个焦平面图像作出贡献的权重。

在一些这样的实施例中，正好在焦平面的距离处的那些像素仅对对应的焦平面有贡献(具有全权w＝1)。由于深度混合，两个焦平面之间的像素通过由对应的聚焦权重图所表示的权重(w1和w2；w1+w2＝1)对这两个平面有贡献。

符号w_j(x,y)可以用于表示位置(x,y)处的像素相对于由j索引的显示焦平面的聚焦权重。在一些示例中，聚焦权重映射w_j(x,y)是深度的函数，使得w_j(x,y)＝w_j[z_i(x,y)]，其中z_i(x,y)是由i索引的深度映射中位置(x,y)处的像素的深度(对应于由i索引的纹理图像)。

在一些实施例中，对应于N个图像的N个深度图中的每一者由N个混合函数处理。因此，可生成总共N×N个聚焦权重映射，其中在一些示例中每个聚焦权重映射可由w_ij(x,y)＝w_j[z_i(x,y)]表示，其中i，j＝0,…,N-1。可行的选择是仅使用与每个纹理图像的焦距相对应的那些聚焦权重图，使得在这样的实施例中每个聚焦权重图可以由w_j(x,y)＝w_j[z_i(x,y)]来表示。每个这样的聚焦权重图包含与任何其他聚焦权重图相比最佳聚焦且准确的信息。在替代实施例中，例如为了提供期望的视觉效果，可以选择不对应于纹理图像的焦距的一个或多个聚焦权重图。

图5A-5C是与图3B-3D的相应纹理图像一起使用以生成距离f₁、f₂、f₃的相应焦平面图像的聚焦权重图的示意图。聚焦权重图提供权重，该权重针对纹理图像的每个区域(例如，像素)表示该区域对焦的量。在图5A-5C的图示中，具有较高权重的区域(对应于更多对焦区域)用较亮(或不存在)阴影示出，而具有较低权重的区域(对应于更多未对焦的区域)用较暗阴影示出。

图5A示意性地示出了在生成距离f₁的焦平面图像中使用的聚焦权重图504。具有接近距离f₁的深度的区域被给予最高的聚焦权重，如使用图4B的深度图所测量的(其也是在焦距f₁下捕获的)。例如，因为无线电设备基本上定位在距离f₁处，所以无线电设备是对焦的，并且对应于无线电的区域(例如，像素)被给予最高聚焦权重。诸如窗框和背景建筑物的其它区域在更远的距离处，更加散焦，并且因此具有更低的聚焦权重。

图5B示意性地示出了在生成距离f₂的焦平面图像中使用的聚焦权重图506。具有接近距离f₂的深度的区域被给予最高的聚焦权重，如使用图4C的深度图所测量的(其也是在焦距f₂下捕获的)。例如，因为窗框基本上定位在距离f₂处，所以窗框是对焦的，并且对应于窗框的区域(例如像素)被给予最高聚焦权重。无线电设备是未对焦的，因为它比距离f₂更近，并且背景建筑物是未对焦的，因为它比f₂处于更大的距离，所以那些区域具有较低的聚焦权重。

图5C示意性地示出了在生成距离f₃的焦平面图像中使用的聚焦权重图508。具有接近距离f₃的深度的区域被给予最高的聚焦权重，如使用图4D的深度图所测量的(其也是在焦距f₃下捕获的)。例如，因为背景建筑物基本上定位在距离f₃处，所以建筑物是对焦的，并且对应于建筑物的区域(例如，像素)被给予最高聚焦权重。诸如窗框和无线电设备的其它区域在较近的距离处，更加未对焦，并且因此具有较低的聚焦权重。

N个焦平面图像的选择和使用。

在一些实施例中，通过将每个纹理图像乘以与其焦距相对应的聚焦权重图来形成焦平面图像。以这种方式形成，焦平面还包含遮挡对象边缘后面的一些信息。当捕获聚焦图像(和感测深度)时，光圈越大，这种信息的量越大。

图6A示意性地示出了在焦距f₁处生成用于显示的焦平面图像604。在这个例子中，通过在逐个像素的基础上(可能在缩放或以其它方式对准纹理图像和聚焦权重图之后)将纹理图像304乘以聚焦权重图504来生成焦平面图像604。在焦平面图像604中最可见的内容主要是无线电设备，其是在焦距f₁处最对焦的对象。

图6B示意性地示出了在焦距f₂处生成用于显示的焦平面图像606。在这个例子中，通过将纹理图像306乘以聚焦权重图506来生成焦平面图像606。在焦平面图像606中最可见的内容主要是窗框，其是在焦距f₂处最对焦的对象。

图6C示意性地示出了在焦距f₃处生成用于显示的焦平面图像608。在该示例中，通过将纹理图像308乘以聚焦权重图508来生成焦平面图像608。在焦平面图像608中最可见的内容主要是建筑物，其是在焦距f₃处最对焦的对象。

图7示意性地示出了例如使用诸如图2的MFP显示器向用户显示多个焦平面图像，具体地，在该示例中，焦平面图像604显示在最靠近用户的焦平面处(图的左侧)，焦平面图像606显示在离用户更远的焦平面处，而焦平面图像608显示在远处的焦平面处。对于用户，焦平面图像604可表现为在距用户的距离f₁处，焦平面图像606可表现为在距用户的距离f₂处，并且焦平面图像608可表现为在距用户的距离f₃处。

图3-7的例子中使用的处理方法在图8的流程图中示出，在802，以不同的焦距捕获数量N个纹理图像。在804，为N个纹理图像中的每一者生成单独的深度图。在步骤806中，根据深度图中的每一者生成聚焦权重图。在步骤808中，将每个纹理图像乘以相关联的聚焦权重图以形成N个焦平面图像。在步骤810中，在多焦平面显示器上渲染N个焦平面图像。在启用运动视差的显示器的情况下，焦平面图像可响应于观看者的横向移动而相对于彼此横向移位和/或缩放以模拟运动视差。

示例聚焦权重确定。

在图3-7中所示的示例中，对于在焦距f_i处的每个所显示的焦平面，存在利用焦距f_i捕获的单个纹理图像和利用焦距f_i捕获的单个深度图。(或者，其它深度图和纹理图像被捕获，但未被用来生成所显示的焦平面图像)。在这样的条件下，用来填充聚焦权重图的聚焦权重可以使用图13A-13C中所示的方法来计算。

图13A是用于具有最小焦距f₁(最靠近相机或观察者)的焦平面的示例聚焦权重w₁(x,y)的曲线图。在该示例中，每一聚焦权重w₁(x,y)仅由也具有焦距f₁的深度相机所捕获的相应像素深度z₁(x,y)来确定。在该示例中，第二焦平面在焦距f₂处。在该示例中，聚焦权重W₁(x,y)计算如下。

·如果z₁(x,y)≤f₁，则w₁(x,y)＝1。

·如果f₁≤z₁(x,y)≤f₂，则w₁(x,y)＝[z₁(x,y)-f₂]/[f₁-f₂]。

·如果z₁(x,y)≥f₂，则w₁(x,y)＝0。

图13B是用于具有焦距f_i的焦平面的示例聚焦权重w_i(x,y)的曲线图，该焦平面既不是最近的也不是最远的焦平面。在该示例中，每一聚焦权重w_i(x,y)仅由深度相机所捕获的相应像素深度z_i(x,y)来确定，该深度相机也具有焦距f_i。较近的焦平面在焦距f_i-1处，而较远的焦平面在焦距f_i+1处。在该示例中，聚焦权重w_i(x,y)如下计算。

·如果z_i(x,y)≤f_i-1，则w_i(x,y)＝0。

·如果f_i-1≤z_i(x,y)≤f_i，则w_i(x,y)＝[z_i(x,y)–f_i-1]/[f_i–f_i-1]。

·如果f_i≤z_i(x,y)≤f_i+1，则w_i(x,y)＝[z_i(x,y)–f_i+1]/[f_i–f_i+1]。

·如果z_i(x,y)≥f_i+1，则w_i(x,y)＝0。

图13C是用于具有焦距f_N的焦平面的示例聚焦权重w_N(x,y)的曲线图，该焦平面是最远的焦平面。在该示例中，每一聚焦权重w_N(x,y)仅由深度相机所捕获的相应像素深度z_N(x,y)来确定，该深度相机也具有焦距f_N。较近的焦平面在焦距f_i-1处，而较远的焦平面在焦距f_i+1处。在该示例中，聚焦权重w_N(x,y)计算如下。

·如果z_N(x,y)≤f_N-1，则w_N(x,y)＝0。

·如果f_N-1≤z_N(x,y)≤f_N，则w_N(x,y)＝[z_N(x,y)–f_N-1]/[f_N–f_N-1]。

·如果z_N(x,y)≥f_N，则w_N(x,y)＝1。

图13A-13C的上述描述提供了代表距照相机或观察者的线性距离的f_i值。然而，在一些实施例中，使用f_i和z_i的值的距离的倒数(例如屈光度尺度)来计算聚焦权重w_i(x,y)。在这些实施例中仍然可以使用关于图13A-13C给出的等式，可以理解的是，f_i的最小值(例如f₁)将表示最远焦平面，f_i的最大值(例如f_N)将表示最近焦平面。使用相反距离尺度的此类实施例可更容易地适应使用位于“无穷远处”的焦平面。

图14A-14C类似于图13A-13C，但图14A-14C示出聚焦权重w_i(x,y)无需相对于深度z_i分段线性。图14A-14C所示的聚焦权重相对于深度z_i是分段正弦的，但在其它实施例中可实现其它关系。在其它示例实施例中，在图13A-13C和14A-14C的实施例中，W_i在f_i处具有最大值，并且在f_i的任一侧上减小或保持恒定。

在一些实施例中，可能不是这样的情况，即对于焦距f_i处的每个显示焦平面，是以焦距f_i捕获的单个纹理图像和以焦距f_i捕获的深度图。例如，在焦距f_i处可以有显示平面，但是在相同焦距f_i处没有捕获纹理图像和/或深度图。类似地，可以用不同的焦距来捕获深度图和纹理图像。图9中示出了这种条件的示例，其中存在两个不同的深度图、三个不同的纹理图像和两个不同的焦平面图像，它们都没有相同的对应焦距。

在这样的条件下，一些实施例中的图像处理可以如下执行。焦平面图像i中的位置(x,y)处的像素值(例如，亮度值或RGB值)可以由q_i(x,y)表示。不同显示焦平面j中的像素值可以由p_j(x,y)表示。每个像素值q_i(x,y)可以计算如下：

其中w_ij(x,y)是聚焦权重图中的聚焦权重。权重w_ij(x,y)又可以利用由z_i(x,y)表示的深度图来确定。权重w_ij(x,y)表示来自纹理图像j中的所捕获像素p_j(x,y)对焦平面图像i中的显示像素q_i(x,y)的贡献的权重。

在一些实施例中，基于至少两个因子确定权重：(i)基于焦平面i和所捕获的纹理图像j的焦距之间的差的因子，以及(ii)基于所捕获的纹理图像中的各个像素的聚焦级别的因子。

当焦平面i和纹理图像j都具有相同的焦距时，基于焦平面i和所捕获的纹理图像j的焦距之间的差的因子可以具有值1，并且可以由于焦距之间的差的增加而减小该因子。

基于所捕获的纹理图像中的各个像素的聚焦级别的因子可以取决于纹理图像的焦距与所捕获的像素的测量深度之间的差。当所捕获的像素的测量深度等于纹理图像的焦距时，该因子可以具有值1，否则可以减小该因子。如果在与纹理图像相同的焦距处没有捕获到深度图，则可以例如通过基于具有最近焦距的深度图的线性内插来确定所捕获的像素的测量深度。在一些实施例中，如以下更详细描述，使用散焦图来确定各个像素的聚焦级别。这样的实施例不需要捕获深度图的使用。

使用散焦图来形成聚焦权重图。

在一些实施例中，如上所述，为了使被遮挡信息最终到达焦平面，使用具有不可忽略的尺寸的光圈而不是使用针孔光圈来执行深度感测。在一些这样的实施例中，可以使用与用于捕获深度图像的相同的光圈和焦距来捕获深度图的集合。在替换实施例中，执行焦点堆栈图像的滤波以从遮挡区域捕获信息，该信息可以出现在任何焦点堆栈图像中，并使用它来形成扩展MFP。可在不使用单独的深度传感器的情况下实施此类实施例。

在一些实施例中，使用“距焦点深度”方法，例如在Shaojie Zhuo，Terence Sim，“根据单个图像的散焦图估计(Defocus map estimation from a single image)”，模式识别44(2011)，pp.1852-1858中描述的方法，为每个捕获的纹理图像导出焦点重量图。

在一些实施例中，形成N个散焦图，每个散焦图对应于一个纹理图像(例如，使用Zhuo&Sim的方法)。每一散焦图覆盖整个所捕获视图的深度范围。深度混合操作可被用于形成相应的聚焦权重图。在这样的实施例中，基于聚焦级别而不是基于测量的深度来确定聚焦权重图。

在一些情况下，深度混合函数是对称的，无论像素是在焦点(焦平面)距离的前面还是后面，都产生相同的贡献。散焦图固有地具有这种特性。

可以注意到，对于散焦图像，焦距也是已知的。因此，尽管尺度不同，但两种尺度的起源是相同的。为了满足深度图的约定，可在深度混合之前反转散焦图。这使得它基本上是一个焦点图，示出了最高焦点的最高值。然而，此图仍可称为散焦图。

图10示出了将(散焦)聚焦图解释为深度图，并使用线性滤波器将测试图像分解为三个MFP的示例。在1002，以不同的焦距捕获N个不同的纹理图像。在1004，对每个纹理图像进行滤波以形成相应的散焦图。散焦图的生成可以利用相机参数，诸如光圈和焦距。在1006，根据散焦图生成N个聚焦权重图。在1008，将每个纹理图像乘以相应的聚焦权重图以形成总共N个焦平面图像。在步骤1010，在多焦平面显示器上渲染焦平面图像。

通过使用散焦平面生成的聚焦权重图可在很大程度上对应于使用深度图生成的聚焦权重图，除了尺度之外，对于散焦图，其不必与距离成线性关系。虽然相信此差异不具有显著效果，但在一些实施例中，可能需要使散焦图的亮度尺度线性化。如Zhuo&Sim中所述，当捕获纹理图像时，可以利用摄像机参数的知识来执行线性化。

使用滤波和重新分布来形成多个焦平面。

在一些实施例中，使用滤波和重新分布来形成焦平面图像。

当产生支持视点改变(例如，运动视差和/或立体视图的生成)的MFP时，滤波和重新分布可以减少去遮挡。重新分布操作用于通过滤波每个焦平面图像的高频和低频分量来分离和重新分布。高频被保持在它们出现的相同级别/距离处，但是低频分量被分布在焦平面图像中。低频分量的重新分布是可行的，因为它们仅对人类视觉系统中的深度线索做出较小贡献。

在一些实施例中，通过不同的焦距捕获纹理图像的堆叠，并且通过已知的焦距暗示用于高频的深度位置。来自遮挡区域的信息被捕获至MFP，获得了重新分布的益处，并且没有使用深度图或深度混合。在一些实施例中，使用大光圈图像以便从遮挡区域捕获信息。光圈直径可以是几厘米的数量级。滤波和重新分布可以以这样的方式实现，即该信息最终到达重新分布的MFP；滤波在整个图像区域上是相同的，因此不可能排除从遮挡区域捕获的信息。结果似乎没有遭受这样的事实，即，可以通过遮挡纹理看到边缘附近的被遮挡区域，从而改变了相应像素的亮度。

对于与边缘周围的信息重叠相关的最佳光圈尺寸，可能存在实际限制。除了作为解决方案限制光圈尺寸之外，可以实现基于图像处理的解决方案，以仅当被遮挡的信息从边缘后面被显露时，例如当对于虚拟视点相对于彼此移动焦平面(移动量确定显露或覆盖哪些像素)时，才显示被遮挡的信息。

图11示出了一个这种方法的示例，在1102，从真实或合成场景捕获大光圈光场。在1104，根据光场图像生成N个焦点堆栈图像，每个焦点堆栈图像具有不同的焦距。在1106，根据光场图像生成扩展焦点图像(例如，“针孔”型图像)。在1108，将高通滤波器应用于焦点堆栈图像以获得高频图像分量。在1110，将低通滤波器应用于扩展焦点图像以获得低频图像分量。在1112，来自扩展焦点图像的低频图像分量被添加到滤波的(高频)焦点堆栈图像，可能具有诸如1/N的缩放因子。在1114，现在包括高频分量(来自原始焦点堆栈图像)和低频分量(来自扩展焦点图像)的重新分布的焦平面图像被渲染。在一些实施例中，焦平面图像的堆叠可被相对于彼此移位以产生场景的立体视图和/或模拟运动视差。在不同焦平面图像中的低频分量的分布允许在图像中的任何间隙或空隙变得可见之前的大量移位。

图12示出了用于使用滤波从光场生成焦平面图像的另一技术。在1202，从真实或合成场景捕获大光圈光场。在1204，根据光场图像生成N个焦点堆栈图像pic1…picN，每个焦点堆栈图像具有不同的焦距。在1206，根据光场图像生成扩展焦点图像(例如，“针孔”型图像)pic.ext。(在一些实施例中，扩展焦点图像可由具有不同焦距的单独焦点捕获形成)。在1208处，将低通滤波器应用于焦平面图像以获得低频图像分量pic1.lf…picN.lf。在1210，将低通滤波器应用于扩展焦点图像以获得低频图像分量pic_ext.lf。在1212，来自扩展焦点图像的低频图像分量被添加到焦平面图像，可能利用诸如1/N的缩放因子。得到的图像现在包括它们的原始低频分量和来自pic_ext.lf的低频贡献；因此，在1213，低通滤波图像pic1.lf…picN.lf被减去以生成重新分布的焦平面图像pic1.rd…picN.rd。在1214，这些重新分布的焦平面图像被显示给用户。在一些实施例中，焦平面图像的堆叠可被相对于彼此移位以产生场景的立体视图和/或模拟运动视差。在不同焦平面图像中的低频分量的分布允许在图像中的任何间隙或空隙变得可见之前的大量移位。

在一些这样的实施例中，使用高斯滤波来执行低通滤波。在图12的例子中，焦平面图像的低通滤波(在1208处)之后，从原始图像中减去低通滤波图像(在1213处)具有高通滤波的效果。在替代实施例中，明确地执行焦平面图像的高通滤波。

用信号通知多个深度和聚焦图像。

本文描述的实施例可以使用与单个时刻相对应的多个深度图和焦点图像。在一些实施例中，技术用于深度图和焦平面图像的高效存储和/或通信。

将深度图像和聚焦图像相关联。

在一些情况下，深度捕获的焦距可以不同于图像捕获的焦距。深度图的分辨率可以不同，通常具有比图像捕获的分辨率低的分辨率。在一些实施例中，在深度图的上采样期间，图像映射中的边缘映射可以用于提供信息以细化深度边缘。深度图可以以不同的帧速率被信号发送并且被内插到图像帧速率。深度图也可以具有不同的比特深度和图像值到深度值的映射。

在许多情况下，除了对象的边缘周围，深度图可能具有很少的细节。在一些实施例中，深度图的分辨率可被降低以用于通信，并且然后在用于计算深度加权函数之前被调整大小到全分辨率。当针对特定焦点深度值上采样深度图时，高分辨率图像捕获的存在可被用于引导边缘周围的内插。在许多情况下，深度图是单通道图像，没有颜色，并且比特深度可以相对低。比特深度和实际距离之间的关系可以通过传递函数来表示。

视频序列级参数。

给定焦平面图像和深度图之间的可能差异，诸如比特深度、空间分辨率、时间帧速率和焦距值，包括多个聚焦图像和深度图的编码视频序列可以为聚集图像和深度图两者独立地提供这些参数值。序列级参数的描述在表1中示出。

表1.多聚焦图像序列信息参数。

聚焦图像序列级参数在序列上是恒定的，并且描述了对于时间序列的所有聚焦图像共同的特性。

num_focal_images：对应于单个帧时间的聚焦图像的数量。

focal_images_fps：聚焦图像序列的帧速率定义了对应于相同焦距的图像之间的时间偏移。

focal_images_height：每个聚焦图像的以像素的空间高度。

focal_images_width：每个聚焦图像的以像素的空间宽度。

focal_images bit_depth：每个聚焦图像的样本的比特深度。

focal_images_num_color_planes：描述了颜色平面的数量，例如RGB或YUV序列的3个。

focal_distance[f]:：该阵列的每个条目给出了与焦点图像的索引相对应的焦距。

深度图序列级参数在序列上是恒定的，并且描述序列的深度图共有的特性。

num_depth_maps：对应于单个帧时间的深度图的数目。可能不同于焦点图像的数量。

depth_maps_fps：深度图序列的帧速率定义了对应于相同深度距离的图像之间的时间偏移。

depth_maps_height：每个深度图以像素的空间高度。

depth_maps_width：每个深度图以像素的空间宽度。

depth_maps_bit_depth：每个深度图图像的样本的比特深度。

depth_map_distance[f]：该阵列的每个条目给出对应于深度图的索引的距离值。这是与在记录深度图时使用的焦距相对应的距离。

帧级参数。

视频序列中的各个帧可以指示它们的类型：聚焦图像或深度图、索引相关序列级参数集，并且另外经由图像计数指示时间偏移、以及指示到focal_distance或depth_map_distance值的索引。这些帧级参数在表2和表3中示出。

表2.聚集图像单帧参数。

下面描述用于单个聚焦图像的帧级参数：

sequence_id：是指在多个序列参数集的情况下使用的单个序列参数集。

frame_count：描述了聚焦图像在帧序列内的时间位置。

depth_map_distance_index：索引焦距值的序列级列表。

表3.深度图单帧参数。

下面描述用于单个深度图的帧级参数：

sequence_id：是指在多个序列参数集的情况下使用的单个序列参数集。

frame_count：描述了聚焦图像在帧序列内的时间位置。

depth_map_distance_index：索引深度图距离值的序列级列表。

在对焦平面图像进行编码中使用图像间预测。

在不同聚焦条件下捕获的图像之间的相关性可以经由使用类似于SNR可缩放性技术的图像间预测来开发，其中质量变化但分辨率不变。在一些实施例中，通过用信号通知一个聚焦捕获图像并且用信号通知该第一聚焦捕获图像与第二聚焦捕获图像之间的差异来开发同一场景的不同聚焦捕获之间的相关性。

在编码中使用帧间深度图预测。

深度图之间的相关性可以用于减少带宽需求。类似于经由残差用信号发送单个基本聚焦图像和附加聚焦图像，可以通过在深度图之间进行预测来用信号发送具有不同聚焦捕获的多个深度图。

在一些实施例中的附加特征。

在一些实施例中，所形成的焦平面的数量和位置与所捕获的纹理图像的数量和位置相同。在数目和/或位置不同的情况下，纹理图像可以首先根据它们离对应的焦平面位置的距离被混合到最近的焦平面。

值得注意的是，在各种MFP方法中，深度图用于将场景信息/像素分离或分解为多个深度范围，用于形成相应的焦平面。代替深度图，可以使用其他依赖于深度的映射标准来进行分离。上文关于为此目的使用散焦图描述了可选的深度相关映射的示例。散焦图类似于深度图，但是代替深度感测，散焦图基于图像模糊，图像模糊可以通过对图像的滤波来检测。

在一些实施例中用于分离的另一标准是使用景深。然而，景深遵循相对复杂的3D和光学几何数学。DoF在图像中显示为具有聚焦像素的区域(超平面)，而外部区域相应地散焦。通过使用适当的滤波来检测聚焦区域，计算DoF可以被替换为通过滤波来检测聚焦区域。

在执行空间频率分量的重新分布的实施例中，通过不同的焦距捕获纹理图像的堆叠，并且通过已知的焦距暗示高频的深度位置，其现在被用作用于分配深度信息的标准。此外，使用滤波来检测互补的DoF的集合和相应的焦点堆栈图像，在深度和聚焦信息上覆盖整个捕获的体积。可以用数学方法确定焦点图像的数量和位置，以便捕获场景的大部分对焦细节(高频)。

在一些实施例中，一种方法包括获得场景的多个纹理图像，每个纹理图像具有不同的相应焦距；以及对于每个纹理图像，通过以下生成焦平面：(i)确定所述纹理图像的多个像素中的每个像素的对应权重，其中所述权重表示所述像素对焦的量，以及(ii)将所述多个像素中的每个像素的像素值乘以所述对应权重。焦平面图像可以以多焦平面显示器显示，例如基本上同时或以时间复用方式(例如，顺序地)显示。

在一些实施例中，一种方法包括获得场景的多个纹理图像p_i，每个纹理图像具有不同的相应焦距d_i；以及对于每个纹理图像p_i，通过以下生成焦平面图像q_i：(i)确定纹理图像的多个像素中的每一个像素的对应权重w_i，其中权重w_i(x,y)表示像素(x,y)对焦的量，以及(ii)将纹理图像p_i的每个像素值p_i(x,y)乘以相应权重w_i(x,y)以生成焦平面图像q_i，使得q_i(x,y)＝p_i(x,y)·w_i(x,y)。

可以至少部分地基于与像素对应的深度值z_i(x,y)和包括该像素的纹理图像的焦距d_i之间的差来确定纹理图像中的像素聚焦的量。

在一些实施例中，对于每个纹理图像，获得场景的深度图像z_i(x,y)。对于每个纹理图像p_i(x,y)，通过函数w_i[z_i(x,y)]确定权重w_i(x,y)。在一些实施例中，可以获得单个深度图像以与所有纹理图像一起使用，并且z_i(x,y)对于i的所有值可以是相同的。在一些实施例中，w_i[z_i(x,y)]在w_i[d_i]处具有最大值。

在一些实施例中，获得多个纹理图像包括：在具有多个显示焦平面的显示设备处接收初始纹理图像的集合，每个显示焦平面具有不同的相应焦距；以及从所述初始纹理图像的集合中选择具有与显示焦平面的焦距相对应的焦距(例如，具有相同的焦距或最近的焦距)的所选纹理图像p_i的集合。每个所选纹理图像p_i可具有等于显示焦平面之一的焦距d_i。

在一些实施例中，一种提供场景的多层图像的方法包括：对于多个不同焦距中的每一个焦距，(i)捕获聚焦在相应焦距处的场景的纹理图像，以及(ii)捕获聚焦在相应焦距处的场景的深度图像(例如，使用飞行时间相机)；以及传送所捕获的纹理图像和深度图像。每个纹理图像和相应的对应深度图像可基本上同时被捕获。每个纹理图像和相应的对应深度图像是用相同的光学器件捕获的。在一些实施例中，所捕获的纹理图像和深度图像被编码在比特流中，并且传送所捕获的纹理图像和深度图包括传送编码的比特流。在一些这样的实施例中，对所捕获的纹理图像和深度图像进行编码包括使用纹理图像中的至少第一纹理图像作为用于对纹理图像中的至少第二纹理图像进行编码的预测符。在一些实施例中，对所捕获的纹理图像和深度图像进行编码包括使用纹理图像中的至少一个纹理图像作为用于对深度图像中的至少一个深度图进行编码的预测符。

注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其执行(即，执行、施行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、和/或软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒介中，诸如通常被称为RAM、ROM等。

尽管以上以特定的组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可以单独使用或与其它特征和元件任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘的磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)的光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。