具体实施方式

在本文件的所有附图中，相同的附图标记指示相似的元件和步骤。

所公开的技术涉及一种用于检测由LF捕获系统捕获的图像中的遮挡的方法。

更具体地，这种方法包括至少基于与参考图像相关联的深度图的分段，确定参考图像中的其中可能出现潜在遮挡的候选区域(属于由LF捕获系统捕获的图像的矩阵)。至少基于与参考图像中的候选区域的至少两个邻域相关联的可见度值来确定表示候选区域中的遮挡状态的信息。

因此，表示遮挡状态的信息的确定利用在LF数据的不同视图中可用的信息，从而与已知技术相比导致改进的结果。此外，表示遮挡状态的信息的确定仅依赖于容易推导的参数(例如深度和可见度)，而几乎没有附加推导，使得可以容易地执行该方法。例如，该方法可以在实时环境中使用，以便在所讨论的图像的捕获期间通知LF捕获系统的用户。因此，在该特定情况下，用户能够改变LF捕获系统的位置和/或取向，从而避免出现遮挡(如果有)。

现在我们结合图1描述在捕获包括前景对象150a和背景对象150b的场景150期间LF捕获系统100的用户。结合图2a和3a进一步讨论场景150的两种配置，其中取决于前景对象150a相对于LF捕获系统100和背景对象150b的距离而出现或不出现遮挡。

当在给定时刻捕获场景150时，LF捕获系统100传送属于LF数据的图像矩阵，矩阵中的每个图像以不同的视点捕获场景150。为此，LF捕获系统100包括光学系统100o，该光学系统100o具体专用于同时捕获矩阵中的各个图像。

在本实施例中，LF捕获系统100是相机装置(或相机阵列)，并且光学系统100o包括4个相机100o1至100o4(图2a和3a)。在未例示的其他实施例中，LF捕获系统100包括不止一个的另一数量的相机。在其他实施例中，LF捕获系统100是全光相机，并且捕获装置是多个子系统，每个子系统包括主透镜，微透镜阵列的一个微透镜以及传感器的对应部分。

返回图1，LF捕获系统100还包括显示器100d(例如，屏幕，触摸屏等)，生动地呈现属于场景150的捕获期间由LF捕获系统100传送的图像矩阵的图像。在这种情况下，被呈现的图像称为图像矩阵中图像中的参考图像。在未示出的其他实施例中，LF捕获系统不包括这样的显示器，并且捕获的LF数据被发送到远程设备或直接存储在LF捕获系统中以用于以后的后处理。在那种情况下，参考图像是从由LF捕获系统捕获的图像矩阵的图像中选择的给定图像，并且所公开的方法在后处理中被执行。

回到图1，LF捕获系统100包括设备110，该设备110包括用于执行图4的方法的装置(用于检测由LF捕获系统100捕获的图像中的遮挡的方法)。下面结合图5进一步讨论这种设备。

在场景150的第一配置(图2a)中，相对于到LF捕获系统100的光学系统100o的距离，前景对象150a接近背景对象150b。

每个相机100o1至100o4从不同的视点捕获场景。因此，前景对象150a针对相机100o1至100o4中的每一个隐藏背景对象150b的不同部分。例如，虚线100o1oa界定前景对象150a后面的第一相机100o1看不见的区域。第一相机100o1经历的遮挡对应于所讨论的区域与背景对象150b的相交。其他相机100o2至100o4也一样，但是视点不同。最后，最终的遮挡与区域200(图2a中以深灰色表示的区域)有关，该区域分别对应于系统的相机100o1至100o4看不到的区域的相交。换句话说，在由相机100o1至100o4捕获的图像中，不存在与属于所讨论的背景对象150b与区域200的相交的背景对象150b的部分对应的像素。

在该第一配置中，相对于光学系统100o的相机100o1至100o4之间的距离，从前景对象150a到光学系统100o的距离保持较高。因此，区域200一直延伸到背景对象150b，使得甚至存在最终的遮挡。

在场景150的第二配置中(图3a)，前景对象150a远离背景对象150b并且接近到LF捕获系统100的光学系统100o的距离。此外，前景对象150a的宽度保持低于光学系统100o的相机100o1至100o4之间的距离。

因此，即使第一相机100o1经历的遮挡(即，由虚线100o1ob界定的区域与背景对象150b的相交)比上述第一配置中的遮挡更为重要，也没有更多的最终遮挡。实际上，与系统的每个相机100o1至100o4未看到的区域的相交对应的区域300(在图3a中以深灰色描绘的区域)不再拦截背景对象150b。

现在我们结合图4描述根据至少一个实施例的用于检测由LF捕获系统100捕获的图像中的遮挡的方法的步骤。首先通过关于图2b至图2i讨论的示例来说明与那些步骤相关的处理，即，当场景150处于图2a例示的上述第一配置时。

在步骤S400中，针对在场景150的捕获期间由LF捕获系统100传送的图像矩阵的参考图像中的像素，计算深度图210(图2b和图2d)和可见度图220(图2c)。

例如，深度图210是根据N.Sabater等人在论文“Dataset and Pipeline forMulti-View Light-Field Video”(CVPR’17)中提出的，基于包含在图像矩阵的不同图像中的信息来计算深度图210。在其他变型中，基于可用信息，使用其他合适的已知方法来为参考图像中的像素计算深度图220。

相反，可见度图220指示在LF捕获系统100中的相机100o1至100o4中看到给定像素的相机的数量。在当前情况下，可见度图220的值在1(单个相机100o1或100o2或100o3或100o4看到的像素)和4(4是系统中相机100o1至100o4的数量)之间。在其他实施例中，如果LF捕获系统由n个相机组成，则可见度图的值在1与n之间。

因此，为了计算可见度图220，连续地解析参考图像的像素。对于这些像素中的每个像素，在图像矩阵的其他图像中搜索等效像素(即，考虑到几何和光度校准的相同RGBXYZ)。对于在另一图像中找到的每个新的等效像素，将针对参考视图中考虑的像素增加一个计数器。创建可见度图220，其指示包含该像素的图像的数量。在变型中，细化可以用于推导出这种可见度图。例如，可见度图220可以在子采样的分辨率上或者通过合并(pool)在计算图像之间的视差图时进行的计算来计算。以相同的方式，并行计算的视差图可用于优化其他相机中等效物的搜索区域，以关注深度的梯度区。也可以通过考虑深度梯度的值和相机基线的值来优化等效搜索区域。替代地，可以考虑K.Wolff等人在论文“Point CloudNoise and Outlier Removal for Image-Based 3D Reconstruction”中提出的算法，，IEEE 3D Vision国际会议论文集，2016年，以推导可见度图。

在步骤S410中，至少基于深度图210的分段(图2b和2d)来确定候选区域240(图2g，2h和2i)，其中在场景150的捕获期间参考图像中可能出现潜在的遮挡。

例如，在步骤S410a中，由深度图210覆盖的深度范围被分段成第一深度间隔240d1(图2d)和平均深度比第一深度间隔高的第二深度间隔240d2(图2d)。在步骤S410b中，在参考图像中确定分别与第一深度间隔240d1和第二深度间隔240d2对应的第一像素集合240p1(图2d)和第二像素集合240p2。候选区域240对应于第二像素集合240p2中不存在的第一像素集合240p1的像素的子集。

例如，选择第一深度间隔240d1以便包含与前景对象150a对应的深度值，并且选择第二深度间隔240d2以便包含与背景对象150b对应的深度值。在那种情况下，期望第一像素集合240p1包含表示前景对象150a的像素，并且期望第二像素集合240p2包含表示背景对象150b的像素。因此，上面定义的候选区域240中的像素具有仅在场景150的前景区域中的深度值，并且可能被怀疑对应于可能出现遮挡的图像的部分，即背景对象150b的某些部分可能被隐藏。

在第一深度间隔240d1和第二深度间隔240d2不重叠的图2d的示例中，第一像素集合240p1中的像素必然不存在于第二像素集合240p2中。在变型中，在步骤S410a和S410b的执行期间使用的不同深度间隔可以是连续的甚至是重叠的。

第一像素集合240p1和第二像素集合240p2定义了可见度图的两个子图，分别对应于第一像素集合240p1中的像素(图2f)和第二像素集合240p2中的像素(图2e)。

在步骤S420中，至少基于与候选区域240的至少两个邻域相关联的可见度图220的可见度值来确定表示候选区域240中的遮挡状态的信息。

例如，在步骤S420a中，对分别属于第一邻域250n1(图2g)的至少两个第一像素，属于第二邻域250n2(图2g)的至少两个第二像素的可见度值(由在步骤S400中计算出的可见度图提供)进行外推，以传送朝可见度图中的减小的可见度值延伸的第一外推曲线250c1和第二外推曲线250c2，如图2g所示。这种外推可以基于例如线性(梯度，如导数)或双线性插值，双三次插值，Lanczos插值等。

在场景150的所考虑的第一配置中，第一250c1和第二250c2的外推曲线的相交250c12针对负的外推可见度而出现(图2g的情况，其中相交250c12在x轴下方)。但是，可见度定义为与存在相同像素的不同图像的数量成比例。因此，负的外推可见度值可能指示，除了捕获位于前景对象150a后面的背景对象150b的一部分的参考图像，在矩阵的其他图像中之外不存在像素。在那种情况下，以上定义的信息被确定为表示在候选区域240中出现遮挡。

在第一外推曲线250c1和第二外推曲线250c2的相交针对正的外推可见度而出现(即，在相交将在x轴上方的情况下)的其他情况下，可以预期存在背景对象150b的捕获部分位于前景对象150a后面的矩阵的另一图像的至少一个像素。在这种情况下，该信息被确定为表示在候选区域240中没有遮挡出现。在替代实施例中，在这种情况下没有显式地确定信息以简化推导。

返回图4，对参考图像的每一行和每一列连续执行步骤S420。因此，从候选区域240周围所有像素的可见度取得的完全信息可以用于确定该信息。

更具体地，当对于参考图像的行或列执行步骤S420时，第一外推曲线250c1和第二外推曲线250c2在可见度图220的切割平面中随着所讨论的行或列延伸(图2b至2g例示沿着这样的行或列的深度图210和可见度图220的剖视图)。在其他实施例中，除了参考图像的行或列之外的任何其他切割线用于执行步骤420。

返回图4，在第一外推曲线250c1和第二外推曲线250c2针对负的外推可见度值彼此相交的情况下(即，在步骤S420a之后检测到遮挡时)，信息的确定包括以下步骤：

-在步骤S420b中，确定第一外推曲线250c1和第二外推曲线250c2与可见度图220的切割平面中的空的(null)可见度轴的相交，以用于传送第一相交坐标250i1和第二相交坐标250i2(图2g)；和

-在步骤S420c中，确定第一相交坐标250i1和第二相交坐标250i2之间的差。

第一相交坐标250i1和第二相交坐标250i2之间的差的幅度表示遮挡的幅度。该信息还考虑了这种差的幅度。

更具体地，这种幅度使得一方面在候选区域240的邻域250n1、250n2中的可见度的降低速率与另一方面在候选区域240自身的宽度之间建立联系。可见度的缓慢降低实际上可以补偿具有高宽度的候选区域240。换句话说，即使面对具有高宽度的候选区域240，所讨论的区域240的邻域250n1、250n2中的像素的可见度的缓慢降低也可能导致第一相交坐标250i1和第二相交坐标250i2之间的差的低幅度。在那种情况下，这可以指示尽管候选区域240的高宽度，但是遮挡仍然可以保持弱。例如，当前景对象150a和背景150b对象之间具有足够大的距离时，出现这种情况。因此，期望差的幅度表示期望不可见的区域，并由此最终期望表示遮挡。

当针对参考图像的每一行和每一列连续地执行在步骤S420中涉及的上述处理时，每次传送表示候选区域240中的遮挡状态的新信息，称为中间信息。步骤S420的每一行和每一列的连续执行传送中间信息的集合。在那种情况下，当表示遮挡出现的中间信息相对于中间信息的集合中的中间信息的总数量的百分比大于给定阈值(例如，50％)时，该信息表示在候选区域240中出现遮挡。

使得针对参考图像的每一行和每一列连续地执行步骤S420中所涉及的处理，对于步骤S420的每次执行来对第一相交坐标250i1和第二相交坐标250i2之间的差的幅度进行积分，以传送积分差。在那种情况下，该信息还考虑了积分差。

在例示的其他实施例中，不是针对参考图像的每一行和每一列连续执行步骤S420，而是针对参考图像的单个切割线或至少有限数量的切割线，以减小设备10的计算负荷。

在图4例示的实施例中，在LF捕获系统100捕获场景150的期间中执行所公开的方法，使得在步骤S430中将信息传送给LF捕获系统100的用户120。

为此，在步骤S430a中，参考图像以在候选区域240周围绘制的特定的轮廓260t(图2h)被生动地呈现在LF捕获系统100的显示器100d上。在变型中，例如，当信息也考虑到积分差的幅度时(例如，特定轮廓越粗，遮挡的估计幅度越大)，特定轮廓260t、260b(图2i)的厚度可以表示遮挡的估计幅度。

在未例示的其他实施例中，信息通过其他通信手段(例如，通过可听信号等)传送给用户。

在变型中，在步骤S410中确定不止一个候选区域。在那种情况下，针对在步骤S410中确定的候选区域中的不同候选区域执行步骤S420。在步骤S430的执行期间传送给用户的信息表示对应候选区域中的遮挡状态。例如，在每个候选区域周围绘制特定轮廓，其信息表示出现遮挡。

在其他实施例中，所公开的方法在后处理中被执行，并且无论是否向执行后处理的人(例如，通过专用警告)，无论是否作为依赖于这种检测的另一种方法的输入，无论是否作为与LF数据相关联的元数据，在步骤S430中传送在步骤S420中确定的信息。

现在，我们结合图3b至3d，进一步讨论图4的方法所涉及的处理，即当场景150处于图3a例示的上述第二配置中时。

更具体地，在场景150的该第二配置中，前景对象150a远离背景对象150b并且靠近LF捕获系统100的光学系统100o。此外，前景对象150a的宽度保持小于光学系统100o的相机100o1至100o4之间的距离。因此，如上面讨论，不再存在最终的遮挡。

因此，在步骤S400期间针对参考图像计算出的可见度图320(图3b)示出与在第一配置(图2c)中计算出的可见度图220中相比，中心部分周围(即，与前景对象150a对应的部分周围)的像素的更平滑变化。

在步骤S400期间还计算深度图310(图3c)。由于前景对象150a在场景150的第二配置中比在第一配置中更远离背景对象150b，由深度图310覆盖的深度范围比深度图210中的更宽。

步骤S410(尤其是步骤S410a和S410b)的执行传送分别与第一深度间隔340d1和平均深度比第一深度间隔更高的第二深度间隔340d2对应的第一像素集合340p1和第二像素集合340p2(图3c)。在本示例中，选择第一深度间隔340d1以便包含与前景对象150a对应的深度值，并且选择第二深度间隔340d2以便包含与背景对象150b对应的深度值。候选区域340被确定为在第二像素集合340p2中不存在的第一像素集合340p1的像素的子集。然而，在本示例中，第一深度间隔340d1和第二深度间隔340d2不重叠。因此，第一像素集合340p1中的像素必定不存在于第二像素集合340p2中。

在步骤S420(尤其是步骤S420a)的期间，对分别属于候选区域340的第一邻域350n1的至少两个第一像素和属于候选区域340的第二邻域350n2的至少两个第二像素的可见度值进行外推(例如，基于线性(梯度，如导数)或双线性插值，双三次插值，Lanczos插值等)，以分别传送第一外推曲线350c1和第二外推曲线250c2，如图3d例示。

然而，与在场景150的第一配置中出现的情况相反，在当前的第二配置中，出现第一外推曲线350c1和第二外推曲线250c2的相交350c12，用于正的外推可见度。因此，该信息表示在候选区域340中没有出现遮挡。例如，当在LF捕获系统100捕获场景150的期间执行所公开的方法时，在这种情况下，在LF捕获系统100的显示器100d上的候选区域340周围没有特定轮廓显示。

图5例示设备110(参见图1)的特定实施例的结构框图，该设备可以用于实现根据公开(根据以上公开的任何实施例)的场景的捕获期间向光场捕获系统的用户通知潜在的遮挡的方法。

在该实施例中，用于实现所公开的方法的设备110包括非易失性存储器503(例如，只读存储器(ROM)或硬盘)，易失性存储器501(例如，随机存取存储器或RAM)和处理器502。非易失性存储器503是非暂时计算机可读载体介质。它存储可执行程序代码指令，该可执行程序代码指令由处理器502执行以使得能够在结合图4的上面公开的其各种实施例中实现上面描述的方法(根据本公开的用于在场景的捕获期间向LF捕获系统的用户通知潜在的遮挡的方法)。

在初始化时，上述程序代码指令从非易失性存储器503传递到易失性存储器501，以便由处理器502执行。易失性存储器501同样包括用于存储该执行所需的变量和参数的寄存器。

根据本公开的用于在场景的捕获期间向光场捕获系统的用户通知潜在的遮挡的上述方法的所有步骤可以同样良好地实现：

·通过执行由可重新编程的计算机器(诸如，PC型装置，DSP(数字信号处理器)或微控制器)执行的程序代码指令集。该程序代码指令可以存储在可拆卸(例如软盘，CD-ROM或DVD-ROM)或不可拆卸的非暂时性计算机可读载体介质中；或者

·通过专用机器或组件，诸如，FPGA(现场可编程门阵列)，ASIC(专用集成电路)或任何专用硬件组件。

换句话说，本公开不限于以计算机程序指令的形式的纯粹基于软件的实现方式，而是还可以以硬件形式或结合硬件部分和软件部分的任何形式来实现。

根据一个实施例，提出一种方法，用于检测由光场捕获系统捕获的图像中的遮挡，包括，对于属于由光场捕获系统捕获的图像的矩阵的至少一个参考图像：

-计算参考图像中像素的深度图和可见度图；

-至少基于深度图的分段来确定可能出现潜在遮挡的参考图像中的至少一个候选区域；

-至少基于与所述至少一个候选区域的至少两个邻域相关联的可见度图的可见度值，来确定表示所述至少一个候选区域中的遮挡状态的信息。

因此，本公开提出一种新的和有创造性的解决方案，其利用在LF数据的不同的视图中可用的信息来检测由LF捕获系统(例如，相机装备或阵列，全光相机等)捕获的图像中的遮挡。

此外，表示遮挡状态的信息的确定仅依赖于容易推导的参数(例如深度和可见度)，而几乎没有附加推导，使得可以容易地执行该方法。例如，该方法可以在实时环境中使用，以便在所讨论的图像的捕获期间向LF捕获系统的用户进行通知。在那种情况下，用户能够改变LF捕获系统的位置和/或取向，从而避免遮挡的存在(如果有的话)。

根据一个实施例，提出一种设备，用于检测由光场捕获系统捕获的图像中的遮挡，包括被配置为以下的处理器或者专用机器，其对于属于由光场捕获系统捕获的图像的矩阵中的至少一个参考图像：

-计算参考图像中像素的深度图和可见度图；

-至少基于深度图的分段来确定可能出现潜在遮挡的参考图像中的至少一个候选区域；

-至少基于与所述至少一个候选区域的至少两个邻域相关联的可见度图的可见度值，来确定表示所述至少一个候选区域中的遮挡状态的信息。

根据一个实施例，确定至少一个候选区域包括：

-分段由所述深度图覆盖的深度范围，以传送至少第一深度间隔和平均深度比第一深度间隔更高的第二深度间隔；

-确定分别与第一深度间隔和第二深度间隔对应的参考图像中的第一像素集合和第二像素集合。至少一个候选区域与第二像素集合中不存在的、第一像素集合的像素的子集。

因此，第一像素集合对应于例如参考图像中位于前景中的部分，并且第二像素集合对应于参考图像中位于背景中的部分(在第一深度间隔和第二深度间隔不重叠的特定情况下，第二像素集合中必然不存在第一像素集合中的像素)。可以怀疑仅在前景中具有深度值的像素对应于可能出现遮挡(即，可能隐藏背景中的某些对象)的图像的部分。

根据一个实施例，确定信息包括外推属于所述至少一个候选区域的第一邻域的至少两个第一像素和属于所述至少一个候选区域的第二邻域的至少两个第二像素的可见度值，以传送朝可见度图中的减少的可见度值延伸的第一外推曲线和第二外推曲线。该信息表示当第一外推曲线和第二外推曲线对于负的外推可见度值彼此相交时，在所述至少一个候选区域中出现遮挡。

这样的外推可以基于例如，在线性(梯度，如导数)或双线性插值，双三次插值，Lanczos插值等。

更具体地，当第一外推曲线和第二外推曲线的相交针对负的外推可见度出现时，可以预期，在除了位于通过第一深度间隔定义的前景后面的背景的捕获部分的参考图像外，矩阵的其他图像中没有其他像素(因为可见度定义为与存在相同像素的不同图像的数量成比例)。

相反，当第一外推曲线和第二外推曲线的相交针对正的外推可见度出现时，可以预期存在位于前景后面的背景的捕获部分的矩阵的另一图像的至少一个像素。

根据一个实施例，至少对于参考图像的行或列执行确定信息，第一外推曲线和第二外推曲线在可见度图的切割平面中跟随该行或列延伸。确定信息包括当第一外推曲线和第二外推曲线对于负的外推可见度值彼此相交时：

-确定第一外推曲线和第二外推曲线与在传送第一相交坐标和第二相交坐标的切割平面中的空的可见度轴的相交；和

-确定第一相交坐标和第二相交坐标之间的差。

差的幅度表示遮挡的幅度。该信息还考虑了差的幅度。

因此，差的幅度被期望表示不期望可见度的区域，并且从而表示遮挡的幅度。

根据一个实施例，对于每次传送表示所述至少一个候选区域中的遮挡状态的新信息的参考图像的每行和列，连续执行确定信息，该信息称为中间信息。每行和列的连续执行将传送中间信息的集合。

因此，从候选区域周围所有像素的可见度中取得的全部信息可用于确定该信息。

根据一个实施例，当表示遮挡出现的中间信息相对于中间信息集合中的中间信息的总数量的百分比大于给定阈值时，该信息表示在所述至少一个候选区域中出现遮挡。

根据一个实施例，针对确定信息动作的每次执行，对差的幅度进行积分以传送积分差。该信息还考虑了积分差。

根据一个实施例，该方法还包括，或者该设备还被配置用于在参考图像的捕获期间将信息传送给光场捕获系统的用户。

根据一个实施例，传送信息的动作包括：以围绕所述至少一个候选区域绘制的特定轮廓在光场捕获系统的显示器上呈现参考图像。

根据一个实施例，特定轮廓的厚度是积分差的函数。

根据一个实施例，提出一种非暂时性计算机可读介质，包括记录在其上并且能够由处理器运行的计算机程序产品，其包括程序代码指令，该程序代码指令包括用于实现由前面描述的检测光场捕获系统捕获的图像中的遮挡的方法的程序代码指令。