阅读说明：本技术 基于能量增强散焦响应的改进光场深度估计算法 (Improved light field depth estimation algorithm based on energy enhanced defocusing response ) 是由 武迎春 程星 张娟 李素月 宁爱平 王安红 于 2019-11-06 设计创作，主要内容包括：本发明属于光场图像处理及深度估计领域,特别是公开了一种基于能量增强散焦响应的改进光场深度估计算法,针对现有的DCDC算法在建立散焦响应函数时,所采用的拉普拉斯算子存在求取二阶导方向有限、且所有二阶导求和能量相互抵消的问题,对散焦响应函数进行了改进,提出基于能量增强散焦响应的光场深度估计算法,该算法充分考虑了周边像素点对当前位置散焦度的影响,通过增加具有权重差异的二阶导的个数和方向来实现能量增强,实验验证了该方法的有效性,针对一些深度信息复杂的光场图像,本发明算法获取的深度图视觉效果更好,与散焦评价结合相关性评价算法相比,改进算法获得深度图像的均方误差平均下降3.95％。(The invention belongs to the field of light field image processing and depth estimation, and particularly discloses an improved light field depth estimation algorithm based on energy-enhanced defocusing response, aiming at the problems that the direction of solving second order derivatives is limited and all the second order derivatives and energy are mutually offset when the existing DCDC algorithm is used for establishing a defocusing response function, the defocusing response function is improved, the light field depth estimation algorithm based on the energy-enhanced defocusing response is provided, the algorithm fully considers the influence of peripheral pixel points on the defocusing power of the current position, the energy enhancement is realized by increasing the number and the direction of the second order derivatives with weight difference, the effectiveness of the method is verified by experiments, aiming at light field images with complex depth information, the depth image obtained by the algorithm has better visual effect, and compared with the defocusing evaluation and correlation evaluation algorithms, the mean square error of the depth image obtained by the improved algorithm is reduced by 3.95 percent on average.)

基于能量增强散焦响应的改进光场深度估计算法

技术领域

本发明属于光场图像处理及深度估计领域，特别是涉及一种基于能量增强散焦响应的改进光场深度估计算法。

背景技术

光场渲染理论的不断发展及全光函数的不断演化，光场成像成为现代计算摄影学的一个热点话题。与传统相机的结构设计不同，微透镜光场相机基于光场双平面表示模型，通过主透镜与成像面中间增加微透镜阵列来实现4维(4D)光场数据的获取。该4D光场不仅记录了传统成像获得的空间光线的位置信息(x,y)，同时记录了光线的方向信息(s,t)。单次曝光完成多维空间光线信息的记录使得光场图像在后期具有更为广泛的应用价值，如基于光场图像进行数字重聚焦、多视点图像的提取、全聚焦图像融合等。在此基础上发展起来的深度估计算法，凭借只需一张光场图像即可完成深度图估计的优势，近年来引起光学三维传感领域诸多学者的普遍关注。

目前，基于光场图像的深度估计算法主要分为三类：立体匹配法、EPI(Epipolar-PlaneImage)图像法和散焦法(Depth from Defocus,DFD)。立体匹配法主要基于光场子孔径图像的视差求取，通过视差与深度信息的对应关系完成深度图像估计，如Jeon等提出的基于子孔径图像相位亚像素位移计算的深度获取法基于此原理，受微透镜光场相机结构设计的限制，解码出来的子孔径图像的视点数有限且分辨率有限等问题限制了该算法的深度获取精度。

EPI算法将多幅存在单一方向视差的子孔径图像堆叠形成立方体，沿一定方向切割立方体形成EPI截面，利用EPI图像极线斜率与目标场景深度成比例的关系完成深度估计，如Li等通过EPI图像结构张量计算、解稀疏线性系统完成平滑深度图像的获取，Zhang等采用自旋转平行四边形来获得EPI的斜率，对于不连续区域有较好的深度重建效果。该类算法由于需要准确估计EPI图像每一像素点所在极线的斜率，图像特征局部不完备是导致算法复杂度高、实时性差的主要原因。

DFD是通过对同一目标场景聚焦深度不同的多张多聚焦图像进行散焦度对比来完成深度估计，Favaro提出的基于非局部均衡化滤波正则化深度估计基于此原理。

针对光场图像特性，在充分分析各类深度获取算法的优缺点后，Tao提出了基于散焦评价结合相关性评价的深度获取算法(Depth from combining defocus andcorrespondence，DCDC)，该算法充分利用了散焦深度图局部抗噪声能力强及相关性深度图全局边界准确的优点，采用马尔可夫优化理论完成了最终深度图的优化。但是该方法在进行散焦评价获取深度时，所采用的拉普拉斯算子只考虑了空间信息水平、垂直方向的二阶导，且存在二阶导求和时能量相互抵消的问题，影响了算法应用于复杂拍摄场景中的深度获取精度。基于此，本发明对散焦评价函数进行改进，提出了基于能量增强散焦评价方法来提高散焦法获得深度图的质量，进而提高最终深度图的获取精度。

发明内容

本发明旨在克服现有技术不足，解决了现有的DCDC算法在建立散焦响应函数时，所采用的拉普拉斯算子存在求取二阶导方向有限、且所有二阶导求和能量相互抵消的问题，提供一种基于能量增强散焦响应的改进光场深度估计算法，本算法充分考虑了周边像素点对当前位置散焦度的影响，通过增加具有权重差异的二阶导个数和方向来实现能量增强，在复杂场景的深度获取中具有更强的鲁棒性。

为解决上述技术问题，本发明保护的技术方案为：基于能量增强散焦响应的改进光场深度估计算法，按照以下步骤进行：

1)对光场相机进行微透镜中心标定后，从光场原图像中解码出4D光场L₀(x₀,y₀,s₀,t₀)，根据光场双平面表示模型及数字重聚焦理论，当改变光场相机成像平面(像距)的位置时，由相机记录的新的成像深度处(物距)的光场

与原光场L₀(x₀,y₀,s₀,t₀)的坐标存在以下关系：

其中，α_n表示像平面移动距离的比例系数，且n＝0,1,2，······255，表示不同α_n值对应的索引值，将

分别沿着s、t方向进行二重积分，得到不同α_n值对应的重聚焦图像：

其中N_s，N_t表示4D光场角度分辨率的大小；

2)不同聚焦深度处的4D光场的散焦响应通过增加具有权重差异的二阶导个数和方向，来实现能量增强，散焦响应函数的表达式如下：

其中，ω'_D是围绕当前像素的窗口大小，

表示基于能量增强的二阶导算子，其表达式如下：

其中，s、t表示水平垂直方向二阶导步长，表示权重因子，距离中心点越近的点，权重因子越大，对拉普拉斯算子值贡献越大，反之，距离中心点越远，对拉普拉斯算子值贡献越小，S、T只能取奇数，S×T表示重聚焦图像与该二阶导算子卷积的窗口大小；

3)不同聚焦深度处的4D光场

的相关性响应

通过计算4D光场角度方差来实现：

4)取散焦响应

最大时α_n的索引值n形成散焦深度图D₁(x,y)，取相关性响应最小时α_n的索引值n形成相关性深度图D₂(x,y)，具体表达式如下：

5)使用马尔可夫优化理论来实现散焦深度图和相关性深度图的融合，先计算不同深度图对应的置信度：

C₁(x,y)＝D₁(x,y)/D′₁(x,y) (8)

C₂(x,y)＝D₂(x,y)/D′₂(x,y) (9)

其中，D′₁(x,y)表示散焦响应取次大值时由公式(6)得到的深度图，D′₂(x,y)表示取散焦响应

取次小值时由公式(7)得到的深度图；最终融合后的深度图D(x,y)通过解以下优化问题得到：

与现有技术相比，本发明对现有的散焦深度获取算法中的散焦响应函数进行改进，提出基于能量增强的改进散焦响应函数，该函数充分考虑了周边像素点对当前位置散焦度的影响，通过增加具有权重差异的二阶导个数和方向来实现能量增强。通过实验验证了本发明所提方法的有效性：针对一些深度信息复杂的光场图像，本发明所提算法获取的深度图视觉效果更好；与散焦评价结合相关性评价算法相比，改进后算法获得深度图像的均方根误差平均下降3.95％。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为本发明基于能量增强散焦响应的改进光场深度估计算法数据处理流程。

图2中(a)为传统拉普拉斯算子，(b)为本发明提出的能量增强的二阶导算子。

图3为基于“shoe”图像的深度估计效果对比，其中(a)为光场原图像，(b)为现有DCDC算法获取的深度图，(c)为本发明算法获取的深度图。

图4为基于“stapler”图像的深度获取效果对比，其中(a)为去冗余光场原图像，(b)为DCDC算法获取的深度图，(c)为本发明算法获取的深度图。

图5为“benchmark”数据集样本图，其中(a)为“boxes”场景，(b)为“dino”场景。

图6为“boxes”场景的深度获取效果对比，其中(a)为真实深度图，(b)为DCDC算法获取的深度图，(c)为本发明算法获取的深度图。

图7为“dino”场景的深度获取效果对比，其中(a)为标准深度图，(b)为DCDC算法获取的深度图，(c)为本发明算法获取的深度图。

具体实施方式

为使本发明的目的、特征和优点能够明显易懂，下面结合附图对本发明的具体实施方式做详细说明。

基于能量增强散焦响应的改进光场深度估计算法，按照以下步骤进行：

1)对光场相机进行微透镜中心标定后，可以从光场原图像中解码出4D光场L₀(x₀,y₀,s₀,t₀)，根据光场双平面表示模型及数字重聚焦理论，当改变光场相机成像平面(像距)的位置时，由相机记录的新的成像深度处(物距)的光场

与原光场L₀(x₀,y₀,s₀,t₀)的坐标存在以下关系：

其中，α_n表示像平面移动距离的比例系数，且n＝0,1,2，······255，表示不同α_n值对应的索引值，将

分别沿着s、t方向进行二重积分，得到不同α_n值对应的重聚焦图像：

其中N_s，N_t表示4D光场角度分辨率的大小；

2)不同聚焦深度处的4D光场的散焦响应

通过增加具有权重差异的二阶导个数和方向，来实现能量增强，散焦响应函数的表达式如下：

其中，ω'_D是围绕当前像素的窗口大小(以提高鲁棒性)，

表示基于能量增强的二阶导算子，其表达式如下：

其中，s、t表示水平垂直方向二阶导步长，

表示权重因子，距离中心点越近的点，权重因子越大，对拉普拉斯算子值贡献越大，反之，距离中心点越远，对拉普拉斯算子值贡献越小，S、T只能取奇数，S×T表示重聚焦图像与该二阶导算子卷积的窗口大小；

3)不同聚焦深度处的4D光场的相关性响应

通过计算4D光场角度方差来实现：

4)取散焦响应最大时α_n的索引值n形成散焦深度图D₁(x,y)，取相关性响应

最小时α_n的索引值n形成相关性深度图D₂(x,y)，具体表达式如下：

5)使用马尔可夫优化理论来实现散焦深度图和相关性深度图的融合，先计算不同深度图对应的置信度：

C₁(x,y)＝D₁(x,y)/D′₁(x,y) (8)

C₂(x,y)＝D₂(x,y)/D′₂(x,y) (9)

其中，D′₁(x,y)表示散焦响应

取次大值时由公式(6)得到的深度图，D′₂(x,y)表示取散焦响应

取次小值时由公式(7)得到的深度图；最终融合后的深度图D(x,y)通过解以下优化问题得到：

本发明算法与传统的DCDC算法相比，主要区别在于步骤2)中的散焦响应函数不同，DCDC算法中散焦响应

通过计算不同聚焦深度处的重聚焦图像

的拉普拉斯值得到：

其中▽²为拉普拉斯算子，为了增加算法鲁棒性，以ω_D为窗口大小计算当前像素点对应的拉普拉斯均值。

公式(11)建立的散焦响应函数采用传统拉普拉斯算子对重聚焦图像的每一像素点完成聚焦度评价，拉普拉斯算子的主要功能为求取水平与垂直方向的二阶导：

其中:

其中，t表示水平和垂直方向求二阶导的步长。

由公式(13)、(14)可知，传统拉普拉斯算子只评估了水平和垂直方向四个像素点相对于中心像素点的能量变化，如图2(a)所示，而且存在水平方向和垂直方向二阶导符号相反求和时能量相互抵消的情况，降低了该算法应用于复杂场景的深度获取精度。

针对该问题，本发明对散焦深度获取算法中的散焦相应函数进行改进，提出了基于能量增强的改进散焦响应函数，改进的基于能量增强的二阶导算子的示意图如图2(b)所示，该示意图以S＝5、T＝5为例，对二阶导的数量及方向信息进行了标注。当s＝0、t＝1和s＝1、t＝0时，该算子计算水平、垂直方向邻近4个像素点(对应图中实线连接的四个实心圆)相对于当前像素点(对应图中最中心位置的空心圆)的能量变化，功能等同于二阶导步长为1的传统拉普拉斯算子。当s＝0、t＝2和s＝1、t＝1时，计算垂直方向和45°角方向、与当前像素点距离为

的像素点(对应图中虚线连接的四个以实线为边界的空心圆)相对于当前像素点的能量变化……以此类推，当s＝2、t＝2和s＝2、t＝2时，计算45°角方向和135°角方向、与当前像素点距离为

的像素点(对应图中虚线连接的四个实心圆)相对于当前像素点的能量变化。由此过程可以看出，改进的二阶导算子通过增加二阶导的数量及方向，同时不断变化二阶导权重的方法，实现了能量增强的目的。

为了论证基于能量增强的散焦响应函数在复杂场景的深度获取中具有更强的鲁棒性，选取实验数据库中纹理较为复杂的图像作为测试对象，分别采用DCDC算法和本发明算法对微透镜阵列光场相机记录的场景进行了深度重建。

第1幅测试图像为“shoe”图像，如图3(a)所示，该图像记录的鞋子表面存在密集空洞，在纹理图像中体现出黑白颜色的跳变，根据人类大脑的先验知识，重建的深度图像在空洞处也应存在深度值的跳变。分别采用DCDC算法和本发明算法方法对该图像进行深度重建后，对应的深度图像如图3(b)与图3(c)所示，放大图像的两个局部区域(上面矩形框所在A区域与下面正方形框所在B区域)进行细节对比：在A区域DCDC算法获得的深度图像中鞋子的空洞模糊，本发明所提方法空洞的空间排列更为清晰；在B区域DCDC算法获取的深度图较为平滑，本发明所提方法获取的深度图却较好的反映出局部深度层次的变化。可见本发明所提方法获取的深度图与纹理图的一致性更强且更符合人类的先验判断。

第2幅测试图像为“stapler”，如图4(a)所示，分别采用DCDC算法和本发明算法获取的深度图如图4(b)和图4(c)所示。放大图4(a)的下方矩形框所在A区域可见，订书机机身中间区域呈黑色，颜色对比不明显，但存在深度值的跳变，对应图4(b)深度图的局部放大区域中存在边界伪影，而图4(c)的对应区域伪影有明显改善。在图4(a)上面矩形框所在B区域的放大图中，粉色水杯与背景存在明显深度跳变，图4(b)对应的深度图放大区域丢失了水杯的深度信息，而图4(c)对应局部放大区域可看到水杯的细节轮廓。该实验进一步论证了本发明所提算法对深度信息复杂的局部区域有更高的深度重建精度。

由于目前已有的基于微透镜阵列光场相机拍摄的图像数据库没有对应的标准深度图，以上两组实验只能从视觉效果上对比本发明所提算法的优越性。为了进一步定量评估本发明所提算法深度重建的精度，采用斯坦福大学的“benchmark”数据集进行了实验，该数据集由阵列光场相机拍摄，每一场景包含81幅多视点图像及与之对应1张标准的深度图。选取其中2个深度细节复杂的场景进行实验，如图5所示。实验过程中将81幅多视点图像看作由微透镜阵列光场相机1张光场原图像解码出来的81幅子孔径图像来构建4D光场数据。分别用DCDC算法与本发明方法进行了场景深度估计，获取的深度图及对应的标准深度图如图6和图7所示。

从整体深度重建效果对比，本发明算法获取的深度图较DCDC算法边缘伪影更少，更能突显场景的深度层次变化。对比图6(b)与图6(c)矩形框所在区域，本发明算法恢复的深度图在中心区域反映了深度层次的轻微跳变，与标准深度图更为接近，而DCDC算法丢失了该深度细节。对比图7(b)与图7(c)矩形框所在区域，本发明算法恢复的深度图中齿形模型的边界更为清晰，与标准深度图更为接近。

最后，以标准深度图为基准，选取峰值信噪比(PSNR)、均方误差(MSE)作为评价指标，对DCDC算法与本发明算法获取深度图的精度进行定量评价，评价结果如表1所示。通过对比表中数据可得，本发明算法获取深度图的PSNR更高，且MSE更低。

表1深度图精度的定量评价

针对现有DCDC算法在散焦深度估计时散焦响应函数求取二阶导的方向有限、且水平垂直二阶导求和能量相互抵消的问题，设计了基于能量增强的二阶导算子对散焦响应函数进行了改进，用于提高复杂场景中的深度获取精度。该二阶导算子充分考虑了周边像素点对当前位置散焦度的影响，增加了二阶导的个数和方向来实现能量增强，通过设定权重系数来实现二阶导能量求和时的均衡。通过实验论证了本发明所提方法的有效性：本发明获取的深度图整体深度层次更为清晰，对边缘伪影有明显抑制，局部深度细节更为真实，PSNR平均提高0.3616dB，均方误差平均降低3.95％。

上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。