阅读说明：本技术 一种基于极面图像颜色差异的光场相机深度估测系统及方法 (Light field camera depth estimation system and method based on polar image color difference ) 是由 盛浩 崔正龙 杨达 王思哲 周建伟 于 2020-07-03 设计创作，主要内容包括：本发明涉及一种基于极面图像颜色差异的光场相机深度估测系统及方法,本发明所述系统包括以下4大模块：极面图像提取模块、颜色差异计算模块、颜色差异整体性优化模块、深度估测可视化输出模块。本发明主要完成光场相机的极面图像生成、深度信息估测、三维场景深度图融合输出等功能。系统可根据光场相机深度粒度参数和输出格式要求,对深度估测结果图进行优化,自动输出符合需求的拍摄场景深度估测结果图像。(The invention relates to a light field camera depth estimation system and a method based on polar image color difference, wherein the system comprises the following 4 modules: the device comprises a polar image extraction module, a color difference calculation module, a color difference integrity optimization module and a depth estimation visualization output module. The method mainly achieves the functions of polar image generation, depth information estimation, three-dimensional scene depth image fusion output and the like of the light field camera. The system can optimize the depth estimation result image according to the depth granularity parameter of the light field camera and the requirement of an output format, and automatically output the shooting scene depth estimation result image which meets the requirement.)

一种基于极面图像颜色差异的光场相机深度估测系统及方法

技术领域

本发明涉及一种基于极面图像颜色差异的光场相机深度估测系统及方法，具体说是一种针对光场相机的基于极面图像上特有的线性结构的自动深度估测并可视化输出深度分布图的深度估测系统及方法，属于相机成像和场景结构重建领域。

背景技术

目前光场相机由于其特殊的镜头阵列结构，使得对于目标场景的连续多角度观测更加便利，光场相机因此被应用于场景结构的三维重建等工作中，然而利用光场图像进行三维场景重建首先需要对场景的深度进行估测，对不同景深的物体进行区别和分割，因此深度估测的准确性成为了影响光场应用的重要前置工作。

对于光场图像的深度估测，主要可以划分为两大方法，其一是基于立体匹配的深度估测算法[1，2]，其二是基于极面图像的深度估测算法[3，4]。Chen[1]和Yu[2]提出基于立体匹配的深度估测算法，其主要思路是提取同一场景点在多个镜头中的成像，选取最小匹配代价对应的深度作为深度估测结果，其优点在于能够有效利用多个镜头内成像图像，充分利用了光场相机多镜头的特点，对比多个角度成像差异，从而匹配得到匹配代价最小的深度作为深度估测结果，但是其劣势也十分明显，当对若纹理区域和遮挡区域进行估测时，立体匹配将会出现极大的误差，其原因在于，对于若纹理区域，大面积的图像显示出单一色彩，对于立体匹配算法来说，大面积的相似颜色之间的匹配结果显示出极小的差异，从而也很难比较出匹配代价最小的深度标签，从而极大地影响深度估测结果，而对于遮挡区域，其在正确深度下的角采样图像为颜色不相同的一组像素点，因此在基于立体匹配的深度估测算法中，对于遮挡区域的深度估测时，其在正确深度下的匹配代价将会增大，在错误深度下得到一个匹配代价的最小值，从而导致深度估测的结果出现严重的误差；Wanner[3，4]提出了针对极面图像的深度估测方法，改技术能够比较好的避免类似的问题，基于极面图像的深度估测算法其主要思想是匹配得到极面图像上的线性结构从而实现深度估测的目的，由于光场相机连续角度观测场景的特点，使得被观测像素点在极面图像上由于深度不同形成了斜率不同的直线结构，依据极面图像上的线性结构特点，可以通过识别匹配线性结构从而达到估测场景深度的目的，相比于基于立体匹配的深度估测算法，基于极面图像的深度估测使用了更少角度的图像但是具有更强的抗干扰性，尤其是对于遮挡区域有着更好的深度估测效果，但是由于使用的图像信息不充分，其准确度依旧有待提高。

目前光场图像的深度估测与场景重建已经取得了相关研究成果，但是对于应用于实际光场相机还存在一些技术难点，其中不仅需要深度估测算法的运算效率高，能够较快的依据使用者拍摄图像做出反应并估测，还需要应对大部分存在不确定噪声的现实复杂场景，具有较高的鲁棒性。如何将快速准确的深度估测算法应用于光场相机是目前的首要问题。当光场相机在非常规结构化的环境下工作，拍摄场景中常出现难以预测的噪声，因此挑选深度估测算法时，不仅需要考虑到算法的计算速度问题，还需要寻求一种对于遮挡噪声鲁棒的深度估测方法。

【1】Chen C，Lin H，Yu Z，et al.Light field stereo matching usingbilateral statistics of surface cameras[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2014：1518-1525.

【2】Yu Z，Guo X，Lin H，et al.Line assisted light field triangulation andstereo matching[C]//Proceedings of the IEEE International Conference onComputer Vision.2013：2792-2799.

【3】Wanner S，Goldluecke B.Globally consistent depth labeling of 4Dlight fields[C]//2012 IEEE Conference on Computer Vision and PatternRecognition.IEEE，2012：41-48.

【4】Wanner S，Goldluecke B.Variational light field analysis fordisparity estimation and super-resolution[J].IEEE transactions on patternanalysis and machine intelligence，2013，36(3)：606-619.

【5】Zhang S，Sheng H，Li C，et al.Robust depth estimation for light fieldvia spinning parallelogram operator[J].Computer Vision and ImageUnderstanding，2016，145：148-159.

综上，现有技术具有以下若干技术不足：

1)现有算法计算速度慢；

2)现有算法对噪声敏感，鲁棒性低。

发明内容

本发明的技术解决问题：为克服现有技术的光场相机容易被噪声干扰、对颜色差异不敏感等技术不足，本发明提供了一种基于极面图像颜色差异的光场相机深度估测系统及方法，以保证对拍摄场景进行高效率且对噪声不敏感的深度估测。

本发明的技术解决方案：

本发明提供了一种基于极面图像颜色差异的光场相机深度估测系统，包括极面图像提取模块、颜色差异计算模块、颜色差异整体性优化模块与深度估测可视化输出模块；

所述极面图像提取模块，负责完成从拍摄得到的原始光场图像中提取出水平方向极面图像与垂直方向极面图像的功能；获取原始光场图像ImageLF及原始光场图像的参数信息P_ImageLF，根据P_ImageLF设置极面图像的提取参数P_Epi，依据P_Epi分别提取水平方向极面图像Epi_h与垂直方向极面图像Epi_v，并作为输入传递给所述颜色差异计算模块；

所述颜色差异计算模块，负责完成对所述极面图像提取模块所传递的水平方向极面图像与垂直方向极面图像上代表不同深度标签的直线计算直线两侧颜色差异的功能；设定深度标签个数NumD，构建深度标签与视差值的对应函数，对每个深度标签θ，构建深度标签θ下的直线两侧颜色差异值卷积核Filter_θ，利用构建完成的深度标签θ下的直线两侧颜色差异值卷积核Filter_θ在水平方向极面图像Epi_h与垂直方向极面图像Epi_v各个颜色通道上分别进行卷积操作并求和，依次得到深度标签θ下各个像素点的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)与垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)，并作为输入传递给差异值整体性优化模块；

所述颜色差异整体性优化模块，负责完成对所述颜色差异计算模块得到的不同深度标签下各个像素点的水平方向直线两侧颜色差异结果与垂直方向直线两侧颜色差异结果进行整体性优化的功能；分别计算水平方向极面图像Epi_h上各个像素点的水平方向可信度DiffCov_h与垂直方向极面图像Epi_v上各个像素点的垂直方向可信度DiffCov_v，对Diff_h_θ(i，j)与Diff_v_θ(i，j)进行加权求和整合优化，得到深度标签θ下各个像素点的优化后的直线两侧颜色差异结果DiffOpt_θ(i，j)，并作为输入传递给深度估测可视化输出模块；

所述深度估测可视化输出模块，负责完成将所述颜色差异整体性优化模块传递的不同深度标签下各个像素点的优化后的直线两侧颜色差异结果可视化输出的功能；针对每个像素点p(i，j)，求出不同深度标签θ下DiffOpt_θ(i，j)的最大值对应的深度标签作为深度估测标签Depth(i，j)，根据深度估测标签Depth和深度标签与视差值的对应函数，将深度估测标签Depth投影为不同亮度值Color(i，j)的黑白像素点，表示为深度估测标签分布的单通道二值图像可视化输出。

进一步地，所述极面图像提取模块中，所述原始光场图像的参数信息P_ImageLF包括原始光场图像的尺寸长度与宽度、原始光场图像的镜头阵列尺寸长度与宽度、原始光场图像的颜色通道数目；所述极面图像的提取参数P_Epi包括极面图像的尺寸长度与宽度、极面图像的颜色通道数目。

进一步地，所述极面图像提取模块，负责完成从拍摄得到的原始光场图像中提取出水平方向极面图像与垂直方向极面图像的功能的具体实现包括：

1)原始光场图像获取：使用光场相机拍摄获取目标场景的原始光场图像ImageLF及原始光场图像的参数信息P_ImageLF，ImageLF表示为包含三个维度的三维矩阵，所述三个维度分别为原始光场图像的尺寸长度、尺寸宽度及颜色通道数目，所述原始光场图像的参数信息包括原始光场图像的尺寸长度ImageH和尺寸宽度ImageW、原始光场图像的镜头阵列尺寸长度CapH和尺寸宽度CapW、原始光场图像的颜色通道数目；

2)极面图像提取：根据所述原始光场图像的尺寸长度ImageH和尺寸宽度ImageW、原始光场图像的镜头阵列尺寸长度CapH和尺寸宽度CapW，计算得到水平方向极面图像的尺寸长度EpiH_h和尺寸宽度EpiW_h、垂直方向极面图像的尺寸长度EpiH_v和尺寸宽度EpiW_v，

EpiH_h＝ImageH/CapH，

EpiW_h＝ImageW，

EpiH_v＝ImageH，

EpiW_v＝ImageW/CapW，

进而得到水平方向极面图像Epi_h与垂直方向极面图像Epi_v，

Epi_h＝ImageLF[1：CapH：ImageH，：，：]，

Epi_v＝ImageLF[：，1：CapW：ImageW，：]。

进一步地，所述颜色差异计算模块，负责完成对所述极面图像提取模块所传递的水平方向极面图像与垂直方向极面图像上代表不同深度标签的直线计算直线两侧颜色差异的功能的具体实现包括：

1)构建深度标签与视差值的对应函数：根据原始光场图像ImageLF的视差值范围和设定的深度标签个数NumD，计算得到每个深度标签对应的视差值，将深度标签均匀分配给各个视差值，深度标签θ对应的视差值：

Dis_d＝Dis_min+(Dis_max-Dis_min)/NumD*θ，

其中，Dis_min为视差值的最小值，Dis_max为视差值的最大值；

2)构建直线两侧颜色差异值卷积核：对每个深度标签θ，根据所述极面图像的提取参数P_Epi和所述原始光场图像的参数信息P_ImageLF，分别使用高斯函数以水平方向极面图像Epi_h与垂直方向极面图像Epi_v上代表深度标签θ的直线L_θ为中心向L_θ两侧扩散，构建深度标签θ下的直线两侧颜色差异值卷积核Filter_θ，分配Filter_θ的内部权重参数：

其中，W_θ(i，j)表示深度标签θ下像素点(i，j)的权重，像素点(i，j)为水平方向上到直线L_θ的距离为i个像素，垂直方向上到直线L_θ的距离为j个像素的像素点，c为常数项，d_θ(i，j)为像素点(i，j)距离直线L_θ的距离，a为调节Filter_θ敏感程度的常数项，e为自然常数；

3)计算直线两侧颜色差异结果：使用深度标签θ下的直线两侧颜色差异卷积核Filter_θ分别对水平方向极面图像Epi_h与垂直方向极面图像Epi_v执行卷积操作，卷积操作时起始点为Epi_h或Epi_v左上角的像素点，每次卷积操作步长为1个像素，水平方向向右移动1个像素，直到到达Epi_h或Epi_v的右侧边缘，利用Filter_θ分别与Epi_h或Epi_v上各个颜色通道上的像素值进行数量积乘法并求和，进而得到深度标签θ下Epi_h上的各个像素点p(i，j)的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)与Epi_v上的各个像素点p(i，j)的垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)。如图2所示，其中θ₁、θ₂、θ₃表示三个深度标签，θ₁为正确深度标签，θ₂和θ₃为错误的深度标签，a为调节直线两侧颜色差异卷积核Filter_θ敏感程度的常数项，3a在图中的具体表现为直线两侧颜色差异卷积核Filter_θ的宽度的一半，三个平行四边形框为直线两侧颜色差异卷积核Filter_θ覆盖区域示意图，θ₁标签处直线两侧颜色差异卷积核为正确深度下的卷积核，θ₂和θ₃标签处表示错误深度下的卷积核，通过不同深度标签下直线两侧颜色差异卷积核对极面图像上的像素进行卷积操作，计算不同深度标签下的卷积核两侧的颜色差异。

进一步地，所述颜色差异整体性优化模块，负责完成对所述颜色差异计算模块得到的不同深度标签下各个像素点的水平方向直线两侧颜色差异结果与垂直方向直线两侧颜色差异结果进行整体性优化的功能的具体实现包括：

(1)计算水平方向直线两侧颜色差异结果可信度：针对水平方向极面图像Epi_h各个像素点p(i，j)在不同深度标签θ下的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)，提取中心视角对应的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)，所述中心视角为镜头阵列尺寸长度与尺寸宽度的中间线的视角，计算各个像素点p(i，j)在不同深度标签θ下的水平方向直线两侧颜色差异结果的均值DiffAvg_h(i，j)和最大值DiffMax_h(i，j)，进而计算像素点(i，j)的水平方向直线两侧颜色差异结果可信度：

DiffCov_h(i，j)＝DiffAvg_h(i，j)/DiffMax_h(i，j)；

2)计算垂直方向直线两侧颜色差异结果可信度：针对垂直方向极面图像Epi_h各个像素点p(i，j)在不同深度标签θ下的垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)，提取中心视角对应的垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)，所述中心视角为镜头阵列尺寸长度与尺寸宽度的中间线的视角，计算各个像素点p(i，j)在不同深度标签θ下的垂直方向直线两侧颜色差异结果的均值DiffAvg_v(i，j)和最大值DiffMax_v(i，j)，进而计算像素点(i，j)的垂直方向直线两侧颜色差异结果可信度：

DiffCov_v(i，j)＝DiffAvg_v(i，j)/DiffMax_v(i，j)；

3)计算整体性优化直线两侧颜色差异结果：对不同深度标签θ下的各个像素点p(i，j)，根据水平方向直线两侧颜色差异结果可信度DiffCov_h(i，j)与垂直方向直线两侧颜色差异结果可信度DiffCov_v(i，j)，对水平方向直线两侧颜色差异结果Diff_h_θ(i，j)与垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)进行加权求和整合优化，得到优化后的直线两侧颜色差异结果：

进一步地，所述深度估测可视化输出模块中，针对像素点(i，j)，所述亮度值：

Color(i，j)＝Depth(i，j)*NumD/255°

此外，本发明还提供了一种基于极面图像差异最大化的光场相机深度估测方法，具体包括以下步骤：

1)使用光场相机获取得到原始光场图像ImageLF及原始光场图像的参数信息P_ImageLF，根据P_ImageLF设置极面图像的提取参数P_Epi，依据P_Epi分别提取水平方向极面图像Epi_h与垂直方向极面图像Epi_v；

2)设定深度标签个数NumD，构建深度标签与视差值的对应函数，对每个深度标签θ，构建深度标签θ下的直线两侧颜色差异值卷积核Filter_θ，利用构建完成的深度标签θ下的直线两侧颜色差异值卷积核Filter′_θ在水平方向极面图像Epi_h与垂直方向极面图像Epi_v上分别进行卷积操作，依次得到深度标签θ下各个像素点的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)与垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)；

3)分别计算水平方向极面图像Epi_h上各个像素点的水平方向可信度DiffCov_h与垂直方向极面图像Epi_v上各个像素点的垂直方向可信度DiffCov_v，对Diff_h_θ(i，j)与Diff_v_θ(i，j)进行加权求和整合优化，得到深度标签θ下各个像素点的优化后的直线两侧颜色差异结果DiffOpt_θ(i，j)；

4)针对每个像素点p(i，j)，求出不同深度标签θ下DiffOpt_θ(i，j)的最大值对应的深度标签作为深度估测标签Depth(i，j)，根据深度估测标签Depth和深度标签与视差值的对应函数，将深度估测标签Depth投影为不同亮度值Color(i，j)的黑白像素点，表示为深度估测标签分布的单通道二值图像可视化输出。

本发明相较于现有技术的技术优点：

(1)本发明所用的基于极面图像颜色差异最大化算法由于使用颜色通道数值计算颜色差异，运行效率高，计算消耗资源少，能够有效解决现有光场图像深度估测方法计算耗时长，计算空间占用高的缺点。

(2)与现有技术相比，本发明使用的基于极面图像颜色差异最大化算法充分利用了极面图像抗干扰能力强的特性，对于噪声的鲁棒性高，不易受到环境噪声的影响，弥补现有技术对于噪声敏感的问题。

(3)与以发表文章相比，本发明使用的基于极面图像颜色差异最大化算法没有使用极面图像上颜色直方图的欧式距离来代表颜色差异，而是计算各个颜色通道上数值的差异，依次得到深度标签θ下各个像素点的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)与垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)，这种差异值计算方法上的优化使得本发明的方法对颜色差异的敏感性更强，对于场景中出现的颜色相近区域的深度估测效果更加准确，减少了由于颜色相近而导致物体边缘区域划分模糊的情况的出现。

(4)本发明中使用的算法已发表论文《Robust Depth Estimation for LightField via Spinning Parallelogram Operator》[5]，与论文中所述算法不同，为了将理论更贴切的应用于现实应用，本发明优化了颜色差异计算模块中计算代表颜色差异的代价值计算方法，在原论文中使用了极面图像上像素点颜色直方图的欧氏距离作为表示颜色差异的代价值，其劣势在于对于颜色信息不敏感，当场景中出现颜色相近的区域时，原论文中算法将出现极大的误差，在本发明中，将使用各个颜色通道的数值计算颜色差异代价值，其优势在于对于颜色差异更加敏感，提升了算法效率，降低了算法复杂程度，减少了计算时对资源的消耗。

总之，本发明着眼于实现高效率且对遮挡噪声鲁棒的光场相机深度估测方法，以实现光场相机拍摄目标场景后进行有效的深度估测，利用极面图像特有的线性结构和对遮挡噪声的抗干扰性，采用颜色差异最大策略进行识别，引入可信度优化方法削弱误差，实现对于复杂场景环境下的对噪声不敏感的深度估测方法。本发明在光场图像技术领域，未解决光场相机深度估测的问题，提出了基于极面图像颜色差异最大化算法的深度估测方法，解决了现有技术中运算时间长，消耗资源大，容易受到噪声影响的问题。

附图说明

图1是本发明系统的整体结构图；

图2是不同深度标签下直线两侧颜色差异卷积核的示意图；

图3是不同方法之间的深度估测结果比较，其中(a)为原始光场图像的中心视角图像，(b)为正确深度结果，(c)为双边一致性方法深度估测结果，(d)为本发明的使用结果。

具体实施方式

下面结合附图对本发明系统的具体实施方式进一步说明。

本发明提供了一种基于极面图像颜色差异的光场相机深度估测系统，在图1本发明的总体系统结构图中，所述系统主要包括四个模块，即：极面图像提取模块、颜色差异计算模块、颜色差异整体性优化模块、深度估测可视化输出模块。

如图1所示，本发明方法：首先通过光场相机获取到目标场景的获取原始光场图像ImageLF及原始光场图像的参数信息P_ImageLF，根据所述原始光场图像的尺寸长度ImageH和尺寸宽度ImageW、原始光场图像的镜头阵列尺寸长度CapH和尺寸宽度CapW，计算得到水平方向极面图像的尺寸长度EpiH_h和尺寸宽度EpiW_h、垂直方向极面图像的尺寸长度EpiH_v和尺寸宽度EpiW_v，分别提取相应的水平方向极面图像Epi_h与垂直方向极面图像Epi_v作为输入传递给颜色差异计算模块。在颜色差异计算模块，首先构建深度标签与视差值的对应函数，再构建不同深度标签θ下的直线两侧颜色差异值卷积核Filter_θ，利用直线两侧颜色差异值卷积核Filter_θ分别对水平方向极面图像Epi_h与垂直方向极面图像Epi_v执行卷积操作，分别得到深度标签θ下Epi_h上的各个像素点p(i，j)的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)与Epi_v上的各个像素点p(i，j)的垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)，并作为输入传递至颜色差异整体性优化模块。在颜色差异整体性优化模块，分别计算分别计算水平方向极面图像Epi_h上各个像素点的水平方向可信度DiffCov_h与垂直方向极面图像Epi_v上各个像素点的垂直方向可信度DiffCov_v，根据水平方向可信度DiffCov_h与垂直方向可信度DiffCov_v对Diff_h_θ(i，j)与Diff_v_θ(i，j)进行加权求和整合优化，增大可信度高的权重，减小可信度低的权重，得到直线两侧颜色差异结果DiffOpt_θ(i，j)，并作为输入传递给深度估测可视化输出模块。在深度估测可视化输出模块，针对每个像素点p(i，j)，求出不同深度标签θ下DiffOpt_θ(i，j)的最大值对应的深度标签作为深度估测标签Depth(i，j)，将深度估测标签Depth投影为不同亮度值Color(i，j)的黑白像素点，表示为深度估测标签分布的单通道二值图像可视化输出，呈现展示深度估测的结果。

本发明系统中各个组成模块功能的具体实现过程如下：

1、极面图像提取模块

(1)原始光场图像获取：使用光场相机拍摄获取目标场景的原始光场图像ImageLF及原始光场图像的参数信息P_ImageLF，ImageLF表示为包含三个维度的三维矩阵，所述三个维度分别为原始光场图像的尺寸长度、尺寸宽度及颜色通道数目，所述原始光场图像的参数信息包括原始光场图像的尺寸长度ImageH和尺寸宽度ImageW、原始光场图像的镜头阵列尺寸长度CapH和尺寸宽度CapW、原始光场图像的颜色通道数目，原始光场图像的颜色通道数目默认为3；

(2)极面图像提取：根据所述原始光场图像的尺寸长度ImageH和尺寸宽度ImageW、原始光场图像的镜头阵列尺寸长度CapH和尺寸宽度CapW，计算得到水平方向极面图像的尺寸长度EpiH_h和尺寸宽度EpiW_h、垂直方向极面图像的尺寸长度EpiH_v和尺寸宽度EpiW_v，

EpiH_h＝ImageH/CapH，

EpiW_h＝ImageW，

EpiH_v＝ImageH，

EpiW_v＝ImageW/CapW，

进而得到水平方向极面图像Epi_h与垂直方向极面图像Epi_v，

Epi_h＝ImageLF[1：CapH：ImageH，：，：]，

Epi_v＝ImageLF[：，1：CapW：ImageW，：]。

2、颜色差异计算模块

(1)构建深度标签与视差值的对应函数：根据原始光场图像ImageLF的视差值范围和设定的深度标签个数，计算得到每个深度标签对应的视差值，将深度标签均匀分配给各个视差值，深度标签θ对应的视差值：

Dis_d＝Dis_min+(Dis_max-Dis_min)/NumD*θ

其中，Dis_min为视差值的最小值，Dis_max为视差值的最大值，NumD为深度标签个数，通过计算(Dis_max-Dis_min)/NumD获得到相邻深度标签之间视差值的差值，再将深度标签均匀分配给各个视差值，以此获得每个深度标签下对应[Dis_min，Dis_max]区间内的视差值；

(2)构建直线两侧颜色差异值卷积核：对每个深度标签θ，根据所述极面图像的提取参数P_Epi和所述原始光场图像的参数信息P_ImageLF，分别使用高斯函数以水平方向极面图像Epi_h与垂直方向极面图像Epi_v上代表深度标签θ的直线L_θ为中心向L_θ两侧扩散，构建深度标签θ下的直线两侧颜色差异值卷积核Filter_θ，分配Filter_θ的内部权重参数：

其中，W_a(i，j)表示深度标签θ下像素点(i，j)的权重，像素点(i，j)为水平方向上到直线L_θ的距离为i个像素，垂直方向上到直线L_θ的距离为j个像素的像素点，c为常数项，e为自然对数，d_θ(i，j)为像素点(i，j)距离直线L_θ的距离，计算方式为(i^2+j^2)^(1/2)，a为调节Filter_θ敏感程度的常数项，默认为0.5，其中i小于等于三倍的极面图像宽度，j小于等于极面图像的宽度，直线L_θ由深度标签θ对应的视差值决定，由深度标签θ深度对应的视差值作为步长，从第一个镜头0视差开始每次增加一个步长向右移动一个镜头，将获取到的像素点连接形成直线L_θ。使用深度标签θ下的直线两侧颜色差异卷积核Filter_θ分别对水平方向极面图像Epi_h与垂直方向极面图像Epi_v执行卷积操作，即：

Diff_h₀＝Filter_θ.*Epi_h，

Diff_v_θ＝Filter_θ.*Epi_v，

卷积操作时起始点为Epi_h或Epi_v左上角的像素点，每次卷积操作步长为1个像素，水平方向向右移动1个像素，直到到达Epi_h或Epi_v的右侧边缘，利用Filter_θ分别与Epi_h或Epi_v上各个颜色通道上的像素值进行数量积乘法并求和，进而得到深度标签θ下Epi_h上的各个像素点p(i，j)的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)与Epi_v上的各个像素点p(i，j)的垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)。如图2所示，其中θ₁、θ₂、θ₃表示三个深度标签，θ₁为正确深度标签，θ₂和θ₃为错误的深度标签，a为调节直线两侧颜色差异卷积核Filter_θ敏感程度的常数项，3a在图中的具体表现为直线两侧颜色差异卷积核Filter_θ的宽度的一半，三个平行四边形框为直线两侧颜色差异卷积核Filter_θ覆盖区域示意图，θ₁标签处直线两侧颜色差异卷积核为正确深度下的卷积核，θ₂和θ₃标签处表示错误深度下的卷积核，通过不同深度标签下直线两侧颜色差异卷积核对极面图像上的像素进行卷积操作，计算不同深度标签下的卷积核两侧的颜色差异。

3、颜色差异整体性优化模块

(1)计算水平方向和垂直方向直线两侧颜色差异结果可信度：

针对水平方向极面图像Epi_h各个像素点p(i，j)在不同深度标签θ下的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)，提取中心视角(CapH/2，CapW/2)镜头对应的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)，计算各个像素点p(i，j)在不同深度标签θ下的水平方向直线两侧颜色差异结果的均值DiffAvg_h(i，j)和最大值DiffMax_h(i，j)，进而计算像素点(i，j)的水平方向直线两侧颜色差异结果可信度：

DiffCov_h(i，j)＝DiffAvg_h(i，j)/DiffMax_h(i，j)

针对垂直方向极面图像Epi_h各个像素点p(i，j)在不同深度标签θ下的垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)，提取中心视角(CapH/2，CapW/2)镜头对应的垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)，计算各个像素点p(i，j)在不同深度标签θ下的垂直方向直线两侧颜色差异结果的均值DiffAvg_v(i，j)和最大值DiffMax_v(i，j)，进而计算像素点(i，j)的垂直方向直线两侧颜色差异结果可信度：

DiffCov_v(i，j)＝DiffAvg_v(i，j)/DiffMax_v(i，j)

(2)整体性优化直线两侧颜色差异结果

对不同深度标签θ下的各个像素点p(i，j)，根据水平方向直线两侧颜色差异结果可信度DiffCov_h(i，j)与垂直方向直线两侧颜色差异结果可信度DiffCov_v(i，j)，增大可信度高的权重，降低可信度低的权重，对水平方向直线两侧颜色差异结果Diff_h_θ(i，j)与垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)进行加权求和整合优化，得到优化后的直线两侧颜色差异结果：

4、深度估测可视化输出模块

(1)筛选最大化，针对每个像素点p(i，j)，根据不同深度标签θ下优化后的直线两侧颜色差异结果DiffOpt_θ(i，j)，求出DiffOpt_θ(i，j)的最大值对应的深度标签作为深度估测标签Depth(i，j)；

(2)深度分布图可视化输出，根据深度估测标签Depth和深度标签与视差值的对应函数，将深度估测标签Depth投影为不同亮度值Color(i，j)的黑白像素点，将每个像素点的深度估测标签对应到相应的亮度值，表示为深度估测标签分布的单通道二值图像可视化输出，其中亮度值：

Color(i，j)＝Depth(i，j)*NumD/255

本发明还提供了一种基于极面图像差异最大化的光场相机深度估测方法，具体包括以下步骤：

1)使用光场相机获取得到原始光场图像ImageLF及原始光场图像的参数信息P_ImageLF，根据P_ImageLF设置极面图像的提取参数P_Epi，依据P_Epi分别提取水平方向极面图像Epi_h与垂直方向极面图像Epi_v；

2)设定深度标签个数NumD，构建深度标签与视差值的对应函数，对每个深度标签θ，构建深度标签θ下的直线两侧颜色差异值卷积核Filter_θ，利用构建完成的深度标签θ下的直线两侧颜色差异值卷积核Filter′_θ在水平方向极面图像Epi_h与垂直方向极面图像Epi_v上分别进行卷积操作，依次得到深度标签θ下各个像素点的水平方向直线两侧颜色差异结果Diff_h_θ(i，j)与垂直方向直线两侧颜色差异结果Diff_v_θ(i，j)；

3)分别计算水平方向极面图像Epi_h上各个像素点的水平方向可信度DiffCov_h与垂直方向极面图像Epi_v上各个像素点的垂直方向可信度DiffCov_v，对Diff_h_θ(i，j)与Diff_v_θ(i，j)进行加权求和整合优化，得到深度标签θ下各个像素点的优化后的直线两侧颜色差异结果DiffOpt_θ(i，j)；

4)针对每个像素点p(i，j)，求出不同深度标签θ下DiffOpt_θ(i，j)的最大值对应的深度标签作为深度估测标签Depth(i，j)，根据深度估测标签Depth和深度标签与视差值的对应函数，将深度估测标签Depth投影为不同亮度值C0l0r(i，j)的黑白像素点，表示为深度估测标签分布的单通道二值图像可视化输出。

为了比较评估本发明方法的实际深度估测性能，以双边一致性方法作为基线方法进行了实际实验并对实验结果进行了展示，其中，双边一致性算法是一种基于立体匹配算法的深度估测方法，其主要特征是匹配多个子孔径图像中相同的场景点，利用光场图像成像一致性来进行深度估测。我们使用两张光场图像作为示例，如图3中的(a)所示，两张光场图像的中心视角图像，图3中的(b)展示了这两张光场图像的正确深度，图3中的(c)为双边一致性方法计算获得的深度估测结果，对于存在遮挡情况的边缘区域，双边一致性算法出现了大量深度估测错误的像素点，相较于双边一致性方法，图3中的(d)展示的本发明方法获得的深度估测结果在颜色相近的区域之间有着更清晰的划分，存在遮挡情况的边缘区域深度估测更为准确，与真实情况的深度分布更为匹配。可见本发明使用算法准确率较高，在颜色相近区域处深度估测结果与真实深度分布更为匹配。