阅读说明：本技术 一种光场相机四维数据大景深三维显示的方法 (Light field camera four-dimensional data large depth-of-field three-dimensional display method ) 是由 艾灵玉 石肖 周彪 于 2019-09-25 设计创作，主要内容包括：本发明公开了一种光场相机四维数据大景深三维显示的方法,属于图像的三维成像领域。本发明方法首先获取包含三维物体信息的四维数据,通过放大和旋转使子图与像素点网格对齐,得到标准六边形排列光场图像；再转变为元素图像EIA以匹配DPII显示系统,对光场图像按照三维物体的深度分割场景,对处于不同平面的三维物体通过深度调整算法进行深度调整,将调整后各物体的光场图像融合为一张并对其在DPII系统上进行三维显示。本发明方法获得具有前后物体极大视差,大景深的裸眼三维显示效果,解决了关于光场相机采集过程和显示过程中出现中景深缩小、视差不明显的问题。(The invention discloses a method for three-dimensional display of four-dimensional data of a light field camera in large depth of field, belonging to the field of three-dimensional imaging of images. The method comprises the steps of firstly, acquiring four-dimensional data containing three-dimensional object information, aligning sub-images with pixel point grids through amplification and rotation, and obtaining a standard hexagonally arranged light field image; and then converting the light field images into element images EIA to match a DPII display system, segmenting scenes of the light field images according to the depth of three-dimensional objects, performing depth adjustment on the three-dimensional objects in different planes through a depth adjustment algorithm, fusing the light field images of all the adjusted objects into one image, and performing three-dimensional display on the DPII system. The method of the invention obtains the naked eye three-dimensional display effect with great parallax and great depth of field of the front and rear objects, and solves the problems of reduced depth of field and unobvious parallax in the acquisition process and the display process of the light field camera.)

一种光场相机四维数据大景深三维显示的方法

技术领域

本发明涉及一种光场相机四维数据大景深三维显示的方法，属于图像的三维成像领域。

背景技术

近年来，三维成像技术一直是光学成像的研究热点，其中光场成像技术因其可以通过单次曝光记录三维场景的信息而被视为一种有效的三维成像解决方案。基于光场成像的光场相机物体相较传统相机在主透镜和传感器之间***微透镜阵列，通过主透镜平面和微透镜平面表示光场L(u,v,x,y)，其中(u,v)表示光线的方向，(x,y)表示光线的位置。相机记录的原始光场图像L(u,v,x,y)，可以通过光线的方向及位置关系，实现记录面前后的数字重对焦。光场成像目前已经被应用与深度提取，三维测绘，运动检测等方面。

虽然光场相机记录了三维的信息，但目前光场四维数据的主要显示手段为二维的重聚焦，相当于普通相机在同一深度方向上进行多次采集，并没有将三维信息直接进行显示。然而这种二维重聚焦显示结果存在相对深度和视差减小的问题，无法得到裸眼三维显示的效果，从而使得光场相机的使用受到限制。

发明内容

为了解决上述问题，消除相对深度和视差减小的影响，本发明构建了一种光场相机四维数据大景深三维显示的方法。将光场相机采集到的四维数据进行大景深的三维显示，使用移动手持光场相机采集物体的光场信息，转化为匹配DPII显示系统((DepthPriority Integral Imaging深度优先积分成像)的EIA(Element Image Array，元素图像阵列)并使用正方形微透镜阵列三维显示出来。

光场相机由于自身的相机成像特性，记录的场景的三维信息在深度上是被缩小的，且缩小的倍数是随着物体距离的增加而增加的，在对光场相机记录的信息进行三维显示时也需要对其进行深度的调整。

本发明的第一个目的是提供一种利用光场相机四维数据进行大景深三维显示的方法，包括如下步骤：

S1，利用光场相机自身存储的白图像建立白图像数据集；

S2，采集光场图像L_o，在S1建立的白图像数据集中匹配与采集光场图像相同对焦信息(zoomstep)和聚焦信息(focusstep)参数进行解码，获得标准六边形排列的的光场图像L_s；

S3，将光场图像L_s转变为正交网格形排列，得到正方形排列的元素图像阵列EIA_o；

S4，对正方形排列的EIA_o中不同深度的物体进行分割，得到记录不同物体的EIA集合EIA_obj1，EIA_obj2，…，EIA_objn，然后利用深度映射算法对S43得到的EIA进行重新映射，得到匹配物体深度的光场图像集EIA_opt1，EIA_opt2，…，EIA_optn；所述深度映射算法包括：在光场相机中，微透镜面与主透镜面的间距为D，此时所记录的光场图像为在中间像空间内距离主透镜平面D处的光场信息L_D；若光线继续向后传播至D′处，设α＝D′/D，则深度D′处的的光线L(u,v,x,y)可以由记录的光线表示：

通过改变微透镜平面的位置改变光场相机内部像点和微透镜平面的距离，记录不同深度的物体，得到匹配物体深度的光场图像集，其中α的值随着物体深度的不同而变化，具体可以由下式求解：

其中F为主透镜的焦距，D_z为物体与光场相机主透镜的距离，均为已知值。根据上式求出每一个物体所处的深度对应的α值，对其进行深度映射。

S5，利用深度位置权重算法将S4得到的光场图像集EIA_opt1，EIA_opt2，…，EIA_optn融合为一张元素图像EIA_opt，并在DPII系统中显示；其中深度位置权重算法为：将步骤(4)所得EIA图像集合按照物体的深度位置进行排序，从距离相机最近的物体开始依次叠加，对于单个的像素点，当前一张EIA融合之后在此处的值为物体时，此像素点在此位置的权重为0，当前一张EIA融合之后在此处的值为背景时，此像素点在此处的权重为1，最终将所有的EIA在此处的像素点按照下式融合：

EIAP_opt＝w₁·EIAP_opt1+w₂·EIAP_opt2+…+w_n·EIAP_optn，

其中EIAP为EIA中的像素点，w为对用像素点的权重。以上式遍历所有的像素点得到EIA_opt。

在本发明的一种实施方式中，一种光场相机四维数据大景深三维显示方法具体包含以下步骤：

S1：利用光场相机自身存储的白图像，建立白图像数据集；

S2：在S1建立的白图像数据集中匹配与采集光场图像L_oL_O相同zoomstep(变焦信息)和focusstep(聚焦信息)进行解码，获得标准六边形排列的光场图像L_s；

S3：将S3中得到的六边形排列的光场图像转变为正交网格形排列，匹配DPII系统；

S4：对图像中不同深度的物体进行分割，按照物体的实际深度求解α并进行重新映射，得到大景深的EIA集合EIA_opt1，EIA_opt2，…，EIA_optn，其中1,…,n对应不同的物体；

S5：将S4获得的不同深度物体的EIA集合使用深度位置权重算法进行融合为一张元素图像EIA_opt，最后在DPII系统中显示。

在本发明的一种实施方式中，所述深度映射算法是在光场相机中，微透镜面与主透镜面的间距为D，如图2所示，此时所记录的光场图像为在中间像空间内距离主透镜平面D处的光场信息。若光线继续向后传播至D′处，设α＝D′/D，则深度D′处的的光线L(u,v,x,y)可以由记录的光线表示：

通过改变微透镜平面的位置改变光场相机内部像点和微透镜平面的距离，记录不同深度的物体，得到匹配物体深度的光场图像集，其中α的值随着物体深度的不同而变化，具体可以由下式求解；

根据上式求出每一个物体所处的深度对应的α值，对其进行深度映射。

在本发明的一种实施方式中，所述S1中白图像数据集的采集方法是：使用光场相机自身存储的白图像数据集。

在本发明的一种实施方式中，步骤S2中获得标准六边形排列的光场图像L_S的方法包括如下步骤：

S2-1，移除白图像中低于黑色阈值的所有像素点，这类像素点没有采集到光线信息，对保留下来的数据进行min-max标准化处理；

S2-2，在标准化处理的图像中，遍历找到最亮的，即值为1的像素点，标记为光场图像子图的中心点；

S2-3，根据S1-2中得到的中心点模型，计算子图水平和竖直方向上的个数X_max、Y_max，计算每个子图的外接矩形边长

对中心点阵列的行和列进行一阶线性拟合得到拟合斜率k_x1，k_x2，…，k_xn，k_y1，k_y2，…，k_y3；

S2-4，根据S2-3中的x_space和y_space计算将子图放大到像素点整数倍所需的放大倍数，根据S12中计算的水平和竖直一阶拟合直线斜率求得整体旋转得最佳斜率

S2-5.根据S2-4中求得的放大倍数和旋转斜率对初始光场图像L_O进行放大和旋转，使子图中心对齐像素点中心，得到标准六边形排列的光场图像L_s；

在本发明的一种实施方式中，步骤S3中所述的将六边形排列的光场图像转变为正交网格排列的具体步骤包括:

S3-1，在对齐的标准光场图像L_s中，根据子图的中心点和半径确定子图在光场图像上的区域范围，以子图为单位按照正交网格来排列光场图像L_s；

S3-2，对S3-1得到的图像进行重新采样，在水平方向上进行插值；

S3-3，对得到的正交网格排列的圆形子图取中间最大内接正方形区域，得到正方形排列的EIA_o；

在本发明的一种实施方式中，步骤S4具体包括：

S4-1，使用正交投影转换算法将EIA_o重新映射为正交投影图像O_t；

S4-2，对正交投影图像O_t的每一个子图像按照包含的物体进行图像分割得到正交投影集O_obj1，O_obj2，…，O_objm，其中n对应不同的物体，每一个分割得到的子图包含了同一深度的三维物体，且大小与原子图相同；

S4-3，将分割完成的正交投影集O_obj1，O_obj2，…，O_objm，使用正交投影转换算法转化为EIA集合EIA_obj1，EIA_obj2，…，EIA_objn；

S4-4，使用深度映射算法对S43得到的EIA进行重新映射，光场相机采集的三维场景在经过主透镜之后，其深度在中间像空间里是被缩小的，且缩小倍数随着物体实际深度的增加而增加；通过对转化而来的每一张EIA使用深度映射算法进行不同深度的映射，得到匹配物体深度的光场图像集EIA_opt1，EIA_opt2，…，EIA_optn。

在本发明的一种实施方式中，所述正交投影转换算法是将所有EI中相同位置的像素点取出放入同一正交投影子图区域中得到正交投影图像。比如，在一有个M×M个EI，每个EI中有N×N个像素的EIA中，将所有EI中坐标位置为(1,1)的像素点取出，组成一个新的正交投影子图，大小为M×M个像素，放置在正交投影阵列的坐标(1,1)处，对EI中所有的像素点执行相同的操作，得到子图数为N×N，每个子图中有M×M个像素的正交投影图像。

在本发明的一种实施方式中，步骤S4-4中为了调整三维场景在深度上的不均匀缩放，通过映射到不同距离的光场来改变中间像空间中某一深度的像到微透镜平面的距离，映射距离为D′,其与原主透镜和微透镜之间的距离D之间的比例α可以通过待调整物体到相机的距离和相机本身的参数求解，使用上述方法对所有采集到的物体进行调整。

上述显示方法在三维成像领域中的应用：传统的集成成像使用微透镜阵列采集的方法只能获取位于微透镜单侧的三维信息，使用光场相机可以记录相机焦平面前后两面的信息。

本发明的第二个目的是提供一种大景深三维显示系统，所述系统包括：数据处理单元和显示装置，所述显示装置包括液晶显示器组合正方形微透镜阵列；所述数据处理装置包括：采集光场图像，然后利用上述的解码，深度分割、映射，得到大景深信息合集，最后深度权重合并得到三维图像。

本发明的第三个目的是提供一种安装上述显示系统的相机设备。

本发明的有益效果：

本发明可以将光场相机采集的四维光场数据进行三维显示，并且有效改善光场相机在记录三维物体信息时由于主透镜在深度上的不均匀缩放导致的深度不均匀压缩，显示视差小的问题。通过深度调整，提供大的显示视差。

附图说明

图1为光场相机数据采集并三维显示流程图；

图2为光场相机深度调整示意图；

图3(a)为原始采集的光场图像及其局部放大图，图3(b)为由光场图像转化而来未经深度调整的EIA，图3(c)为经过深度调整的EIA；

图4为正交投影算法进行深度调整实验图，其中图4(a)、(d)为正交投影图像，图4(b)、(e)为正交投影子图像，图4(c)、(f)左侧为包含单个物体的正交投影图像，中间为由左侧图像转化而来的EIA，右侧为中间的EIA经过深度调整后得到的包含单个物体的EIA；

图5为多视角三维显示效果对比图，其中图5(a)、(d)为原始光场图像在微透镜阵列下显示的效果图。图5(b)、(e)为未经过深度调整的EIA在微透镜阵列下显示的效果图。图5(c)、(f)为深度调整后的EIA在微透镜阵列下显示的效果图。

具体实施方式

下面将结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述。应当理解，一下所描述的施例仅作说明本发明只用，并不用来限制本发明的保护范围。

本发明实施例中使用lytro一代光场相机进行数据采集，最终的结果使用平板电脑和微透镜阵列进行显示，采集系统的参数如表1所示：

表1采集系统的参数

按照表1所示的位置参数采集到光场图像之后，转化为EIA，在显示系统中显示，显示系统的硬件参数规格如表2所示：

表2显示系统的硬件参数规格

实施例1光场相机采集三维场景并进行三维显示

具体过程如图1所示，包括以下步骤：

S1：利用光场相机自身存储的不同拍摄条件下采集的白图像，建立白图像数据集；

导入lytro光场相机存储的白图像数据集，读取相机在拍摄这些白图像时的对焦与聚焦信息，建立数据库。

S2：在S1建立的白图像数据集中匹配与采集到的光场图像L_o具有相同的zoomstep和focusstep的白图像进行解码，获得标准六边形排列的光场图像L_s；

移除白图像中所有值低于15的没有采集到信息的黑色像素点，对保留下来的数据在0-1之间进行min-max标准化处理，在经过在标准化处理的图像中，遍历找到最亮的，即值为1的像素点，标记为光场图像子图的中心点；

根据得到的中心点模型，计算子图水平和竖直方向上的个数X_max与Y_max，计算每个子图的外接矩形边长

对中心点阵列的行和列进行一阶线性拟合得到拟合斜率k_x1，k_x2，…，k_xn，k_y1，k_y2，…，k_yn。根据计算得到的x_space和y_space计算将子图放大到像素点整数倍所需的放大倍数，根据S12中计算的水平和竖直一阶拟合直线斜率求得整体旋转得最佳斜率

使用求得的最佳放大倍数和旋转斜率对拍摄的光场图像进行放大和旋转，使子图中心对齐像素点中心，得到标准六边形排列的光场图像L_s，如图3(a)所示。

S3：将S3中的得到的六边形排列的光场图像L_S转变为匹配DPII显示系统的EIA；

在水平方向上进行插值，即在光场图像L(u,v,x,y)，上沿x方向进行一维线性插值，使图像恢复原本记录时的横纵比，在u方向上进行一维线性插值，使得子图的像素点分布变为正方形，对最终得到的正交网格排列的圆形子图取中间最大内接正方形区域，最终的到匹配DPII显示系统的元素图像EIA_O，在本实施例中，为了匹配显示器的大小，将得到的EIA裁剪为120×120个子图像，如图3(b)所示。

S4：将图像中不同深度的物体分割到单独的EIA中，按照物体的实际深度计算对应的α后对各EIAEIA_O进行重新映射，得到深度校正的EIA集合；

其中，如图2所示，光场相机主透镜到微透镜阵列的距离为D，微透镜直径为d，焦距为f，主透镜平面记录四维光场信息中的(u,v)，微透镜平面记录四维光场信息中的(x,y)

此时所记录的光场图像为在中间像空间内距离主透镜平面D处的光场信息，若光线继续向后传播至D′处，设α＝D′/D，则深度D′处的光线L(u,v,x,y)可以由记录的光线表示：

通过改变微透镜平面的位置改变光场相机内部像点和微透镜平面的距离，记录不同深度的物体，得到匹配物体深度的光场图像集，其中α的值随着物体深度的不同而变化，具体可以由下式求解；

物体深度的不同而变化，根据上式求出每一个物体所处的深度对应的α值，对其进行深度映射。其中F为主透镜的焦距，D_z为物体与光场相机主透镜的距离，均为已知值。

使用正交投影转化算法将EIA_o重新映射为正交投影图像O_t，如图4(a)、(e)为转化而来的正交投影图像，对正交投影图像O_t的每一个子图像进行图像分割，如图4(b)、(e)所示为正交投影图像的子图放大图，将其中包含的物体提取出后放到单个的子图中，得到各自包含一个物体的两个子图，对正交投影图像O_t中包含的所有的子图分割之后得到如图4(c)、(f)左侧所示的两张正交投影集O_obj1,O_obj2，每一个分割得到的子图包含了同一深度的三维物体，且正交投影图像的大小与相同；

然后将分割完成的正交投影集O_obj1,O_obj2用相同的正交投影转换算法转化为如图4(c)、(f)中间列所示的EIA集合EIA_obj1，EIA_obj2，…，EIA_objn，通过物体采集时记录的距离和相机本身参数D和F由公式(2)计算出两物体分别对应的α值，最后使用根据公式(1)的映射关系对S43得到的光场图像进行重新映射，得到图4(c)、(f)右图所示的匹配物体深度的EIA集合EIA_opt1，EIA_opt2，…，EIA_optn；

S5：将S4获得的不同深度物体的光场图像使用深度位置权重算法进行融合为一张光场图像后再DPII系统中显示；对于由EIA_o分割重新映射转化而来的EIA集合EIA_opt1，EIA_opt2，…，EIA_optn进行融合，创建与待融合EIA相同大小的空白图像EIA_opt，遍历EIA_opt中的每一个像素点求解其值，当某一位置上EIA_opt1的值代表物体，则EIA_opt1在此位置的像素点权重为1，EIA_opt2在此位置的像素点权重为0。当某一位置上EIA_opt1的值代表背景，则EIA_opt1在此位置的像素点权重为0，EIA_opt2在此位置的像素点权重为1。最终此点的值为EIA_opt1在此点的值与在此点的权重相乘加上EIA_opt2此点的值与在此点的权重相乘。对所有的像素点进行上述操作得到最终的大景深元素图像EIA_opt，如图3(c)所示。

最终得到如图4(c)(f)所示的匹配物体深度的大景深元素图像EIA_opt，在DPII显示系统中获得与真实场景中的物体相似的显示视差，显示效果如图5所示。图5(a)、(e)为使用光场相机直接采集的数据在DPII显示系统下进行显示的效果。由图中可以看出，由于子图排列方式与微透镜排列方式不同，图像整体模糊且边缘突起，在多视角情况下物体的相对位置几乎没有发生改变。图5(b)、(f)为从光场图像转化而来的EIA在未经深度调整的情况下进行显示，由途中可以看出，EIA比较好的匹配了微透镜阵列，然而未经过深度调整，在多视角情况显示时物体的相对位置同样几乎没有发生改变。图5(c)、(g)为经过深度调整的EIA，由图中可得在多视角显示时视差明显，三维显示效果较好。

对比例1

目前对光场的研究主要集中在深度提取和重聚焦上，Jeong等人(Y.Jeong,J.Kim,J.Yeom,C.-K.Lee and B.Lee,“Real-time depth controllable integral imagingpickup and reconstruction method with a light field camera,”Appl.Opt.54,10333-10341(2015))使用光场相机作为采集设备进行三维显示，但在深度失真上未进行处理，显示效果与图5(b)一致。

对图5(b)和图5(c)所使用的EIA分别进行计算机重建，以求这两组EIA所记录的物体深度，重建结果如表3所示：

表3不同方式处理的显示效果

由表3可以得出，在两实验组未进行深度调整时，尽管两组实验中的物体间隔不同，但光场相机的微透镜阵列直接记录的深度在计算机重建时两组中的两物体重建距离十分接近，而经过深度调整后，两实验组中的两物体间距明显增加。

综上所述，本发明提出了一种光场相机四维数据大景深三维显示的方法，首先利用光场相机采集光场图像；然后对采集到的光场图像进行校正，对齐子图与像素点网格；将校正后的标准六边形排列光场图像转化为EIA以匹配DPII显示系统；对得到的EIA₀进行分别分割，重新映射深度关系再融合以增大显示视差；最后将得到的具有较大视差的图像通过DPII显示系统进行三维显示。

实施例的实测结果表明，上述实例所采用的三维采集-显示方法可以显示三维物体像，并且可以消除采集过程中出现的相对深度不均匀和视差减小的影响。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则精神之内，所作的任何修改，等同替换、改进等，均应包含在本发明的保护范围之内。