轴向扫描光场数据的重建与拼接方法及装置
阅读说明：本技术 轴向扫描光场数据的重建与拼接方法及装置 (Reconstruction and splicing method and device for axial scanning light field data ) 是由 戴琼海 张亿 季向阳 吴嘉敏 于 2020-02-18 设计创作，主要内容包括：本发明公开了一种轴向扫描光场数据的重建与拼接方法及装置,其中,该方法包括：利用轴向扫描光场系统,按照设定的轴向间隔进行采集得到光场图栈,对光场图栈进行重排得到数据图栈；通过计算机模拟轴向扫描光场系统的光路前传过程,得到子孔径点扩散函数；根据数据图栈和子孔径点扩散函数以及重建算重建目标场景的三维信息。该方法利用轴向扫描光场数据联合重建,得到大轴向范围、高分辨率、轴向连续的场景三维重建结果。(The invention discloses a method and a device for reconstructing and splicing axial scanning light field data, wherein the method comprises the following steps: acquiring by using an axial scanning optical field system according to a set axial interval to obtain an optical field image stack, and rearranging the optical field image stack to obtain a data image stack; simulating a light path forwarding process of an axial scanning light field system by a computer to obtain a sub-aperture point diffusion function; and reconstructing three-dimensional information of the target scene according to the data map stack, the sub-aperture point spread function and the reconstruction calculation. The method utilizes the joint reconstruction of axial scanning light field data to obtain a scene three-dimensional reconstruction result with large axial range, high resolution and axial continuity.)
技术领域
本发明涉及光场数据重建技术领域，特别涉及一种轴向扫描光场数据的重建与拼接方法及装置。
背景技术
光场技术是一种快速的体成像技术，可以同时记录光场的四维信息。上述四维信息被处理之后，可以重建出三维目标场景。由于单帧即可记录光场信息，相较于共聚焦等需要轴向密集扫描的成像技术，光场的轴向采样更加稀疏，成像速度更快。
单张光场重建的三维场景，横向和轴向分辨率随着离焦距离的增大而下降。采用轴向扫描光场拍摄可以增大轴向重建范围，同时可以保证重建的分辨率。但轴向扫描光场数据重建存在如下一些问题：1、采取分开重建再拼接的方法，会导致轴向三维信息不连续。2、分开重建时，点扩散函数的轴向范围小，未对背景建模，会导致离焦平面的能量计算不准确，导致拼接出现明显不连续。3、分开重建时，点扩散函数的轴向范围大，会导致计算量上升，重建速度明显减慢。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种轴向扫描光场数据的重建与拼接方法，该方法利用轴向扫描光场数据联合重建，得到大轴向范围、高分辨率、轴向连续的场景三维重建结果。
本发明的另一个目的在于提出一种轴向扫描光场数据的重建与拼接装置。
为达到上述目的，本发明一方面实施例提出了一种轴向扫描光场数据的重建与拼接方法，包括：
S1，利用轴向扫描光场系统，按照设定的轴向间隔进行采集得到光场图栈，对所述光场图栈进行重排得到数据图栈；
S2，通过计算机模拟所述轴向扫描光场系统的光路前传过程，得到子孔径点扩散函数；
S3，根据所述数据图栈和所述子孔径点扩散函数以及重建算重建目标场景的三维信息。
本发明实施例的轴向扫描光场数据的重建与拼接方法，利用轴向扫描光场系统，按照设定的轴向间隔进行采集得到光场图栈，对光场图栈进行重排得到数据图栈；通过计算机模拟轴向扫描光场系统的光路前传过程，得到子孔径点扩散函数；根据数据图栈和子孔径点扩散函数以及重建算重建目标场景的三维信息。由此，可以得到大轴向范围、高分辨率、轴向连续的三维重建结果。
另外，根据本发明上述实施例的轴向扫描光场数据的重建与拼接方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述S1还包括：
在所述数据图栈的数据量大于预设数量值，且单张光场图栈的密度大于预设密度值时，对所述数据图栈进行轴向降采样。
进一步地，在本发明的一个实施例中，所述S2进一步包括：
在所述轴向扫描光场系统中，从点光源出发，用计算机模拟光路前传过程，计算出微透镜阵列前表面的复数光场，通过微透镜阵列的相位调制，经历一个传播过程，得到点光源在传感器表面上的光强分布，根据所述光强分布得到各个深度对应的子孔径点扩散函数。
进一步地，在本发明的一个实施例中，所述S2还包括：
对所述子孔径点扩散函数进行轴向非等间隔降采样，降采样比例与所述数据图栈的降采样比例相同。
进一步地，在本发明的一个实施例中，所述S3进一步包括：
S31，规定所述数据图栈的重建数据，对所述数据图栈内的图进行编号；
S32，确定要重建的体Volume的范围，进行全0初始化，选择需要重建的图；
S33，在Volume内抽取对应层，用预设比例加上全1作为重建初值，使用RL解卷积方法进行单张光场的重建，得到对应Xguess；
S34，对于Xguess进行插值，得到upXguess；
S35，使用sigmoid函数作为融合比例，用upXguess更新Volume的对应层；
S36，选取下一个image，重复步骤S32-S35，直到所述数据图栈内的数据全部计算结束。
为达到上述目的，本发明另一方面实施例提出了一种轴向扫描光场数据的重建与拼接装置，包括：
采集模块，用于利用轴向扫描光场系统，按照设定的轴向间隔进行采集得到光场图栈，对所述光场图栈进行重排得到数据图栈；
计算模块，用于通过计算机模拟所述轴向扫描光场系统的光路前传过程，得到子孔径点扩散函数；
重建模块，用于根据所述数据图栈和所述子孔径点扩散函数以及重建算法重建目标场景的三维信息。
本发明实施例的轴向扫描光场数据的重建与拼接装置，利用轴向扫描光场系统，按照设定的轴向间隔进行采集得到光场图栈，对光场图栈进行重排得到数据图栈；通过计算机模拟轴向扫描光场系统的光路前传过程，得到子孔径点扩散函数；根据数据图栈和子孔径点扩散函数以及重建算重建目标场景的三维信息。由此，可以得到大轴向范围、高分辨率、轴向连续的三维重建结果。
另外，根据本发明上述实施例的轴向扫描光场数据的重建与拼接装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述采集模块，还用于在所述数据图栈的数据量大于预设数量值，且单张光场图栈的密度大于预设密度值时，对所述数据图栈进行轴向降采样。
进一步地，在本发明的一个实施例中，所述计算模块，具体用于，在所述轴向扫描光场系统中，从点光源出发，用计算机模拟光路前传过程，计算出微透镜阵列前表面的复数光场，通过微透镜阵列的相位调制，经历一个传播过程，得到点光源在传感器表面上的光强分布，根据所述光强分布得到各个深度对应的子孔径点扩散函数。
进一步地，在本发明的一个实施例中，所述计算模块，还用于对所述子孔径点扩散函数进行轴向非等间隔降采样，降采样比例与所述数据图栈的降采样比例相同。
进一步地，在本发明的一个实施例中，所述重建模块，具体用于
规定所述数据图栈的重建数据，对所述数据图栈内的图进行编号；
确定要重建的体Volume的范围，进行全0初始化，选择需要重建的图；
在Volume内抽取对应层，用预设比例加上全1作为重建初值，使用RL解卷积方法进行单张光场的重建，得到对应Xguess；
对于Xguess进行插值，得到upXguess；
使用sigmoid函数作为融合比例，用upXguess更新Volume的对应层；
选取下一个image，重复上面过程进行计算，直到所述数据图栈内的数据全部计算结束。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的轴向扫描光场数据的重建与拼接方法流程图；
图2为根据本发明一个具体实施例的轴向扫描光场数据的重建与拼接方法流程图；
图3为根据本发明一个实施例的光场图及重排示意图；
图4为根据本发明一个实施例的光场系统示意图；
图5为根据本发明一个实施例的三维重建与拼接算法流程图；
图6为根据本发明一个实施例的轴向扫描光场数据的重建与拼接装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的轴向扫描光场数据的重建与拼接方法及装置。
首先将参照附图描述根据本发明实施例提出的轴向扫描光场数据的重建与拼接方法。
图1为根据本发明一个实施例的轴向扫描光场数据的重建与拼接方法流程图。
如图1所示，该轴向扫描光场数据的重建与拼接方法包括以下步骤：
步骤S1，利用轴向扫描光场系统，按照设定的轴向间隔进行采集得到光场图栈，对光场图栈进行重排得到数据图栈。
进一步地，在本发明的实施例中，S1还包括：在数据图栈的数据量大于预设数量值，且单张光场图栈的密度大于预设密度值时，对数据图栈进行轴向降采样。
步骤S2，通过计算机模拟轴向扫描光场系统的光路前传过程，得到子孔径点扩散函数。
进一步地，在本发明的实施例中，S2还包括：在轴向扫描光场系统中，从点光源出发，用计算机模拟光路前传过程，计算出微透镜阵列前表面的复数光场，通过微透镜阵列的相位调制，经历一个传播过程，得到点光源在传感器表面上的光强分布，根据光强分布得到各个深度对应的子孔径点扩散函数。
进一步地，在本发明的实施例中，还包括：对子孔径点扩散函数进行轴向非等间隔降采样，降采样比例与数据图栈的降采样比例相同。
步骤S3，根据数据图栈和子孔径点扩散函数以及重建算重建目标场景的三维信息。
可以理解的是，利用轴向扫描光场系统采集数据，得到一定轴向间隔的光场图栈，图栈按照深度排列，按照一定的顺序对图栈进行重建，采用合理的初值和重建拼接方法，可以得到大轴向范围、高分辨率、轴向连续的三维重建结果。
结合图2所示，本发明的实施例首先使用轴向光场采集系统，按照设定的轴向间隔dz，采集光场图栈RAWDATA stack。在dz范围内，使用单张光场可以得到高分辨率的三维重建结果。单张光场图进行重排，可以得到4D数据，对RAWDATA stack数据进行重排，可以得到5D数据image stack，其中第五维为当前数据在stack中的位置。例如若采集的光场图大小为1300*1300像素，光场系统中每个微透镜对应的像素数量为13*13，则重排可得到1300*1300*13*13像素的4D数据。若按照dz间隔共采集了100张光场图，则RAWDATA stack的大小为1300*1300*100像素，重排预处理之后的5D数据大小为1300*1300*13*13*100像素。当5D数据image stack的数据量很大，且单张光场的采集比较密时，可以对该数据进行横向降采样。同时，由于重建轴向范围大，在离焦距离大的平面，实采点扩散函数强度和对比度达不到要求，因此可以使用仿真子孔径点扩散函数psf。若在计算image stack时进行了降采样，则对子孔径点扩散函数psf的横向也要同比例降采样。同时由于离焦距离大时，重建分辨率降低，为了加快重建速度，可以对psf进行轴向非等间隔降采样。将psf和image stack作为重建算法的输入，可以得到大轴向范围、高分辨率、轴向连续的重建结果。
具体地，使用轴向扫描光场系统采集光场图栈RAWDATA stack。光场图及重排后如图3所示，光场图通过牺牲空间分辨率来获得角分辨率，由于获得了不同的角度信息，单张光场图可以重建出目标场景的三维信息。将光场图进行抽样重排后进行插值，获得各个子孔径对应的子孔径图像。例如光场原图大小为1300*1300像素，重排后可以得到100*100*13*13像素的4D数据，插值后可得到1300*1300*13*13的重排4D数据，前2维为空间坐标，后2维为子孔径序号。图3右侧为子孔径(5,6)对应的子孔径图像。当光场空间采样比较大时，为加速重建过程，可以对重排数据进行降采样，例如上述1300*1300*13*13的4D数据，可以对空间进行系数为2的降采样，得到650*650*13*13像素的重排图。对于RAWDATA stack内所有数据进行上述操作后，可得到5维的image stack。
通过计算机模拟光路前传过程，计算得到仿真子孔径点扩散函数psf。图4为根据本发明一个实施例的光场系统示意图。从点光源point source出发，用计算机模拟光路前传过程，计算出微透镜阵列ML前表面的复数光场，通过微透镜阵列的相位调制，在经历一个传播过程，即可得到点光源在传感器表面sensor plane上的光强分布。由此可以计算得到各个深度对应的子孔径点扩散函数。图中L1和L2为透镜，f1为L1的焦距，f2为L2的焦距，fml为微透镜的焦距。与image stack的生成过程相同，如果当前空间采样比较密，可以对psf在空间上进行降采样，降采样比例与image stack保持一致。同时，由于重建分辨率随着离焦距离的增大而降低，所以在离焦距离较远的深度上，可以对psf做轴向降采样，加快重建速度。
通过上述过程得到得到数据图栈以及子孔径点扩散函后，通过重建于拼接算法重建目标场景的三维信息。流程如图5所示，具体包括以下步骤：
1)首先规定image stack的重建顺序，对于stack内的image进行编号。例如可以选择从深到浅的顺序对于stack进行编号。
2)确定要重建的体Volume的范围，全0初始化。选择需要重建的image。
3)在Volume内抽取对应层，用一定比例加上全1作为重建初值，使用RL解卷积等方法进行单张光场的重建，得到对应Xguess。
4)对于Xguess进行插值，得到upXguess。
5)使用sigmoid函数作为融合比例，用upXguess更新Volume的对应层。
6)选取下一个image，重复步骤2-5，直到image stack内的数据全部计算结束。
根据本发明实施例提出的轴向扫描光场数据的重建与拼接方法，利用轴向扫描光场系统，按照设定的轴向间隔进行采集得到光场图栈，对光场图栈进行重排得到数据图栈；通过计算机模拟轴向扫描光场系统的光路前传过程，得到子孔径点扩散函数；根据数据图栈和子孔径点扩散函数以及重建算重建目标场景的三维信息。由此，可以得到大轴向范围、高分辨率、轴向连续的三维重建结果。
其次参照附图描述根据本发明实施例提出的轴向扫描光场数据的重建与拼接装置。
图6为根据本发明一个实施例的轴向扫描光场数据的重建与拼接装置结构示意图。
如图6所示，该轴向扫描光场数据的重建与拼接装置包括：
采集模块100，用于利用轴向扫描光场系统，按照设定的轴向间隔进行采集得到光场图栈，对光场图栈进行重排得到数据图栈。
计算模块200，用于通过计算机模拟轴向扫描光场系统的光路前传过程，得到子孔径点扩散函数。
重建模块300，用于根据数据图栈和子孔径点扩散函数以及重建算法重建目标场景的三维信息。
进一步地，在本发明的一个实施例中，采集模块，还用于在数据图栈的数据量大于预设数量值，且单张光场图栈的密度大于预设密度值时，对数据图栈进行轴向降采样。
进一步地，在本发明的一个实施例中，计算模块，具体用于，在轴向扫描光场系统中，从点光源出发，用计算机模拟光路前传过程，计算出微透镜阵列前表面的复数光场，通过微透镜阵列的相位调制，经历一个传播过程，得到点光源在传感器表面上的光强分布，根据光强分布得到各个深度对应的子孔径点扩散函数。
进一步地，在本发明的一个实施例中，计算模块，还用于对子孔径点扩散函数进行轴向非等间隔降采样，降采样比例与数据图栈的降采样比例相同。
进一步地，在本发明的一个实施例中，重建模块，具体用于
规定数据图栈的重建数据，对数据图栈内的图进行编号；
确定要重建的体Volume的范围，进行全0初始化，选择需要重建的图；
在Volume内抽取对应层，用预设比例加上全1作为重建初值，使用RL解卷积方法进行单张光场的重建，得到对应Xguess；
对于Xguess进行插值，得到upXguess；
使用sigmoid函数作为融合比例，用upXguess更新Volume的对应层；
选取下一个image，重复上面过程进行计算，直到数据图栈内的数据全部计算结束。
需要说明的是，前述对轴向扫描光场数据的重建与拼接方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
根据本发明实施例提出的轴向扫描光场数据的重建与拼接装置，利用轴向扫描光场系统，按照设定的轴向间隔进行采集得到光场图栈，对光场图栈进行重排得到数据图栈；通过计算机模拟轴向扫描光场系统的光路前传过程，得到子孔径点扩散函数；根据数据图栈和子孔径点扩散函数以及重建算重建目标场景的三维信息。由此，可以得到大轴向范围、高分辨率、轴向连续的三维重建结果。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。