阅读说明：本技术 一种基于计算鬼成像的三维目标重构方法 (A kind of objective reconstructing method based on calculating ghost imaging ) 是由 张闻文 张磊 林子韬 何睿清 钱燕 何伟基 陈钱 顾国华 于 2018-05-25 设计创作，主要内容包括：本发明公开了一种基于计算鬼成像的三维目标重构的方法,首先对参考平面进行标定,根据图像中每个像素的灰度,计算每个像素所代表的参考平面上对应区域中心处光源方向和桶探测器方向之间的夹角；将三维目标放置在参考平面上,根据图像中每个像素的灰度,计算每个像素所代表的目标上对应区域中心处光源方向和桶探测器方向之间的夹角；最后计算参考平面和目标对应区域处角度的差值,得到目标距离参考平面的深度,从而重构出目标的三维形态。本发明增加一个参考平面,将桶探测器的数目减少至一个,降低了空间成本和系统成本；将三维目标重构技术与鬼成像技术相结合,有助于鬼成像在实际应用中的推广,特别是在工业零件和生物样本的检测中。(The invention discloses a kind of methods based on the objective reconstruct for calculating ghost imaging, reference planes are demarcated first, according to the gray scale of pixel each in image, the angle in reference planes representated by each pixel at the center of corresponding region between light source direction and bucket detector direction is calculated；Objective is placed on the reference plane, according to the gray scale of pixel each in image, calculates the angle in target representated by each pixel at the center of corresponding region between light source direction and bucket detector direction；The difference for finally calculating angle at reference planes and target corresponding region, obtains the depth of target range reference planes, to reconstruct the three-dimensional configuration of target.The present invention increases a reference planes, and the number of bucket detector is reduced to one, space cost and system cost are reduced；Objective reconfiguration technique is combined with terrible imaging technique, facilitates the popularization of ghost imaging in practical applications, especially in the detection of industrial part and biological sample.)

一种基于计算鬼成像的三维目标重构方法

技术领域

本发明属于图像处理技术领域，特别是一种基于计算鬼成像的三维目标重构方法。

背景技术

传统的鬼成像中，一束光被分束器分成两束，一束称为信号光，与目标作用后被一个无空间分辨能力的桶探测器接收；另一束称为参考光，其在传播过程中不与目标发生相互作用，而是直接被一个具有空间分辨能力的阵列探测器接收。对两个探测器接收到的信号进行关联运算，就能够清晰地恢复出目标的图像。

近年来，鬼成像因其独特的成像方式，潜在的应用价值，越来越受到广泛的关注。鬼成像技术目前更多的应用在了遥感成像等领域，在成像探测灵敏度以及云雾，雨雾等恶劣条件下，表现出与现有遥感成像技术相比的优越性。通过鬼成像恢复目标的三维形态也是一个热门的研究内容。

计算鬼成像技术采用独特的单光路成像技术，成像光路改为由空间光调制器或者数字微镜阵列对光场进行调制，参考光路中的光场记录改为由计算机计算。计算鬼成像简化了鬼成像技术的光路，使得鬼成像技术的实用化成为了可能。

Shape-from-shading(SFS)是一种被计算机视觉界广为关注的三维形状恢复的方法。该方法的主要内容是，在光线方向、物体表面的反射模型已知的条件下，利用单幅图像当中灰度的明暗变化所隐含的形状信息，重构物体的表面三维形态。对实际图像而言，其表面图像亮度受到了许多因素，如光源，物体表面材料性质和形状，以及摄像机位置和参数等的影响，为了简化问题，传统SFS方法均进行了如下的假设：(1)光源为远点光源；(2)反射模型为朗伯曲面反射模型；(3)成像几何关系为正交投影。在2013年，B.Q Sun提出的基于SFS的三维目标重构系统(3D Computational Imaging with Single-Pixel Detectors)中，系统至少需要使用四个桶探测器在不同的位置捕捉目标的形态，来从阴影推导出目标的表面梯度并重构三维目标。但是，使用四个桶探测器对于系统的同步性要求较高，整个成像系统较为复杂，空间成本较大；桶探测器空间位置的标定误差会在一定程度上影响最终三维重构形态的精度，桶探测器的数量越多，带来的误差无疑也会越大。

发明内容

本发明的目的在于提供一种基于计算鬼成像的三维目标重构的方法，避免了由多个桶探测器带来的器件误差，同时简化了三维目标重构的算法，降低了重构过程中的时间成本。

实现本发明目的的技术解决方案：一种基于计算鬼成像的三维目标重构的方法，首先对参考平面进行标定，即将参考平面放置在系统的成像范围之内，对参考平面进行计算鬼成像，利用朗伯余弦反射定律在鬼成像系统中的应用，根据图像中每个像素的灰度Gr(x,y)，计算每个像素所代表的参考平面上对应区域中心处光源方向和桶探测器方向之间的夹角α(x,y)，建立角度值与图像灰度值之间的映射关系；将三维目标放置在参考平面上，利用鬼成像系统对目标进行成像，利用朗伯余弦反射定律在鬼成像系统中的应用，根据图像中每个像素的灰度Gt(x,y)，计算每个像素所代表的目标上对应区域中心处光源方向和桶探测器方向之间的夹角β(x,y)，建立角度值与图像灰度值之间的映射关系；最后计算参考平面和目标对应区域处角度的差值θ(x,y)，得到目标距离参考平面的深度Δd(x,y)，从而重构出目标的三维形态。

本发明与现有的技术相比，其显著优点为：(1)增加一个参考平面，将桶探测器的数目减少至一个，降低了空间成本和系统成本；(2)在成像过程中，现在只需要一个桶探测器，避免了由多个桶探测器带来的器件误差；(3)简化了三维目标重构的算法，降低了重构过程中的时间成本；(4)将三维目标重构技术与鬼成像技术相结合，有助于鬼成像在实际应用中的推广，特别是在工业零件和生物样本的检测中。

下面结合附图对本发明作进一步详细说明。

附图说明

图1为计算鬼成像光路图。

图2为本发明基于SFS的三维目标重构的数学模型构造示意图。

图3为本发明使用的三维目标图像。

图4为本发明的桶探测器位于不同位置时，(a)三维目标在桶探测器位于不同位置时的视角下的图像；(b)为(a)中桶探测器位于不同位置时的对应视角下，计算鬼成像三维目标重构技术重构出的三维目标的三维形态的图像。

图5为本发明使用的三维目标在三种不同视角下鬼成像重构图像的绝对误差对比图。

具体实施方式

结合图1，将投影仪、桶探测器、计算机和参考平面按照图1放置在相应的位置，参考平面放置在计算鬼成像系统的可以成像的视场范围之内，投影仪的镜头中心和参考平面的中心处于同一光轴上，使投影仪投射出的二值投影能垂直投射到参考平面上，桶探测器放置在偏离投影仪的位置，保证桶探测器的中心光轴穿过参考平面的中心，相对位置参数已知。对计算鬼成像系统中的参考平面进行标定，利用计算机生成一组有序的哈达玛矩阵，利用计算鬼成像系统，将由有序的哈达玛矩阵调制生成的二值投影按照哈达玛矩阵的顺序逐帧投射到参考平面上，对参考平面进行计算鬼成像，利用朗伯余弦反射定律在鬼成像系统中的应用，计算图像灰度Gr(x,y)，根据图像中每个像素的灰度，计算每个像素所代表的参考平面上对应区域中心处光源方向和桶探测器方向之间的夹角α(x,y)，建立角度值与图像灰度值之间的映射关系；将需要进行三维重构的三维目标放置在参考平面上，将与参考平面进行鬼成像时相同的一组哈达玛矩阵二值投影投射到三维目标上，对三维目标进行计算鬼成像，计算图像灰度Gt(x,y)，根据图像中每个像素的灰度，计算每个像素所代表的目标上对应区域中心处光源方向和桶探测器方向之间的夹角β(x,y)，建立角度值与图像灰度值之间的映射关系；计算参考平面和目标对应区域处角度的差值θ(x,y)；计算目标距离参考平面的深度到Δd(x,y)，从而重构出三维目标的三维形态。

结合图2基于SFS的三维目标重构的数学模型构造示意图，其中α表示每个像素所代表的参考平面上对应区域中心处光源方向和桶探测器方向之间的夹角，β表示每个像素所代表的原始目标上对应区域中心处光源方向和桶探测器方向之间的夹角，θ表示角度值α与角度值β作差的差值，d表示参考平面中每个区域的中心到桶探测器的距离，Δd表示三维目标每个区域中心到参考平面对应区域的深度。本发明基于计算鬼成像的三维目标重构方法，的具体实施步骤如下：

步骤1，对计算鬼成像系统进行标定，将投影仪，桶探测器和参考平面按照图1放置在相应的位置，投影仪的镜头中心和参考平面的中心处于同一光轴上，使投影仪投射出的二值投影能垂直投射到参考平面上，桶探测器放置在偏离投影仪的位置，保证桶探测器的中心光轴穿过参考平面的中心，相对位置参数已知，利用符合哈达玛矩阵分布的二值投影图像对参考平面进行计算鬼成像，参考平面由计算鬼成像公式计算成像得Gr(x,y)，成像过程如下：

计算机预先生成概率分布符合哈达玛矩阵分布的二值投影图像，使用投影仪将其逐帧投射至参考平面处，哈达玛矩阵的阶数设定为M²，依次选取每一行并重整成M*M的矩阵，共形成M²个有序矩阵。对于其中的每一个矩阵，首先使其中的-1变为0，利用改变后的矩阵对投影仪中的数字微镜阵列进行调制生成二值投影，投射到目标上，桶探测器接收到总强度值；再将原矩阵中的1变成0，-1变成1，利用此次改变后的矩阵对投影仪中的数字微镜阵列进行调制生成二值投影，投射到目标上，桶探测器接收到总强度值，两次的强度值相减，结果就是一帧二值投影投射到目标上接收到的总强度值，这样算是完成对目标的一次测量；对每一帧哈达玛矩阵形成的二值投影都进行相同的操作，直到最后一帧二值投影完成操作；使用桶探测器接收参考平面投射光强。

参考平面由计算鬼成像公式计算成像，计算公式如式(1)：

Gr(x,y)＝<I_r ⁽ⁱ⁾·P⁽ⁱ⁾(x,y)>-<I_r ⁽ⁱ⁾><P⁽ⁱ⁾(x,y)> (1)

x,y为平面坐标。Gr(x,y)为计算鬼成像对参考平面计算成像的结果。I_r ⁽ⁱ⁾为计算鬼成像系统中桶探测器第i次探测到的值。P⁽ⁱ⁾(x,y)为鬼成像系统中第i次计算机中生成的哈达玛矩阵二值投影图像。<…>符号为求均值，以<I_r ⁽ⁱ⁾·P⁽ⁱ⁾(x,y)>为例，<I_r ⁽ⁱ⁾>和<P⁽ⁱ⁾(x,y)>计算方法相同。

式(2)中n为鬼成像关联计算次数。

步骤2，由计算鬼成像公式(1)计算出成像结果Gr(x,y)，根据图像中每个像素的灰度，计算每个像素所代表的参考平面上对应区域中心处光源方向和桶探测器方向之间的夹角α(x,y)，计算公式如式(3)：

α(x,y)＝arccos(Gr(x,y)) (3)

Gr(x,y)为参考平面的计算鬼成像计算成像的结果。

步骤3，使用常用长度测量工具如钢卷尺，测量参考平面中每个区域的中心到桶探测器的距离d(x,y)。

步骤4，如图3，将需要进行三维重构的三维目标放置在参考平面上，x轴和y轴组成的平面为参考平面，z轴表示三维目标上的区域到参考平面上对应区域的深度。利用步骤1中对参考平面进行计算鬼成像的同一组哈达玛矩阵二值投影图像，对需要进行三维重构的三维目标进行计算鬼成像，由计算鬼成像公式计算出成像结果Gt(x,y)，计算公式如式(4)：

Gt(x,y)＝<I_t ⁽ⁱ⁾·P⁽ⁱ⁾(x,y)>-<I_t ⁽ⁱ⁾><P⁽ⁱ⁾(x,y)> (4)

式(4)中Gt(x,y)为计算鬼成像对三维目标计算成像的结果。I_t ⁽ⁱ⁾为计算鬼成像系统中桶探测器第i次探测到的值。

步骤5，根据图像中每个像素的灰度，计算每个像素所代表的三维目标上对应区域中心处光源方向和桶探测器方向之间的夹角β(x,y)，计算公式如式(5)：

β(x,y)＝arccos(Gt(x,y)) (5)

步骤6，将由步骤2得到的夹角α(x,y)与步骤5得到的夹角β(x,y)作差，得到差值θ(x,y)，公式(6)如下：

θ(x,y)＝α(x,y)-β(x,y) (6)

步骤7，求解三维目标每个区域中心到参考平面对应区域的深度。将步骤3测量得到的距离d(x,y)与步骤6求得的θ(x,y)作积，公式如(7)：

Δd(x,y)＝d(x,y)*θ(x,y) (7)

式(7)中Δd(x,y)为三维目标每个区域中心到参考平面对应区域的深度，即所求的三维目标的形态。

步骤8，改变桶探测器的位置，使桶探测器处于投影仪附近三个不同的位置，但要满足三维目标上每一点均有光照投射到桶探测器中的前提条件，重复使用步骤1-步骤7的方法，将得到从不同的桶探测器视角重构的三维目标的三维形态。如图4所示，(a)中的三幅图是三维目标在桶探测器位于不同位置时的视角下的图像；(b)中的三幅图是与(a)中桶探测器位于不同位置时的对应视角下，计算鬼成像三维目标重构技术重构出的三维目标的三维形态的图像。图(5)中的三幅图分别表示对应图(4)的三种情况下，计算鬼成像三维目标重构技术重构出的三维目标的深度与三维目标在桶探测器位于不同位置时的视角下的深度的绝对误差，z轴表示差值。