一种透过窗玻璃与偏振贴膜成像的透窗观察方法
阅读说明：本技术 一种透过窗玻璃与偏振贴膜成像的透窗观察方法 (Transparent window observation method for imaging of transparent window glass and polarization film ) 是由 吴国通 蒋涛 张贺 于 2020-12-01 设计创作，主要内容包括：一种透过窗玻璃与偏振贴膜成像的透窗观察方法,包括以下步骤：步骤1,获取不同偏振角度下的偏振图像I(x,y)；步骤2,估计正交偏振分量I-⊥(x,y)和I-(||)(x,y)；步骤3,估计环境光A(x,y),对获得的图像进行偏振滤波处理；步骤4,估计薄膜系统pMTF(x,y)；步骤5,重构目标信息。本发明利用车内目标光和环境光偏振信息的差异,分离出车内目标光和环境光,进而提取出目标的真实信息,实现玻璃和薄膜遮掩下目标的信息重构；克服了现有技术下无法对车内信息进行重构或重构效果不佳的技术难题。(A method of through-window viewing through a glazing and a polarizing film imaging, comprising the steps of: step 1, obtaining polarization images I (x, y) under different polarization angles; step 2, estimating orthogonal polarization component I ⊥ (x, y) and I || (x, y); step 3, estimating ambient light A (x, y), and carrying out polarization filtering processing on the obtained image; step 4, estimating a membrane system pMTF (x, y); and 5, reconstructing target information. According to the method, the difference of polarization information of the target light and the ambient light in the vehicle is utilized to separate the target light and the ambient light in the vehicle, so that the real information of the target is extracted, and the information reconstruction of the target under the shielding of glass and a film is realized; the technical problem that the interior information cannot be reconstructed or the reconstruction effect is poor in the prior art is solved.)
技术领域
本发明涉及偏振成像领域，具体涉及一种透过窗玻璃与偏振贴膜成像的透窗观察方法。
背景技术
现如今，随着人们生活水平的提高，人们习惯于驾驶汽车作为代步工具，同时为了汽车外表美观、降低紫外线对车内人员或物体的损害以及改善车内温度，车主都会在自己的汽车车窗玻璃内表面粘贴一层隔热防爆膜。
为了保护车内人员隐私，车主在选择隔热防爆膜时均偏向于选择颜色较暗的车膜，因为颜色较暗的车膜的可见光的透过率普遍较低，因此车内光线透过车膜之后的强度较弱，所以当从车外向车内观察时因车内光线较弱从而看不清车内情况达到保护隐私的目的。同时车窗玻璃粘贴车膜之后，外界环境光照射到车窗玻璃表面时会发生镜面反射并返回到人眼或视频设备中，使得人眼或视频设备接收到大量的环境反射光，此时因为反射光强度较强进一步抑制了车内透射光线的比例，结果造成外界的人或视频监控设备不能透过贴膜车窗观察或监控到车内的人员或物体。
偏振成像方法不仅利用了光强信息还扩展了信息获取的维度，能探测到更丰富的目标信息，利用光线偏振态的差异可以对目标进行有效的识别和探测，因此可以采用偏振成像方法实现透玻透膜成像。
发明内容
根据背景技术提出的问题，本发明提供一种透过窗玻璃与偏振贴膜成像的透窗观察方法来解决，接下来对本发明做进一步地阐述。
一种透过窗玻璃与偏振贴膜成像的透窗观察方法，其特征在于包括以下步骤：
步骤1，获取不同偏振角度下的偏振图像I(x,y)，使用三通道偏振图像成像系统采集图像，通过一次拍摄获取0°、60°、120°三个偏振角度下的偏振图像(I0(x,y)、I60(x,y)、I120(x,y))；
步骤2，估计正交偏振分量I⊥(x,y)和I||(x,y)，通过对步骤1获得的三组不同偏振角度图像(I0(x，y)、I60(x，y)、I120(x，y))，依据马吕斯定律拟合出射光强Iθ随偏振角度θ的正弦变化曲线，计算角度周期内的最值Imax(x，y)和最小值Imin(x，y)作为正交偏振图像I⊥(x，y)和I||(x，y)，并保存相应的两个角度θmax和θmin；
步骤3，估计环境光A(x，y)，对获得的三幅偏振图像进行偏振滤波处理，通过平滑图像中目标的边缘轮廓信息估计出相应三个角度下的环境光(A0(x，y)、A60(x，y)、A120(x，y))，拟合出环境光强Aθ随偏振角度θ的正弦变化曲线，根据步骤2得到的偏振角度θmax和θmin，计算该角度下的正交环境光强A⊥(x，y)和A||(x，y)；
步骤4，估计薄膜系统pMTF(x，y)，利用得到的正交偏振分量I⊥(x，y)和I||(x，y)得到目标光D⊥(x，y)，继而以目标光的偏振图像D⊥(x，y)作为输入图像估计薄膜系统的逐像素点pMTF(x，y)；
步骤5，重构目标信息，依据得到的正交偏振图像I⊥(x，y)、I||(x，y)和正交环境光强A⊥(x，y)和A||(x，y)，以及薄膜系统的pMTF(x，y)重构出车内的目标图像J(x，y)，重构式为：
有益效果：本发明利用车内目标光和环境光偏振信息的差异，分离出车内目标光和环境光，进而提取出目标的真实信息，实现玻璃和薄膜遮掩下目标的信息重构；克服了现有技术下无法对车内信息进行重构或重构效果不佳的技术难题。
附图说明
图1：本发明的示意图；
图2：本发明的重构原理图；
具体实施方式
接下来结合附图1-2对本发明的一个具体实施例来做详细地阐述。
根据背景技术的阐述，本发明提供了一种透过窗玻璃与偏振贴膜成像的透窗观察方法，偏振成像方法不仅利用了光强信息还扩展了信息获取的维度，能探测到更丰富的目标信息，利用光线偏振态的差异可以对目标进行有效的识别和探测，实现透玻透膜成像。
本实施例先对偏振进行一定的阐述，偏振不但包含了光强信息，其偏振态中还蕴含了能反应目标表面的特征信息，比如纹理信息、粗糙度和形状等，光的偏振提供了表征不同材料物体物理特性的，为目标的检测，跟踪和识别提供了有用的信息，对于提高目标检测过程中的信号杂波比、边缘检测的速度和精度、目标识别的准确性和可靠性具有很大的好处。在地球表面和大气中，自然物体和人造目标的表面总是会反射和辐射一定波段的电磁波，光线在物体表面反射和辐射的过程中会产生偏振特性；与人造物体相比，因为自然物体表面的粗糙程度往往较高，所以自然物体的线性极化的程度几乎为零，人造物体的偏振分量大于自然背景。在偏振度和偏振方向图像中，人造目标通常比自然目标更亮，为目标检测提供了很好的线索，因此偏振成像可以利用人造物体与自然物体的偏振差异，提高目标和背景的对比度。
在应用中出于美观、隔热、保护隐私等原因，车窗上一般均会贴一层车膜，而贴上车膜之后，再使用普通相机采集图像时，采集到的图像包含两种情况：一种是图像中的车窗区域有很强的反射光或者有明显的外界景物在车窗形成的倒影，另一种是图像中虽然没有较强的反射光或者明显的车窗倒影，但是图像中的车窗区域对比度仍然很低，这两种情况均很难实现透视监控。
车窗区域出现这两种情况的原因：一方面，因为玻璃和薄膜对光线有很强的反射作用，当环境光照射到玻璃和薄膜表面时，大部分环境光被反射，使得成像系统获得较强的环境光；另一方面，因为玻璃和薄膜对车内目标光有较强的阻碍衰减作用，使得透过玻璃和薄膜的光强较弱，从而降低了有效目标区域的图像亮度，造成图像对比度下降，不能实现透视的效果。
基于以上分析，要实现透视贴膜玻璃的效果，一方面需要减弱或者抑制环境光的影响，另一方面需要增加车内目标光在图像中的比重。但是实际中，因为车膜的种类、结构组成复杂多样，车膜对光线的传输特性还没有明确的表达方式；而且，车内目标光在传播过程中与环境光二者相互干扰叠加，分离车窗表面反射光的同时也会损失一部分车内目标光，无法直接提升车内目标光的比重。
本发明利用环境光和目标的正交偏振信息的特征，提出一种透过窗玻璃与偏振贴膜成像的透窗观察方法。虽然普通成像系统采集的图像中环境光强车内目标光弱，而且两者相互干扰叠加不能直接提升车内目标光的对比度，但是，车内目标光与环境光的传播过程不同，与其发生反射和散射等作用的介质不同，所以两者的偏振态表征的信息不同。因此，本发明通过利用来源于车内的目标光以及来源于环境光的偏振信息的差异，分离出车内目标光和环境光，进而提取出目标的真实信息，实现玻璃和薄膜遮掩下目标的信息重构。
到达成像系统的总光强I(x，y)主要由以下两部分构成：一部分是车内目标光J(x，y)透过薄膜系统达到成像系统的目标光D(x，y)，包含了车内目标的有效信息；另一部分是太阳光A(x，y)被薄膜系统反射的环境反射光Aref(x，y)，即：
I(x，y)＝D(x，y)+Aref(x，y)，(1)
薄膜系统的光学特性有反射率、透射率和吸收率。本实施例中采用反射系数r(x，y)表示各像素点处薄膜系统对光线的反射特性；采用透射率t(x，y)表示各像素点处薄膜系统对光线的传输特性，也即光线经过薄膜系统时受到薄膜系统内部介质粒子的投射作用后，光线的出射光强与入射光强之比。
薄膜系统的入射光强为车内目标光J(x，y)，薄膜系统的出射光强为D(x，y)，则透射率t(x，y)表示为：
达到成像系统的目标光D(x，y)和经过薄膜系统反射后达到成像系统的反射光Aref(x，y)，可利用薄膜系统的光强透射率t(x，y)和反射率r(x，y)表示为：
D(x，y)＝J(x，y)·t(x，y)，(3)
Aref(x，y)＝A(x，y)·r(x，y)，(4)
其中，r(x，y)表示包含太阳光的环境光强；值得注意的是，介质即薄膜系统的反射率和透射率之和为1，即：
t(x，y)+r(x，y)＝1，(5)
进而，所述透过玻璃窗以及薄膜成像模型可表示为：
I(x，y)＝J(x，y)·t(x，y)+A(x，y)·(1-t(x，y))，(6)
当光线在介质分界面发生和折射或与传输介质中粒子发生散射时，光线的偏振特性会发生改变。在本实施例中，定义入射平面为由光源、散射粒子和观察者三点组成的平面，那么光强I(x，y)可以分为垂直入射平面和平行于入射平面两部分：I⊥(x，y)和I||(x，y)，则总光强可表示为：
I(x，y)＝I⊥(x，y)+I||(x，y)，(7)
联合式(2)、(7)可得到系统透射率表达式为：
对于总光强为I(x，y)的光，采用某一偏振方向的检偏器获得其偏振图像时，该方向下偏振图像等于各偏振分量之和，则检测系统获取垂直和平行两个偏振方向的偏振图像时，垂直和平行方向下的模型表达式可表示为：
I⊥(x，y)＝D⊥(x，y)+Aref，⊥(x，y)＝J⊥(x，y)·t(x，y)+A⊥(x，y)·(1-t(x，y))，(9)
I||(x，y)＝D||(x，y)+Aref，||(x，y)＝J||(x，y)·t(x，y)+A||(x，y)·(1-t(x，y))，(9)
薄膜系统各点透射率t(x，y)表征的是薄膜系统对光线的透过传输能力，而在光学成像系统中，光学系统对输入光线的调制能力常用调制传递函数(MTF)表示系统各点处采用光学调制传递函数(MTF)的计算方法得到能反应各点投射率t(x，y)的逐像素点pMTF(x，y)：
其中，式中所述的Dmax(x，y)、Dmin(x，y)表示各像素点目标光D(x，y)强度的最大值和最小值，Jmax(x，y)、Jmin(x，y)表示各像素点目标光D(x，y)强度的最大值和最小值。
线偏振光透过检偏器后，透射光强度会随着检偏角度的变化出现最大值和最小值，且最大值和最小值处对应的检偏角度相对正交，因此采用相对正交的偏振分量I⊥(x，y)和I||(x，y)表示投射光强度的最大值Imax(x，y)和最小值Imin(x，y)；与入射线偏振光方向垂直的偏振分量I⊥(x，y)表示最大值分量Imax(x，y)，与入射线偏振光方向平行的偏振分量I||(x，y)表示最大值分量Imin(x，y)，则可得到采用正交分量表示的光学传递函数表达式：
联合(8)、(12)式得到薄膜系统的透射率：
继而联合(9)、(10)、(10)式可得到：
再联合(7)、(9)、(10)式可得出透过玻璃和薄膜的偏振成像公式为：
实际情况中，虽然环境光经过反射后强度有所减小，但由于玻璃反射率高，进入成像系统的环境反射光强度接近于环境光强度。另外，实际中仍然存在未经过反射的环境光进入成系统，此部分环境光对透过玻璃和薄膜成像存在影响，需要对该部分环境光进行补偿。
本实施例以目标光D(x，y)近似为成像系统接收到的总光强I(x，y)与环境光A(x，y)的差值，即：
D(x，y)＝D(x，y)-A(x，y)，(16)
再联合(14)、(15)、(16)式可得出透过玻璃和薄膜的偏振成像公式为：
式(17)中每一参量均为各像素点的值，J(x，y)即为重构的车内目标信息。
从式(17)中可以看出，本实施例利用了目标光和环境光的偏振信息以及薄膜系统对光线的传输特性，重构出车内目标信息需要已知成像系统接收的光线I(x，y)和环境光A(x，y)的偏振分量以及薄膜系统的逐像素点pMTF(x，y)。
通过以上的分析，由得出的透过玻璃和薄膜的偏振成像公式可知，为实现透过玻璃和薄膜的光信息的重构，需计算成像系统接收的光强I(x，y)的垂直偏振分量I⊥(x，y)和平行偏振分量I||(x，y)，环境光A(x，y)的垂直偏振分量A⊥(x，y)和平行偏振分量A||(x，y)，以及薄膜系统的逐像素点pMTF(x，y)，总共三组位置参数。
为求得所述的三组参数，本实施例通过采用拟合估计、偏振滤波、以及频率迭代算法实现对以上个参数的估计，具体算法流程图如附图1所示，包括以下步骤：
获取不同偏振角度下的偏振图像，本实施例使用三通道偏振图像系统采集图像，通过一次拍摄可以获取三个偏振角度下的偏振图像，此三个偏振角度分别为0°、60°、120°；
估计正交偏振分量I⊥(x，y)和I||(x，y)，通过对以上获得的三组不同偏振角度图像(I0(x，y)、I60(x，y)、I120(x，y))依据马吕斯定律拟合出射光强Iθ随偏振角度θ的正弦变化曲线，计算角度周期内的最值Imax(x，y)和最小值Imin(x，y)作为正交偏振图像I⊥(x，y)和I||(x，y)，并保存相应的两个角度θmax和θmin；
估计环境光A(x，y)，对获得的三幅图像进行偏振滤波处理，通过平滑图像中目标的边缘轮廓信息估计出相应三个角度下的环境光(A0(x，y)、A60(x，y)、A120(x，y))，根据环境光的三幅偏振图像拟合出环境光强Aθ随偏振角度θ的正弦变化曲线，根据上一步计算得到的偏振角度θmax和θmin，计算该角度下的正交环境光强A⊥(x，y)和A||(x，y)；
估计薄膜系统pMTF(x，y)，利用上述得到的正交偏振分量I⊥(x，y)和I||(x，y)，依据(9)式计算得到目标光D⊥(x，y)，继而以目标光的偏振图像D⊥(x，y)作为输入图像估计薄膜系统的逐像素点pMTF(x，y)；
重构目标信息，依据上述的透过玻璃和薄膜的偏振成像公式(17)利用上述得到的正交偏振图像I⊥(x，y)、I||(x，y)和正交环境光强A⊥(x，y)和A||(x，y)，以及薄膜系统的pMTF(x，y)重构出车内的目标图像J(x，y)。
经过以上步骤，利用来源于车内的目标光以及来源于环境光的偏振信息的差异，分离出车内目标光和环境光，进而提取出目标的真实信息，实现玻璃和薄膜遮掩下目标的信息重构。
对于估计正交偏振分量I⊥(x，y)和I||(x，y)的步骤，偏振光通过成像系统的偏振片后，出射光强值与偏振角度近似成正弦函数关系，本实施例采用Stokes矢量(I，Q，U，V)T描述光的偏振态，经过偏振器件的出射光强Iθ与偏振角度θ的函数关系可以表示为：
当获取所述的0°、60°、120°三个偏振角度下的偏振图像时，可求解出Stokes矢量I，Q，U，再通过(18)式拟合出光强I(θ)与偏振角度θ的关系函数曲线，即可求出一个角度周期内任意偏振角度下的偏振图像。
由偏振图像可知，偏振光强值I(θ)在一个偏振角度θ周期中会出现一个最大值和一个最小值，且出现最值的两个角度相差90°，两幅最值具有相对正交的位置关系，由获取的三个角度下的偏振图像(I0(x，y)、I60(x，y)、I120(x，y))通过曲线拟合，可求出得到θmax和θmin角度下对应的Imax(x，y)和最小值Imin(x，y)，分别作为重构算法中的两幅正交偏振图像的I⊥(x，y)和I||(x，y)。
对于估计环境光A(x，y)的步骤中，鉴于环境光在透过玻璃和薄膜的过程中其反射光远大于目标透射光，图像中薄膜系统主要以环境信息为主。为了获取环境信息的偏振信息，本实施例在模型中采用偏振滤波的方式，平滑目标的边缘轮廓来估计环境光A(x，y)，具体如下：
对三幅偏振图像(I0(x，y)、I60(x，y)、I120(x，y))进行滤波处理，得到环境光A(x，y)的估计图像(A0(x，y)、A60(x，y)、A120(x，y))，并拟合出环境光A(θ)与偏振角度θ的关系函数曲线，最终估计出大气环境的正交图像A⊥(x，y)和A||(x，y)。
其中，所采用的滤波算法如下：
A(x，y)＝max(min(αI″(x，y)，I′(x，y)，0)，(21)
式中，I(x，y)是接收的光强图，Iv是中值滤波的领域尺寸，α是比例参数，取经验值0.9。
利用滤波图像(A0(x，y)、A60(x，y)、A120(x，y))计算得到环境光A(x，y)的Stokes矢量
SA＝(IA，QA，UA)T；
其中，
同样的，依据式(18)拟合出A(θ)与偏振角度θ的关系函数曲线，利用此前的中对I(x，y)图像估计正交分量时所求的θmax和θmin，计算响应角度下的环境光正交图像A⊥(x，y)和A||(x，y)，即：
对于估计薄膜系统的pMTF(x，y)步骤，因薄膜系统的光学函数直接反应了系统的传输特性，而薄膜系统的透射率是由入射的车内目标光J(x，y)经过薄膜系统作用后的出射光强于入射光强之比决定，因此薄膜系统的光学传递函数反应了出射目标光D(x，y)复现入射光J(x，y)的能力。所以估计薄膜系统的调制传递函数时，应以目标光D(x，y)采用式(16)近似得到，因此以偏振分量A⊥(x，y)和I⊥(x，y)计算得到目标光D(x，y)的垂直偏振分量D⊥(x，y)作为估计算法的输入图像。
根据傅里叶光学理论，光学系统的成像过程是一个线性叠加的过程，光学系统视场内所有位置处物象的灰度值经过该视场点的点扩散函数PSF调制后在光学系统成像面上的现象叠加，再加上此像面处的噪声即为光学想IT最终所成像的灰度值。
点扩散函数(PSF)是指在光学系统中，物面上一点元处产生的单位脉冲(δ函数)，经过系统之后得到的脉冲响应应为该系统的点扩散函数，而点扩散函数经过傅里叶变换之后归一化模值即为光学调制传递函数(MTF)。
为求得逐像素点pMTF(x，y)，只需求出点扩散函数(PSF)，由于薄膜传输特性未知，点扩散函数(PSF)无法测量且没有任何先验知识，因而采用频率迭代忙去卷积算法(IBD算法)，利用目标光D⊥(x，y)作为算法输入，估计薄膜系统的点扩散函数，再进过傅里叶变换得到光学调制函数。调制传递函数中，每一点的数值表示的是光学系统对某一波长入射光线的调制能力，利用图像计算得到的调制传递函数反应的是响应波段内所有波段的调制能力，因此对计算得到的调制传递函数的数值取其平均值作为薄膜系统对输入光线的平均调制能力即为薄膜系统的逐像素点pMTF(x，y)。
本实施例所述的频域卷积算法通过依据对目标函数施加空间域约束，包含非负约束、能量约束条件，在频率域反复迭代，最终得出估计的点扩散函数h(x，y)，根据透过玻璃和薄膜的偏振成像公式，可以得到频率域迭代公式如下：
由于存在有限支持域的约束条件，盲反卷积存在唯一解，因此，经上述式反复迭代后，将收敛于唯一解。
因此，将由偏振图像A⊥(x，y)和I⊥(x，y)求得的目标光D⊥(x，y)作为进过薄膜光学系统调制后的模糊图像，带入IBD算法中，经过频率域迭代交替求解出点扩散函数h(x，y)，求得的点扩散函数h(x，y)通过傅里叶变换取归一化模值得到光学调制传递函数，并取平均值作为pMTF(x，y)
综上所述，将估计得到的正交偏振图像I⊥(x，y)和I||(x，y)、正交环境光分量A⊥(x，y)和A||(x，y)，以及薄膜系统的pMTF(x，y)应用于式(17)，以求得透过玻璃和薄膜的重构图像J(x，y)，实现透过玻璃和薄膜的偏振成像信息的重构。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。