阅读说明：本技术 一种时空复用的压缩视频成像方法 (Space-time multiplexing compressed video imaging method ) 是由 宋云 章登勇 汤强 邓泽林 熊闽 傅闻京 于 2019-04-25 设计创作，主要内容包括：本发明涉及一种时空复用的压缩视频成像方法,在成像系统中采用空间和时间复用压缩感知模块先后对光学信号进行调制,实现三维随机线性投影。从输入的三维信号的三个切面对信号进行解析表示,获得信号与系数沿各个维度的拉伸矩阵,通过三维张量的解析字典学习的共稀疏优化模型,对解析字典进行学习,得到图像帧的解析稀疏表示字典和视频信号的时间稀疏表示特征。通过时空复用的压缩视频成像方法,重建视频信号。根据视频重建的优化模型,重建一个初始视频估计,然后应用增广拉格朗日方法和应用变量替换将多约束的优化问题分解为多个子问题,最终采用交替方向方法求解,完成图像的重建。由于融合视频信号时空非局部相似性和其它结构化特性,构建视频信号互独立的多先验约束重建优化目标函数,降低解的自由度,引导优化问题的解趋向视频信号的固有特性。(The invention relates to a space-time multiplexing compressed video imaging method, which adopts a space and time multiplexing compressed sensing module to modulate optical signals in an imaging system in sequence to realize three-dimensional random linear projection. Analyzing and representing the signals from three tangent planes of the input three-dimensional signals to obtain stretching matrixes of the signals and the coefficients along each dimension, and learning the analysis dictionary through a common sparse optimization model of the analysis dictionary learning of the three-dimensional tensor to obtain an analysis sparse representation dictionary of the image frame and time sparse representation characteristics of the video signals. And reconstructing the video signal by a compressed video imaging method of space-time multiplexing. According to an optimization model of video reconstruction, an initial video estimation is reconstructed, then an augmented Lagrange method and application variable substitution are applied to decompose a multi-constrained optimization problem into a plurality of subproblems, and finally an alternate direction method is adopted to solve, so that image reconstruction is completed. Because the spatial-temporal non-local similarity and other structural characteristics of the video signals are fused, a multi-prior constraint reconstruction optimization objective function with mutually independent video signals is constructed, the freedom of solution is reduced, and the solution of the optimization problem is guided to tend to the inherent characteristics of the video signals.)

一种时空复用的压缩视频成像方法

技术领域

本发明涉及一种时空复用的压缩视频成像方法。

背景技术

压缩感知(Compressed Sensing，CS)是近些年出现的一种信号采样新理论。它提出：当信号具有稀疏性或者可压缩性时，可以用远低于Nyquist采样定理要求的频率获取信号的全部信息。压缩成像(Compressed Imaging，CI)是一种基于压缩感知理论的计算成像技术。它通过在成像系统中集成压缩感知模块，对原始信号进行欠采样成像，并利用图像信号的稀疏特性，采用计算技术从很少的采样测量离线重构原始图像。压缩成像将数据压缩结合到信号采样过程，从根本上降低了成像光电系统所需获取的数据量，有效地压缩了带宽，缓解了数据的存储和传输压力。同时，它的信号采样过程通过空间或者时间维度的随机线性投影实现了采样测量的空间复用(Spatial Multiplexing)或者时间复用(TemporalMultiplexing)。空间复用和时间复用压缩成像分别将高维图像投影到少量测量或者将曝光时间内的多帧图像投影到一帧编码图像，使得成像分辨率不再完全与图像传感器数量和快门速率对应，突破了硬件对成像分辨率的限制。相同的硬件配置条件下，压缩成像系统可以比传统成像系统获取更高空、时分辨率的图像。

然而，当前的压缩成像系统都采用空间或者时间复用的压缩采样技术，只在空间或者时间单一维度上消除信息冗余，另一个维度并不进行采样压缩，成像分辨率仍然受到光电器件的制约。并且传统成像系统采用“先采样再压缩”的数据处理模式，在信息采集阶段为了提升图像的质量，去尽力获得更多的样本，然而在数据存储与传输时为了节省空间又需要丢弃尽量多的采样冗余，这样导致了资源的大量浪费。

压缩成像将数据压缩结合到信号采样过程，在信号采集阶段同时完成数据的压缩，从根本上降低了成像系统所需获取的数据量，缩成像的信号采样过程通过空间或者时间维度的随机线性投影，实现采样测量的空间复用(Spatial Multiplexing)或者时间复用(Temporal Multiplexing)。通过将高维图像投影到少量测量或者将曝光时间内的多帧图像投影到一帧编码图像，采样效率远高于传统成像系统，使得成像分辨率不再完全与图像传感器数量和快门速率对应，从而打破了光电元器件对成像分辨率的严格限制。

当前已提出的各种压缩成像方法都限于采用单一的空间或者时间复用的压缩采样技术，只在空间或者时间一个维度上消除信息冗余，另一个维度并没有进行采样压缩，成像分辨率仍然在一定程度上受到光电器件的制约。针对是否可以采用一种更为高效的方法，实现三维投影的时空复用压缩视频成像并进行高质量的信号恢复，从而在空间与时间两个维度上同时消除信息冗余，进一步突破硬件对成像分辨率的限制，通过在一次曝光时间内压缩采样多帧场景信号成像到一帧低维编码测量，实现在时、空两个维度上同步消除采样冗余，节省更多的传感器和存储资源。

发明内容

本发明提出一种时空复用的压缩视频成像方法，通过时空复用的三维线性投影，将曝光时间内的多帧高维图像压缩投影到一帧低维编码图像，在空间和时间两个维度上同时消除信息冗余，从而提高采样效率，突破光电器件对成像空、时分辨率的制约。

本发明解决上述技术问题的技术方案如下：一种时空复用的压缩视频成像方法，其特征在于：在成像设备中，采用空间和时间复用两个压缩感知模块顺序对进入系统的场景光学信号进行三维压缩采样，在一次曝光时间内获取多帧空间上压缩的场景图像。其中，空间复用压缩采样模块在模拟域对光学信号进行压缩采样，时间复用压缩采样模块利用编码曝光技术，在一次曝光时间内获取空间复用压缩采样的图像，累加存储到CCD图像传感器。具体地：

设计图1所示的标定系统，在该标定系统中打开激光光束产生器，则激光光束通过一个扩束镜扩散为一束均匀光柱，通过一个中间开口的矩形掩板入射到DMD二值振幅空间光调制器，DMD每一个微镜通过一个随机矩阵的控制调整到不同角度，从而构成成像系统的一个二值的输入矩阵，输入矩阵的通过读取光束阻拦器的光束获取，光束入射到成像系统代表1，入射到光束拦阻器表示0。

固定时间复用压缩感知调制模块，使其掩码为全通，即保持其掩码矩阵所有元素项的值均为1；然后通过随机矩阵的控制，调整DMD微镜的角度，进行多次测量。

设第i次DMD对应的向量为

(N为DMD微镜数量，对应空间分辨率)，设对应散斑图样测量的模向量为

(CCD图像传感器采样值的平方根，M<N为采样测量数)。

采用一个复数矩阵A∈C^M×N拟合多重散射传递函数。对于第i次测量，有y_i＝Ax_i。根据输入的随机矩阵操作DMD，调整每个微镜的角度，经过K次测量，得到一组输入输出，矩阵表示为即Y＝AX，进行共轭转置：

Y^T＝X^TA^T (1)

项目采用三维张量积(Tensor Product)的方式构建视频三维数据立方体的解析字典表示模型。信号从三个切面分别与字典D⁽¹⁾，D⁽²⁾，D⁽³⁾作用，得到三维解析系数如式(2)所示:

S＝X×₁D⁽¹⁾×₂D⁽²⁾×₃D⁽³⁾ (2)

通过三维张量与矩阵在某一个维度上的模积表示矩阵与三维张量与这个维度上所有切面矩阵的积，将三维张量沿某一个维度拉伸到二维矩阵。

利用对数平滑平方函数作为三维张量解析模型字典学***方在样本稀疏度的方差和期望最小化之间取得平衡，限定字典必须为均匀归一化紧标架。

其中，×₁，×₂和×₃分别表示三维张量在x-y，x-t和y-t维度上与字典D⁽¹⁾，D⁽²⁾，D⁽³⁾的模积(Mode Product)，

表示一个视频三维数据立方体样本，

表示三维解析系数，

表示不同维度上的二维字典。D⁽¹⁾相当于传统空间x-y二维字典，而D⁽²⁾，D⁽³⁾则分别表示信号空间两个维度在时间切面上x-t和y-t的二维表示字典。

构建基于三维张量的解析字典学习的共稀疏(Cosparse)优化模型(3)：

其中X_i表示训练集，g(·)代表解析系数的共稀疏度量函数。

将时空复用压缩视频成像系统得到的一帧低维编码图像，通过基于三维张量解析模型的视频信号重建优化模型完成图像的重建恢复。

本发明的有益效果是：提出利用复合介质的多重散射可并行投影特性，在模拟域对输入信号进行实时压缩感知，并结合编码曝光技术，解决瞬时光学信号的三维投影难题，探索构建一种时空复用的压缩视频成像新方法。区别于现有的二维投影压缩成像系统只在空间或时间单一维度进行压缩采样，研究的三维投影模式在空间和时间两个维度上消除采样冗余，可望进一步突破成像元器件对时、空成像分辨率的限制。针对二维表示模型不能有效描述视频信号三维稀疏特征的缺陷，采用基于三维张量的解析字典稀疏信号表示方法，以充分挖掘视频序列的时空稀疏特性，建立更有效的视频三维数据体稀疏表示模型；同时，针对时空复用三维投影的压缩视频成像重建反问题的高度欠定性，融合视频信号时空非局部相似性和其它结构化特性，构建视频信号互独立的多先验约束重建优化目标函数，降低解的自由度，引导优化问题的解趋向视频信号的固有特性。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，通过基于三维张量解析模型的视频信号重建优化模型。具体步骤如下：

1)在一次曝光内编码孔径操作K次，对K个子帧图像进行测量，第k个子帧的原始场景图像向量表示为f_k∈R^N，这里N为视频帧像素总数，即图像空间分辨率。考察空间复用模块，氧化锌涂层一旦确定，其物理特性就是确定的，设其散射传递矩阵为A∈C^M×N，则第k个子帧图像经空间复用压缩感知模块调制产生的散斑干涉图样表示为P_k＝Af_k。

2)设该时刻的编码孔径掩码

则时空复用测量向量I_k＝H_kAf_k，一次曝光生成的编码测量Y为K个干涉图样子帧的线性组合：

采用矩阵表示，H＝[H₁ H₂ …H_n]，

则：

Y＝HΛF＝ΦF(5)这里，F是视频三维数据立方体的一维向量表示，Φ＝HΛ是时空复用压缩成像的感知矩阵，Λ和H都是随机观测矩阵，因而，Φ是F的随机投影感知矩阵，大概率地为系统提供了普适的非相干性观测。

3)根据三维张量解析模型进行稀疏表示和字典学习，设视频信号的张量表示为F_T，构建基于三维张量解析模型稀疏字典表示的压缩视频成像重建基本模型如下：

采用数值矩阵逼近氧化锌涂层的传递函数，存在估计误差，实际的测量矩阵等于估计的传递矩阵加估计误差，即

4)因此，每一帧图像经空间复用压缩感知模块调制产生的散斑干涉图样应为：P＝(A+e)f＝Af+ef，可以简化为P＝Af+e′。则经过时间复用模块测量的编码图像为I＝H(AF+e′)。可以采用基于去噪的重建优化模型，在视频重构中对传递矩阵进行补偿：

5)设S_i为视频图像中第i个样本块及其非局部相似块构成的矩阵，Rank(S_i)为矩阵的秩，则可以利用图像的非局部相似特性，构建所有相似块矩阵低秩正则项

作为重建优化目标函数的一个约束。

这里，S_i∈V，V表示所有相似块量化矩阵集合，K是相似块聚类数。

6)在光流估计过程可以加入一致性检验，基于光流估计构造一个亮度不变矩阵，它的每一行对应一个亮度不变等式。由此，整个单次曝光内成像的各子帧间的亮度不变等式可以表示为：Ωx＝0。从而可以构造一个亮度不变约束正则项

加入到重建目标函数，引导问题的解在下一次迭代中更趋向原始图像。

7)结合非局部相似性和光流估计的像素亮度不变约束，视频重建的优化模型可以构建为：

可以先采用式(7)重建一个初始视频估计，然后，应用增广拉格朗日方法(Augmented Lagrangian Method，ALM)将式(8)转化为无约束的优化问题，再应用变量替换将多约束的优化问题分解为多个子问题，采用交替方向方法(Alternating DirectionMethod)求解。其中，低秩约束子问题涉及到非凸问题的求解，也可以应用近年提出的加权核范数最小化算法等方法通过奇异值阈值(Singular Value Thresholding，SVT)操作获得其近似最优解。

附图说明

图1为本发明涉及的时空复用压缩视频成像系统投影过程总流程图；

图2为本发明涉及的基于三维张量解析模型的视频信号重建优化模型构建图；

步骤流程图

图3为本发明涉及的时空复用压缩视频成像及信号重建过程流程图；

具体实施方式

以下结合附图，并根据时空复用的压缩视频成像方法流程，对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明涉及的时空复用压缩视频成像系统投影过程总流程图；图2为本发明涉及的基于三维张量解析模型的视频信号重建优化模型构建图；图3为本发明涉及的时空复用压缩视频成像及信号重建过程流程图；如图1、2、3所示，一种时空复用的压缩视频成像方法的具体步骤如下：

由用户提供待测试视频。

步骤一：设计图1所示的标定系统，在该标定系统中打开激光光束产生器，激光光束通过一个扩束镜扩散为一束均匀光柱，继续通过一个中间开口的矩形掩板入射到DMD二值振幅空间光调制器，DMD每一个微镜通过一个随机矩阵的控制调整到不同角度，从而构成成像系统的一个二值的输入矩阵，输入矩阵的通过读取光束阻拦器的光束获取，光束入射到成像系统代表1，入射到光束拦阻器表示0；

步骤二：固定时间复用压缩感知调制模块，使其掩码为全通，即保持其掩码矩阵所有元素项的值均为1；然后通过随机矩阵的控制，调整DMD微镜的角度，进行多次测量。设第i次DMD对应的向量为(N为DMD微镜数量，对应空间分辨率)，设对应散斑图样测量的模向量为

(CCD图像传感器采样值的平方根，M<N为采样测量数)。

步骤三：采用一个复数矩阵A∈C^M×N拟合多重散射传递函数。对于第i次测量，存在y_i＝Ax_i。根据输入的随机矩阵操作DMD，调整每个微镜的角度，重复测量。经过K次测量，可以得到一组输入输出，矩阵表示为

即Y＝AX，进行共轭转置：

Y^T＝X^TA^T (4)

步骤四：项目拟采用三维张量积(Tensor Product)的方式构建视频三维数据立方体的解析字典表示模型。信号从三个切面分别与字典D⁽¹⁾，D⁽²⁾，D⁽³⁾作用，得到三维解析系数：

S＝X×₁D⁽¹⁾×₂D⁽²⁾×₃D⁽³⁾ (5)

其中，×₁，×₂和×₃×₃分别表示三维张量在x-y，x-t和y-t维度上与字典D⁽¹⁾，D⁽²⁾，D⁽³⁾的模积(Mode Product)，

表示一个视频三维数据立方体样本，

表示三维解析系数，

表示不同维度上的二维字典。D⁽¹⁾相当于传统空间x-y二维字典，而D⁽²⁾，D⁽³⁾则分别表示信号空间两个维度在时间切面上x-t和y-t的二维表示字典。

步骤五：构建基于三维张量的解析字典学习的共稀疏(Cosparse)优化模型：

其中X_i表示训练集，g(·)代表解析系数的共稀疏度量函数。

步骤六：将时空复用压缩视频成像系统得到的一帧低维编码图像，通过基于三维张量解析模型的视频信号重建优化模型完成图像的重建恢复。在视频信号重建的过程中，采取三维张量解析模型的视频信号重建优化模型，具体步骤如下：

1)在一次曝光内编码孔径操作K次，测量K个子帧图像，第k个子帧的原始场景图像向量表示为f_k∈R^N，这里N为视频帧像素总数，即图像空间分辨率。考察空间复用模块，氧化锌涂层一旦确定，其物理特性就是确定的，设其散射传递矩阵为A∈C^M×N，则第k个子帧图像经空间复用压缩感知模块调制产生的散斑干涉图样可以表示为P_k＝Af_k。

2)设该时刻的编码孔径掩码

则时空复用测量向量I_k＝H_kAf_k，一次曝光生成的编码测量Y为K个干涉图样子帧的线性组合：

采用矩阵表示，H＝[H₁ H₂ …H_n]，

则：

Y＝HΛF＝ΦF (11)

这里，F是视频三维数据立方体的一维向量表示，Φ＝HΛ是时空复用压缩成像的感知矩阵，Λ和H都是随机观测矩阵，因而，Φ也是F的随机投影感知矩阵，大概率地为系统提供了普适的非相干性观测。

3)根据三维张量解析模型进行稀疏表示和字典学习，设视频信号的张量表示为F_T，构建基于三维张量解析模型稀疏字典表示的压缩视频成像重建基本模型如下：

采用数值矩阵逼近氧化锌涂层的传递函数，存在估计误差，实际的测量矩阵等于估计的传递矩阵加估计误差，即

4)因此，每一帧图像经空间复用压缩感知模块调制产生的散斑干涉图样应为：P＝(A+e)f＝Af+ef，可以简化为P＝Af+e′。则经过时间复用模块测量的编码图像为I＝H(AF+e′)。可以采用基于去噪的重建优化模型，在视频重构中对传递矩阵进行补偿：

5)设S_i为视频图像中第i个样本块及其非局部相似块构成的矩阵，Rank(S_i)为矩阵的秩，则可以利用图像的非局部相似特性，构建所有相似块矩阵低秩正则项作为重建优化目标函数的一个约束，这里S_i∈V，V表示所有相似块量化矩阵集合，K是相似块聚类数。

6)在光流估计过程可以加入一致性检验，基于光流估计构造一个亮度不变矩阵，它的每一行对应一个亮度不变等式。由此，整个单次曝光内成像的各子帧间的亮度不变等式可以表示为：Ωx＝0。从而可以构造一个亮度不变约束正则项

加入到重建目标函数，引导问题的解在下一次迭代中更趋向原始图像。

7)结合非局部相似性和光流估计的像素亮度不变约束，视频重建的优化模型可以构建为：

可以采用式(11)重建一个初始视频估计，然后，应用增广拉格朗日方法(Augmented Lagrangian Method，ALM)将式(12)转化为无约束的优化问题，再应用变量替换将多约束的优化问题分解为多个子问题，采用交替方向方法(Alternating DirectionMethod)求解。其中，低秩约束子问题涉及到非凸问题的求解，也可以应用近年提出的加权核范数最小化算法等方法通过奇异值阈值(Singular Value Thresholding，SVT)操作获得其近似最优解。

以上所述仅为本发明的较佳实施例子，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。