阅读说明：本技术 基于结构化稀疏的可伸缩压缩视频采集与重构系统 (Scalable compression video acquisition and reconstruction system based on structured sparsity ) 是由 戴文睿 李勇 邹君妮 熊红凯 于 2019-09-03 设计创作，主要内容包括：本发明提供了一种基于结构化稀疏的可伸缩压缩视频采集与重构系统,包括：结构化稀疏学习模块、信号分解模块,可伸缩传感模块和可伸缩重构模块,其中,所述结构化稀疏学习模块在编码端和解码端利用数据驱动子空间联合模型以及分层子空间学习生成稀疏基矩阵。本发明提供的可伸缩压缩采样契合了视频采样过程的分布式渐进式的结构,对结构化稀疏基矩阵的渐进构造也提升了重构的精确度和效率,提高了视频信号的可伸缩采样效率,在不同的采样压缩率下相比其他方法取得了重构增益,同时也具备良好的可扩展性。(The invention provides a scalable compression video acquisition and reconstruction system based on structured sparsity, which comprises: the device comprises a structured sparse learning module, a signal decomposition module, a scalable sensing module and a scalable reconstruction module, wherein the structured sparse learning module utilizes data to drive a subspace joint model and layered subspace learning to generate a sparse basis matrix at an encoding end and a decoding end. The scalable compression sampling provided by the invention is matched with a distributed progressive structure in a video sampling process, the reconstruction accuracy and efficiency are improved for the progressive structure of the structured sparse basis matrix, the scalable sampling efficiency of the video signal is improved, the reconstruction gain is obtained under different sampling compression rates compared with other methods, and meanwhile, the scalable compression sampling has good expandability.)

基于结构化稀疏的可伸缩压缩视频采集与重构系统

技术领域

本发明涉及多媒体信号处理技术领域，具体是一种基于结构化稀疏的可伸缩压缩视频采集与重构系统。

背景技术

在智能信息化时代，各种设备通过异构网络相连，进行信息的有线或者无线传输。在异构网络中，网络带宽条件的波动，以及各种硬件设备对信息的处理能力和应用场景不同，由于对高维多媒体信号的编解码技术(特别是视频编码技术)的视频码流被固定，因此对于不同需求的灵活性不足。

在近20年里，各种可伸缩视频编码(Scalable Video Coding,SVC)技术被提出并标准化应用，以降低编码复杂度，填补了实际部署中可伸缩实现方案的空缺，提高了视频编码方案在实际应用场景中的灵活性，如H.264/AVC可伸缩扩展方案，HEVC可伸缩扩展方案等。这些可伸缩视频编码技术在时间，空间，质量上进行划分，对视频信号以分层的形式进行编码，通过多个单层标准编码器内核以及层间参考图像处理模块，输出多层码流(包括基本层(Base Layer,BL)和增强层(Enhancement Layer,EL))，有效实现可伸缩功能。当带宽受限或信道环境复杂时，仅对基本层的码流进行传输和解码，虽然这时解码的视频质量不高，但保证了基本视频内容的流畅传输。当信道环境良好或信道资源丰富时，通过传输和解码增强层的码流来提高视频的质量。因此，可伸缩视频编码方案通过分层编码和选择传输，实现一次编码以适应不同信道或者不同设备应用的需求，解决了之前基本视频编码方案的灵活性不足的问题。

对于传统压缩视频采样技术，由于采样矩阵的确定，当带宽波动或者设备能力和需求不同时，其采样得到的固定测量以及重构信号同样面临灵活性不足的问题。为了使压缩视频采样方案可以适应异构网络的需求，需要对压缩视频采样方法进行可伸缩拓展的研究来提高实用性。最近，已有少量压缩视频采样技术针对在异构网络中的传输进行了研究。经过对现有技术的文献检索发现，Stankovic等人在2011年的《IEEE IEEE Int.Conf.ImageProcess.》(IEEE ICIP)会议上发表的“Scalable compressive Video”一文中提出了可伸缩压缩视频采样方法，该方法给出了压缩视频采样的质量可伸缩编码方案，但是该方法的稀疏基是固定基矩阵，不能提供更加有效的稀疏性和适应性。随后，B.Bojana等人在2012年的《IEEE Proc.European Signal Process.Conf》(IEEE EUSIPCO)会议上发表的“Learningscalable dictionaries with application to scalable compressive sensing”一文中提出利用KSVD自适应地学***稳统计特性无法进行有效刻画。

这些不足促使我们提出一种更加有效的结构化稀疏基去进行结构化稀疏表示，并进一步的实现可伸缩压缩视频采样和重建，充分利用视频信号块的特殊结构来提高重构结果的主客观质量。

发明内容

本发明针对现有技术的不足，提供了一种基于结构化稀疏的可伸缩压缩视频采集与重构系统，可以有效提高视频信号结构化采集效率、提高重构结果的主客观质量和可伸缩性，可作为一种通用的视频采集工具。

本发明是通过以下技术方案实现的：

本发明所述的基于结构化稀疏的可伸缩压缩视频采集与重构系统，包括：结构化稀疏学习模块、信号分解模块，可伸缩传感模块和可伸缩重构模块，其中：

所述结构化稀疏学习模块对视频信号的关键帧块，生成稀疏基矩阵，并将各个稀疏基矩阵输出到信号分解模块以及重构处理模块；所述信号分解模块对视频信号进行分层分解，得到各层对应的子信号，并将所述分层子信号输出到可伸缩传感模块；所述可伸缩传感模块构建结构化采样矩阵，对各分层子信号进行压缩投影，得到子测量值，并将各个子测量值输出到可伸缩重构模块的输入端；所述可伸缩重构模块接收所述结构化稀疏学习模块输出的稀疏基矩阵与所述可伸缩传感模块输出的子测量值，进行可伸缩重构。

可选地，所述的结构化稀疏学习模块，实现由编码端和解码端的关键帧的块集合利用分层子空间学习的方法得到各层用于生成结构化稀疏基矩阵。

可选地，所述的结构化稀疏学习模块实现由数据驱动子空间联合模型以及分层子空间学习生成针对各层的结构化稀疏基，所述结构化稀疏基适应性的表示出信号的内在结构。

可选地，所述信号分解模块，实现由在编码端，利用各个分层的基矩阵对视频信号进行分解为各个子信号。

可选地，所述信号分解模块，实现对视频信号的非关键帧进行分层分解，得到各层对应的分层子信号。

可选地，所述可伸缩传感模块为一阶的数字微镜设备，实现利用结构化采样矩阵模拟对视频信号的可伸缩压缩传感。

可选地，所述的可伸缩重构模块通过一种凸松弛算法模型实现的，针对各个分层找到的块稀疏向量解乘以各层对应的稀疏基得到重构子信号。

可选地，在编码端，结构化稀疏学习模块产生稀疏基矩阵并输入到信号分解模块，信号分解模块和可伸缩传感模块对视频信号进行分解并采样产生子测量值。

可选地，在解码端，结构化稀疏学习模块产生稀疏基矩阵，所述结构化稀疏学习模块输出的稀疏基矩阵与所述可伸缩传感模块输出的子测量值进入可伸缩重构模块，在可伸缩重构模块中被分层重构。

本发明中采用的基于结构化稀疏的可伸缩压缩视频采集与重构技术为视频信号的采集和重构提供了通用的可伸缩解决方案。本发明所使用的结构化稀疏基矩阵是通过对关键帧中采用数据驱动子空间联合模型以及分层子空间学习的方法得到的，充分利用了视频帧块的独特结构，针对不同分层的需求，提供了各个分层下的基矩阵的学习和设计，这样能够使得帧块信号具有适应性的更加紧凑的结构化稀疏表示，且可以实现多层分解为子信号，进而提高可伸缩采样效率(降低精确重构所需的必要采样数)，有助于本发明结构化稀疏基矩阵学习的可伸缩压缩传感的性能及实用性的提升。

与现有技术相比，本发明具有如下的有益效果：

本发明大大提高了重构性能，与传统的使用固定基或者KSVD字典进行重构的可伸缩视频压缩传感系统相比，由于本发明的重构采用的是适应性的分层稀疏基矩阵因此在可伸缩重构效果上均能够得到增强；对于其它多维信号，本发明通过适当的修改也可使用，具有较强的适应性；在重建时由于数据驱动子空间联合的特殊构造以及考虑了分层需求的分层子空间学习，使得信号具有更灵活的结构化稀疏表示，因此本发明在不降低视频的主观效果的情况下可以进一步提高采样效率，同时加快凸松弛重构算法的收敛速度，在不同的采样压缩率下相比其他可伸缩方法取得了重构增益，同时也具备良好的可扩展性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的基于结构化稀疏的可伸缩压缩视频采集与重构系统一实施例的结构框图；

图2为本发明一实施例中的结构化稀疏学习模块的工作原理图；

图3为本发明一实施例中的信号分解模块的示意图；

图4为本发明一实施例中的可伸缩传感模块的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1为本发明的基于结构化稀疏的可伸缩压缩视频采集与重构系统一实施例的结构框图，如图1所示，本发明一实施例的基于结构化稀疏的可伸缩压缩视频采集与重构系统100包括：结构化稀疏学习模块101、信号分解模块102，可伸缩传感模块103和可伸缩重构模块104。

其中：结构化稀疏学习模块101对视频信号的关键帧块，利用数据驱动子空间联合模型以及分层子空间学习生成稀疏基矩阵，并将各个稀疏基矩阵分别输出到信号分解模块102和可伸缩重构模块104。

信号分解模块102对视频信号块进行分层分解为多个分层子信号，并将分层子信号输出到可伸缩传感模块103。

可伸缩传感模块103通过结构化采样矩阵对各分层子信号进行压缩投影，得到子测量值，并将子测量值输出到可伸缩重构模块。

可伸缩重构模块104接受结构化稀疏学习模块101输出的稀疏基矩阵与可伸缩传感模块103输出的子测量值，对视频信号进行可伸缩重构。

在编码端中，结构化稀疏学习模块101产生稀疏基矩阵并输入到信号分解模块102，信号分解模块102和可伸缩传感模块103对视频信号进行分解并采样产生子测量值；在解码端中，结构化稀疏学习模块101产生稀疏基矩阵，结构化稀疏学习模块101输出的稀疏基矩阵与可伸缩传感模块103输出的子测量值一起进入可伸缩重构模块104，在可伸缩重构模块104中信号被分层重构。

在一优选实施例中，结构化稀疏学习模块如图2所示：在整幅原始关键帧以及重建的关键帧中做块聚类，其中：关键帧中的块集合X＝{x₁,x₂,…,x_K}，利用稀疏子空间聚类方法把X分割成t个聚类X₁,X₂,…,X_t，每个聚类中的块都是相似的且同属于一个子空间。X₁,X₂,…,X_t对应于t个子空间S₁,S₂,…,S_t，那么任一视频帧块信号x都属于数据驱动子空间联合(UoDS)模型U＝∪S_i，训练集的实现由线性子空间学习方法生成的一种标准正交基，线性子空间学习方法(如主成分分析(PCA))分别单独作用于不同的块组X_i,i＝1,…,t得到不同的基D_i,i＝1,…,t，进而组成稀疏基矩阵D＝[D₁,D₂,…,D_t]。在所有层中，通过子空间聚类得到数据驱动子空间联合模型，为了在解码器中实现具有结构化稀疏性的质量可伸缩性，利用分层子空间学习在每个层中针对子空间数量以及子空间维度相应进行设计。

如图2所示，对于子空间联合U＝∪S_i，给定其结构化基矩阵D，在模型复杂度Ο(U)约束下，分层子空间学习(HSL)优化了第j质量层的结构化稀疏表示:

这里，在BL(基本层)和第j-1个EL(增强层)中，其基矩阵分别为

和

x_j为各个训练样本，c_j为x_j在稀疏基矩阵下的块稀疏表示向量，λ为拉格朗日系数。在数据驱动子空间联合模型中，Ο(U)取决于聚类的子空间数和D中每个子空间的维数。因此，利用两种用于子空间聚类和基矩阵派生的层次结构，以实现HSL来逼近数据驱动子空间联合模型中的模型复杂度Ο(U)。

首先，在BL中，训练集X＝{x₁,x₂,…,x_K}被聚类成t＝t_B个簇组G＝[G₁,G₂,…,G_t]，而在第j个EL中，有t＝t_j个簇组通过子空间聚类得到，这里t_j＞t_j-1,t₀＝t_B,j＝1,2,…,L-1。此外，针对每个簇组G_i，利用主成分分析进行独立地学习得到每个子空间S_i的基矩阵D_i

在BL中，每个子空间

的维度设为d_i＝d_B，得到过完备基矩阵这里

为d_i阶单位矩阵，n为信号的原始维度，R为实数域，B表示基本层，t_B为基本层子空间数量。而在第j个EL中，设定子空间维度为d_i＝d_j≥d_B，对应的过完备基矩阵为

本发明的一实施例中，信号分解模块102实现在编码端，利用各个分层的基矩阵对视频信号进行分解为各个子信号，实现多码流的分层传输。

信号分解模块102对视频信号的非关键帧块进行分层分解，得到各层对应的分层子信号。

在一优选实施例中，信号分解模块102如图3所示：针对L个分层，利用已构造的L个结构化基矩阵

进而对待采样的信号x_cs进行层次分解为L个子信号x₁,x₂,…,x_L。图3提供了信号x_cs在L个质量层的结构化基矩阵下分解的示例。其中，第i个子空间的基矩阵D_i被分成L个子矩阵D_i,1,D_i,2,…,D_i,L，这里i＝1,…,t。BL的基矩阵D_BL的构造是取t个子空间的首个子矩阵D_1,1,D_2,1,…,D_t,1，以及置零其他子矩阵来实现的。对于第j个增强层，其基矩阵

可类似的进行构造，取t个子空间的第j+1子矩阵D_1,j,D_2,j,…,D_t,j，这里j＝1,…,L-1。通过这种方式，可把信号x_cs分解成x₁+x₂+…+x_L，其中x_j可以通过D_BLc₁或者

来表示，c₁为第一个基本层的稀疏表示向量，c_j为第j个增强层的稀疏表示向量。因此，通过连接各个子信号用于压缩采样,

为各个子信号级联的转置。

在一优选实施例中，可伸缩传感模块103如图4所示，是一种一阶的数字微镜投影设备(DMD)，它模拟了对视频信号的可伸缩压缩传感

Φ为结构化采样矩阵，由L个随机采样矩阵构成，实现了对L个子信号的压缩采样，

为用于压缩采样的各个子信号的级联，为各个子测量值的级联。在一优选实施例中，首先对关键帧块进行压缩采样，采样率为0.9，然后对非关键帧块信号进行压缩采样，采样率的选取在0.1到0.8之间，基于视频帧块的可伸缩采样提高了视频采样和重构的速率，实现了渐进采样。当然，此处实施例的采样率只是为了举例说明，在其他实施例中还可以是其他选择，并不局限于此。

在一优选实施例中，可伸缩重构模块104是通过一种凸松弛算法模型实现的，结构化稀疏学习模块通过构造稀疏基矩阵，使得信号在该稀疏基矩阵下具有块稀疏表示，即该向量为块稀疏向量，可伸缩重构模块104对这个块稀疏向量进行求解得到最优的块稀疏向量解。具体为：对于关键帧，找到l₁范数最小的表示向量c使得y＝ΦΨc，其中Ψ为DCT基，得到的是一个全局最优解，用DCT基Ψ乘以这个全局最优解就可以得到所需重构的关键帧块信号；对于非关键帧，在L个分层中，分别找到l_2,I范数最小的c^*使得y_i＝Φ_iD_ic^*，i＝1,…,L,得到各个分层中的全局最优解，用D_i乘以这个全局最优解就可以得到所需重构的非关键帧块子信号，最后对这些子信号进行累加得到多个输出信号。其中，Φ_i为随机采样矩阵，l_2,I范数为混合范数，

I为块结构中块组的下标。

实施效果

利用上述方法进行实施，实施中关键参数的设置为：实验用视频序列来源于Akiyo_cif.yuv(352x288的4:2:0格式的YUV文件)，总共取300帧。每十帧为一个帧组，选取第一帧为关键帧，后九帧为非关键帧，块的尺寸选取为16×16像素。由于信号的灰度图集中了绝大部分能量，测试主要是在灰度图上完成的。

比较了采用本发明上述实施例的基于结构化稀疏的可伸缩压缩视频采集与重构系统与Stankovic等人在“Scalable compressive Video”论文中的方法以及B.Bojana等人在“Learning scalable dictionaries with application to scalable compressivesensing”中的方法。本发明实施例所用每个子空间的维数为10，聚类产生的子空间的个数为50,取L＝2，即一个基本层和一个增强层。

在基本层，与之前两种方法相比，在压缩率为0.1时，本发明实施例的系统分别获得2.4dB，2.2dB的重构增益；在压缩率为0.3时，本实施例的系统分别获得1.5dB,0.3dB的重构增益；在压缩率为0.5时，本发明实施例的系统分别获得1.7dB,0.5dB的重构增益；在压缩率为0.7时，本发明实施例的系统分别获得1.1dB,0.4dB的重构增益；

在增强层，与之前两种方法相比，在压缩率为0.1时基本层的比较，本发明实施例的系统分别获得0.1dB，0.5dB的重构增益；在压缩率为0.3时，本发明实施例的系统分别获得0.8dB,0.1dB的重构增益；在压缩率为0.5时，本发明实施例系的统分别获得2.1dB,1.7dB的重构增益；在压缩率为0.7时，本发明实施例的系统分别获得4.9dB,2.4dB的重构增益。上述实验表明，本发明实施例的系统重建出来的视频序列在重构质量上明显优于另外两种方法得到的视频序列。

应当理解的是，上述仅仅是部分实施例，上述实施例中的具体参数取值是为了更好地说明本发明，并不局限于上述参数取值，对于本领域技术人员来说，在其他实施例中，可以根据实际应用来选择其他取值。同时，上述各较佳技术特征，可以在任一实施例中单独使用，在互不冲突的前提下，也可以任一组合使用。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。