面向vr的实时图像压缩方法、系统和存储介质
阅读说明：本技术 面向vr的实时图像压缩方法、系统和存储介质 (VR-oriented real-time image compression method, system and storage medium ) 是由 郭玉会 周鹏 冀德 于 2019-03-27 设计创作，主要内容包括：本发明涉及一种面向VR的实时图像压缩方法、系统和存储介质,包括：获取待压缩的一帧VR原始图像,将该原始图像划分成多个宏块,对每个宏块中像素进行模式预测,得到每个宏块的预测值,使用宏块自身的该预测值与自身的原像素值作差,得到残差数据；利用离散余弦变换将该残差数据从时域变换到频域,并对变换得到的频域数据进行数值量化,得到量化数据,通过对该量化数据进行熵编码,得到每个宏块的码流,将全部宏块的码流按顺序拼接整合,得到该原始图像的码流,作为压缩结果。本发明整个过程不会缓存任何影响实时性的数据,保证了很好实时性。(The invention relates to a real-time image compression method, a real-time image compression system and a real-time image compression storage medium for VR, wherein the real-time image compression method, the real-time image compression system and the real-time image compression storage medium comprise the following steps: obtaining a frame of VR original image to be compressed, dividing the original image into a plurality of macro blocks, performing mode prediction on pixels in each macro block to obtain a predicted value of each macro block, and obtaining residual data by using the difference between the predicted value of the macro block and the original pixel value of the macro block; and transforming the residual data from a time domain to a frequency domain by using discrete cosine transform, carrying out numerical quantization on the frequency domain data obtained by the transformation to obtain quantized data, carrying out entropy coding on the quantized data to obtain a code stream of each macro block, splicing and integrating the code streams of all the macro blocks in sequence to obtain the code stream of the original image as a compression result. The whole process of the invention can not cache any data which affects the real-time performance, and the good real-time performance is ensured.)
技术领域
本发明涉及无线VR传输领域和视频压缩领域，并特别涉及一种面向VR的实时图像压缩方法、系统和存储介质。
背景技术
以往VR图像压缩技术通常有两种，总体来看每种技术都是为了降低数据量便于网络传输，但在具体构成上又不相同，每种技术的构成如下
1)获取图像数据，对获取到的每帧图像数据使用采样的方法进行下采样，将采样后的数据送给网络发送模块进行发送，在接收端通过插值的方法将数据还原出来进行显示；
2)获取图像数据，对图像数据进行压缩，压缩过程将不同的帧分成了I帧、P帧和B帧三种帧格式，分别采用了I、P、B帧三种压缩方法，即采用帧内压缩、前向帧间压缩和双向帧间压缩的方法进行数据压缩，将压缩后的数据送给网络发送模块进行发送。
对以往较常用的两种VR图像压缩技术的工作说明：
1)首先获取到VR程序生成的图像画面数据，对每帧图像数据进行下采样，通过采样之后的数据量得以大大减少，将采样后的数据送给网络发送模块发送到VR接收端，在接收端对接收到的数据进行插值还原出完整图像进行显示；该技术重点在于对图像数据的下采样操作，通过下采样将图像数据量大幅降低，便于后续网络发送；
2)首先获取到VR程序生成的图像画面数据，然后将不同的帧数据分为I帧、P帧和B帧数据，对不同的帧数据采用不同的压缩方法，I帧采用帧内压缩，P帧采用帧间压缩(前向预测)，而B帧数据压缩方法采用了帧间压缩(双向预测)，由于是双向预测因此需要预先缓存多帧图像，对不同帧进行压缩后将压缩的码流数据送给网络发送模块进行发送。
以往两种VR图像压缩技术的问题：
1)以往技术一压缩过程使用下采样的方法来降低传送数据量，下采样虽能降低数据量但却会损失大量的原始数据信息，接收端通过插值的方法来进行图像还原，这个过程会带来很多的噪声，极大的降低图像质量，同样会大大降低用户体验；而本发明对获取到的图像数据根据VR图像特点进行划分，使其相互独立并且更加适合后续压缩，对划分后的图像分析其在空间和时间两个维度上的相关性，去除相关性提取图像特征，并基于信息熵对其进行编码，该过程对图像质量几乎没有影响，对用户体验没有任何影响。
2)以往技术二由于使用了B帧压缩，需要预先缓存多帧数据用于双向预测和双向插值，该过程会带来大量延时，每缓存一帧数据意味着增加一帧的延时，这对于VR应用是难以接受的，而本发明摒弃了B帧压缩，并利用VR内容特点对VR图像进行划分，并且本发明整个过程不会缓存任何影响实时性的数据，各个划分块之间相互独立保证了在不影响图像质量的前提下很好的满足实时性的要求。
发明内容
本发明的主要目的：为VR无线传输领域提供效率更高、性能更好的图像压缩方法，能够提高接收端VR图像质量，同时不影响系统实时性，相比以往VR图像压缩技术，本发明对获取到的图像数据进行了划分，对划分好的图像数据在空间和时间维度去除相关性，并在频域上基于信息熵对其进行编码，可以大大提高接收端还原后的图像质量，并且能很好的达到实时性的要求。
具体地说，本发明公开了一种面向VR的实时图像压缩方法，其中包括：
步骤1、获取待压缩的一帧VR原始图像，将该原始图像划分成多个宏块，对每个宏块中像素进行模式预测，得到每个宏块的预测值，使用宏块自身的该预测值与自身的原像素值作差，得到残差数据；
步骤2、利用离散余弦变换将该残差数据从时域变换到频域，并对变换得到的频域数据进行数值量化，得到量化数据，通过对该量化数据进行熵编码，得到每个宏块的码流，将全部宏块的码流按顺序拼接整合，得到该原始图像的码流，作为压缩结果。
所述的面向VR的实时图像压缩方法，其中步骤1中该模式预测具体为：通过对该原始图像的前一帧图像的量化数据进行反量化还原操作，得到前一帧图像每个宏块的重建像素值，集合前一帧图像每个宏块的重建像素值得到预测集合，在该预测集合中找到一个与当前宏块颜色最为相近的重建像素值作为比较值，用该比较值和当前宏块像素值的差值作为该预测值。
面向VR的实时图像压缩方法，其中步骤2中该数值量化具体为将该残差数据在标准基矩阵下的线性解除以一个整数值，得到的稀疏矩阵作为该量化数据。
其中步骤1还包括：
步骤11、获取到待压缩的VR视频数据后，根据VR视频数据的内容特点，将其划分为多个图像片段，从每个该图像片段中获取该待压缩的一帧VR原始图像。
本发明还公开了一种面向VR的实时图像压缩系统，其中包括：
模块1、获取待压缩的一帧VR原始图像，将该原始图像划分成多个宏块，对每个宏块中像素进行模式预测，得到每个宏块的预测值，使用宏块自身的该预测值与自身的原像素值作差，得到残差数据；
模块2、利用离散余弦变换将该残差数据从时域变换到频域，并对变换得到的频域数据进行数值量化，得到量化数据，通过对该量化数据进行熵编码，得到每个宏块的码流，将全部宏块的码流按顺序拼接整合，得到该原始图像的码流，作为压缩结果。
所述的面向VR的实时图像压缩系统，其中模块1中该模式预测具体为：通过对该原始图像的前一帧图像的量化数据进行反量化还原操作，得到前一帧图像每个宏块的重建像素值，集合前一帧图像每个宏块的重建像素值得到预测集合，在该预测集合中找到一个与当前宏块颜色最为相近的重建像素值作为比较值，用该比较值和当前宏块像素值的差值作为该预测值。
所述的面向VR的实时图像压缩系统，其中模块2中该数值量化具体为将该残差数据在标准基矩阵下的线性解除以一个整数值，得到的稀疏矩阵作为该量化数据。
所述的面向VR的实时图像压缩系统，其中模块1还包括：
模块11、获取到待压缩的VR视频数据后，根据VR视频数据的内容特点，将其划分为多个图像片段，从每个该图像片段中获取该待压缩的一帧VR原始图像。
本发明还公开了一种面向VR的实时图像压缩系统的实施方法。
本发明还公开了一种存储介质，用于存储执行面向VR的实时图像压缩方法的程序。
在VR无线传输应用中，相比现有的技术本发明创造对VR图像进行了适当的划分，使得划分后的图像内容更加适合压缩，在压缩过程中采用了模式预测、数值量化、数值重建等去除像素相关性的方法，同时摒弃了不利于实时性的B帧压缩方式，从而很好的满足了VR应用的实时性要求，另外采用基于熵的编码方法带来了更好的压缩效率，使得整个系统能够在几乎不影响图像质量的前提下实时的将图像进行压缩并发送到VR接收端。
附图说明
图1为本发明方法的技术方案图；
图2和图3分别为现有两种方法的技术方案图。
具体实施方式
本发明实现一种面向VR的实时图像压缩方法。本方法从空间和时间两个维度对图像像素间相关性进行挖掘并利用：1)在空间维度上，对同一幅画面内相邻像素区域的颜色相关性进行分析(I帧)，2)在时间维度上，对在图像序列中位置相邻的若干幅画面中的同一区域的像素颜色相关性进行分析(P帧)。相关性分析包括三部分：1)模式预测，2)数值量化，3)数值重建。在提取出数据相关性特征后，本系统基于信息熵对特征进行编码，得到尺寸更小的编码数据。传统视频压缩方法将视频帧分为参考帧(I帧)、前向预测帧(P帧)和双向预测帧(B帧)三种类型，并对其采用了不同的压缩方法。其中，对B帧采用的是双向预测的帧间压缩方法，需要根据相邻的前向帧、本帧以及后向帧数据来压缩，这个过程要求必须预先缓存多帧图像用于B帧压缩。对于VR而言，渲染流水线平均每11毫秒产生一帧，每多缓存一帧就意味着增加11毫秒的从运动到显示的延迟。为了保证实时性，本系统只将图像在时间维度上划分为参考帧(I帧)和前向预测帧(P帧)，I帧的编码仅参考空间维度(即帧内)的相关性特征，P帧的编码则可以参考之前的I帧在相同空间位置(即帧间)的相关性特征，整个过程无需缓存影响实时性的数据，也就不会带来延迟。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
本发明的技术框架有五部分组成：1)基于VR内容特点的图像划分模块；2)模式预测模块；3)数值变换量化模块；4)数值编码模块；5)数值重建模块。整个技术流程图如图1所示。
VR图像有两个特点：1)带有图像遮罩，即图像中总有一部分黑色区域。这是因为这个区域在映射到VR透镜后是不可见的，因此从一开始就不参与渲染。2)非均匀的注视点重要性，即图像的视觉重要性不是均匀的。图像中心像素的视觉重要性最高，因为它位于人眼注视点中轴处，经过透镜放大后的变形的程度最高，所以对分辨率要求也最高。反之，距离图像中心越远的像素，视觉重要性越低，对分辨率要求也随之降低。
本方法在获取到待压缩的VR图像数据后，首先根据VR内容特点，例如转场时机，将图像划分为相互独立的更小尺度的图像片段，然后对每个图像片段进行模式预测，模式预测包括空间域的帧内预测(I帧)和时间域的前向帧间预测(P帧)，在预测过程中将图像片段又分成若干图像块(图像块指的是宏块macro block，例如是一个16*16的像素区域，整幅图像被分割为连续的不相交宏块)，对每个图像块利用数值重建得到的重建像素值对每个图像块中的像素进行预测，得到预测值。模式预测是指，找到一个与当前宏块颜色最为相近的已经编码过的宏块，用它们的差值来表示当前宏块。在差值较小的前提下，其编码数据量会小于直接编码一个宏块的原始颜色。可见，模式预测过程需要之前编码过的宏块，数值重建过程就是将预测模式所需的历史宏块(已经编码过的宏块)重新建立并作为输入。
使用预测值与原像素值作差获得浮动范围很小的一系列残差数据，将残差数据送给数值变换量化模块，该模块首先利用离散余弦变换将残差数据从时域变换到频域，利用其很好的能量集中特性可以在频域进一步的去除相关性，对变换之后的频域数据进行数值量化。数值量化是将残差(residual，预测模式中为宏块预测出的颜色值与原始颜色值的差)系数(coefficient，宏块的残差矩阵在标准基矩阵下的线性解)除以一个整数值，使得大部分残差系数变为0，即变为稀疏矩阵以方便压缩。这个过程会降低精度，具体程度可通过量化参数(QP，quantization parameter)进行选择。量化过程能够将输入数据的动态范围进一步缩小，使得量化后的输出数据只需很少的比特便可表示。
将量化后的输出数据直接送到数值编码模块进行基于熵的编码，即将数据编码为一系列的二进制比特数，熵编码不仅能带来较高的压缩比，而且整个编码过程是无损可逆的，即编码后的二进制比特数通过解码能够无损的还原成编码前的原数据，这对提高图像压缩质量十分重要，在数值编码完成后得到了一系列的二进制比特数称之为码流，将码流数据送给网络传输模块便可开始网络发送。此处码流可为宏块的码流，拼接整合后得到原始图像的完整码流发送给网络传输模块，或者直接将每一个宏块的码流发送给网络传输模块，由随后的显示端进行拼接整合。
其中，在编码的过程中，量化后的数据同时也送给数值重建模块，该模块通过对输入数值进行反量化反变换等还原操作后得到重建像素值，送入模式预测模块用作模式预测参考之用。重建的数值属于旧有宏块，它是当前宏块的邻居。模式预测为当前宏块选择颜色最相近的邻居。因为编码过程是一种流式处理，不会保存历史状态，即不会保存旧有宏块的原始颜色，因此需要将其重建出来，是一种时间换取空间的思想。
在实时性方面，本发明在压缩过程中只采用了I帧和P帧的压缩方式，没有使用B帧方式，从而避免了缓存多帧用于B帧双向预测的情况，对VR程序生成的每帧数据能够及时进行压缩处理，不会对实时性带来影响。整个压缩方法前端与图像截取系统相连，后端与网络发送系统相连，可以保证在满足VR实时性要求的前提下，以较低码率将图像数据发送到后续解码和VR显示端，整个过程对图像质量几乎没有影响，用户体验良好。
以下为与上述系统实施例对应的方法实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还公开了一种面向VR的实时图像压缩系统，其中包括：
模块1、获取待压缩的一帧VR原始图像，将该原始图像划分成多个宏块，对每个宏块中像素进行模式预测，得到每个宏块的预测值，使用宏块自身的该预测值与自身的原像素值作差，得到残差数据；
模块2、利用离散余弦变换将该残差数据从时域变换到频域，并对变换得到的频域数据进行数值量化，得到量化数据，通过对该量化数据进行熵编码，得到每个宏块的码流，将全部宏块的码流按顺序拼接整合，得到该原始图像的码流，作为压缩结果。
所述的面向VR的实时图像压缩系统，其中模块1中该模式预测具体为：通过对该原始图像的前一帧图像的量化数据进行反量化还原操作，得到前一帧图像每个宏块的重建像素值，集合前一帧图像每个宏块的重建像素值得到预测集合，在该预测集合中找到一个与当前宏块颜色最为相近的重建像素值作为比较值，用该比较值和当前宏块像素值的差值作为该预测值。
所述的面向VR的实时图像压缩系统，其中模块2中该数值量化具体为将该残差数据在标准基矩阵下的线性解除以一个整数值，得到的稀疏矩阵作为该量化数据。
所述的面向VR的实时图像压缩系统，其中模块1还包括：
模块11、获取到待压缩的VR视频数据后，根据VR视频数据的内容特点，将其划分为多个图像片段，从每个该图像片段中获取该待压缩的一帧VR原始图像。
本发明还公开了一种面向VR的实时图像压缩系统的实施方法。
本发明还公开了一种存储介质，用于存储执行面向VR的实时图像压缩方法的程序。