一种基于区域块级jnd预测的感知图像压缩方法
阅读说明：本技术 一种基于区域块级jnd预测的感知图像压缩方法 (Perceptual image compression method based on region block level JND prediction ) 是由 王瀚漓 田涛 于 2020-04-20 设计创作，主要内容包括：本发明涉及一种基于区域块级JND预测的感知图像压缩方法,包括以下步骤：1)根据数据集中的图像和对应的JND信息,利用大津阈值方法,生成区域块级JND值；2)根据生成的区域块级JND值,建立基于CNN的区域块级JND预测模型；3)将测试图像在多个固定的QF值下进行压缩,得到对应的多张失真图像,将全部失真图像分割为多个不重叠的区域块,并预测每个区域块的JND标签,最后采用标签处理方法获取每个区域块最终的JND值；4)根据目标压缩QF值和每个区域块最终的JND值,对测试图像进行预处理操作,选取区域块感知QF值中最大的作为压缩参数,并采用JPEG压缩预处理后的测试图像。与现有技术相比,本发明具有自适应预测、压缩质量好、压缩效率高等优点。(The invention relates to a perceptual image compression method based on region block level JND prediction, which comprises the following steps: 1) generating a JND value of a region block level by using a Otsu threshold method according to the images in the data set and the corresponding JND information; 2) establishing a CNN-based region block level JND prediction model according to the generated region block level JND value; 3) compressing the test image under a plurality of fixed QF values to obtain a plurality of corresponding distorted images, dividing all the distorted images into a plurality of non-overlapping area blocks, predicting a JND label of each area block, and finally acquiring a final JND value of each area block by adopting a label processing method; 4) and preprocessing the test image according to the target compressed QF value and the final JND value of each area block, selecting the largest area block sensing QF value as a compression parameter, and compressing the preprocessed test image by JPEG. Compared with the prior art, the method has the advantages of self-adaptive prediction, good compression quality, high compression efficiency and the like.)
技术领域
本发明涉及图像压缩领域，尤其是涉及一种基于区域块级JND预测的感知图像压缩方法。
背景技术
随着社交网络和多媒体技术的发展，在互联网上产生了大量的图片信息。根据最近的统计结果，Instagram用户每天上传大约9000万张图片。因此，如何存储和传输这些图像是一项极具挑战性的工作，现有的图像压缩标准，比如JPEG、H.264和HEVC，都是将PSNR和MSE作为衡量失真的标准，然而，PSNR在计算的过程中认为每个像素点同等重要，和人眼视觉系统不符，因此，研究面向人眼视觉系统的图像压缩算法显得尤为重要。
人们已提出多种方法来解决这一难题，包括基于JND的方法，基于注意力模型的方法等。目前，基于JND(Just Noticeable Difference恰可察觉失真)的图像/视频感知压缩方法是研究的重点。现有的JND模型主要分为两种：基于像素域和基于DCT(DiscreteCosine Transform)域。基于像素域的方法主要考虑了人眼视觉系统中的亮度掩蔽效应和对比度掩蔽效应；DCT域的JND模型在像素域模型的基础上，加入了空间对比度函数。现有的感知编码模型虽然能够在一定程度上减少编码中的感知冗余信息，但是只考虑了有限的视觉特性并且不随着量化参数的改变而改变，最新的感知实验表明人眼视觉系统对图像质量的感知呈现阶梯状，并不是连续变化的，每个突变点可以看成是JND值。但是，对于一张图像，需要通过大量的主观实验才能得到最终的JND值，无法在现实中应用，此外，不同的图像内容应该包含不同的JND值，因此，设计区域块级JND预测和压缩算法显得尤为必要。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于区域块级JND预测的感知图像压缩方法。
本发明的目的可以通过以下技术方案来实现：
一种基于区域块级JND预测的感知图像压缩方法，包括以下步骤：
1)根据数据集中的图像和对应的JND信息，利用大津阈值方法，生成区域块级JND值；
2)根据生成的区域块级JND值，建立基于CNN的区域块级JND预测模型；
3)将测试图像在多个固定的QF值下进行压缩，得到对应的多张失真图像，将全部失真图像分割为多个不重叠的区域块，并预测每个区域块的JND标签，最后采用标签处理方法获取每个区域块最终的JND值；
4)根据目标压缩QF值和每个区域块最终的JND值，对测试图像进行预处理操作，选取区域块感知QF值中最大的作为压缩参数，并采用JPEG压缩预处理后的测试图像。
所述的步骤1)具体包括以下步骤：
11)对于平滑的区域，设定平滑区域内的区域块级JND值与图像级JND值一致，则有：
其中，SI为测试图像I的图像级JND值，为测试图像I内第i个区域块bi的压缩参数；
12)对于纹理复杂的区域，在图像级JND值下求取每个区域块的SSIM值；
13)将每个区域块在连续JND值下的质量差异ΔSSIM作为每个区域块的强度，利用大津阈值方法，以区域块为基本单位，自适应判断在当前图像级JND值下的失真区域；
14)循环执行步骤12)-步骤13)，直到每个图像的所有图像级JND执行完毕，生成最终的区域块级JND值。
所述的步骤13)中，每个区域块在连续JND值下的质量差异ΔSSIM的表达式为：
其中，
所述的步骤2)具体包括以下步骤：
21)将生成的区域块级JND值从小到大排序，划分类别后标记训练标签值，形成数据集；
22)将数据集内90％的区域块用于训练，10％的区域块用于测试；
23)采用AlexNet网络，训练区域块级JND预测模型。
所述的步骤23)中，在区域块级JND预测模型的训练过程中，图像块大小设置为64×64，初始学习率设置为0.001，最大迭代次数设置为250000，batch size大小设置为64。
所述的步骤3)具体包括以下步骤：
31)将测试图像在多个固定的QF值下进行压缩，得到多个失真图像；
32)将全部失真图像分割为多个不重叠的区域块，采用区域块级JND预测模型预测每个区域块的JND标签；
33)当多张失真图像相同位置区域块的预测JND标签满足判断公式则进行步骤34)，若不满足，则进行步骤35)，其中，qi、qj分别为QF值，b为区域块，L(·)为预测JND标签；
34)JND标签对应的QF值即为当前区域块的JND值；
35)将JND标签值按照从小到大排序，使其满足33)中的判断公式后获取对应的QF值作为当前区域块的JND值。
所述的固定的QF值共有9个，分别为15、20、25、30、35、40、45、50和55，所述的不重叠的区域块的大小为64×64。
所述的步骤4)具体包括以下步骤：
41)获取测试图像I第i个区域块bi的预测JND值则有：
其中，为第k个JND值，
42)预先设定目标压缩QF值为
其中，为第1个JND值，为第
43)选取区域块感知QF值中最大的作为图像级的压缩参数其表达式为：
其中，NBI为测试图像I内的区域块数目；
44)若区域块的JND值小于图像级的压缩参数，则对图像进行预处理；
45)当所有的DCT系数经过预处理后进行逆DCT变换操作，生成经过预处理之后的测试图像，并采用步骤43)中的图像级压缩参数采用标准JPEG进行压缩得到压缩后的图像。
所述的步骤43)中，若存在部分区域块的预测JND值较小，则采用以下方式处理：
所述的步骤44)中，对图像进行预处理具体为：
其中，为经过量化后的位置(m,n)处的DCT系数。
与现有技术相比，本发明具有以下优点：
一、自适应预测：本发明无需进行主观实验，根据输入测试图像内容，自适应预测区域块级JND信息，用于感知编码。
二、压缩质量好：本发明避免个别区域预测JND值较低引起主观质量下降的情况，同时又保护了纹理简单区域的质量，在提高压缩效率的同时，取得和JPEG相似的主观质量。
三、压缩效率高：本发明可以根据测试图像区域块的内容，自适应的预测JND信息，提高图像的压缩效率，本发明在Kodak数据集中选取10张图像作为测试，分别测试了3个QF值，从高到低分别为75、50和30，与JPEG算法相比，在主观感知质量相似的情况下，码率分别节约了43.91％、18.76％和13.11％，压缩效率超过了其他同类模型。
附图说明
图1为本发明中基于模型训练和感知编码流程图，其中，图(1a)为基于模型训练流程图，图(1b)为感知编码流程图。
图2为选取的测试图像示意图。
图3为本发明的方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，本发明提供一种基于区域块级JND预测的感知图像压缩方法，包括步骤：
1)根据数据集中的图像和对应的JND信息，利用大津阈值方法，求取区域块级JND值，具体包括以下步骤：
11)假设图像I，其对应的图像级JND值为：
其中，NI为图像级JND的数目，为第k个压缩参数；
12)对于平滑区域smooth，我们认为其区域块bi的JND值与图像级JND值一致，表示为：
13)对于复杂区域，为每个区域块计算连续JND值下的质量差异，表示为：
其中，为当压缩参数为时，第i个区域块bi的SSIM值；
14)将步骤13)中的质量差异作为每个区域块的强度，利用大津阈值算法选取最优的阈值，自适应将图像分为两类，即失真区域和非失真区域；
15)循环执行步骤14)的操作，直到每个图像的所有图像级JND执行完毕，生成最终的区域块级JND信息，即区域块级JND值；
2)根据生成的区域块级JND信息，建立基于CNN的区域块级JND预测模型；
21)将生成的区域块级JND值从小到大排序，总共划分为43类，训练标签值为0到42；
22)数据集内90％的区域块用于训练，10％的区域块用于测试；
23)利用经典的AlexNet网络，训练区域块级JND预测模型，在区域块级JND预测模型的训练过程中，图像块大小为64×64，初始学习率设置为0.001，最大迭代次数为250000，batch size大小为64，测试准确率为89.52％。
3)将测试图像在9个固定的QF值(品质因子)下进行压缩，得到9张失真图像。然后将9张失真图像分割为64×64的不重叠的区域块，预测每个区域块的JND标签，最后利用设计的标签处理方法，求取每个区域块最终的JND值；
31)将测试图像在9个固定的QF值下进行压缩，得到9张失真图像，QF值分别为15、20、25、30、35、40、45、50和55；
32)将9张失真图像分割为64×64的不重叠的区域块，预测每个区域块的JND标签；
33)如果9张失真图像的相同位置的区域块的预测JND标签满足以下公式，
则JND标签对应的QF值即为当前区域块的JND值；
34)如果9张失真图像在相同位置的区域块的预测JND标签不满足步骤33)中公式，则将JND标签值按照从小到大排序，使其满足33)中的公式，再求取对应的QF值；
4)根据目标压缩QF值和每个区域块的JND值，对测试图像进行预处理操作，然后利用JPEG压缩预处理过的测试图像，选取区域块的最大JND值为压缩参数，具体为：
41)假设测试图像为I，其第i个区域块的预测JND值为：
其中，
42)假设预先给定的压缩QF值为qtar，则最终采用的感知QF可以表示为：
43)选取区域块的最大感知QF值为图像级的压缩QF，表示为：
其中，NBI为测试图像内的区域块数目，如果部分区域块的预测JND值较小，采用以下公式处理：
在实际压缩过程中，为了保证平滑区域的质量，将平滑区域的预测JND值设置为图像级的压缩QF值。
44)如果区域块的JND值小于图像级的压缩参数，采用以下公式对图像进行预处理，
其中，
45)当所有的DCT系数经过预处理之后，进行逆DCT变换操作，生成经过预处理之后的测试图像，然后用标准JPEG进行压缩，压缩参数为43)中的图像级QF值。
为了验证本申请方法的性能，设计了以下实验。
在Kodak数据集中随机选取了10张测试图像，如图2所示，根据本发明中方法，分别预测10张测试图像内区域块的JND值，然后，10张测试图像分别在给定的QF＝75、50和30下压缩，覆盖了高、中和低三个质量，JPEG作为本发明算法的对照算法，与JPEG的对比结果如表1、表2、表3所示，
DMOS＝MOSΩ-MOSori
其中，Ω代表不同的压缩方法，BPP代表每个像素点消耗的比特数目，MOS指主观分数，ori代表原始JPEG算法。
表1本发明在QF为75时的性能表现
表2本发明在QF为50时的性能表现
表3本发明在QF为30时的性能表现
- 上一篇：一种医用注射器针头装配设备
- 下一篇：一种基于FPGA的视觉无损超低延时视频压缩系统