阅读说明：本技术 一种基于结构线索的全参考图像质量评估方法 (Full-reference image quality evaluation method based on structural clues ) 是由 赵云灏 高炜 侯瑞 胡杨 刘敏 张劳社 白平 陈康 侯晓松 刘利军 付旭东 张 于 2020-04-16 设计创作，主要内容包括：本发明公开了一种基于结构线索的全参考图像质量评估方法,包括以下步骤：基于网格对图像进行分割,得若干区域,利用随机游走的方式将多个区域串联起来,以形成候选突出区域,然后基于结构保留的卷积神经网络进行深度表示的提取,再根据提取的深度计算能够反映结构线索的距离度量,最后利用反映结构线索的距离度量评估全参考图像的质量,该方法能够基于人类感知利用距离度量评估全参考图像的质量。(The invention discloses a full-reference image quality evaluation method based on a structural clue, which comprises the following steps of: the method comprises the steps of segmenting an image based on grids to obtain a plurality of regions, connecting the regions in series in a random walk mode to form candidate salient regions, extracting depth representation based on a convolutional neural network with a reserved structure, calculating distance measurement capable of reflecting a structure clue according to the extracted depth, and finally evaluating the quality of a full reference image by using the distance measurement capable of reflecting the structure clue.)

一种基于结构线索的全参考图像质量评估方法

技术领域

本发明涉及一种全参考图像质量评估方法，具体涉及一种基于结构线索的全参考图像质量评估方法。

背景技术

图像质量评价可分为主观评价和客观评价两大类。主观评价又可分为绝对评价和相对评价。主观评价与客观评价最大的区别就是客观评价没有参考图像。一般来说，主观评价能较好地反映图像质量，但由于这些方法都需要人的参与，在实际应用中不能推广。客观评价算法具有更大的应用价值。

客观评价包括全参考文献(FR)、减少参考文献(RR)和无参考文献(NR)。全部参考图像质量评估是指比较之间的差异图像和参考图像计算当选择理想的图像作为参考图像,分析图像的失真程度进行评估,以获得图像的质量评价是评估。常用的全参考图像质量客观评价主要基于像素统计、信息论和结构信息三个方面。简化参考也称为半参考，它以理想图像的部分特征信息为参考，对评价图像进行比较分析，得出图像质量的评价结果。由于参考信息是从图像中提取出来的特征信息，所以必须先提取待评价图像的部分特征信息和理想图像，然后通过对提取出来的部分信息的比较来评价图像的质量。参考方法分为基于原始图像特征的方法、基于数字水印的方法和基于小波域统计模型的方法。由于简化参考质量评价依赖于图像的某些特征，与图像整体相比，数据量减少了很多。无参考评价又称盲评价法，因为一般情况下很难获得理想的图像，因此这种完全脱离对理想参考图像依赖的质量评价方法得到了广泛的应用。无参考方法一般基于图像的统计特性。

图像质量评估(IQA)的目标是基于设计的算法对图像质量进行客观的评估，算法得到的质量分数应该近似于观察者的主观评价。图像质量与图像内部的色彩和谐、光照和物体有关。一般情况下，各种失真的图像质量分数较低。主观图像评价可以很容易地区分出不同质量分数的图像，但这仍然是客观评价算法面临的一个挑战，客观评价算法旨在设计数学算法来模拟人类对图像的感知。我们认识到图像中的结构线索是人们在观察场景时所感知到的，因此认为结构线索在图像质量评价中起着重要的作用，然而，如此重要的属性并没有被很好地编码。此外，传统算法还存在以下局限性：

1)现有设计的数学模型不能有效地与人类感知相一致。因此，客观评价算法的结果与主观评价相差甚远。

2)良好的距离度量性能对于IQA具有重要意义，因为失真图像与原始图像之间存在固有的差异。然而传统的算法不能有效地利用距离度量。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种基于结构线索的全参考图像质量评估方法，该方法能够基于人类感知利用距离度量评估全参考图像的质量。

为达到上述目的，本发明所述的基于结构线索的全参考图像质量评估方法包括以下步骤：

基于网格对图像进行分割，得若干区域，利用随机游走的方式将多个区域串联起来，以形成候选突出区域，然后基于结构保留的卷积神经网络进行深度表示的提取，再根据提取的深度计算能够反映结构线索的距离度量，最后利用反映结构线索的距离度量评估全参考图像的质量。

形成候选突出区域的具体过程为：

利用基于网格的方法进行图像分割，每个网格由颜色及纹理表示，其中，利用128-D的梯度直方图特征和9-D的颜色矩来表示每个网格，通过式(1)计算相邻网格之间的距离；

其中，x_i和x_j分别表示第i个区域和第j个区域的137-D低电平特征，σ为标准化参数，通过式(2)加强相似的网格，以形成候选突出区域；

其中，和分别表示第i个网格和j个网格的排序得分，μ为正则化参数，y_j为稀疏矩阵，当y_j＝1时，则第j个网格显著，当y_j＝0时，则第j个网格不显著，n表示连接起来形成候选突出区域的网格数。

设基于低级特征和高级语义特征的显著性排序算法，利用流形学习算法对图像级标签进行挖掘，即

其中，f_m和f_n分别表示第m个候选突出区域及第n个候选突出区域的融合特征，w_m表示第m个候选突出区域的权重，l_s(f_m,f_n)为计算得到的第m个候选突出区域和第n个候选突出区域的相似性，K为候选突出区域的数量，通过式(3)计算显著性区域的阶数，通过显著性区域的阶数表示图像的内在结构信息。

通过自适应空间池层支持各种输入的图像大小，动态调整自适应空间池的大小，保证深度表示具有相同的维数，然后利用聚合操作符将多通道特性连接到长深度表示中。

能够反映结构线索的距离度量为：

D(x,y)＝f(s(x,y),l(x,y),c(x,y)) (4)

其中，s(x,y)为结构相似度，l(x,y)为光照因子，c(x,y)为颜色因子，x为参考图像，y为测试图像，因此图像y具有较高的质量分数，结构相似度s(x,y)的表达式为：

光照因子l(x,y)为:

其中，S为光照变化相对于背景光照的大小，l(x,y)为关于S的函数，c(x,y)表示图像x和y的颜色矩差，c(x,y)为:

c(x,y)＝||c(x)-c(y)||² (7)

函数c(·)为:

其中，

通过距离度量计算参考图像与测试图像之间的相似性，以评估测试图像之间的质量分数。

本发明具有以下有益效果：

本发明所述的基于结构线索的全参考图像质量评估方法在具体操作时，基于结构保留的卷积神经网络进行深度表示的提取，使得图像结构得到很好的保留，再构造能够反映结构线索的距离度量，以考虑人类感知，然后通过该距离量度计算参考图像和评价图像之间的相似度，以评估图像的质量，经试验，在三个数据集下将本发明与现有算法相比，本发明具有良好的鲁棒性和有效性。

附图说明

图1为本发明的流程图；

图2为基于结构保留的深度网络的示意图；

图3为仿真实验中一种不同参数下的比较结果图；

图4为仿真实验中一种不同参数下的比较结果图；

图5为仿真实验中的比较精度结果图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

图像质量评估(IQA)是计算机视觉和图像聚类、检索、压缩及分类等智能系统中的关键技术，IQA的目标是基于设计的算法对图像质量进行客观的评估，力求与人类的视觉感知保持一致，即算法得到的质量分数应该近似于观察者的主观评价，IQA在现代广告系统和图像共享平台中占有重要的地位。

本发明提出了一种基于结构线索的全参考图像质量评估方法，该方法利用距离度量来评估全参考图像的质量，使客观评价算法的结果与主观评价更加接近，具体操作为：先基于网格对图像进行分割，获得若干区域，利用随机游走的方式将多个区域串联起来，以形成候选突出区域，然后基于结构保留的卷积神经网络进行深度表示的提取，再根据提取的深度计算能够反映结构线索的距离度量，最后利用反映结构线索的距离度量评估全参考图像的质量。

参考图1，本发明所述的基于结构线索的全参考图像质量评估方法具体包括以下步骤：

1、结构线索构造

生物学和心理学实验均证明，当人们观察一个图像时，目光是按顺序分配的，也就是说，人类首先会关注最突出的区域，然后将目光分配到第二突出的区域，人类视线的转换路径反映了图像内在的结构线索。认识到人对图像的感知是基于图像固有结构线索的，可以在此基础上实现全参考图像质量评价，为捕获突出区域，本发明提出了一种基于网格的目标检测算法，具体为：先利用一组分割参数m×n进行图像分割，其中，可以捕获各种区域，然后，利用随机游走将多个区域串联起来，以形成候选突出区域。

例如，先利用基于网格的方法进行图像分割，每个网格由颜色及纹理表示，通过颜色及纹理彼此互补来表征图像，其中，利用128-D的梯度直方图特征和9-D的颜色矩来表示每个网格，考虑到相似的网格具有相似的底层特征，通过式(1)计算相邻网格之间的距离；

其中，x_i和x_j分别表示第i个区域和第j个区域的137-D低电平特征，σ为标准化参数，其中，属于同一突出区域的网格具有相似的特征，属于不同突出区域的网格具有不同的特征，因此通过式(2)加强相似的网格，以形成候选突出区域；

其中，和分别表示第i个网格和j个网格的排序得分，μ为正则化参数，y_j为稀疏矩阵，其中，当y_j＝1，则第j个网格显著，y_j＝0，第j个网格不显著，n表示连接起来形成候选突出区域的网格数。

结构信息对图像理解起重要作用,本发明的目标是建立图像质量评估的结构线索，考虑到人的视觉机制具有自适应提取突出区域间结构信息的能力，因此本发明模仿人的视觉机制构建结构关系框架，具体过程为：定义基于低级特征和高级语义特征的显著性排序算法，利用流形学习算法对图像级标签进行挖掘。该操作可以表述为:

其中，f_m和f_n分别表示第m个候选突出区域及第n个候选突出区域的融合特征，w_m表示第m个候选突出区域的权重，l_s(f_m,f_n)为计算得到的第m和n个候选突出区域的相似性，K为候选突出区域的数量，通过式(3)计算显著性区域的阶数，通过显著性区域的阶数表示图像的内在结构信息。

2、基于结构保留的深度网络

在获得显著区域后，利用卷积神经网络进行深度表示提取。为了在图像中保留结构信息，本发明设计了一种基于结构保留的深度网络，如图2所示。利用Krizhevsky等人提出的经典CNN架构AlexNet，需要说明的是，显著区域可能具有不同的形状及大小，因此本发明设计了一种自适应空间池(ASP)层来支持各种输入的图像大小，动态调整自适应空间池的大小，以保证深度表示具有相同的维数，然后，利用聚合操作符将多通道特性连接到长深度表示中。

聚合运算符描述为：将每个显著区域定义为：每个显著区域的特征维l_i∈R^t(i∈[1,K])，如果直接将每个显著区域的特征串联起来，则会导致尺寸爆炸，为解决该问题，本发明提出了一种聚合算法，具体的为：利用统计汇总多通道特性，F＝{minimum,maximum,mean,median}，首先从每个通道中提取最小的特征值，然后将它们串联在一起，之后提取并连接特征的最大值，得长深度表示，例如，设一幅图像中有i＝5个突出的物体，每个特征维数it＝256，当将每个显著区域的特征直接串联起来，则深度表示为5×256＝1280维数，通过使用发明所述的聚合算法，则深度表示仅为5×4＝20维度。

3、距离度量

全参考图像质量评价采用原始图像作为参考图像，良好的性能距离度量能够反映各图像之间的差异，设能够反映结构线索的距离度量为:

D(x,y)＝f(s(x,y),l(x,y),c(x,y)) (4)

其中，s(x,y)为结构相似度，l(x,y)为光照因子，c(x,y)为颜色因子，式(4)计算图像x与y的相似度，其中，x为参考图像，y为测试图像。较小的图像D(x,y)表示图像x和y相似，因此图像y具有较高的质量分数，基于获得的深度表示来定义结构相似度s(x,y)。

R.光照因子为:

其中，S为光照变化相对于背景光照的大小，l(x,y)为关于S的函数。c(x,y)表示图像x和y的颜色矩差，c(x,y)为:

c(x,y)＝||c(x)-c(y)||² (7)

其中，函数c(·)为:

其中，

距离度量计算参考图像与测试图像之间的相似性，从而评估测试图像之间的质量分数，综上所述，本发明可以总结为如表1所示；

表1

仿真实验

现有许多IQA算法在评估由相同的原始图像生成的失真图像的质量方面表现出了令人印象深刻的性能。然而，当对不同类型的失真图像或由不同的原始图像生成的失真图像进行评价时，其有效性可能会下降。因此，交叉图像和交叉失真评估是评价IQA算法性能的重要指标。

在实现过程中，将本发明与其他最先进的交叉图像及交叉失真环境下的算法进行比较，交叉图像评价是指利用各种原始图像生成失真图像。选择其中的一个图像作为参考图像；交叉失真评估是指生成各种类型的失真图像来评估IQA的性能，为证明客观评估的有效性，本发明提出了一种评估指标来评估客观和主观评估之间的关系，如式(9)所示；

其中，S_o为客观评价得到的图像质量分数，S_s为主观评价得到的图像质量分数，本实验中，有30名志愿者参与，将本发明与实时、TID2008和CSIQ数据集下的9种IQA算法进行比较，表2、表3及表4给出了不同算法和数据集下的比较结果，参考表2、表3及表4，本发明与最先进的算法相比，获得了具有竞争力的性能。本发明可以保存图像的结构信息，这对图像理解有重要的贡献，基于结构线索的图像质量评价在很大程度上优于其他竞争对手。

表2

表3

表4

本发明的实现有三个关键的参数，即显著区域K的数量、显著区域l的维数及图像分割参数m×n，图3和图4显示了不同参数下的比较结果，图像分割参数m×n会影响到区域的选择，一个较大的m×n可以捕获更突出的区域及更详细的对象，但计算复杂度也会增加，太小的m×n可能无法捕获突出区域，或者只能提取少量的突出区域，因此选择合适的参数对图像分割具有重要意义，图5为不同参数下的比较精度结果。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。