阅读说明：本技术 一种无参考非对称失真立体图像质量评价方法 (It is a kind of without refer to asymmetric distortion stereo image quality evaluation method ) 是由 陈勇 朱凯欣 刘焕淋 于 2019-07-12 设计创作，主要内容包括：本发明涉及一种无参考非对称失真立体图像质量评价方法,包括以下步骤：首先,根据双目视觉特性判别不同的双目组合行为,并构建相应的独眼图,而非使用固定的独眼图模拟不同的双目组合行为。然后,在左右视图及独眼图上分别提取单目和双目视觉特征。另外,为准确度量立体图像的深度信息,本发明在加权视差图和左右视图相关性图上,提取能够反映水平深度和纵向深度信息的质量感知特征。最后,通过训练极限学习机(Extreme Learning Machine,ELM)算法,构建从立体图像质量感知特征域到质量分数域的映射关系模型。(The present invention relates to a kind of without with reference to asymmetric distortion stereo image quality evaluation method, the following steps are included: first, differentiate that different binoculars combines behavior according to binocular vision characteristic, and construct corresponding one-eyed figure, rather than intends different binoculars using fixed one-eyed artwork and combine behavior.Then, monocular and binocular vision feature are extracted respectively on left and right view and one-eyed figure.In addition, being the depth information of accuracy amount stereo-picture, the present invention extracts the quality Perception Features for being able to reflect horizontal depth and longitudinal depth information on weighting disparity map and left and right drawings relativity figure.Finally, constructing the mapping relations model from stereo image quality Perception Features domain to mass fraction domain by training extreme learning machine (Extreme Learning Machine, ELM) algorithm.)

一种无参考非对称失真立体图像质量评价方法

技术领域

本发明属于立体图像质量评价技术领域，涉及一种无参考非对称失真立体图像质量评价方法。

背景技术

随着3D技术的发展，3D电影和电视越来越受全球关注。3D图像在获取、压缩、传输和存储的过程中，左右视图会受到不同程度和不同类型的失真，从而影响人眼的观看质量。而且，与2D图像相比，立体图像左右视图之间存在一定的视差，可以为人眼提供深度感知，从而给人们带来更真实的视觉体验，但是过大的视差也会给人眼造成不舒适的体验，同样会影响人眼对图像质量的判断。因此，为给人们带来良好的视觉体验，有必要构建一个与人眼主观评分一致的立体图像质量评价模型。

与传统2D视觉感知不同，3D图像的视觉感知高度依赖于左、右视图的质量。根据视觉心理学研究表明，人类视觉系统能够将左右眼获取的不同视图转换成单幅视图，但是在这个转换的过程中，并不是将左右眼刺激简单相加即可获得单幅视图，尤其是非对称失真图像。由于HVS系统复杂的双目视觉机制，目前的研究仍然无法全面地模拟双目视觉特性。

除了双目视觉特性以外，还需要考虑的另一个影响立体图像质量的重要因素就是深度信息。水平视差是为人眼提供深度信息的主要因素，但是过大的视差也会造成头晕目眩，不舒适感，影响人眼对图像质量的判断。目前立体图像质量评价面临的主要问题就是如何模拟复杂的双目视觉机制以及对深度质量的度量。

发明内容

有鉴于此，本发明的目的在于提供一种无参考非对称失真立体图像质量评价方法，为了更加全面的模拟HVS复杂的双目视觉特性，该方法基于双目视觉特性，构建不同的双目组合图，模拟三种双目组合行为：双目融合、双目竞争、双目抑制。另外，该方法通过提取立体图像的水平深度和纵向深度感知特征，解决了立体图像深度质量度量的问题。

为达到上述目的，本发明提供如下技术方案：

一种无参考非对称失真立体图像质量评价方法，基于双目视觉特性和深度感知质量度量，实现非对称失真立体图像质量度量。对于非对称失真图像来说，左右视图在HVS中并不是简单相加，即可汇聚成单幅视图。该方法首先基于双目视觉特性，使用结构相似度模型计算左右视图的结构相似度值S，并通过阈值设置，将立体图像对在HVS中的组合行为分为双目融合和双目竞争(双目抑制是双目竞争的一种特殊情况)。然后，计算左右视图的有用信息量，若差异较小，则判为双目竞争；若差异较大，则判为双目抑制，并选取信息量大的视图主导整个融合过程，因为有主观实验证明信息量大的视图更容易吸引人眼的注意力。最后，根据不同的双目行为构建相应的独眼图来模拟HVS的双目组合行为，而非使用固定独眼图模拟三种不同的双目行为。

进一步地，在左、右视图以及上述独眼图上提取能够表征图像失真的统计分布特征和纹理特征，作为单目和双目视觉特征，用于预测立体图像质量。

进一步地，根据人眼视觉注意机制，为像素点(i,j)处的视差值d(i,j)分配权重ω(i,j)，从而获得用于度量立体图像深度质量的加权视差图D_ω。并在该加权视差图上提取一些简单的统计特征，如：峰度k和偏斜度s，作为水平深度特征。

D_ω(i,j)＝ω(i,j)*d(i,j) (1)

k＝E[(D_ω-E(D_ω))⁴]/E[(D_ω-E(D_ω))²] (2)

s＝E[(D_ω-E(D_ω))³]/(E[(D_ω-E(D_ω))²])^3/2 (3)

进一步地，利用自相关函数按列计算左视图I_l与右视差补偿图I_dr，以及右视图I_r与左视差补偿图I_dl纵向信息变化的相关系数图，然后提取统计特征，表征由非对称失真导致的左右视图纵向不匹配信息对深度质量的影响。

I_dl(i,j)＝I_l((i,j)+d_l(i,j)) (4)

I_dr(i,j)＝I_r((i,j)+d_r(i,j)) (5)

其中，d_l(x,y)表示以左视图为主视图，基于SSIM算法从右视图中找其最大相似点，并计算两点之间的差值，d_r(x,y)表示以右视图为主视图，基于SSIM算法从左视图中找其最大相似点，并计算两点之间的差值。

最后，利用学习精度高且比传统的学习算法速度更快的极限学习机(ExtremeLearning Machine,ELM)进行训练，学习从特征域到质量分数域的映射关系模型。

本发明的有益效果在于：本发明提供的一种无参考非对称失真立体图像质量评价方法，充分考虑了双目视觉特性，对立体图像对在HVS中的组合方式进行判别，并构建不同的独眼图来模拟不同的双目组合行为。另外，从立体图像对中提取水平深度和纵向深度特征，从而实现立体图像的深度质量度量。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1基于双目视觉特性和深度感知的立体图像质量评价模型总流程图；

图2一种无参考非对称失真立体图像质量评价方法的整体框图。

具体实施方式

下面将结合附图，对本发明的实施方式进行详细的描述。

本发明提供的一种无参考非对称失真立体图像评价方法，主要分为四部分，第一部分是对双目视觉特性进行统计分析，判别立体图像对在HVS中的组合方式，并设计相应的独眼图；第二部分是在左、右单幅视图以及相应独眼图上提取单目和双目视觉特征；第三部分是水平和纵向深度特征提取；第四部分是构建从特征域到质量分数域的立体图像质量预测模型。

本发明提供的一种无参考非对称失真立体图像评价方法的总流程图如图1所示，具体包括以下步骤：

1.双目组合行为的判定和模拟

1)基于双目视觉特性，使用结构相似度模型计算左右视图的结构相似度值S，并通过阈值设置，将立体图像对在HVS中的组合行为分为双目融合和双目竞争(双目抑制是双目竞争的一种特殊情况)。

2)计算左右视图的有用信息量，若差异较小，则判为双目竞争；若差异较大，则判为双目抑制，并选取信息量大的视图主导整个融合过程，因为有主观实验证明信息量大的视图更容易吸引人眼的注意力。

3)根据不同的双目行为构建相应的独眼图来模拟HVS的双目组合行为，而非使用固定独眼图模拟三种不同的双目行为。

2.单目和双目特征提取

在左、右视图以及上述独眼图上提取能够表征图像失真的统计分布特征和纹理特征，作为单目和双目视觉特征，用于预测立体图像质量。

3.深度特征提取

1)根据人眼视觉注意机制，为像素点(i,j)处的视差值d(i,j)分配权重ω(i,j)，对于人眼关注较大的区域，分配较大的权值，从而获得用于度量立体图像深度质量的加权视差图D_ω。并在该加权视差图上提取一些简单的统计特征，如：峰度k和偏斜度s，作为水平深度特征。

D_ω(i,j)＝ω(i,j)*d(i,j) (1)

k＝E[(D_ω-E(D_ω))⁴]/E[(D_ω-E(D_ω))²] (2)

s＝E[(D_ω-E(D_ω))³]/(E](D_ω-E(D_ω))²])^3/2 (3)

2)利用自相关函数按列计算左视图I_l与右视差补偿图I_dr，以及右视图I_r与左视差补偿

图I_dl纵向信息变化的相关系数图，然后提取统计特征，表征由非对称失真导致的左

右视图纵向不匹配信息对深度质量的影响。

I_dl(i,j)＝I_l((i,j)+d_l(i,j)) (4)

I_dr(i,j)＝I_r((i,j)+d_r(i,j)) (5)

其中，d_l(x,y)表示以左视图为主视图，基于SSIM算法从右视图中找其最大相似点，并计算两点之间的差值，d_r(x,y)表示以右视图为主视图，基于SSIM算法从左视图中找其最大相似点，并计算两点之间的差值。

4.立体图像质量评价模型的构建

利用极限学习机(Extreme Learning Machine,ELM)进行训练，学习从特征域到质量分数域的映射关系模型。ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。

图2为本发明所提出的一种无参考非对称失真立体图像评价方法的整体框图，主要包括训练阶段和测试阶段。

1)训练阶段

训练阶段主要包括特征提取和立体图像质量评价模型的构建。特征主要从左右单幅视图和合成独眼图上提取能够反映图像内容质量失真的双目和单目视觉特征，以及加权视差图和左右视图相关系数图上提取能够反映立体图像深度信息的质量感知特征，构建训练特征集，然后输入到ELM中训练，得到最终的质量预测模型。

2)测试阶段

在待测图像上提取上述相同的特征，然后输入到训练好的质量预测模型中，从而得到待测图像的预测质量得分。