阅读说明：本技术 基于稀疏双目融合卷积神经网络的立体图像质量评价方法 (Stereo image quality evaluation method based on sparse binocular fusion convolutional neural network ) 是由 李素梅 韩旭 于 2019-06-27 设计创作，主要内容包括：本发明公开了一种基于稀疏双目融合卷积神经网络的立体图像质量评价方法,包括如下步骤：S1、构建基于双目融合卷积神经网络的立体图像质量评价网络,网络包含左右分支和融合分支；S2、在双目融合卷积神经网络的每一层施加结构化稀疏约束,网络优化的目标函数如公式(1)所示：<Image he="59" wi="700" file="DDA0002110337300000011.GIF" imgContent="drawing" imgFormat="GIF" orientation="portrait" inline="no"></Image>本专利的立体图像质量评价方法更加准确高效,更贴合人眼感知质量,运算速度更快,在一定程度上推动立体成像技术的发展。(The invention discloses a stereo image quality evaluation method based on a sparse binocular fusion convolutional neural network, which comprises the following steps of: s1, constructing a stereo image quality evaluation network based on a binocular fusion convolutional neural network, wherein the network comprises a left branch, a right branch and a fusion branch; s2, applying a structured sparse constraint on each layer of the binocular fusion convolutional neural network, wherein an objective function of network optimization is shown as a formula (1): the stereo image quality evaluation method is more accurate and efficient, more fits human eye perception quality, has higher operation speed, and is suitable for certain conditionsAnd promotes the development of the stereo imaging technology to a certain extent.)

基于稀疏双目融合卷积神经网络的立体图像质量评价方法

技术领域

本发明属于图像处理领域，涉及到立体图像质量评价方法的改进优化，以及立体图像质 量评价卷积神经网络的计算速度的优化，尤其涉及一种基于稀疏双目融合卷积神经网络的立 体图像质量评价方法。

背景技术

由于观看降质的立体图像会造成视觉疲劳和晕眩，立体图像质量评价成为了亟待解决的 事情[1]。立体图像质量评价要考虑深度信息、视差信息和双目竞争等因素，相比平面图像质 量评价，立体图像质量评价更具有挑战性。通常立体图像质量评价可分为主观和客观评价两 种方法。然而主观评价方法费事费力，因此立体图像客观质量评价成为一个研究的热点问题 [2]。

一般来说，立体图像质量客观评价可以分为传统的基于特征提取的方法[3-4]、基于稀疏 表示的方法[5-9]和基于深度学习的方法[10-13]。稀疏表示模拟了人类视觉系统的感知机制， 它可以将图像中大部分像素表示为零，去除冗余信息。因此，一些人使用基于稀疏表示的方 法来评价立体图像的质量。例如，文献[5]对立体图像的左视图和右视图的结构和纹理特征进 行了稀疏表示，分别计算了左视图和右视图的稀疏特征相似性指标，并将它们结合起来得到 最终的质量分数。文献[6]联合稀疏表示DOG、HOG和LBP特征，并使用支持向量回归得到 立体图像的质量分数。在[7]中，Lin等人将融合图像幅度图和融合图像相位图进行稀疏表示， 并采用支持向量机回归。M等人稀疏表示了融合图像对比度图和融合图像相位图，并采用支 持向量机回归得到立体图像质量分数[8]。在文献[9]中，Yang等人提出了一种基于学习梯度字 典的彩色视觉特征的无参考立体图像质量评价方法。并将特征输入到训练后的支持向量机模 型中，进行质量分数的预测。由于深度学习网络模拟了大脑分层处理图像的过程，近年来， 许多人使用深度学习模型来评价立体图像的质量。例如，文献[10]提取了立体图像的自然场 景统计特征，并采用得到的特征对DBN进行训练，得到立体图像质量分数。在文献[11]中， Ding等人提出了一种基于卷积神经网络(CNN)的无参考立体图像质量评价方法。将CNN 网络提取的特征和视差特征通过支持向量机回归，得到立体图像的客观质量分数。在文献[12] 中，LV等人提出了一种基于双目自相似度和深度神经网络(DNN)的立体图像质量评价方 法。在文献[13]中，Sang等人通过主成分分析(PCA)融合了立体图像的左右视图。然后采 用融合图像训练CNN网络，得到立体图像质量分数。

上述文献中，基于稀疏表示方法可以找到图像的关键信息，但需要通过手工提取特征。 如在文献[5]中，提取了结构和纹理特征。文献[6]中，手动提取了DOG、HOG和LBP特征。 在文献[7-8]中提取了融合图像幅度和融合图像相位特征。文献[9]提取了梯度特征。基于深度 学习的方法可以通过网络自身学习到综合特征，这使得提取的特征更加全面、合适。但深度 学习网络通常计算复杂度高，同时网络对存储空间的要求大。由于神经网络具有高度的非凸 性，在网络训练中，过度参数化和随机初始化是克服局部最小值的负面影响的必要手段[14]。 也就是说，深度学习网络具有很高的冗余潜力。因此，一些人利用稀疏正则化来压缩DNN。 例如，在文献[14]中，Liu等人提出了一种采用稀疏分解的稀疏卷积神经网络。这种稀疏卷积 神经网络可以使90％以上的参数归零，并且在ILSVRC2012数据集的准确率下降小于1％。 在文献[15]中，Wen等人提出了一种结构化稀疏的学习(structuredsparsity learning SSL)的方 法来正则化DNN。并且SSL可以获得一个硬件友好的结构化稀疏的DNN，从而有效地加速 DNN的运算速度。但几乎没有人将SSL应用在立体图像质量评价的深度学习网络中。在文献 [15]的启发下，我们提出了一种稀疏的双目融合卷积神经网络来评价立体图像的质量，CNN 网络的利用避免了稀疏表示法中的手工特征提取，将SSL应用于卷积神经网络，减少了网络 的计算量，加快了网络的运算速度。

如何处理立体图像左右视点之间的关系是立体图像质量评价的关键，针对左右视点的处 理方式，上述文献大致可分为两类。文献[5-6][10-12]首先对左右视点分别进行了处理，然后 考虑双目融合和双目竞争机制将两个视点的特征进行融合。文献[7-9][13]首先将左右两个视 点融合成融合图像，然后对融合图像进行处理。事实上，在人类视觉皮层中，左视图和右视 图的融合是一个长期的过程，融合和处理同时发生，左右两个视图被分层的处理和融合[16]。 因此，我们采用双目融合卷积神经网络，将两个视图通过四次concat进行四次融合，模拟视 觉皮层的长期融合与信息的处理。

发明内容

为了解决现有技术问题，本发明提出一种稀疏的双目融合卷积神经网络进行立体图像质 量评价；采用卷积神经网络进行立体图像质量评价，避免了手动的特征提取。采用结构化稀 疏正则化约束卷积神经网络，降低网络的计算复杂度，加快了网络计算速度，提高了网络性 能；考虑到人眼的双目融合和双目竞争机制，模拟视觉皮层的长期融合过程，立体图像的左 右两个视点通过四次concat进行四次融合，同时进行信息的处理；本专利的立体图像质量评 价方法更加准确高效，更贴合人眼感知质量，运算速度更快，在一定程度上推动立体成像技 术的发展。

解决现有技术存在的问题，本发明采用如下技术方案予以实施：

1、一种基于稀疏双目融合卷积神经网络的立体图像质量评价方法，其特征在于，包括 如下步骤：

S1、构建基于双目融合卷积神经网络的立体图像质量评价网络，网络包含左右分支和融 合分支；

S2、在双目融合卷积神经网络的每一层施加结构化稀疏约束，网络优化的目标函数如公 式(1)所示：

其中，W代表网络中所有的权重；E_D(W)为网络的损失函数；R(W)为应用在所有权重上 的非结构化正则约束；R_g(W^(l))为应用在每一层上的结构化稀疏正则化约束。

2、根据权利要求1所述的一种基于稀疏双目融合卷积神经网络的立体图像质量评价方 法，其特征在于，所述S1中通过神经网络中左右视图构建左右分支步骤；

2.1、分别将左右分支进行划分第一卷积层和第一池化层、第二卷积层和第二池化层、第 三卷积层、第四卷积层；

2.2、左右分支中第一卷积层进行结构稀疏约束后输入第一池化层；

2.3、第一池化层输出端与第二卷积层连接，将第二卷积层进行结构稀疏约束后输入第二 池化层；

2.4、第二池化层输出端与第三卷积层连接，将第三卷积层进行结构稀疏约束后输入第四 卷积层；所述第四卷积层输出端连接融合分支进行融合处理。

3、根据权利要求1所述的一种基于稀疏双目融合卷积神经网络的立体图像质量评价方 法，其特征在于，所述S1中通过神经网络中左右视图构建融合分支步骤；

3.1、融合分支划分为第一池化层和第一卷积层、第二池化层和第二卷积层、第三卷积层、 第四卷积层和第三池化层、三层全连接层，共进行四次融合操作；

3.2、来自左右分支结构稀疏约束后的第一卷积层的特征图通过‘concat’操作进行第一次融 合操作，将融合后的特征图输入到融合分支第一池化层，然后送入融合分支第一卷积层进行 信息处理，同时对融合分支第一卷积层进行结构化稀疏约束；

3.3、来自左右分支结构稀疏约束后的第二卷积层的特征图与融合分支经第一次融合后的 第一卷积层的特征图通过‘concat’操作进行第二次融合操作，将融合后的特征图输入到融合分 支第二池化层，然后送入融合分支第二卷积层进行信息处理，同时对融合分支第二卷积层进 行结构化稀疏约束；

3.4、来自左右分支结构稀疏约束后的第三卷积层的特征图与融合分支经第二次融合后的 第二卷积层的特征图通过‘concat’操作进行第三次融合操作，将融合后的特征图输入到融合分 支第三卷积层进行信息处理，同时对融合分支第三卷积层进行结构化稀疏约束；

3.5、来自左右分支结构稀疏约束后的第四卷积层的特征图与融合分支经第三次融合后的 第三卷积层的特征图通过‘concat’操作进行第四次融合操作，将融合后的特征图输入到融合分 支第四卷积层进行信息处理，同时对融合分支第四卷积层进行结构化稀疏约束；将融合后的 第四卷积层送入第三池化层，然后将输出特征图送入三层全连接层进行立体图像质量的判断。

有益效果

本专利采用结构化稀疏学习SSL来优化所采用的卷积神经网络，使网络的权重结构化的 稀疏，降低网络的计算复杂度，加快网络的运算速度，提升网络的评价性能，为实时的立体 图像质量评价提供可能性。实验结果表明网络能够在性能有所提升的情况下达到超过2×的计 算速度提升。采用卷积神经网络中的四次融合模拟人脑中的长期的双目融合过程，理论上和 实验上都表明本发明所提出的模型适用于对称和非对称失真立体图像。

附图说明

图1是本发明基于稀疏双目融合卷积神经网络结构图。

图2(a)在LIVE I上每层卷积层的列稀疏度(column sparsity)和网络整体加速的关系(b)

在LIVE I上每层卷积层的行稀疏度(row parsity)和网络整体加速的关系

具体实施方式

本发明采用公开的立体图像库LIVE 3D Phase I和LIVE 3D Phase II进行实验。LIVE 3D Phase I图像库包含20张原始立体图像对和365张对称失真立体图像对，失真类型包含JPEG 压缩、JPEG 2000压缩、高斯模糊Gblur、高斯白噪声WN和快衰退FF，DMOS值分布在-10 到60。LIVE 3D Phase II图像库包含8张原始立体图像对和360张对称失真和非对称失真的 立体图像对，其中120对为对称失真立体图像，240对为非对称失真立体图像，失真类型包 含JPEG压缩、JPEG 2000压缩、高斯模糊Gblur、高斯白噪声WN和快衰退FF，DMOS 值分布在0到100。

下面结合技术方案详细说明本方法：

本发明质量评价方法模拟人脑处理立体图像的流程，采用卷积神经网络的四次concat模 拟左右视点的长期融合与处理，使网络适用于对称和非对称失真立体图像。将SSL应用在网 络每一卷积层，结构化稀疏约束网络滤波器个数和滤波器形状，降低网络计算复杂度，加快 网络运算速度，提升网络评价性能。

具体步骤如下：

1结构化稀疏学习SSL实施方式

采用

表示第l(1≤l≤L)个卷积层中的所有权重，其中N_l,C_l,M_l和K_l代表第l个卷积层滤波器数量、通道数、滤波器的高度和宽度。L代表网络中卷积层的层数。 带有结构化稀疏约束的卷积神经网络的目标函数可以表示为公式(1)

其中，W代表网络中所有的权重。E_D(W)为网络的损失函数。R(W)为应用在所有权重上 的非结构化正则约束，本申请中使用l₂范数。R_g(W^(l))为应用在每一层上的结构化稀疏正则化 约束。SSL中采用Group Lasso来实现结构化稀疏，Group Lasso正则化能使某些分组为零。 应用在权重w上的Group Lasso可以表示为

其中G表示分组的组数， w^(g)为w中的第g组权重。其中|w^(g)|是分组w^(g)中的权重数量。

在SSL方法中w^(g)的分组方式可以分为按滤波器分组，按通道分组，按滤波器的形状分 组和按网络的层数分组即filter-wise,channel-wise,filter shape-wise和depth-wise，表示为

W^(l)(1≤n_l≤N_l,1≤c_l≤C_l,1≤m_l≤M_l,1≤k_l≤K_l)。其中 n_l,c_l,m_l,k_l是第l层的第n_l个滤波器，第l层的第c_l个通道，滤波器的第m_l行和滤波器的第k_l列。本申请中我们采用filter-wise和filter shape-wise来惩罚每一个卷积层中不重要的滤波器 并且学习任意形状的滤波器。在caffe中，每一层的所有滤波器被变形成为一个矩阵，矩阵的 每一行是一个滤波器

矩阵的列数是滤波器的个数。因此本申请中结合filter-wise和 shape-wise稀疏规则化，通过将权重矩阵的行或列变为零来直接的降低权重矩阵的维度。SSL 中filter-wise和shape-wise可以叫做row-wise和column-wise。在加入row-wise和 column-wise稀疏规则化后，网络的目标函数可以表示为公式(2)。其中λ,λ_n和λ_s是l₂范数、 row-wise和column-wise的惩罚系数。

2双目融合卷积神经网络的构建

本申请采用的双目融合卷积神经网络如图1所示。双目融合网络模仿人脑立体视觉处理 机制，将左右视点进行长期的融合。融合网络分为三部分：左分支、右分支和融合分支。左 分支和右分支中都有四个卷积层和两个池层。融合分支包含四个卷积层、三个池化层和三个 全连接层。网络滤波器尺寸和滤波器个数如图1所示。为了模拟视觉皮层中左右视图的长期 融合和处理，两个视点通过网络中的四次concat(如图1中的①②③④)融合四次，同时通 过卷积操作实现信息的处理。实现了图像的边融合边处理，模拟了人眼的视觉机制。考虑到 双目组合和双目竞争机制，需要给左右视图分配不同的权重，得到最终的融合图像[17]。本 申请中通过融合网络自主学习得到左右视图的权重。同时在每个卷积层上使用SSL对滤波器 和滤波器形状进行结构化稀疏约束。

双目融合网络中的卷积操作被定义为公式(3)。

F_l＝RELU(W_l*F_{lth_input}+B_l) (3)

其中，W_l与B_l分别代表第l层卷积层的权重与偏执。F_l代表第l层卷积层输出的特征图， F_{lth_input}代表第l层卷积层的输入。RELU为激活函数，*代表卷积操作。

双目融合网络中的所有池化层都为最大池化。在利用反向传播算法训练网络时，通过最 小化损失函数来学习卷积层、池化层与全连接层的参数。损失函数使用欧几里得函数，如公 式(4)所示。

其中，Y_i与y_i分别代表样本i的期望输出与真实输出。n代表批处理的大小。

3立体图像质量评价结果与分析

本专利的实验在公开的LIVE 3D Phase I和LIVE 3D Phase II上进行。LIVE 3DPhase I和 LIVE 3D Phase II均包含了5种失真类型，JPEG压缩、JPEG 2000压缩、高斯模糊Gblur、高 斯白噪声WN和快衰退FF。LIVE 3D Phase I图像库包含20张原始立体图像对和365张对 称失真立体图像对。LIVE 3D Phase II图像库包含8张原始立体图像对和360张对称失真和 非对称失真的立体图像对，其中120对为对称失真，240对为非对称失真。本专利采用Pearson 相关系数(PLCC)和Spearman等级相关系数(SROCC)作为主客观评价结果一致性的度量 方法。PLCC和SROCC越接近于1，评价效果越好。

在表1中，我们将所提出的方法与八种立体图像质量评价方法进行了比较。将最好的结 果突出显示为粗体。其中，论文[6-9]是基于稀疏表示的方法，论文[10-13]是基于深度学***面图像进行处理；我们的方法对两个视点采用长期的融合，边融 合边处理。从表1可以看出，本专利的网络评价效果大大优于其他方法。只有PLCC在LIVE II上略低于M[8]。然而，但SROCC和RMSE在LIVE II上均超过了M[8]。我们的PLCC和 SROCC在LIVE I上均超过了0.96，在LIVEI II上均超过了0.95。我们的方法比稀疏表示法 和深度学习法都具有更好的性能。同时无论是先融合后处理的方法还是先处理后融合的方法， 我们的稀疏融合网络都超越了它们。本专利的网络在对称和非对称失真立体图像上都有很好 的处理效果。

为了证明SSL对所提出的网络的影响，我们对在不同结构化稀疏强度下的网络进行了比 较。net0(baseline)是不使用结构化稀疏正则化的网络。图2显示了在LIVE I上行稀疏度、 列稀疏度和网络加速之间的关系，在LIVE II上稀疏度和网络加速的关系和LIVEI具有相同 的趋势。我们将基准网络net0的加速设置为1，net1、net2(proposed method)和net3上的稀 疏度逐渐增大。我们可以看到，网络越稀疏，网络加速越大。在表2中，我们比较了在不同 结构化稀疏强度的网络性能。当稀疏度较低时，如net1。由于

网络的稀疏性，速度略有加快，性能略有下降。在net3中，当稀疏度较高时，性能下降 的幅度大于net1。但net3的加速比net1要大很多。当稀疏度合适时，性能反而有所改善，如 net2(proposedmethod)。这可能是由于网络中不重要的冗余权重被约束为0，也就是说，结构 稀疏正则化有助于提高网络性能。此外，我们提出的方法的速度也有很大的提升。在LIVE I 上加速为2.0倍，在LIVE II上加速为2.3倍。当行稀疏度和列稀疏度较高时(如net3)，网 络评价效果仅降低了0.01左右，但网络有3倍左右的加速，同时net3的评价效果仍然高于大 多数方法。

应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可 以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以 所附权利要求为准。

参考文献

[1]L.Xing,J.You,T.Ebrahimi and A.Perkis,"Assessment of StereoscopicCrosstalk Perception,"in IEEE Transactions on Multimedia,vol.14,no.2,pp.326-337,April 2012.

[2]M.Chen,L.K.Cormack and A.C.Bovik,"No-Reference Quality Assessmentof Natural Stereopairs,"in IEEE Transactions on Image Processing,vol.22,no.9,pp. 3379-3391,Sept.2013.

[3]Xu,Xiaogang,Y.Zhao,and Y.Ding,“No-reference stereoscopic imagequality assessment based on saliency-guided binocular feature consolidation,”Electronics Letters vol.53,no.22,pp.1468-1470,2017.

[4]J.Ma,P.An,L.Shen and K.Li,"Reduced-Reference Stereoscopic ImageQuality Assessment Using Natural Scene Statistics and StructuralDegradation,"in IEEE Access,vol.6,pp.2768-2780,2018.

[5]K.Li,F.Shao,G.Jiang and M.Yu,"Joint structure–texture sparsecoding for quality prediction of stereoscopic images,"in Electronics Letters,vol.51,no. 24,pp.1994-1995,19 11 2015.

[6]F.Shao,K.Li,W.Lin,G.Jiang and Q.Dai,"Learning Blind QualityEvaluator for Stereoscopic Images Using Joint Sparse Representation,"in IEEETransactions on Multimedia,vol.18,no.10,pp.2104-2114,Oct.2016.

[7]Y.Lin,J.Yang,W.Lu,Q.Meng,Z.Lv and H.Song,"Quality Index forStereoscopic Images by Jointly Evaluating Cyclopean Amplitude and CyclopeanPhase,"in IEEE Journal of Selected Topics in Signal Processing,vol.11,no.1,pp.89-101,Feb. 2017.

[8]M.Karimi,M.Nejati,S.M.R.Soroushmehr,S.Samavi,N.Karimi andK.Najarian, "Blind Stereo Quality Assessment Based on Learned Features FromBinocular Combined Images,"in IEEE Transactions on Multimedia,vol.19,no.11,pp.2475-2489,Nov. 2017.

[9]J.Yang,P.An,J.Ma,K.Li and L.Shen,"No-reference stereo imagequality assessment by learning gradient dictionary-based color visualcharacteristics," 2018 IEEE International Symposium on Circuits and Systems(ISCAS),Florence,2018, pp.1-5.

[10]J.Yang,B.Jiang,H.Song,X.Yang,W.Lu and H.Liu,"No-ReferenceStereoimage Quality Assessment for Multimedia Analysis Towards Internet-of-Things,"in IEEE Access,vol.6,pp.7631-7640,2018.

[11]Y.Ding et al.,"No-Reference Stereoscopic Image Quality AssessmentUsing Convolutional Neural Network for Adaptive Feature Extraction,"in IEEEAccess, vol.6,pp.37595-37603,2018.

[12]Lv Y,Yu M,Jiang G et al.,“No-reference Stereoscopic Image QualityAssessment Using Binocular Self-similarity and Deep Neural Network,”SignalProcessing:Image Communication,vol.47,pp.346-357,2016.

[13]Q.Sang,T.Gu,C.Li and X.Wu,"Stereoscopic image quality assessmentvia convolutional neural networks,"2017 International Smart Cities Conference(ISC2), Wuxi,2017,pp.1-2.

[14]Baoyuan Liu,Min Wang,H.Foroosh,M.Tappen and M.Penksy,"SparseConvolutional Neural Networks,"2015 IEEE Conference on Computer Vision andPattern Recognition(CVPR),Boston,MA,2015,pp.806-814.

[15]Wen,Wei&Wu,Chunpeng&Wang,Yandan&Chen,Yiran&Li,Hai.(2016).LearningStructured Sparsity in Deep Neural Networks.

[16]Hubel D H,Wiesel T N,“Receptive fields of single neurones in thecat\"s striate cortex,”The Journal of Physiology,vol.148,no.3,pp.574-591,1959.