具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1A示出了本发明实施例一提供的立体图像的视觉显著性检测方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，通过预设的空间显著性检测网络对输入的立体图像的左、右视图分别进行空间显著性预测，得到立体图像的空间显著性图。

本发明实施例适用于对立体图像的视觉显著性进行检测的设备，以预测3D 自然场景中用户所关注的位置，生成对应的显著性图，该设备可以包括电脑、 3D显示器、手机、平板、VR、AR等。图1B为立体图像的显著性检测网络的一结构示例图，该立体图像的显著性检测网络包括空间显著性检测网络和深度显著性检测网络，本方法基于该立体图像的显著性检测网络实现。

在本发明实施例中，对于立体图像的每个视图，在进行空间显著性预测时，优选地，提取目标视图的粗尺度特征和细尺度特征，将粗尺度特征和细尺度特征级联，得到多尺度空间显著性特征，将多尺度空间显著性特征转换为空间特征向量，通过空间特征向量学习每个通道的特征权重，基于特征权重对多尺度空间显著性特征的每个通道进行加权计算，得到加权结果图，对加权结果图进行缩放处理，得到目标视图的空间显著性图，从而通过该空间显著性检测网络挖掘出立体图像中吸引人类注意力的情感内容。其中，该目标视图为立体图像的左视图或右视图。

以立体图像的左视图为例进行说明，空间显著性检测网络的结构可如图1B 中所示，该空间显著性检测网络采用VGG-16网络作为空间信息提取的主干，前两个编码分支提取了左视图的粗尺度特征f_c和细尺度特征f_f，将粗尺度特征 f_c和细尺度特征f_f级联，得到多尺度空间显著性特征f_cf，经过池化、平铺操作以及全连接层的计算，多尺度空间显著性特征f_cf转换为空间特征向量，该空间特征向量根据多尺度空间显著性特征f_cf的空间位置和语义信息学习每个通道的特征权重，之后，利用学习到的特征权重对得到的多尺度空间显著性特征f_cf的每个通道进行加权运算，以突出显著引起观察者情绪波动的区域，最后，将加权结果图缩放到原始尺寸，生成左视图的空间显著性图。

右视图的空间显著性图的生成方式参考左视图的空间显著性图生成方式，在此不作赘述。

进一步优选地，空间显著性检测网络的损失函数为：

L_spatial＝(P_I-G_I)²,I∈{L,R}

其中，L_spatial为空间显著性检测网络的损失值，I为L或R，L表示左视图， R表示右视图，P_I为预测出的空间显著性图，G_I为真实的人类视点图。

在步骤S102中，通过预设的深度显著性检测网络对输入的立体图像进行深度显著性预测，得到立体图像的深度显著性图。

在本发明实施例中，与显著性相关的深度先验对预测注视点有重要作用，例如，物体离人眼越近，越容易引起人们的注意。因此，在通过预设的深度显著性检测网络对输入的立体图像进行深度显著性预测时，优选地，提取立体图像的左视图特征和右视图特征，对左视图特征和右视图特征进行相关性分析，得到相关特征，将相关特征和目标视图特征级联，得到具有隐式深度信息的显著性特征，将具有隐式深度信息的显著性特征输入预设的编码器-解码器网络，得到深度显著性图，从而通过左右视图之间的关系，以及所获得的潜在深度信息来推断深度显著性图。其中，该目标视图特征为降维后的左视图特征图或右视图特征图。

优选地，相关性分析的计算公式为：

其中，C(p_L,p_R)表示水平距离相关性，p_L、p_R分别为f_L、f_R中的图像块中心点，图像块大小为2t+1，x是遍历整个图像块的坐标，<f_L(p_L+x),f_R(p_R+x)>表示f_L(p_L+x)与f_R(p_R+x)的相关分析计算。

以降维后的左视图特征作为目标视图特征为例，深度显著性检测网络的结构可如图1B中所示，具体地，可采用两个特征提取流来提取左视图的特征f_L(左视图特征)和右视图的特征f_R(右视图特征)，之后将获得的左视图特征f_L和右视图特征f_R输入到一个相关层Corr中，得到相关特征f_C，该相关层可用于探索左右视图之间的相关性，例如，水平距离相关性，在得到相关特征f_C之后，为了得到具有隐式深度信息的显著性特征f_D，将相关特征f_C与降维后的左视图特征f_L'级联，得到具有隐式深度信息的显著性特征f_D，最后，将得到的显著性特征f_D送入编码器-解码器网络，根据深度信息生成深度显著性图P_D。

优选地，深度显著性检测网络的损失函数为：

其中，L_depth为深度显著性检测网络的损失值，N为像素的个数，P_D(p)为预测出的深度显著性图，G_I(p)为真实的人类视点图。

在步骤S103中，将空间显著性图和深度显著性图进行融合处理，得到立体图像的显著性密度图。

在本发明实施例中，在将空间显著性图和深度显著性图进行融合处理时，优选地，将空间显著性图和深度显著性图进行不确定性权重融合处理，以提高融合效果。

具体地，对于显著性图P_k(k∈{I,D}，I∈{L,R})中的每一个像素x，像素x 为显著的概率可定义为：

其中，f_k(x)为P_k中像素x为显著的概率，c_k(x)为像素的连通性，β和γ均为常数，L表示左视图，R表示右视图。优选地，β＝93.30，γ＝2.8844，以根据实际实验数据对β和γ进行设置。

对于空间显著性图P_i和深度显著性图P_D，通过以下融合规则，计算出最终的显著性密度图：

其中，S_I(x)表示显著性密度图中当前像素x的显著性值，P_I(x)表示空间显著性图中当前像素x的空间显著性值，P_D(x)表示深度显著性图中当前像素x的深度显著性值，U_I(x)表示所述空间显著性图中当前像素x为显著的不确定度， U_D(x)表示所述深度显著性图中当前像素x为显著的不确定度，L表示左视图， R表示右视图，当前像素x为显著的不确定度U_k(x)为f_k(x)的交叉熵。具体地，若I为L，则P_I(x)具体表示左视图的空间显著性图中当前像素x的空间显著性值，若I为R，则P_I(x)具体表示右视图的空间显著性图中当前像素x的空间显著性值。

在本发明实施例中，通过预设的空间显著性检测网络对输入的立体图像的左、右视图分别进行空间显著性预测，得到立体图像的空间显著性图，通过预设的深度显著性检测网络对输入的立体图像进行深度显著性预测，得到立体图像的深度显著性图，将空间显著性图和深度显著性图进行融合处理，得到立体图像的显著性密度图，从而在左右视图之间的空间和视差关系的驱动下，生成立体图像的显著性分布，提高了立体图像的显著性检测的准确性。

实施例二：

图2示出了本发明实施例二提供的立体缩略图生成方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S201中，通过预设的空间显著性检测网络对输入的立体图像的左、右视图分别进行空间显著性预测，得到立体图像的空间显著性图。

在步骤S202中，通过预设的深度显著性检测网络对输入的立体图像进行深度显著性预测，得到立体图像的深度显著性图。

在步骤S203中，将空间显著性图和深度显著性图进行融合处理，得到立体图像的显著性密度图。

在本发明实施例中，步骤S201-S203的具体实现方式可参考实施例一的相关描述，在此不作赘述。

在步骤S204中，对显著性密度图进行优化处理，生成具有一致性特征的显著性对象图。

在本发明实施例中，考虑到立体图像的左、右视图的显著性密度图是独立估计的，因此左、右视图中的显著性区域和非显著性区域可能会因为两种视图的微小差异而不太一致。因此，需要对显著性密度图进行优化处理，生成具有一致性特征的显著性对象图。在对显著性密度图进行优化处理时，具体地，可以将相似的显著性值赋给同质物体内部的区域，将较大的显著性值赋给远离背景的区域，过优化的显著性对象图确保了左右视图的一致性。考虑到后面的裁剪操作使用的是显著性对象图，在对显著性密度图进行优化处理之后，对立体图像进行裁剪之前，优选地，对显著性对象图进行膨胀操作，以使显著性对象图与裁剪窗口保持一定距离。

在步骤S205中，基于显著性对象图的引导，对立体图像进行裁剪和翘曲，得到立体图像的立体缩略图。

在本发明实施例中，可以获取显著性对象图中包含显著性区域的最大矩形区域，根据该最大矩形区域对立体图像进行裁剪和翘曲，得到立体图像的立体缩略图。优选地，基于显著性对象图的引导，使用预设的缩略图裁剪算子对立体图像进行裁剪，得到立体裁剪图，判断立体裁剪图是否满足目标长宽比，若满足，则将立体裁剪图设置为立体缩略图，若不满足，则使用基于能量最小化的翘曲算子对立体裁剪图进行翘曲操作，得到立体缩略图，从而在保持立体图像的重要区域不严重变形以及左右图的视差分布不变的情况下，在长度或宽度上进行缩放，获得具有目标长宽比的立体缩略图，实现了自适应生成任意长宽比的立体缩略图，并提高了立体缩略图生成的准确性。

其中，缩略图裁剪算子用于保持显著目标的结构和左右视图的视差分布，并去除冗余区域，该裁剪过程完全受显著对象图的引导。给定分辨率为L×W (长×宽)的原始的立体图像以及目标长宽比r，优选地，将目标长宽比与立体图像的原始长宽比进行比较，根据比较结果确定裁剪方向，具体地，若目标长宽比大于原始长宽比，即r>L/W，则沿垂直方向裁剪，若目标长宽比小于原始长宽比，即r<L/W，则沿水平方向裁剪。

在进行裁剪时，优选地，若沿垂直方向裁剪，则将当前裁剪窗口的上边界从原始的立体图像的上边沿向下边沿滑动，直至上边界当前所在行的行显著性值大于预设的行显著性阈值，将裁剪窗口的下边界从原始的立体图像的下边沿开始向上边沿滑动，直至下边界当前所在行的行显著性值大于预设的行显著性阈值，以实现缩略图的裁剪。为保证立体裁剪图像的宽度不小于目标宽度，并保持显著区域中心为裁剪后图像的中心，进一步优选地，判断当前裁剪窗口的宽度是否小于目标宽度，若小于，则将当前裁剪窗口的上、下边界同步沿原路径返回，直至当前裁剪窗口的宽度等于目标宽度。

又一优选地，若沿水平方向裁剪，则将当前裁剪窗口的左边界从原始的立体图像的左边沿向右边沿滑动，直至左边界当前所在列的列显著性值大于预设的列显著性阈值，将当前裁剪窗口的右边界从原始的立体图像的右边沿开始向左边滑动，直至右边界当前所在列的列显著性值大于预设的列显著性阈值，以实现缩略图的裁剪。为保证立体裁剪图像的宽度不小于目标长度，并保持显著区域中心为裁剪后图像的中心，进一步优选地，判断当前裁剪窗口的长度是否小于目标长度，若小于，则将当前裁剪窗口的左、右边界同步沿原路径返回，直至当前裁剪窗口的长度等于目标长度。

优选地，行显著性阈值和列显著性阈值满足以下条件：

其中，R表示行，C表示列，T_m表示行显著性阈值或列显著性阈值，λ_m为行参数或列参数，表示显著性对象图的最大行显著性值或最大列显著性值。

对于垂直方向裁剪和水平方向裁剪，优选地，行参数λ_R为0.05，列参数λ_C为0.2，以通过实际试验数据提高裁剪效果。

基于能量最小化的翘曲算子的目的是实现自适应图像翘曲，输出立体缩略图。具体地，立体裁剪图像{C_L,C_R}被分为了一个个规则的网格单元，翘曲的过程是根据图像的重要性缩放图像，例如，不太重要的网格会被挤压得更多，基于能量最小化的翘曲算子通过最小化能量函数优化翘曲操作。优选地，能量函数为：

φ＝φ_q+φ_b+φ_a+φ_d

其中，φ表示总能量，φ_q表示网格变形能量项，用于根据显著性值控制网格的变形程度，φ_b表示网格线弯曲度能量项，用于降低网格线的弯曲度，φ_a表示特征一致性能量项，用于使左、右视图对应的特征点对垂直对齐，φ_d表示视差一致性能量项，用于使立体缩略图的视差与原始的立体图像保持一致。

网格变形能量项可设计为：

其中，Q表示所有网格的集合，E(q)表示网格q中的网格线集合，s_q表示每个网格的缩放因子，s_q可以通过令来得以初始化，w_q表示网格的显著性值，v_i、v_j表示变形前的网格的顶点，v_i'、v_j'表示变形后的网格的顶点，i、 j表示顶点编号。例如，网格q中有四个顶点v₁、v₂、v₃、v₄，网格的四条边就表示为v₁v₂、v₂v₃、v₃v₄、v₄v₁，对于该网格q，所有的{i，j}对包含 {(1,2),{2,3),(3,4),(4,1)}。

网格线弯曲度能量项可设计为：

其中，l_ij表示网格线的缩放因子，E表示网格线集合；

特征一致性能量项设计为：

其中，n表示特征匹配点对的数量，分别表示左、右视图的变形SIFT特征点的纵坐标。理论上，左、右视图之间的特征匹配点对具有相同的纵坐标，因此，可以移除掉纵坐标差值大于预设的差值阈值的匹配点对，以确保特征匹配的准确度。并且，每个网格的显著性值都计算为这个网格内的所有像素点的平均显著性值。假设网格中的一个SIFT点p，这个网格有顶点集 {v_i},i∈{1,2,3,4}，则点p的坐标可以通过重心坐标系表示为v_i的线性组合：

其中，f_p[x]、f_p[y]分别表示变形前点p的横、纵坐标，分别表示变形后点p的横、纵坐标，β_k表示通过重心坐标系计算得到的参数，已知网格中的点p的坐标，以及网格四个点的坐标，就能求出该参数。

视差一致性能量项可设计为：

其中，d_z、分别表示左、右视图的特征匹配点对变形前后的视差。

由于翘曲的变形特性，在长宽比急剧变化时，不可避免地会对结构体造成严重的变形。然而，在本方法中，得益于前面的裁剪步骤，翘曲算子的作用是温和地调整图像的长宽比，最终的立体缩略图将有更重要的内容和更高的感知质量。

在本发明实施例中，通过预设的空间显著性检测网络对输入的立体图像的左、右视图分别进行空间显著性预测，得到立体图像的空间显著性图，通过预设的深度显著性检测网络对输入的立体图像进行深度显著性预测，得到立体图像的深度显著性图，将空间显著性图和深度显著性图进行融合处理，得到立体图像的显著性密度图，对显著性密度图进行优化处理，生成具有一致性特征的显著性对象图，基于显著性对象图的引导，对立体图像进行裁剪和翘曲，得到立体图像的立体缩略图，从而提高了缩略图的生成效果。

实施例三：

本实施例中结合实验例一对实施例一中的描述的立体图像的显著性检测方法进行说明，结合实验例二对实施例二中提出的立体缩略图生成方法进行说明。

实验例一：

本实验例在已建立的一个双目立体显著性基准数据库(SIS数据库)的测试集上评估了本方法的效果。该数据集内容多样，包括了科幻、动漫电影，自然场景和室内外的日常场景，数据集图像的示例图如图3A所示，在3D眼动实验中，本实验通过Tobii X3-120眼动仪对人类眼球进行精确的跟踪，详细记录了人类注视点在图像上的活动轨迹，每个3D图像对均有大约30个测试者的眼动数据，该数据集包含了1086对立体图像以及每组立体图像对应的人类注视点图和真实显著性密度图，例如图3B所示。由于图像的场景多种多样，且图像中显著目标的个数从一个到多个不等，使得这个数据集更具有挑战性。

同时本实验中采用了一些评估指标，分别为shuffled AUC(sAUC，随机 AUC)、AreaUnder ROC Curve(AUC，ROC曲线下面积)、Pearson Correlation Coefficient(CC，皮尔逊相关系数)、Normalized Scan-path Saliency(NSS，标准化扫描路径显著性)、Kullback-Leibler(KLD，信息散度)和Information Gain(IG，信息增益)。更高的AUC、CC、NSS、IG指标分数，更低的KLD分数代表着模型具有更好的性能。本实验例将本方法与前沿的显著性模型进行性能比较，这些基准模型分别是Itti、GBVS、MSI-Net、GazeGAN、CASNet、LBVS-3D、Fang-3D和Depth-Sal。模型性能比较的结果在表1中给出，从这个表格中很明显看出本方法所提出的显著性模型在上述数据集上相比其他基准模型获得了很好的性能。

表1

如表1所示，第一组中的Itti模型和GBVS模型是使用手工特征的传统2D 模型。其他模型则是基于学习的方法，这些方法的性能比前两个模型好是合理的Depth-sal模型是深度显著性模型。表1的结果显示由深度驱动的显著性信息仍具有一定的显著性检测能力，但是由于过多关注左右图之间的关系，它缺少了一些空间上的显著性信息，导致在信息增益(IG)指标上相对较低。因此，本方法在深度显著性模型的基础上，增加了空间先验信息后，性能得到了非常显著的提升。这也证明了本方法能够更加准确地预测立体双目图像的人类视点图。

图3C中任意地可视化给出显著性检测模型在SIS数据集上的一些测试结果，本实验例将本方法与Depth-Sal、Fang-3D、LBVS-3D、CASNet及GazeGAN 模型做比较。基准图(Ground truth)在第2列显示。如图3C所示，本方法在一些具有挑战性的案例中表现良好。比如透明的显著区域(第1行)，多个显著对象(第2行)，复杂的背景(第3行)，高级语义内容(第4行)。此外，本方法输出的显著性图在视觉上更接近人眼注视图。

实验例二：

本实验例在一个公开的立体双目图像重定向质量评估数据集NBU-SIRQA 上测试立体缩略图生成模型的性能。此数据集包括45个具有不同分辨率的源立体图像对，还有由8种典型立体双目图像重定向方法生成的720张的重定向立体图像对，重定向图像对的长度为源立体图长度的0.5倍和0.75倍。本实验例使用该数据集中的源立体图像对，通过采用本方法生成长度为源立体图像的0.5 倍和0.75倍的重定向图像对，并采用了评估指标(长宽比相似度)ARS分数。 ARS分数越高说明模型的性能越好。本实验例将本方法与前沿的模型进行性能比较，这些基准模型分别是SNS、SLWAP、QoE、CPC，还有直接均匀缩放操作(SCL)，如表2所示，其中后三列数据属于消融实验，一列是只有翘曲操作 (only-warp)的结果，一列是将显著性图替换成来自CPC方法的显著性图的结果，还有一列即本方法的结果，本方法在0.5倍长度的重定向结果上，具有最好的性能，而在0.75倍长度的重定向结果上，具有与QoE方法相当的性能。

表2

图3D中比较了三种缩略图生成方法和消融模块的可视化结果，从左到右分别是来自SCL、SNS、SLWAP、QOE、CPC、only-warp、CPC-sal和本方法的缩略图结果，其中目标长度是原始长度的0.75倍。图3E比较了三种方法和消融模块的可视化结果，其中目标宽度是原始宽度的0.6倍。如图3D所示，SCL 直接将图片均匀缩放到目标长宽比，使得图像中显著性物体被严重挤压。SNS 是一个基于翘曲的2D方法，因此本实验例使用该方法分别处理左右视图得到重定向结果。可以看到，没有利用左右视图之间的视差关系，会使得深度感降低，并且在垂直方向上视差不对齐，会造成人眼在视觉上的眩晕不适。不同于 SNS，SLWAP是一个3D重定向方法，但由于它的显著性对象图的不准确，会造成结构化对象的严重变形，比如图3D中的第6行的案例图。而方法QoE会在边缘处造成明显失真。CPC方法也是由于显著性对象图的不准确而造成显著性对象被截断，比如图3E中的第4列案例图，可以看出，精确的显著性对象图在缩略图生成任务中的重要性。

在表2的最后三列的消融实验中，only-warp和本方法的性能比较表明了预先的裁剪操作在本方法中的重要性，该裁剪操作为后面的翘曲操作提升了允许或不均匀缩放的空间；而CPC-sal和本方法的结果比较证明了本方法所预测的显著性图在缩略图生成任务中具有更优的引导性能。

实施例四：

图4示出了本发明实施例四提供的立体图像的视觉显著性检测装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

空间显著性模块41，用于通过预设的空间显著性检测网络对输入的立体图像的左、右视图分别进行空间显著性预测，得到所述立体图像的空间显著性图；

深度显著性模块42，用于通过预设的深度显著性检测网络对输入的所述立体图像进行深度显著性预测，得到所述立体图像的深度显著性图；以及

融合模块43，用于将所述空间显著性图和所述深度显著性图进行融合处理，得到所述立体图像的显著性密度图。

在本发明实施例中，立体图像的视觉显著性检测装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。立体图像的视觉显著性检测装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。

实施例五：

图5示出了本发明实施例五提供的立体缩略图生成系统的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

空间显著性模块51，用于通过预设的空间显著性检测网络对输入的立体图像的左、右视图分别进行空间显著性预测，得到所述立体图像的空间显著性图；

深度显著性模块52，用于通过预设的深度显著性检测网络对输入的所述立体图像进行深度显著性预测，得到所述立体图像的深度显著性图；

融合模块53，用于将所述空间显著性图和所述深度显著性图进行融合处理，得到所述立体图像的显著性密度图；

对象图生成模块54，用于对所述显著性密度图进行优化处理，生成具有一致性特征的显著性对象图；以及

缩略图生成模块55，用于基于所述显著性对象图的引导，对所述立体图像进行裁剪和翘曲，得到所述立体图像的立体缩略图。

在本发明实施例中，立体缩略图生成系统的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。立体缩略图生成系统的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。

实施例六：

图6示出了本发明实施例六提供的设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的设备6包括处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62。该处理器60执行计算机程序62时实现上述各方法实施例中的步骤，例如，图1A所示的步骤S101至S103，又如，图2所示的步骤S201至S205。或者，处理器60执行计算机程序62时实现上述各装置或系统实施例中各单元的功能，例如，图4所示单元41至43的功能，又如，图5所示单元51至55的功能。

实施例七：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1A所示的步骤S101至S103，又如，图2所示的步骤S201 至S205。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如，图4所示单元41至43的功能，又如，图5所示单元51至55 的功能。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。