当前位置：首页 > 最新专利 > 一种无参考非对称虚拟视点立体视频质量评价方法
收藏

一种无参考非对称虚拟视点立体视频质量评价方法

文档序号：1675839 发布日期：2019-12-31 浏览：5次 >En<

阅读说明：本技术 一种无参考非对称虚拟视点立体视频质量评价方法 ([db:专利名称-en]) 是由 彭宗举 崔帅南 邹文辉 陈芬 郁梅 于 2019-09-24 设计创作，主要内容包括：本发明涉及一种无参考非对称虚拟视点立体视频质量评价方法,包括：分别对待评估虚拟视点立体视频的左视点视频和右视点视频的亮度通道中的每帧图像进行两次下采样,并根据下采样得到的3种尺度下对应的图像计算出左、右视点的空域局部特征和空域全局特征以及左、右视点的时域局部特征和时域全局特征；并分别组成左视点特征向量和右视点特征向量；同时,计算出左视点视频的权重和右视点视频的权重；将左视点特征向量和右视点特征向量与对应的左视点视频权重和右视点视频权重进行融合,得到立体特征向量；最后,将立体特征向量作为输入量,使用随机森林技术,计算得到待评估的虚拟视点立体视频的客观质量评价值。该评价方法更符合人眼主观感知。([db:摘要-en])

一种无参考非对称虚拟视点立体视频质量评价方法

技术领域

本发明涉及视频质量评价领域，特别涉及一种无参考非对称虚拟视点立体视频质量评价方法。

背景技术

当前，三维视频和自由视点视频(FVV)的应用越来越广泛，为用户提供了生动逼真的视觉体验。在传输过程中，受到网络带宽的限制，无法传输所有视点的视频。而多视点视频加深度(MVD)的表达方式只需对多个视点的彩***和深度视频编码，并且在解码端可以利用基于深度图的绘制(DIBR)技术生成多个虚拟视点。然而，大多数现有的基于DIBR的虚拟视点绘制方法仍不完善，合成的虚拟视点视频可能存在空洞、伪影和畸变等多种几何失真。而用户在观看FVV视频时可以从多个视角观看3D场景，在观看时进行视点切换的过程中存在左右视点为非对称的情况，即左(右)视点为原始视点，右(左)视点为绘制视点。现有的虚拟视点质量评价方法并没有考虑左右视点为非对称虚拟视点失真的情况，不能很好地反映人眼主观感知质量。因此，需要一种质量评价方法对左右视点为非对称失真的虚拟视点立体视频进行有效地判断。符合人眼主观感知的评价方法也可以作为反馈指导虚拟视点绘制算法来提高最终的虚拟视点视频质量。

近年来，质量评价问题受到越来越多研究者的关注，多种图像/视频质量评价方法已经被提出。主观评价可以以最直接的方式反映人眼主观感受，但需要耗费大量时间和精力，因此，需要一种客观评价方法替代人眼主观评价。根据是否需要参考原始图像/视频，客观质量评价方法可以分为三类，即全参考(FR)、半参考(RR)和无参考(NR)。FR和RR客观评价方法均需要参考原始图像/视频的全部或部分信息。NR评价方法评价图像/视频质量，不需要参考任何信息。和FR和RR评价方法相比，NR质量评价方法的研究更具挑战性。而利用DIBR技术得到的虚拟视点视频大多数不存在参考视频，因此需要引入针对虚拟视点视频的无参考视频质量评价方法。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供一种能有效提高客观评价结果且保证与人眼主观感知一致性的无参考非对称虚拟视点立体视频质量评价方法。

本发明解决上述技术问题所采用的技术方案为：一种无参考非对称虚拟视点立体视频质量评价方法，其特征在于包括以下步骤：

步骤1、输入左右视点为非对称失真的待评估虚拟视点立体视频，并分别提取待评估虚拟视点立体视频的左视点视频VL和右视点视频VR，其中，左视点视频VL和右视点视频VR的宽度均为W，高度均为H，视频帧的总数均为N；

步骤2、分别提取左视点视频VL的亮度通道IL和右视点视频VR的亮度通道IR；其中，左视点视频的亮度通道IL和右视点视频的亮度通道IR中的第n帧图像分别记为

Figure BDA0002213233500000021

和

Figure BDA0002213233500000022

步骤3、分别对左视点视频的亮度通道IL和右视点视频的亮度通道IR中的每帧图像进行两次下采样，分别得到

Figure BDA0002213233500000023

和

Figure BDA0002213233500000024

一次下采样之后得到的图像和两次下采样之后得到的图像；并将

Figure BDA0002213233500000025

和

Figure BDA0002213233500000026

一次下采样之后得到的图像以及

Figure BDA0002213233500000027

两次下采样之后得到的图像对应为左视点视频的亮度通道在3种尺度下对应的图像，将

Figure BDA0002213233500000028

和

Figure BDA0002213233500000029

一次下采样之后得到的图像以及

Figure BDA00022132335000000210

两次下采样之后得到的图像对应为右视点视频的亮度通道在3种尺度下对应的图像，其中，左视点视频的亮度通道在第s种尺度下对应的第n帧图像记为

Figure BDA00022132335000000211

右视点视频的亮度通道在第s种尺度下对应的第n帧图像记为

Figure BDA00022132335000000212

步骤4、根据步骤3中的

Figure BDA00022132335000000213

和

Figure BDA00022132335000000214

分别计算得到左、右视点的空域局部特征

Figure BDA00022132335000000215

Figure BDA00022132335000000216

步骤5、分别计算和

Figure BDA00022132335000000218

的任意相邻两帧图像之间的绝对差值，记为和

Figure BDA00022132335000000221

其中，

Figure BDA00022132335000000222

和

Figure BDA00022132335000000223

的计算公式为：

Figure BDA00022132335000000224

abs表示取绝对值函数，

Figure BDA00022132335000000225

表示左视点视频的亮度通道在第s种尺度下的第k1帧图像，

Figure BDA00022132335000000226

表示左视点视频的亮度通道在第s种尺度下的第k1-1帧图像，k1＝2、3、4…N；表示右视点视频的亮度通道在第s种尺度下的第k1帧图像，

Figure BDA00022132335000000228

表示右视点视频的亮度通道在第s种尺度下的第k1-1帧图像；

步骤6、根据步骤5中的和

Figure BDA00022132335000000230

分别计算出左、右视点的时域局部特征

Figure BDA00022132335000000231

Figure BDA00022132335000000232

步骤7、根据步骤3中的

Figure BDA00022132335000000233

和

Figure BDA00022132335000000234

分别计算左、右视点的空域全局特征

Figure BDA00022132335000000235

步骤8、根据步骤5中的

Figure BDA00022132335000000237

和

Figure BDA00022132335000000238

分别计算左、右视点的时域全局特征

Figure BDA00022132335000000239

Figure BDA0002213233500000031

步骤9、分别对

Figure BDA0002213233500000032

和

Figure BDA0002213233500000033

的每帧图像进行非下采样剪切波变换，分别得到一个低频子带图像和四个尺度、十个方向的高频子带图像；分别将

Figure BDA0002213233500000034

和

Figure BDA0002213233500000035

进行非下采样剪切波变换后得到的第4个尺度下第k个方向的剪切波高频子带图像对应记为

Figure BDA0002213233500000036

和

Figure BDA0002213233500000037

其中，k＝1、2、3...、10；

步骤10、根据步骤9中的

Figure BDA0002213233500000038

和

Figure BDA0002213233500000039

分别计算出左视点视频的权重wL和右视点视频的权重wR；

步骤11、将上述得到的左视点空域局部特征、时域局部特征、空域全局特征和时域全局特征组成左视点特征向量FL，将上述得到的右视点空域局部特征、时域局部特征、空域全局特征和时域全局特征组成右视点特征向量FR，

Figure BDA00022132335000000311

步骤12、将左视点特征向量FL和右视点特征向量FR与步骤10中得到的左视点视频和右视点视频权重wL和wR对应进行融合，得到立体特征向量F，F＝wL×FL+wR×FR；

步骤13、将立体特征向量F作为输入量，使用随机森林技术，计算得到待评估的虚拟视点立体视频的客观质量评价值。

具体的，所述步骤4中的具体步骤为：

步骤4-1、使用大小为M1×M1的圆形结构元分别对

Figure BDA00022132335000000312

和

Figure BDA00022132335000000313

进行腐蚀；其中，M1为正整数；

步骤4-2、分别将和

Figure BDA00022132335000000315

与对应的腐蚀后的每帧图像进行相减，分别得到

Figure BDA00022132335000000316

和

Figure BDA00022132335000000317

的形态学边缘图像，记为

Figure BDA00022132335000000318

和

Figure BDA00022132335000000319

步骤4-3、分别计算

Figure BDA00022132335000000320

和

Figure BDA00022132335000000321

水平方向的标准差的最大值，记为

Figure BDA00022132335000000322

和h表示水平方向；

步骤4-4、计算

Figure BDA00022132335000000324

和

Figure BDA00022132335000000325

所有帧数的总和再取平均，记为

Figure BDA00022132335000000326

和

Figure BDA00022132335000000328

步骤4-5、分别计算和

Figure BDA00022132335000000330

垂直方向的标准差的最大值，记为和

Figure BDA00022132335000000332

v表示垂直方向；

步骤4-6、计算和

Figure BDA00022132335000000334

所有帧数的总和再取平均，记为

Figure BDA00022132335000000335

和

Figure BDA00022132335000000336

步骤4-7、将

Figure BDA0002213233500000042

和

Figure BDA0002213233500000043

组成将

Figure BDA0002213233500000045

和

Figure BDA0002213233500000046

组成

Figure BDA0002213233500000048

进一步的，所述步骤6中的具体步骤为：

步骤6-1、使用大小为M2×M2的圆形结构元分别对

Figure BDA0002213233500000049

和

Figure BDA00022132335000000410

进行腐蚀；其中，M2为正整数；

步骤6-2、分别将和

Figure BDA00022132335000000412

与对应的腐蚀后的每帧图像进行相减，分别得到和的形态学边缘图像，记为

Figure BDA00022132335000000415

和

Figure BDA00022132335000000416

步骤6-3、分别计算和

Figure BDA00022132335000000418

水平方向的标准差的最大值，记为

Figure BDA00022132335000000419

和

Figure BDA00022132335000000420

步骤6-4、计算

Figure BDA00022132335000000421

和所有帧数的总和再取平均，记为

Figure BDA00022132335000000423

和

Figure BDA00022132335000000424

步骤6-5、分别计算和

Figure BDA00022132335000000427

垂直方向的标准差的最大值，记为

Figure BDA00022132335000000428

和

Figure BDA00022132335000000429

步骤6-6、计算

Figure BDA00022132335000000430

和

Figure BDA00022132335000000431

所有帧数的总和再取平均，记为

Figure BDA00022132335000000432

和

Figure BDA00022132335000000433

Figure BDA00022132335000000434

步骤6-7、将

Figure BDA00022132335000000435

和组成

Figure BDA00022132335000000437

将

Figure BDA00022132335000000438

和

Figure BDA00022132335000000439

组成

Figure BDA00022132335000000440

Figure BDA00022132335000000441

作为改进，所述步骤7的具体步骤为：

步骤7-1、分别对

Figure BDA00022132335000000442

和

Figure BDA00022132335000000443

进行去均值和对比度归一化(MSCN)处理，得到第一MSCN系数，分别记为

Figure BDA00022132335000000444

和

Figure BDA00022132335000000445

步骤7-2、利用非对称广义高斯分布分别对

Figure BDA00022132335000000446

和

Figure BDA00022132335000000447

进行直方图拟合，得到其对应的4个拟合参数，分别记为和其中，分别指

Figure BDA00022132335000000451

的左、右方差参数；

Figure BDA00022132335000000452

分别指

Figure BDA00022132335000000453

的左、右方差参数；

步骤7-3、分别计算

Figure BDA00022132335000000454

和

Figure BDA00022132335000000455

所有帧数的总和再取平均，得到

Figure BDA00022132335000000456

和

Figure BDA00022132335000000457

计算公式如下：

Figure BDA0002213233500000051

Figure BDA0002213233500000052

步骤7-4、将

Figure BDA0002213233500000053

和

Figure BDA0002213233500000054

组成

Figure BDA0002213233500000056

将

Figure BDA0002213233500000057

和

Figure BDA0002213233500000058

组成

Figure BDA0002213233500000059

进一步的，所述步骤8的具体步骤为：

步骤8-1、分别对和

Figure BDA00022132335000000511

进行去均值和对比度归一化(MSCN)处理，得到第二MSCN系数，分别记为

Figure BDA00022132335000000512

和

Figure BDA00022132335000000513

步骤8-2、利用非对称广义高斯分布分别对

Figure BDA00022132335000000514

和

Figure BDA00022132335000000515

进行直方图拟合，得到其对应的4个拟合参数，分别记为和

Figure BDA00022132335000000517

其中，分别指

Figure BDA00022132335000000519

的左、右方差参数；

Figure BDA00022132335000000520

分别指

Figure BDA00022132335000000521

的左、右方差参数；

步骤8-3、分别计算

Figure BDA00022132335000000522

和

Figure BDA00022132335000000523

所有帧数的总和再取平均，得到

Figure BDA00022132335000000524

和 计算公式如下：

Figure BDA00022132335000000528

步骤8-4、将

Figure BDA00022132335000000529

和

Figure BDA00022132335000000530

组成

Figure BDA00022132335000000531

Figure BDA00022132335000000532

将

Figure BDA00022132335000000533

和

Figure BDA00022132335000000534

组成

Figure BDA00022132335000000535

在本方案中，所述步骤10的具体步骤为：

步骤10-1、分别计算

Figure BDA0002213233500000061

和的信息熵均值，分别记为

Figure BDA0002213233500000063

和和的计算公式为：

其中，(i,j)表示图像的像素点，i＝1、2、3….W，j＝1、2、3….H，entroy表示计算信息熵；

步骤10-2、分别计算和

Figure BDA0002213233500000068

十个方向之和再取平均，记为

Figure BDA0002213233500000069

和

Figure BDA00022132335000000610

和

Figure BDA00022132335000000611

的计算公式为：

Figure BDA00022132335000000612

步骤10-3、分别计算和所有帧数之和再取平均，记为EL和ER；EL和ER的计算公式为：

Figure BDA00022132335000000615

步骤10-4、分别计算左视点视频和右视点视频的权重，对应记为wL和wR；wL和wR的计算公式为：

Figure BDA00022132335000000616

与现有技术相比，本发明的优点在于：通过对左视点和右视点失真视频提取三种尺度下虚拟视点视频空域和时域的形态学边缘图像，将不同尺度下边缘图像的水平标准差和垂直标准差作为失真视频的局部特征，能更准确地反映虚拟视点视频特有的边缘纹理失真；且对不同尺度下虚拟视点左右视点失真视频的空域和时域提取自然统计特征，采用局部特征与全局特征相结合的方式能更加准确地预测虚拟视点视频的质量，并根据左视点和右视点在剪切波变换后不同方向上的信息熵分别计算左视点视频和右视点视频的权重，然后将特征按照左视点视频和右视点视频权重融合为立体特征，因此与现有的客观质量评价方法相比，本方法能够更加有效地解决非对称失真虚拟视点立体视频的质量评价问题，更符合人眼主观感知。

附图说明

图1为本发明实施例中无参考非对称虚拟视点立体视频质量评价方法的流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，一种无参考非对称虚拟视点立体视频质量评价方法，包括以下步骤：

步骤1、输入左右视点为非对称失真的待评估虚拟视点立体视频，并分别提取待评估虚拟视点立体视频的左视点视频VL和右视点视频VR，其中，左视点视频VL和右视点视频VR的宽度均为W，高度均为H，视频帧的总数均为N；其中，W、H和N均为自然数；

步骤2、分别提取左视点视频VL的亮度通道IL和右视点视频VR的亮度通道IR；其中，左视点视频的亮度通道IL和右视点视频的亮度通道IR中的第n帧图像分别记为和

步骤3、分别对左视点视频的亮度通道IL和右视点视频的亮度通道IR中的每帧图像进行两次下采样，分别得到和

Figure BDA0002213233500000074

一次下采样之后得到的图像和两次下采样之后得到的图像；并将

Figure BDA0002213233500000075

和

Figure BDA0002213233500000076

一次下采样之后得到的图像以及

Figure BDA0002213233500000077

两次下采样之后得到的图像对应为左视点视频的亮度通道在3种尺度下对应的图像，将

Figure BDA0002213233500000078

和

Figure BDA0002213233500000079

一次下采样之后得到的图像以及

Figure BDA00022132335000000710

两次下采样之后得到的图像对应为右视点视频的亮度通道在3种尺度下对应的图像，其中，左视点视频的亮度通道在第s种尺度下对应的第n帧图像记为

Figure BDA00022132335000000711

右视点视频的亮度通道在第s种尺度下对应的第n帧图像记为

Figure BDA00022132335000000712

步骤4、根据步骤3中的

Figure BDA00022132335000000713

和

Figure BDA00022132335000000714

分别计算得到左、右视点的空域局部特征

Figure BDA00022132335000000715

Figure BDA00022132335000000716

其中，具体步骤为：

步骤4-1、使用大小为M1×M1的圆形结构元分别对

Figure BDA00022132335000000717

和进行腐蚀；其中，M1为正整数；本实施例中，由于观看者对视频中纹理边缘失真较为敏感，因此，M1＝4，使用4×4大小的圆形结构元分别对

Figure BDA00022132335000000719

和进行腐蚀；

步骤4-2、分别将

Figure BDA00022132335000000721

和

Figure BDA00022132335000000722

与对应的腐蚀后的每帧图像进行相减，分别得到

Figure BDA00022132335000000723

和

Figure BDA00022132335000000724

的形态学边缘图像，记为

Figure BDA00022132335000000725

和

步骤4-3、分别计算

Figure BDA00022132335000000727

和

Figure BDA00022132335000000728

水平方向的标准差的最大值，记为

Figure BDA00022132335000000729

和

Figure BDA00022132335000000730

h表示水平方向；

步骤4-4、计算

Figure BDA0002213233500000081

和

Figure BDA0002213233500000082

所有帧数的总和再取平均，记为和

Figure BDA0002213233500000084

步骤4-5、分别计算

Figure BDA0002213233500000086

和

Figure BDA0002213233500000087

垂直方向的标准差的最大值，记为

Figure BDA0002213233500000088

和

Figure BDA0002213233500000089

v表示垂直方向；

步骤4-6、计算

Figure BDA00022132335000000810

和

Figure BDA00022132335000000811

所有帧数的总和再取平均，记为和

Figure BDA00022132335000000813

Figure BDA00022132335000000814

步骤4-7、将

Figure BDA00022132335000000815

和

Figure BDA00022132335000000816

组成

Figure BDA00022132335000000817

将

Figure BDA00022132335000000818

和

Figure BDA00022132335000000819

组成

Figure BDA00022132335000000820

Figure BDA00022132335000000821

步骤5、分别计算

Figure BDA00022132335000000822

和

Figure BDA00022132335000000823

的任意相邻两帧图像之间的绝对差值，记为

Figure BDA00022132335000000824

和

Figure BDA00022132335000000825

其中，

Figure BDA00022132335000000827

和

Figure BDA00022132335000000828

的计算公式为：

Figure BDA00022132335000000829

abs表示取绝对值函数，

Figure BDA00022132335000000830

表示左视点视频的亮度通道在第s种尺度下的第k1帧图像，

Figure BDA00022132335000000831

表示左视点视频的亮度通道在第s种尺度下的第k1-1帧图像，k1＝2、3、4…N；

Figure BDA00022132335000000832

表示右视点视频的亮度通道在第s种尺度下的第k1帧图像，

Figure BDA00022132335000000833

表示右视点视频的亮度通道在第s种尺度下的第k1-1帧图像；

步骤6、根据步骤5中的

Figure BDA00022132335000000834

和

Figure BDA00022132335000000835

分别计算出左、右视点的时域局部特征

Figure BDA00022132335000000836

Figure BDA00022132335000000837

其中，具体步骤为：

步骤6-1、使用大小为M2×M2的圆形结构元分别对

Figure BDA00022132335000000838

和进行腐蚀；其中，M2为正整数；本实施例中，由于观看者对视频中纹理边缘失真较为敏感，因此，M2＝4，使用4×4大小的圆形结构元分别对

Figure BDA00022132335000000840

和

Figure BDA00022132335000000841

进行腐蚀；

步骤6-2、分别将和

Figure BDA00022132335000000843

与对应的腐蚀后的每帧图像进行相减，分别得到

Figure BDA00022132335000000844

和的形态学边缘图像，记为和

Figure BDA00022132335000000847

步骤6-3、分别计算

Figure BDA00022132335000000848

和

Figure BDA00022132335000000849

水平方向的标准差的最大值，记为

Figure BDA00022132335000000850

和

Figure BDA00022132335000000851

步骤6-4、计算和所有帧数的总和再取平均，记为

Figure BDA00022132335000000854

和

步骤6-5、分别计算

Figure BDA0002213233500000092

和

Figure BDA0002213233500000093

垂直方向的标准差的最大值，记为

Figure BDA0002213233500000094

和

Figure BDA0002213233500000095

步骤6-6、计算

Figure BDA0002213233500000096

和

Figure BDA0002213233500000097

所有帧数的总和再取平均，记为和

Figure BDA00022132335000000910

步骤6-7、将

Figure BDA00022132335000000911

和组成

Figure BDA00022132335000000913

将

Figure BDA00022132335000000914

和

Figure BDA00022132335000000915

组成

Figure BDA00022132335000000916

Figure BDA00022132335000000917

步骤7、根据步骤3中的和分别计算左、右视点的空域全局特征

Figure BDA00022132335000000920

Figure BDA00022132335000000921

其中，具体步骤为：

步骤7-1、分别对

Figure BDA00022132335000000922

和进行去均值和对比度归一化(MSCN)处理，得到第一MSCN系数，分别记为和

Figure BDA00022132335000000925

步骤7-2、利用非对称广义高斯分布分别对

Figure BDA00022132335000000926

和

Figure BDA00022132335000000927

进行直方图拟合，得到其对应的4个拟合参数，分别记为和

Figure BDA00022132335000000929

其中，

Figure BDA00022132335000000930

分别指的左、右方差参数；

Figure BDA00022132335000000932

分别指

Figure BDA00022132335000000933

的左、右方差参数；

步骤7-3、分别计算

Figure BDA00022132335000000934

和

Figure BDA00022132335000000935

所有帧数的总和再取平均，得到

Figure BDA00022132335000000936

和

Figure BDA00022132335000000937

计算公式如下：

Figure BDA00022132335000000938

Figure BDA00022132335000000939

步骤7-4、将和组成

Figure BDA00022132335000000942

Figure BDA00022132335000000943

将和

Figure BDA00022132335000000945

组成

Figure BDA00022132335000000946

步骤8、根据步骤5中的和

Figure BDA0002213233500000102

分别计算左、右视点的时域全局特征

Figure BDA0002213233500000103

其中，具体的步骤为：

步骤8-1、分别对

Figure BDA0002213233500000105

和

Figure BDA0002213233500000106

进行去均值和对比度归一化(MSCN)处理，得到第二MSCN系数，分别记为

Figure BDA0002213233500000107

和

步骤8-2、利用非对称广义高斯分布分别对

Figure BDA0002213233500000109

和

Figure BDA00022132335000001010

进行直方图拟合，得到其对应的4个拟合参数，分别记为

Figure BDA00022132335000001011

和

Figure BDA00022132335000001012

其中，

Figure BDA00022132335000001013

分别指

Figure BDA00022132335000001014

的左、右方差参数；

Figure BDA00022132335000001015

分别指

Figure BDA00022132335000001016

的左、右方差参数；

步骤8-3、分别计算

Figure BDA00022132335000001017

和

Figure BDA00022132335000001018

所有帧数的总和再取平均，得到

Figure BDA00022132335000001019

和

Figure BDA00022132335000001020

Figure BDA00022132335000001021

计算公式如下：

Figure BDA00022132335000001022

Figure BDA00022132335000001023

步骤8-4、将和

Figure BDA00022132335000001025

组成

Figure BDA00022132335000001026

Figure BDA00022132335000001027

将和

Figure BDA00022132335000001029

组成

Figure BDA00022132335000001030

步骤9、分别对

Figure BDA00022132335000001031

和

Figure BDA00022132335000001032

的每帧图像进行非下采样剪切波变换，分别得到一个低频子带图像和四个尺度、十个方向的高频子带图像；分别将

Figure BDA00022132335000001033

和

Figure BDA00022132335000001034

进行非下采样剪切波变换后得到的第4个尺度下第k个方向的剪切波高频子带图像对应记为

Figure BDA00022132335000001035

和

Figure BDA00022132335000001036

其中，k＝1、2、3...、10；

步骤10、根据步骤9中的和

Figure BDA00022132335000001038

分别计算出左视点视频的权重wL和右视点视频的权重wR；

其中，具体步骤为：

步骤10-1、分别计算

Figure BDA00022132335000001039

和

Figure BDA00022132335000001040

的信息熵均值，分别记为

Figure BDA00022132335000001041

和

Figure BDA00022132335000001042

和

Figure BDA00022132335000001043

的计算公式为：

Figure BDA0002213233500000111

其中，(i,j)表示图像的像素点，i＝1、2、3….W，j＝1、2、3….H，entroy表示计算信息熵；

步骤10-2、分别计算

Figure BDA0002213233500000112

和

Figure BDA0002213233500000113

十个方向之和再取平均，记为和

Figure BDA0002213233500000115

和

Figure BDA0002213233500000116

的计算公式为：

Figure BDA0002213233500000117

步骤10-3、分别计算

Figure BDA0002213233500000118

和

Figure BDA0002213233500000119

所有帧数之和再取平均，记为EL和ER；EL和ER的计算公式为：

Figure BDA00022132335000001110

步骤10-4、分别计算左视点视频和右视点视频的权重，对应记为wL和wR；wL和wR的计算公式为：

Figure BDA00022132335000001111

步骤11、将上述得到的左视点空域局部特征、时域局部特征、空域全局特征和时域全局特征组成左视点特征向量FL，

Figure BDA00022132335000001112

将上述得到的右视点空域局部特征、时域局部特征、空域全局特征和时域全局特征组成右视点特征向量FR，

Figure BDA00022132335000001113

步骤12、将左视点特征向量FL和右视点特征向量FR与步骤10中得到的左视点视频和右视点视频权重wL和wR对应进行融合，得到立体特征向量F，F＝wL×FL+wR×FR；

步骤13、将立体特征向量F作为输入量，使用随机森林技术，计算得到待评估的虚拟视点立体视频的客观质量评价值。

现有技术中虚拟视点绘制失真为伪影、空洞和扭曲形变等多种几何失真，与遍布整幅图像的编码压缩失真不同，其主要体现在纹理边缘区域，同时考虑到不同大小的视频给观看者带来的主观感知的不同，因此，本发明中通过左视点和右视点失真视频提取三种尺度下虚拟视点视频空域和时域的形态学边缘图像，不同尺度下的边缘图像呈现出不同程度的边缘失真，将不同尺度下边缘图像的水平标准差和垂直标准差作为失真视频的局部特征，能更准确地反映虚拟视点视频特有的边缘纹理失真。

且考虑到仅从局部边缘区域不能准确反映整幅图像质量，因此，本发明中对不同尺度下虚拟视点左右点失真视频的空域和时域提取自然统计特征，采用局部特征与全局特征相结合的方式能更加准确地预测虚拟视点视频的质量。

考虑到观看者在观看自由视点视频时存在左视点和右视点为非对称失真的情况，即左(右)视点为原始视点，右(左)视点为虚拟视点，现有技术中采用左右权重各0.5合成立体视点计算得到的客观质量分数并不符合人眼主观感知，双目竞争机制表明较复杂的纹理细节区域包含更多有用和重要的视觉信息，左视点和右视点应根据其存在的纹理细节信息分配不同的权重。因此，本发明中根据左视点和右视点在剪切波变换后不同方向上的信息熵分别计算左视点视频和右视点视频的权重，然后将特征按照左视点视频和右视点视频权重融合为立体特征，最后利用随机森林训练得到最终的客观质量分数。与现有的客观质量评价方法相比，本方法能够更加有效地解决非对称失真虚拟视点立体视频的质量评价问题。

18页详细技术资料下载
上一篇：一种医用注射器针头装配设备
下一篇：视频传输测试方法、装置及终端设备

相关技术

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞！

精彩留言，会给你点赞！

技术分类