点云质量评估方法、编码器、解码器及存储介质

文档序号:1956989 发布日期:2021-12-10 浏览:9次 >En<

阅读说明:本技术 点云质量评估方法、编码器、解码器及存储介质 (Point cloud quality evaluation method, encoder, decoder and storage medium ) 是由 元辉 刘祺 李明 于 2020-06-10 设计创作,主要内容包括:本申请实施例公开了一种点云质量评估方法、编码器、解码器及存储介质,该方法包括:解析码流,获取待评估点云的特征参数;确定质量评估模型的模型参数;根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。(The embodiment of the application discloses a point cloud quality evaluation method, an encoder, a decoder and a storage medium, wherein the method comprises the following steps: analyzing the code stream to obtain characteristic parameters of the point cloud to be evaluated; determining model parameters of a quality evaluation model; and determining a subjective quality measurement value of the point cloud to be evaluated by using the quality evaluation model according to the model parameters and the characteristic parameters of the point cloud to be evaluated.)

点云质量评估方法、编码器、解码器及存储介质

技术领域

本申请涉及视频图像处理技术领域,尤其涉及一种点云质量评估方法、编码器、解码器及存储介质。

背景技术

在基于视频的点云压缩(Video-based Point Cloud Compression,V-PCC)编码器框架中,点云失真度量(PC_error)技术是用于衡量点云客观质量的参考算法,该PC_error技术分别计算基于几何的峰值信噪比(Peak Signal to Noise Ratio,PSNR)和基于颜色(或称为属性)的PSNR,用以表征几何和颜色的客观质量水平。

目前的相关技术方案中,对于点云的几何PSNR和颜色PSNR是独立计算的。但是人眼视觉系统在接受点云时,几何和颜色的质量失真是同时获取并且共同影响最终的人眼视觉体验,从而导致相关技术方案不能够准确反映人眼主观的点云质量。

发明内容

本申请提出一种点云质量评估方法、编码器、解码器及存储介质,可以简化主观质量评估的计算复杂度,同时还能够提升主观质量评估的准确性。

为达到上述目的,本申请的技术方案是这样实现的:

第一方面,本申请实施例提供了一种点云质量评估方法,应用于解码器或媒体数据处理设备,该方法包括:

解析码流,获取待评估点云的特征参数;

确定质量评估模型的模型参数;

根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

第二方面,本申请实施例提供了一种点云质量评估方法,应用于编码器或媒体数据处理设备,该方法包括:

确定待评估点云的特征参数;

确定质量评估模型的模型参数;

根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

第三方面,本申请实施例提供了一种解码器,该解码器包括解析单元、第一确定单元和第一计算单元;其中,

所述解析单元,配置为解析码流,获取待评估点云的特征参数;

所述第一确定单元,配置为确定质量评估模型的模型参数;

所述第一计算单元,配置为根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

第四方面,本申请实施例提供了一种解码器,该解码器包括第一存储器和第一处理器;其中,

所述第一存储器,用于存储能够在所述第一处理器上运行的计算机程序;

所述第一处理器,用于在运行所述计算机程序时,执行如第一方面所述的方法。

第五方面,本申请实施例提供了一种编码器,该编码器包括第二确定单元和第二计算单元;其中,

所述第二确定单元,配置为确定待评估点云的特征参数;

所述第二确定单元,还配置为确定质量评估模型的模型参数;

所述第二计算单元,配置为根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

第六方面,本申请实施例提供了一种编码器,该编码器包括第二存储器和第二处理器;其中,

所述第二存储器,用于存储能够在所述第二处理器上运行的计算机程序;

所述第二处理器,用于在运行所述计算机程序时,执行如第二方面所述的方法。

第七方面,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现如第一方面所述的方法、或者被第二处理器执行时实现如第二方面所述的方法。

本申请实施例所提供的一种点云质量评估方法、编码器、解码器及存储介质,在获取待评估点云的特征参数之后,确定质量评估模型的模型参数;根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。这样,利用质量评估模型可以提升主观质量评估的准确性;而且在该质量评估模型中,本申请的技术方案只需要使用原始点云以及从原始点云中提取的特征值,不再需要失真点云以及原始点云与失真点云匹配点对等,从而还简化了主观质量评估的计算复杂度。

附图说明

图1为本申请实施例提供的一种点对点失真与点对面失真的位置示意图;

图2为本申请实施例提供的一种V-PCC编码流程的框架示意图;

图3为本申请实施例提供的一种V-PCC解码流程的框架示意图;

图4为本申请实施例提供的一种点云质量评估方法的流程示意图;

图5为本申请实施例提供的另一种点云质量评估方法的流程示意图;

图6为本申请实施例提供的一种反映几何距离上色彩波动的点与近邻点之间的相对位置示意图;

图7为本申请实施例提供的一种反映色块平均方差的非空体素块的结构示意图;

图8为本申请实施例提供的又一种点云质量评估方法的流程示意图;

图9为本申请实施例提供的一种解码器的组成结构示意图;

图10为本申请实施例提供的一种解码器的硬件结构示意图;

图11为本申请实施例提供的一种编码器的组成结构示意图;

图12为本申请实施例提供的一种编码器的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。

应理解,在逆向工程中通过测量仪器得到的产品外观表面的点数据集合,可以称之为点云(Point Cloud)。通常使用三维坐标测量机所得到的点数量比较少,点与点的间距比较大,可以称为稀疏点云;而使用三维激光扫描仪或照相式扫描仪得到的点云,点数量比较多而且比较密集,可以称为密集点云。这里,每个点可以包括几何信息(比如位置信息,即x、y、z坐标)和属性信息(比如颜色信息,即R、G、B信息),这样的描述方式称之为点云。

具体来讲,相关技术方案通常采用PC_error客观点云失真计算技术,该技术是衡量点云客观质量的参考算法。这里,PC_error技术分别计算几何的PSNR和颜色的PSNR来表征几何和颜色的客观质量水平,可以分为基于点对点的几何失真(D1)的几何PSNR、基于点对面的几何失真(D2)的几何PSNR和颜色PSNR等。下面将针对这三方面的PSNR计算进行具体描述。

(1)基于点对点的几何失真(D1)的几何PSNR,该计算模型是利用参考点云与失真点云匹配点对的几何坐标的距离差来计算几何均方误差(Mean Square Error,MSE),然后根据计算得到的MSE计算出几何PSNR。如图1所示,具体的实施方式为,令“A”和“B”分别表示参考点云和压缩点云,评估的压缩误差为eB,A,用以表示点云“B”对于参考点云“A”的压缩误差。这里,对于压缩点云“B”中的每个点bi,如图1中白色填充的点所示;标识参考点云“A”中的对应点aj,如图1中黑色填充的点所示;而最近邻居用于定位相应的点。特别地,多维树(KDimension Tree,KD tree)搜索被用于执行最近邻居搜索,以降低计算复杂度。通过将参考点云“A”中的对应点aj关联到压缩点云“B”中的点bi来确定误差向量E(i,j)。这里,误差向量的长度是点对点误差,即如下式所示,

根据在压缩点云“B”中的NB个bi∈B点的点对点距离这时候整个点云的D1可以定义如下,

类似地,也可以参照上述方式求出,最终的

也就是说,基于点对面的几何失真(D1)的PSNR值的计算如下所示,

其中,p是MPEG为每个参考点云预先定义的峰值常数,MSE是点对点(D1)的均方误差。需要注意的是,以测试序列8iVFB-Long_dress为例,p可以定义为1023;但是不作具体限定。

(2)基于点对面的几何失真(D2)的几何PSNR,该计算模型是利用参考点云与失真点云的匹配点对的几何坐标的距离差与其对应的法向量的点积来计算几何MSE,然后根据计算得到的MSE计算出几何PSNR。仍以图1为例,具体的实施方式为,沿法线方向Nj投影误差向量E(i,j),可以获得新的误差向量这样,点到面误差的计算公式如下,

进一步地,整个点云的点到面误差(D2)就可以定义如下,

类似地,也可以参照上述方式求出,最终的

也就是说,基于点对面的几何失真(D2)的PSNR值的计算如下所示,

其中,p是MPEG为每个参考点云预先定义的峰值常数,MSE是点对面(D2)的均方误差。这里,以测试序列8iVFB-Long_dress为例,p也可以定义为1023;但是不作具体限定。

(3)颜色PSNR,该计算模型是利用参考点云与失真点云匹配点对的颜色差值来计算颜色MSE,然后根据计算得到的MSE计算出颜色PSNR。这里,对于有损属性编码,颜色PSNR值的计算如下所示,

需要说明的是,在视频图像中,一般采用第一颜色分量、第二颜色分量和第三颜色分量来表征当前点云中每个点的颜色属性。其中,在RGB空间中,这三个颜色分量分别为红色(用R表示)、绿色(用G表示)和蓝色(用B表示);在YUV空间中,这三个颜色分量分别为亮度分量(用Y分量表示)、第一色度分量(用U分量表示)和第二色度分量(用V分量表示)。

这样,对于颜色属性,可以计算出三个颜色分量中每个分量的MSE。这里,使用ITU-R BT.709标准进行从RGB空间到YUV空间的转换。由于所有测试数据的颜色属性每个点的位深度为8位,那么PSNR计算的峰值p可以为255。

由此,相关技术方案对于点云的几何和颜色的PSNR是独立计算的,然而人眼视觉系统在接受点云时,几何和颜色的质量失真是同时获取并一起对最终的视觉体验起作用,导致相关技术方案不能够准确反映人眼主观的点云质量。

为了能够准确预测人眼视觉的点云质量,本申请实施例提出了一种点云质量评估方法,在获取待评估点云的特征参数之后,确定质量评估模型的模型参数;根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。这样,利用质量评估模型可以提升主观质量评估的准确性;而且在该质量评估模型中,本申请的技术方案只需要使用原始点云以及从原始点云中提取的特征值,不再需要失真点云以及原始点云与失真点云匹配点对等,从而还简化了主观质量评估的计算复杂度。

还需要指出的是,为了获得良好的视觉质量,需要足够密度的点云,这就带来了大量的点云数据。目前,运动图像专家组(Moving Pictures Expert Group,MPEG)提出了点云压缩的两种技术,一种是基于视频的点云压缩(Video-based Point Cloud Compression,V-PCC)技术,另一种是基于几何的点云压缩(Geometry-based Point Cloud Compression,G-PCC)技术;其中,本申请实施例将以V-PCC技术为例进行详细描述。

V-PCC的主要理念是利用现有的视频编解码来压缩动态点云的几何信息和颜色信息。如图2所示,其示出了本申请实施例提供的一种V-PCC编码流程的框架示意图。在图2中,该V-PCC编码流程框架应用于点云编码器中。针对输入的三维点云(Three DimensionalPoint Cloud,3DPC),先通过补丁(patch)分解,以生成一组patch;这些patch可以通过简单的正交投影独立地映射到二维网格中,而不会遭受自动遮挡,也不需要对点云几何重新采样。进一步地,通过打包过程将提取的patch映射到二维网络上,用以生成占用图;其中,占用图由二进制映射组成,该二进制映射指示网格的每个单元是属于空白空间还是属于点云。然后利用patch信息和占用图信息等生成几何图像和颜色图像;并且对几何图像和颜色图像经过图像填充后,获得填充几何图像和填充颜色图像;这里,填充过程旨在填充patch之间的空白空间,以尝试生成可能更适合于视频编码的分段平滑图像;而且平滑过程旨在缓解由于压缩失真而可能在patch边界处出现的潜在不连续性,点云几何重建过程利用占用图信息以便检测几何图像中的非空像素。使用现有的视频编码器,比如H.265/高效率视频编码(High Efficiency Video Coding,HEVC)进行视频压缩后,得到压缩几何视频和压缩颜色视频。另外,占用图和辅助patch信息也将会分别被压缩,以得到压缩占用图和压缩辅助patch信息;然后将这些压缩信息多路复用在一起,以生成最终点云V-PCC的压缩比特流。

也就是说,如图2所示的V-PCC编码流程框架,其基本原理是利用用于点云压缩的视频编码器。针对输入的三维点云,基本上是通过将三维点云序列中的每个点云patch分解为一组patch来实现的,这些patch独立地映射到由均匀块组成的二维网格中。然后使用该映射将几何信息和颜色信息对应存储为一个几何图像和一个颜色图像。然后,使用现有的视频编码器,比如H.265/HEVC,分别压缩对应于动态点云的几何图像序列和彩色图像序列。最后,使用几何视频和彩色视频以及元数据(二维网格的占用图、辅助patch/块信息等)来重建动态三维点云。其中,压缩三维点云的比特流可以由几何信息和颜色信息两部分组成。对于给定的平台,每个部分的大小由量化参数控制,量化参数可以接受大量的值;同时,量化将会引入失真,从而影响重建质量。

如图3所示,其示出了本申请实施例提供的一种V-PCC解码流程的框架示意图。在图3中,该V-PCC解码流程框架应用于点云解码器中。点云解码器获取到压缩比特流之后,首先经过解复用将其分离为压缩几何视频、压缩颜色视频、压缩占用图和压缩辅助patch信息等,然后压缩几何视频和压缩颜色视频通过视频解压缩处理,以得到解压缩几何视频和解压缩颜色视频;压缩占用图通过占用图解压缩处理,以得到解压缩占用图;压缩辅助patch信息通过辅助patch信息解压缩处理,以得到解压缩辅助patch信息,再依次经过几何重建及平滑处理和颜色重建等,可以还原出点云编码器所输入的三维点云。

这里,本申请实施例提供的一种点云质量评估方法既可以适用于点云编码器,也可以适用于点云解码器,甚至还可以同时适用于点云编码器和点云解码器。这样,如果在点云编码器中能够通过本申请实施例提供的点云质量评估方法得到一个较好的预测效果;那么,对应地,在点云解码器中,也可以得到一个较好的预测效果。

基于此,下面结合附图和实施例对本申请的技术方案进一步详细阐述。在进行详细阐述之前,需要说明的是,说明书通篇中提到的“第一”、“第二”、“第三”等,仅仅是为了区分不同的特征,不具有限定优先级、先后顺序、大小关系等功能。

本申请实施例提供一种点云质量评估方法,该方法应用于点云解码器,可简称为解码器。该方法所实现的功能可以通过解码器中的第一处理器调用计算机程序来实现,当然计算机程序可以保存在第一存储器中,可见,该解码器至少包括第一处理器和第一存储器。

参见图4,其示出了本申请实施例一种点云质量评估方法的流程示意图。如图4所示,该方法可以包括:

S401:解析码流,获取待评估点云的特征参数。

需要说明的是,本申请实施例的点云质量评估方法可以应用于解码器,也可以应用于媒体数据处理设备。实际应用中,比如在网络优化、质量评估等发生在网络中的媒体数据处理设备,例如内容分发网络(Content Delivery Network,CDN)等,本申请实施例不局限于传统用户侧使用的、且包含解码器的播放设备,还可以是包含解码器的其他设备,这里不作任何限定。

还需要说明的是,在点云中,点可以是点云中的所有点,也可以是点云中的部分点,这些点在空间上相对集中。

在一些实施例中,所述待评估点云的特征参数可以包括所述待评估点云的量化参数;其中,所述量化参数可以包括所述待评估点云的几何量化参数和颜色量化参数。

这里,几何量化参数可以用QSg表示,用于指示几何视频序列的量化步长值;颜色量化参数可以用QSc表示,用于指示颜色/属性视频序列的量化步长值。

在本申请实施例中,无论是几何量化参数还是颜色量化参数,在编码器侧是根据编码参数确定的;只要编码参数确定之后,就可以获得几何量化参数和颜色量化参数,并且将这两个参数写入码流;从而在解码器侧通过解析码流,就可以获知这两个参数,以便后续对待评估点云的主观质量进行评估。

S402:确定质量评估模型的模型参数。

在本申请实施例中,为了能够准确预测人眼视觉的点云质量,首先可以使用高质量的原始点云生成的不同级别的失真点云,使用双重激励损伤尺度(Double StimulusImpairment Scale,DSIS)主观测试方式构建全面有效的点云主观质量测试数据集,然后在此数据集的基础上提出了简单有效的点云主观质量评估模型,可简称为质量评估模型。这里,质量评估模型可以表征根据模型参数对待评估点云的主观质量进行评估。

也就是说,首先需要建立主观质量测试数据集。在一些实施例中,所述建立主观质量测试数据集,可以包括:

获取至少一个参考点云;

利用量化参数的不同取值对所述至少一个参考点云中每一参考点云进行压缩,得到每一参考点云对应的多个失真点云;

基于所述至少一个参考点云以及所得到的多个失真点云各自的观测数据,获得所述主观质量测试数据集。

示例性地,从沃特卢点云数据集(waterloo point cloud data set)中选取了16个高质量的原始点云(即参考点云),点云内容可以包括水果,蔬菜,点心等。这些参考点云使用V-PCC的第7版本测试模块进行压缩以获取失真点云。其中,对于每一参考点云而言,通过设置5个几何量化参数(比如26、32、38、44和50)和5个颜色量化参数(比如26、32、38、44和50)共产生25个级别的失真点云。为了显示三维点云与二维视频尽可能的完整,依次选择半径为5000的水平圆和垂直圆作为虚拟摄像机路径,并且圆心位于对象的几何中心,且在围绕参考点云和失真点云的这些圆上每旋转两个度产生一个视点,从而为每个点云可以生成360个图像帧。然后,将失真点云的片段及其参考点云的片段水平连接到一个10秒的视频序列中进行演示。30名测试者(15男和15女)坐在屏幕前距离屏幕约2倍屏幕高度的距离,首先进行训练会话,对失真点云的各个水平提前观测以熟悉点云从差到好的各个水平的点云质量。然后进行正式的测试会话。测试会话采用DSIS方法进行主观测试,原始参考点云和失真点云片段水平在屏幕同时呈现,观测者通过对比两者的差别对失真程度进行评估,并给出0-100范围内的分数平均主观意见分(Mean Opinion Score,MOS);这里,MOS分数越高,代表主观质量越好。观测者一共需要观测2个小时,测试400个数据,分4个测试会话,每连续2个测试会话期间休息5分钟。最终30个观测者的400个测试数据进行汇总,观测者的平均MOS分数作为每个观测数据的最终MOS分数。如此我们就可以得到点云的主观质量测试数据集,并将该数据集内的数据作为后续建立质量评估模型的参考标准(ground truth)。

这样,在预先建立主观质量测试数据集之后,可以根据该主观质量测试数据集构建质量评估模型。假定将变量(100-MOS)定义为MOS的补偿值,用MOSc来表示,那么根据主观质量测试数据集内的测试数据可以得到点云主观质量评估模型,即本申请实施例所述的质量评估模型如下所示,

MOSc=p1QSg+p2QSc+p3 (8)

其中,QSg和QSc分别表示几何量化参数和颜色量化参数,用于指示几何视频序列和颜色视频序列的量化步长值;p1、p2和p3表示模型参数。在主观质量测试数据集中,拟合后的质量评估模型的准确率如下表1所示。

表1

Point Cloud p1 p2 p3 SCC RMSE
Bag 0.223 0.183 6.342 0.949 4.954
Banana 0.247 0.08 23.601 0.902 6.336
Biscuits 0.143 0.156 12.072 0.927 4.387
Cake 0.241 0.125 10.489 0.938 5.153
Cauliflower 0.246 0.177 9.773 0.916 6.782
Flowerpot 0.291 0.075 16.212 0.877 8.339
House 0.22 0.269 3.597 0.93 7.059
Litchi 0.195 0.266 3.874 0.914 7.488
Mushroom 0.164 0.225 18.579 0.89 7.262
Ping-pong_bat 0.24 0.221 14.24 0.872 9.243
Puer_tea 0.124 0.297 11.921 0.948 5.568
Pumpkin 0.131 0.223 7.424 0.939 4.898
Ship 0.268 0.068 16.756 0.91 6.438
Statue 0.254 0.142 18.777 0.852 9.011
Stone 0.17 0.291 4.555 0.945 6.026
Tool_box 0.117 0.266 15.152 0.914 6.63
Average - - - 0.914 6.598

在表1中,p1、p2、p3是根据主观质量测试数据集拟合的模型参数,相关系数平方(Squared Correlation Coefficient,SCC)表示根据式(8)预测得到的MOS值和实际测试的MOS值之间的相关性,用以衡量预测MOS值与实际MOS值之间的偏差;均方根误差(Root MeanSquare Error,RMSE)表示根据式(8)预测得到的MOS值和实际测试的MOS值的均方根误差,用以衡量预测MOS值与实际MOS值之间的偏差。

其中,SCC越接近于1,表明预测MOS值与实际MOS值之间的偏差越小,这时候预测准确度越高,主观质量观测效果越好;反之,SCC越偏离于1,表明预测MOS值与实际MOS值之间的偏差越大,这时候预测准确度越低,主观质量观测效果越差。对于RMSE而言,RMSE的值越小,表明预测MOS值与实际MOS值之间的偏差越小,这时候预测准确度越高,主观质量观测效果越好;反之,RMSE的值越大,表明预测MOS值与实际MOS值之间的偏差越大,这时候预测准确度越低,主观质量观测效果越差。

也就是说,表1示出了在拟合模型参数之后,利用质量评估模型所预测的MOS值与实际MOS值之间的误差。根据表1的内容可知,SCC的值基本上都比较高,而且RMSE的值偏低,表明了利用式(8)所预测MOS值的准确度很高,即该质量评估模型的预测误差小。

还需要说明的是,模型参数是指构建质量评估模型所使用的模型系数。通常而言,模型参数可以包括有多个,比如第一模型参数(用p1表示)、第二模型参数(用p2表示)和第三模型参数(用p3表示)。

对于模型参数的确定,下面可以通过几种实施方式进行描述。

在一种可能的实施方式中,可以利用主观质量测试数据集的拟合方式确定。所述确定质量评估模型的模型参数,可以包括:

获取主观质量测试数据集;

基于所述主观质量测试数据集,拟合模型参数函数;其中,所述模型参数函数用于反映模型参数与特征参数之间的对应关系;

根据所获取的特征参数以及所述模型参数函数,计算所述模型参数。

需要说明的是,特征参数以QSg和QSc为例,主观质量测试数据集是预先建立的,而且主观质量测试数据集至少包括有多个失真点云以及每一失真点云对应的QSg、QSc以及实际MOS值。在获取到主观质量测试数据集之后,可以拟合出模型参数函数;这时候的模型参数函数反映了模型参数与QSg和QSc之间的对应关系。针对某一待评估点云,在获知QSg和QSc之后,根据模型参数函数就可以得到拟合后的模型参数,如表1所示的p1、p2、p3。然后再根据式(8)所示的质量评估模型,还能够预测得到该点云的MOS值。

在另一种可能的实施方式中,模型参数并不一定需要当场计算得到,也可以是预先得到的备用数据。所述确定质量评估模型的模型参数,可以包括:

从预设的一组或多组候选质量评估模型参数中,选择用于所述待评估点云的模型参数。

也就是说,在解码器或者媒体数据处理设备中,预先存储有一组或多组候选质量评估模型参数。这时候可以直接从这预设的一组或多组候选质量评估模型参数中,选择出用于待评估点云的模型参数,以得到质量评估模型。

进一步地,为了使得上述的质量评估模型能够在实际的编码器或者解码器中使用,本申请实施例还提出了基于特征的模型参数的预测方式。

在又一种可能的实施方式中,可以基于点云提取的特征来确定模型参数。具体地,预测模型参数主要使用到两个原始点云特征,包括:第一特征为关于几何距离上的色彩波动(Color Fluctuation in Geometric Distance,CFGD)的特征,第二特征为关于色块平均方差(Color Block Mean Variance,CBMV)的特征,以确定出模型参数。如图5所示,该方法可以包括:

S501:利用第一计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第一特征值;

需要说明的是,第一计算子模型表征对待评估点云提取与几何距离上的色彩波动相关的特征值。这里,可以使用单位距离上与领域N个近邻点颜色强度差的平均值作为点云的第一特征值,即CFGD值。其中,N为大于0的整数,比如N等于7,但是不作具体限定。

针对第一特征值的提取,在一些实施例中,所述利用第一计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第一特征值,可以包括:

计算所述待评估点云中一个或多个点对应的第一特征值;

对所述一个或多个点对应的第一特征值进行加权均值计算,将所得到的加权均值确定为所述待评估点云的第一特征值。

进一步地,所述计算所述待评估点云中一个或多个点对应的第一特征值,可以包括:

针对所述待评估点云中的当前点,确定与所述当前点关联的近邻点集合;其中,所述近邻点集合内包括至少一个近邻点;

针对所述近邻点集合,计算所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值,以得到至少一个单位距离上的颜色强度差值;

计算所述至少一个单位距离上的颜色强度差值的加权均值,得到所述当前点对应的第一特征值。

进一步地,所述计算所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值,可以包括:

获取所述当前点的第一颜色分量的第一颜色强度值,以及所述至少一个近邻点的第一颜色分量的第二颜色强度值;

计算所述当前点的第一颜色强度值与所述至少一个近邻点的第二颜色强度值之间差值的绝对值,得到所述当前点与所述至少一个近邻点的颜色强度差值;

根据所述当前点与所述至少一个近邻点的颜色强度差值以及所述当前点与所述至少一个近邻点之间的距离值,获得所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值。

需要说明的是,在本申请实施例中,针对待评估点云的数据,比如当前点的第一颜色强度值、近邻点的第一颜色强度值等,在解码器侧,这些数据均可以通过解析码流或者解码该码流来获得。

还需要说明的是,针对加权均值而言,权重值可以相同,也可以不相同。在权重值相同的情况下,可以是看作是求取平均值,即等权重值的平均值属于一种特殊的加权均值。

也就是说,如图6所示,p0为当前的待计算点,p1、p2、…、p7是表示与p0点最邻近的N个点,这里,N等于7。首先计算当前的待计算点与这N个近邻点在相邻的几何欧式距离上的颜色强度绝对差值的平均值作为当前待计算点对应的CFGD值,然后再对整个点云中多个点对应的CFGD值进行均值计算,将所得到的均值确定为该点云的CFGD值。这里,整个点云的CFGD具体的计算公式如下所示,

其中,P表示待评估点云,S表示点pi的近邻点集合,T表示该点云中点的个数,N表示点pi的近邻点集合中近邻点的个数。C(pi)表示点pi的颜色属性中第一颜色分量的数值,C(pj)表示点pj的颜色属性中第一颜色分量的数值,di,j表示点pi和点pj之间的距离,表示点pi与点pj在单位距离上的颜色强度绝对差值。

还需要注意的是,这里的距离可以是几何欧式距离,也可以是根据莫顿码计算得到的距离等,本申请实施例不作限定;另外,第一颜色分量可以为Y分量,但是也可以扩展为U分量或者V分量等,本申请实施例也不作限定。

S502:利用第二计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第二特征值;

需要说明的是,第二计算子模型表征对所述待评估点云提取与色块平均方差相关的特征值。这里,可以使用非空体素块内所有点的颜色标准差的均值作为点云的第二特征值,即CBMV值。

针对第二特征值的提取,在一些实施例中,所述利用第二计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第二特征值,可以包括:

计算所述待评估点云中一个或多个非空体素块对应的第二特征值;

对所述一个或多个非空体素块对应的第二特征值进行加权均值计算,将所得到的加权均值确定为所述待评估点云的第二特征值。

进一步地,所述计算所述待评估点云中一个或多个非空体素块对应的第二特征值,可以包括:

针对所述待评估点云中的当前非空体素块,获取所述当前非空体素块内至少一个点的第一颜色分量的第三颜色强度值;

计算所述当前非空体素块内至少一个点的第三颜色强度值的加权均值,获得所述当前非空体素块的颜色强度平均值;

针对所述当前非空体素块内至少一个点,利用所述第三颜色强度值与所述当前非空体素块的颜色强度平均值,确定所述至少一个点的颜色标准差;

计算所述至少一个点的颜色标准差的加权均值,得到所述当前非空体素块对应的第二特征值。

需要说明的是,非空体素块表示该体素块内至少包括至少一个点。另外,在本申请实施例中,针对待评估点云的数据,比如当前非空体素块内至少一个点的第三颜色强度值等,在解码器侧,这些数据也可以通过解析码流或者解码该码流来获得。

还需要说明的是,如图7所示,整个点云首先被划分成多个H×W×L的体素块,这里,H、W、L为大于0的整数,比如被划分为8×8×8的体素块。白色框内表示的是第i个非空体素块,pi1,pi2,…,pij表示非空体素块内所有的点。那么整个点云的CBMV具体的计算公式如下所示,

其中,K表示点云中非空体素块(即该体素块中至少含有一个点云中的点)的个数,M表示第i个非空体素块中所有点的个数,C(pij)表示第pij个点的颜色颜色属性中第一颜色分量的数值,μ表示非空体素块中所有点的第一颜色分量的平均值;这里,(C(pij)-μ)2表示第i个非空体素块内第pij个点的颜色标准差。

这样,根据式(9)可以计算出待评估点云的第一特征值(即CFGD值),根据式(10)可以计算出待评估点云的第二特征值(即CBMV值)。

S503:根据所述第一特征值、所述第二特征值以及预设的向量矩阵,确定所述模型参数。

需要说明的是,在S503之前,首先需要获取预设的向量矩阵。在一些实施例中,该方法还可以包括:

获取主观质量测试数据集;

对所述主观质量测试数据集进行训练,得到所述预设的向量矩阵。

这里,预设的向量矩阵也是根据主观质量测试数据集得到的。具体来讲,在得到主观质量测试数据集之后,通过对主观质量测试数据集进行训练,可以得到预设的向量矩阵。假定H表示预设的向量矩阵,那么基于主观质量测试数据集可以训练得到该向量矩阵的值如下,

还需要说明的是,由于预设的向量矩阵是基于大量测试数据训练得到的,不同的点云都可以使用如式(11)所示的向量矩阵。

这样,在得到预设的向量矩阵之后,同时结合上述的两个特征值,可以确定出模型参数。在一些实施例中,对于S503来说,所述根据所述第一特征值、所述第二特征值以及预设的向量矩阵,确定所述模型参数,可以包括:

基于预设常数值、所述第一特征值和所述第二特征值,构造特征向量;

对所述特征向量与所述预设的向量矩阵进行乘法运算,得到模型参数向量;其中,所述模型参数向量包括第一模型参数、第二模型参数和第三模型参数;

将所述第一模型参数、所述第二模型参数和所述第三模型参数确定为所述模型参数。

进一步地,在一些实施例中,预设常数值是整数。通常而言,预设常数值可以等于1,但是不作具体限定。

也就是说,从待评估点云中提取到CFGD和CBMV两个特征值后,分别用f1、f2两个变量进行标记;这里,第一特征值f1、第二特征值f2和预设常数值1,可以组成1×3的矩阵,即行向量,用特征向量F表示,F=[1 f1 f2]。另外,模型参数p1、p2和p3,也可以组成1×3的矩阵,用模型参数向量P表示,P=[p1 p2 p3]。而预设的向量矩阵为H,那么模型参数向量P的计算方式如下所示,

P=F·H (12)

还需要说明的是,假定已知一个特定的点云质量测试数据集,可以先通过拟合方式确定出模型参数;然后再利用式(9)和式(10)提取出两个特征值,以组成特征向量,这样根据式(12)就也能够得到预设的向量矩阵。

如此,在从待评估点云中提取到CFGD和CBMV两个特征值后,由于H为预设的向量矩阵,那么根据式(12)就可以确定出模型参数,以便后续利用质量评估模型计算待评估点云的MOS值。

S403:根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

需要说明的是,质量评估模型可以看作是模型参数、特征参数和主观质量测度值(即MOS值)之间具有对应关系。由于特征参数可以为包括有QSg和QSc的量化参数,那么质量评估模型也可以看作是模型参数、QSg、QSc和主观质量测度值之间具有对应关系,该对应关系如式(8)所示。如此,在确定出模型参数、QSg和QSc之后,就能够根据质量评估模型确定出待评估点云的主观质量测度值。

在一些实施例中,质量评估模型还可以为更复杂的形式。这时候,模型参数包括有四个,分别用a、b、c、d表示;该质量评估模型如下所示,

MOSc=aQSgQSc+bQSg+cQSc+d (13)

与式(8)相比,多增加了一项QSgQSc的交叉项,同步也增加了一个模型参数,从而形式上更为复杂,准确度上可能有所提高,但是在确定模型参数方面会引入更大的难度。由于越复杂的形式在实际应用中的难度越大,因此本申请实施例优先选用式(8)所示的质量评估模型。

此外,本申请实施例所提出的质量评估模型,不只可以应用到码率控制领域,也可以应用到编码参数优化、点云数据后处理过程中的数据增强等领域。

具体地,(1)在码率控制(Rate Control,RC)领域,可以利用该点云质量评估方法建立率失真(Rate-Distortion,R-D)模型,它包括有码率模型和失真模型,比如用于失真度量等。其应用的计算公式如下,

其中,RT表示目标码率,式(14)或式(15)所得到的MOSC结果为最小值,该MOSC结果最小,表明了MOS值最大,即主观质量最好。也就是说,如果有多种码率选择,这时候码率控制所使用的码率需要小于或等于目标码率,同时还需要获得最好的主观质量。

(2)在编码参数优化领域,可以根据式(8)所示的质量评估模型来选择合适的几何量化参数(QSg)和颜色量化参数(QSc),以此来获得所需求的点云质量。

(3)在点云数据后处理过程中的数据增强领域,可以采取一定的数据增强算法对点云进行处理后,通过比较根据质量评估模型预测到的点云质量与所需求的点云质量,当预测到的点云质量不小于所需求的点云质量时,增强算法就可以停止继续增强的策略。或者,在构建主观质量测试数据集中,针对大量数据进行深度学习的过程中,这时候根据质量评估模型可以选择高质量、中质量、低质量等三个等级测试序列作为点云质量的目标数据进行增强处理,以获得所需求的点云质量。

除此之外,本申请实施例所提出的质量评估模型在得到主观质量测度值之后,该主观质量测度值还可以用于解码器侧的网络优化。

(1)对于网络中的媒体数据处理设备,根据所述的主观质量测度值,能够对网络参数进行优化。例如,调整包含点云码流数据的传输单元的优先级、路由表等。

(2)对于用户侧的播放设备,例如,可以将所述的主观质量测度值(或主观质量测度值的映射值)反馈给网络中的媒体数据处理设备,然后由媒体数据处理设备根据用户反馈的主观质量测度值对传输网络进行网络优化。

(3)对于用户侧的播放设备,例如,可以根据所述的主观质量测度值(或主观质量测度值的映射值),调整该播放设备的后处理单元参数,对解码该码流后获得的点云进行增强(比如后处理滤波等,可参考图像/视频后处理过程)。

总之,本申请实施例为了获得更有效的质量评估模型,首先基于现有的V-PCC编码器建立了一个全面有效的点云主观测试数据集。在这个数据集上进一步构建一个更为准确且简单的质量评估模型。为了使得该质量评估模型在实际应用领域中得到广泛应用,这时候还可以在原始点云中提取几何距离上的色彩波动和色块平均方差等两个特征值,并和预设常数值1组成了特征向量F,从而使用式(12)所示的P=F·H,就可以预测出模型参数。

在本申请实施例中,根据式(8)所示的质量评估模型,在点云主观测试数据集的测试序列进行测试。其中,皮尔森相关系数(Pearson Linear Correlation Coefficient,PLCC)是用来衡量两个数据集合是否在一条线上面,即用来衡量定距变量间的线性关系;而斯皮尔曼等级相关系数(Spearman Rank-order Correlation Coefficient,SRCC)是用来反映两组变量之间联系的密切程度,又称之为“等级差数法”;也就是说,本申请实施例中,PLCC和SRCC都是用于反映根据质量评估模型预测得到的MOS值和实际MOS值之间的一致性。

这里,根据相关技术方案中V-PCC使用的PC_error技术,可以得到Y分量的PSNR与MOS值的PLCC和SRCC仅仅是0.3956和0.3926;而基于式(8)所示的质量评估模型,在PLCC和SRCC数据上已经分别达到了0.9167和0.9174,如表2所示;这一数据明显说明了本申请的方案提升了主观质量评估的准确性。另外,相关技术方案中的PC_error技术计算Y分量的PSNR需要使用到原始点云和编码/解码后的失真点云,点云的需求量大;而本申请提出的质量评估模型,只需要原始点云以及从原始点云中提取的两个特征值,不再需要失真点云以及原始点云与失真点云匹配点对等,从而还简化了主观质量评估的计算复杂度。

表2

Model Type Model PLCC SRCC RMSE
FR PSNR<sub>Y</sub> 0.3956 0.3926 20.2058
RR proposed algorithm 0.9167 0.9174 8.7933

其中,FR为全参考(Full Reference,FR)方法,RR表示部分参考(ReducedReference,RR)方法。这里,FR即是相关技术方案所采用的方法,RR即是本申请实施例所采用的方法。从表2中,明显看出本申请实施例的PLCC和SRCC远高于相关技术方案的PLCC和SRCC,而本申请实施例的RMSE远低于相关技术方案的RMSE,表明了本申请实施例下主观质量评估的准确度高。

本申请实施例提出了一种点云质量评估方法,应用于解码器或媒体数据处理设备。通过解析码流,获取待评估点云的特征参数;确定质量评估模型的模型参数;根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。这样,利用质量评估模型可以提升主观质量评估的准确性;而且在该质量评估模型中,本申请的技术方案只需要使用原始点云以及从原始点云中提取的特征值,不再需要失真点云以及原始点云与失真点云匹配点对等,从而还简化了主观质量评估的计算复杂度。

本申请实施例提供一种点云质量评估方法,该方法应用于点云编码器,即编码器。该方法所实现的功能可以通过编码器中的第二处理器调用计算机程序来实现,当然计算机程序可以保存在第二存储器中,可见,该编码器至少包括第二处理器和第二存储器。

参见图8,其示出了本申请实施例又一种点云质量评估方法的流程示意图。如图8所示,该方法可以包括:

S801:确定待评估点云的特征参数。

需要说明的是,本申请实施例的点云质量评估方法可以应用于编码器,也可以应用于媒体数据处理设备。实际应用中,比如在网络优化、质量评估等发生在网络中的媒体数据处理设备,例如内容分发网络(Content Delivery Network,CDN)等,本申请实施例不局限于传统用户侧使用的、且包含编码器的播放设备,还可以是包含编码器的其他设备,这里不作任何限定。

还需要说明的是,在点云中,点可以是点云中的所有点,也可以是点云中的部分点,这些点在空间上相对集中。

在一些实施例中,所述待评估点云的特征参数可以包括所述待评估点云的量化参数;其中,所述量化参数可以包括所述待评估点云的几何量化参数和颜色量化参数。

这里,几何量化参数可以用QSg表示,用于指示几何视频序列的量化步长值;颜色量化参数可以用QSc表示,用于指示颜色/属性视频序列的量化步长值。

另外,无论是几何量化参数还是颜色量化参数,在编码器侧是根据编码参数确定的。在一些实施例中,对于S801来说,所述确定待评估点云的特征参数,可以包括:

获取所述待评估点云的预编码参数;

根据所述预编码参数以及预设查找表,确定所述待评估点云的特征参数;其中,所述预设查找表用于反映编码参数与特征参数之间的对应关系。

进一步地,所述获取所述待评估点云的预编码参数,可以包括:

利用多种预测模式对所述当前块进行预编码处理,获得每一种预测模式对应的率失真代价值;其中,不同的预测模式对应不同的编码参数

从所获得的多个率失真代价值中选择最小率失真代价值,将所述最小率失真代价值对应的编码参数确定为所述预编码参数。

需要说明的是,在编码器侧,针对预编码参数的确定,可以采用简单的决策策略,比如根据失真值的大小进行确定;也可以采用复杂的决策策略,比如根据率失真优化(RateDistortion Optimization,RDO)的结果进行确定,本申请实施例不作任何限定。通常而言,可以采用RDO方式来确定当前块的预编码参数。

这样,由于编码器中存储有预设查找表,该预设查找表用于反映编码参数与特征参数之间的对应关系。特征参数以QSg和QSc为例,该预设查找表也可以用于反映编码参数与QSg和QSc之间的对应关系;如此,在确定出本次的预编码参数后,可以从预设查找表中查找与所述预编码参数对应的QSg和QSc,这时候查找出的QSg和QSc即为所述待评估点云的特征参数,以便后续对待评估点云的主观质量进行评估。

还需要注意的是,在编码器侧,还需要将特征参数(比如QSg和QSc)写入码流,然后从编码器传输到解码器,以便后续在解码器侧通过解析码流获取QSg和QSc等特征参数。

S802:确定质量评估模型的模型参数。

需要说明的是,模型参数是指构建质量评估模型所使用的参数。通常而言,模型参数可以包括有多个,比如第一模型参数(用p1表示)、第二模型参数(用p2表示)和第三模型参数(用p3表示)。

对于模型参数的确定,下面可以通过几种实施方式进行描述。

在一种可能的实施方式中,可以利用主观质量测试数据集的拟合方式确定。所述确定质量评估模型的模型参数,可以包括:

获取主观质量测试数据集;

基于所述主观质量测试数据集,拟合模型参数函数;其中,所述模型参数函数用于反映模型参数与特征参数之间的对应关系;

根据所获取的特征参数以及所述模型参数函数,计算所述模型参数。

需要说明的是,特征参数以QSg和QSc为例,主观质量测试数据集是预先建立的,而且主观质量测试数据集至少包括有多个失真点云以及每一失真点云对应的QSg、QSc以及实际MOS值。在获取到主观质量测试数据集之后,可以拟合出模型参数函数;这时候的模型参数函数反映了模型参数与QSg和QSc之间的对应关系。针对某一待评估点云,在获知QSg和QSc之后,根据模型参数函数就可以得到拟合后的模型参数,如表1所示的p1、p2、p3。然后再根据式(8)所示的质量评估模型,还能够预测得到该点云的MOS值。

在另一种可能的实施方式中,模型参数并不一定需要当场计算得到,也可以是预先得到的备用数据。所述确定质量评估模型的模型参数,可以包括:

从预设的一组或多组候选质量评估模型参数中,选择用于所述待评估点云的模型参数。

也就是说,在解码器或者媒体数据处理设备中,预先存储有一组或多组候选质量评估模型参数。这时候可以直接从这预设的一组或多组候选质量评估模型参数中,选择出用于待评估点云的模型参数,以得到质量评估模型。

进一步地,为了使得上述的质量评估模型能够在实际的编码器或者解码器中使用,本申请实施例还提出了基于特征的模型参数的预测方式。

在又一种可能的实施方式中,可以基于点云提取的特征来确定模型参数。所述确定质量评估模型的模型参数,可以包括:

利用第一计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第一特征值;

利用第二计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第二特征值;

根据所述第一特征值、所述第二特征值以及预设的向量矩阵,确定所述模型参数。

需要说明的是,第一计算子模型表征对待评估点云提取与几何距离上的色彩波动相关的特征值。这里,可以使用单位距离上与领域N个近邻点颜色强度差的平均值作为点云的第一特征值,即CFGD值。其中,N为大于0的整数,比如N等于7,但是不作具体限定。

还需要说明的是,第二计算子模型表征对所述待评估点云提取与色块平均方差相关的特征值。这里,可以使用非空体素块内所有点的颜色标准差的均值作为点云的第二特征值,即CBMV值。

下面针对两个特征值的提取过程进行具体说明。

针对第一特征值的提取,在一些实施例中,所述利用第一计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第一特征值,可以包括:

计算所述待评估点云中一个或多个点对应的第一特征值;

对所述一个或多个点对应的第一特征值进行加权均值计算,将所得到的加权均值确定为所述待评估点云的第一特征值。

进一步地,所述计算所述待评估点云中一个或多个点对应的第一特征值,可以包括:

针对所述待评估点云中的当前点,确定与所述当前点关联的近邻点集合;其中,所述近邻点集合内包括至少一个近邻点;

针对所述近邻点集合,计算所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值,以得到至少一个单位距离上的颜色强度差值;

计算所述至少一个单位距离上的颜色强度差值的加权均值,得到所述当前点对应的第一特征值。

进一步地,所述计算所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值,可以包括:

获取所述当前点的第一颜色分量的第一颜色强度值,以及所述至少一个近邻点的第一颜色分量的第二颜色强度值;

计算所述当前点的第一颜色强度值与所述至少一个近邻点的第二颜色强度值之间差值的绝对值,得到所述当前点与所述至少一个近邻点的颜色强度差值;

根据所述当前点与所述至少一个近邻点的颜色强度差值以及所述当前点与所述至少一个近邻点之间的距离值,获得所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值。

需要说明的是,在本申请实施例中,针对待评估点云的数据,比如当前点的第一颜色强度值、近邻点的第一颜色强度值等,在编码器侧,这些数据均可以通过待评估点云的数据获得,同时还需要将这些数据写入码流,以由编码器传输到解码器。

还需要说明的是,针对加权均值而言,权重值可以相同,也可以不相同。在权重值相同的情况下,可以是看作是求取平均值,即等权重值的平均值属于一种特殊的加权均值。

也就是说,如图6所示,p0为当前的待计算点,p1、p2、…、p7是表示与p0点最邻近的N个点,这里,N等于7。首先计算当前的待计算点与这N个近邻点在相邻的几何欧式距离上的颜色强度绝对差值的平均值作为当前待计算点对应的CFGD值,然后再对整个点云中多个点对应的CFGD值进行均值计算,将所得到的均值确定为该点云的CFGD值。这里,整个点云的CFGD具体的计算公式如上述的式(9)所示,具体详见解码器侧的描述。

针对第二特征值的提取,在一些实施例中,所述利用第二计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第二特征值,可以包括:

计算所述待评估点云中一个或多个非空体素块对应的第二特征值;

对所述一个或多个非空体素块对应的第二特征值进行加权均值计算,将所得到的加权均值确定为所述待评估点云的第二特征值。

进一步地,所述计算所述待评估点云中一个或多个非空体素块对应的第二特征值,可以包括:

针对所述待评估点云中的当前非空体素块,获取所述当前非空体素块内至少一个点的第一颜色分量的第三颜色强度值;

计算所述当前非空体素块内至少一个点的第三颜色强度值的加权均值,获得所述当前非空体素块的颜色强度平均值;

针对所述当前非空体素块内至少一个点,利用所述第三颜色强度值与所述当前非空体素块的颜色强度平均值,确定所述至少一个点的颜色标准差;

计算所述至少一个点的颜色标准差的加权均值,得到所述当前非空体素块对应的第二特征值。

需要说明的是,非空体素块表示该体素块内至少包括至少一个点。另外,在本申请实施例中,针对待评估点云的数据,比如当前非空体素块内至少一个点的第三颜色强度值等,在编码器侧,这些数据均可以通过待评估点云的数据获得,同时还需要将这些数据写入码流,以由编码器传输到解码器。

也就是说,如图7所示,整个点云首先被划分成多个H×W×L的体素块,这里,H、W、L为大于0的整数,比如被划分为8×8×8的体素块。白色框内表示的是第i个非空体素块,pi1,pi2,…,pij表示非空体素块内所有的点。那么整个点云的CBMV具体的计算公式上述的式(10)所示,具体详见解码器侧的描述。

这样,根据上述的式(9)可以计算出待评估点云的第一特征值(即CFGD值),根据上述的式(10)可以计算出待评估点云的第二特征值(即CBMV值)。

需要说明的是,在确定模型参数之前,还需要获取预设的向量矩阵。在一些实施例中,该方法还可以包括:

获取主观质量测试数据集;

对所述主观质量测试数据集进行训练,得到所述预设的向量矩阵。

这里,预设的向量矩阵也是根据主观质量测试数据集得到的。具体来讲,在得到主观质量测试数据集之后,通过对主观质量测试数据集进行训练,可以得到预设的向量矩阵。假定H表示预设的向量矩阵,那么基于主观质量测试数据集可以训练得到该向量矩阵的值如上述的式(11)所示。

还需要说明的是,由于预设的向量矩阵是基于大量测试数据训练得到的,不同的点云都可以使用如式(11)所示的向量矩阵。

这样,在得到预设的向量矩阵之后,可以结合上述的两个特征值,以确定出模型参数。在一些实施例中,所述根据所述第一特征值、所述第二特征值以及预设的向量矩阵,确定所述模型参数,可以包括:

基于预设常数值、所述第一特征值和所述第二特征值,构造特征向量;

对所述特征向量与所述预设的向量矩阵进行乘法运算,得到模型参数向量;其中,所述模型参数向量包括第一模型参数、第二模型参数和第三模型参数;

将所述第一模型参数、所述第二模型参数和所述第三模型参数确定为所述模型参数。

进一步地,在一些实施例中,预设常数值是整数。通常而言,预设常数值可以等于1,但是不作具体限定。

也就是说,从待评估点云中提取到CFGD和CBMV两个特征值后,分别用f1、f2两个变量进行标记;这里,第一特征值f1、第二特征值f2和预设常数值1,可以组成1×3的矩阵,即行向量,用特征向量F表示,F=[1 f1 f2]。另外,模型参数p1、p2和p3,也可以组成1×3的矩阵,用模型参数向量P表示,P=[p1 p2 p3],而预设的向量矩阵为H,那么模型参数向量P的计算方式如上述的式(12)所示.

如此,在从待评估点云中提取到CFGD和CBMV两个特征值后,由于H为预设的向量矩阵,那么根据上述的式(12)就可以确定出模型参数,以便后续利用质量评估模型计算待评估点云的MOS值。

S803:根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

需要说明的是,质量评估模型可以看作是模型参数、特征参数和主观质量测度值(即MOS值)之间具有对应关系。由于特征参数可以为包括有QSg和QSc的量化参数,那么质量评估模型也可以看作是模型参数、QSg、QSc和主观质量测度值之间具有对应关系,该对应关系如式(8)所示。如此,在确定出模型参数、QSg和QSc之后,就能够根据质量评估模型确定出待评估点云的主观质量测度值。

除此之外,本申请实施例所提出的质量评估模型在得到主观质量测度值之后,该主观质量测度值还可以用于编码器侧的网络优化。

(1)将所述的主观质量测度值(或主观质量测度值的映射值)传递给编码器优化模块,编码器优化模块根据主观质量测度值确定编码器的编码参数,例如,率失真优化过程、码率控制过程等。

(2)从点云码流发送侧来说,也可以将主观质量测度值发送给网络中的媒体数据处理设备,用于对传输网络进行网络优化。

(3)也可以将主观质量测度值发送给用户侧的播放设备,然后用户侧的播放设备可以根据该主观质量测度值,与其本地进行的评估值进行对比,对网络的传输质量进行评估,将评估结果反馈网络中的媒体数据处理设备,用于进行网络优化。

本申请实施例提出了一种点云质量评估方法,应用于编码器或媒体数据处理设备。通过确定待评估点云的特征参数;确定质量评估模型的模型参数;然后根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。这样,利用质量评估模型可以提升主观质量评估的准确性;而且在该质量评估模型中,本申请的技术方案只需要使用原始点云以及从原始点云中提取的特征值,不再需要失真点云以及原始点云与失真点云匹配点对等,从而还简化了主观质量评估的计算复杂度。

基于前述实施例相同的发明构思,参见图9,其示出了本申请实施例提供的一种解码器90的组成结构示意图。如图9所示,解码器90可以包括:解析单元901、第一确定单元902和第一计算单元903;其中,

解析单元901,配置为解析码流,获取待评估点云的特征参数;

第一确定单元902,配置为确定质量评估模型的模型参数;

第一计算单元903,配置为根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

在一些实施例中,所述待评估点云的特征参数包括所述待评估点云的量化参数;其中,所述量化参数包括所述待评估点云的几何量化参数和颜色量化参数。

在一些实施例中,参见图9,解码器90还可以包括第一拟合单元904,配置为获取主观质量测试数据集;基于所述主观质量测试数据集,拟合模型参数函数;其中,所述模型参数函数用于反映模型参数与特征参数之间的对应关系;

第一计算单元903,还配置为根据所获取的特征参数以及所述模型参数函数,计算所述模型参数。

在一些实施例中,第一确定单元902,还配置为从预设的一组或多组候选质量评估模型参数中,选择用于所述待评估点云的模型参数。

在一些实施例中,第一计算单元903,还配置为利用第一计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第一特征值;利用第二计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第二特征值;

第一确定单元902,还配置为根据所述第一特征值、所述第二特征值以及预设的向量矩阵,确定所述模型参数;

其中,所述第一计算子模型表征对所述待评估点云提取与几何距离上的色彩波动相关的特征值,第二计算子模型表征对所述待评估点云提取与色块平均方差相关的特征值。

在一些实施例中,第一计算单元903,还配置为计算所述待评估点云中一个或多个点对应的第一特征值;对所述一个或多个点对应的第一特征值进行加权均值计算,将所得到的加权均值确定为所述待评估点云的第一特征值。

在一些实施例中,第一确定单元902,还配置为针对所述待评估点云中的当前点,确定与所述当前点关联的近邻点集合;其中,所述近邻点集合内包括至少一个近邻点;

第一计算单元903,还配置为针对所述近邻点集合,计算所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值,得到至少一个单位距离上的颜色强度差值;以及计算所述至少一个单位距离上的颜色强度差值的加权均值,得到所述当前点对应的第一特征值。

在一些实施例中,第一计算单元903,还配置为获取所述当前点的第一颜色分量的第一颜色强度值,以及所述至少一个近邻点的第一颜色分量的第二颜色强度值;计算所述当前点的第一颜色强度值与所述至少一个近邻点的第二颜色强度值之间差值的绝对值,得到所述当前点与所述至少一个近邻点的颜色强度差值;

第一确定单元902,还配置为根据所述当前点与所述至少一个近邻点的颜色强度差值以及所述当前点与所述至少一个近邻点之间的距离值,确定所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值。

在一些实施例中,第一计算单元903,还配置为计算所述待评估点云中一个或多个非空体素块对应的第二特征值;以及对所述一个或多个非空体素块对应的第二特征值进行加权均值计算,将所得到的加权均值确定为所述待评估点云的第二特征值。

在一些实施例中,第一计算单元903,还配置为针对所述待评估点云中的当前非空体素块,获取所述当前非空体素块内至少一个点的第一颜色分量的第三颜色强度值;计算所述当前非空体素块内至少一个点的第三颜色强度值的加权均值,获得所述当前非空体素块的颜色强度平均值;以及还配置为针对所述当前非空体素块内至少一个点,利用所述第三颜色强度值与所述当前非空体素块的颜色强度平均值,确定所述至少一个点的颜色标准差;计算所述至少一个点的颜色标准差的加权均值,得到所述当前非空体素块对应的第二特征值。

在一些实施例中,参见图9,解码器90还可以包括第一训练单元905,配置为获取主观质量测试数据集;对所述主观质量测试数据集进行训练,得到所述预设的向量矩阵。

在一些实施例中,第一确定单元902,还配置为从预设的一组或多组候选向量矩阵中,选择用于确定所述模型参数的所述预设的向量矩阵。

在一些实施例中,参见图9,解码器90还可以包括第一构造单元906,配置为基于预设常数值、所述第一特征值和所述第二特征值,构造特征向量;

第一计算单元903,还配置为对所述特征向量与所述预设的向量矩阵进行乘法运算,得到模型参数向量;其中,所述模型参数向量包括第一模型参数、第二模型参数和第三模型参数;

第一确定单元902,还配置为将所述第一模型参数、所述第二模型参数和所述第三模型参数确定为所述模型参数。

在一些实施例中,所述预设常数值是整数。

可以理解地,在本实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

因此,本申请实施例提供了一种计算机存储介质,应用于解码器90,该计算机存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现前述实施例中解码器侧所述的方法。

基于上述解码器90的组成以及计算机存储介质,参见图10,其示出了本申请实施例提供的解码器90的具体硬件结构示例,可以包括:第一通信接口1001、第一存储器1002和第一处理器1003;各个组件通过第一总线系统1004耦合在一起。可理解,第一总线系统1004用于实现这些组件之间的连接通信。第一总线系统1004除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图10中将各种总线都标为第一总线系统1004。其中,

第一通信接口1001,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;

第一存储器1002,用于存储能够在第一处理器1003上运行的计算机程序;

第一处理器1003,用于在运行所述计算机程序时,执行:

解析码流,获取待评估点云的特征参数;

确定质量评估模型的模型参数;

根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

可以理解,本申请实施例中的第一存储器1002可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请描述的系统和方法的第一存储器1002旨在包括但不限于这些和任意其它适合类型的存储器。

而第一处理器1003可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过第一处理器1003中的硬件的集成逻辑电路或者软件形式的指令完成。上述的第一处理器1003可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于第一存储器1002,第一处理器1003读取第一存储器1002中的信息,结合其硬件完成上述方法的步骤。

可以理解的是,本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器(Digital SignalProcessing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(ProgrammableLogic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。对于软件实现,可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地,作为另一个实施例,第一处理器1003还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。

本实施例提供了一种解码器,该解码器可以包括解析单元、第一确定单元和第一计算单元。在该解码器中,利用质量评估模型可以提升主观质量评估的准确性;而且在该质量评估模型中,本申请的技术方案只需要使用原始点云以及从原始点云中提取的特征值,不再需要失真点云以及原始点云与失真点云匹配点对等,从而还简化了主观质量评估的计算复杂度。

基于前述实施例相同的发明构思,参见图11,其示出了本申请实施例提供的一种编码器110的组成结构示意图。如图11所示,该编码器110可以包括:第二确定单元1101和第二计算单元1102;其中,

第二确定单元1101,配置为确定待评估点云的特征参数;

第二确定单元1101,还配置为确定质量评估模型的模型参数;

第二计算单元1102,配置为根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

在一些实施例中,参见图11,编码器110还可以包括查找单元1103,配置为获取所述待评估点云的预编码参数;根据所述预编码参数以及预设查找表,确定所述待评估点云的特征参数;其中,所述预设查找表用于反映编码参数与特征参数之间的对应关系。

在一些实施例中,所述待评估点云的特征参数包括所述待评估点云的量化参数;其中,所述量化参数包括所述待评估点云的几何量化参数和颜色量化参数。

在一些实施例中,参见图11,编码器110还可以包括第二拟合单元1104,配置为获取主观质量测试数据集;基于所述主观质量测试数据集,拟合模型参数函数;其中,所述模型参数函数用于反映模型参数与特征参数之间的对应关系;

第二计算单元1102,还配置为根据所获取的特征参数以及所述模型参数函数,计算所述模型参数。

在一些实施例中,第二确定单元1101,还配置为从预设的一组或多组候选质量评估模型参数中,选择用于所述待评估点云的模型参数。

在一些实施例中,第二计算单元1102,还配置为利用第一计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第一特征值;利用第二计算子模型对所述待评估点云进行特征提取,得到所述待评估点云的第二特征值;

第二确定单元1101,还配置为根据所述第一特征值、所述第二特征值以及预设的向量矩阵,确定所述模型参数;

其中,所述第一计算子模型表征对所述待评估点云提取与几何距离上的色彩波动相关的特征值,第二计算子模型表征对所述待评估点云提取与色块平均方差相关的特征值。

在一些实施例中,第二计算单元1102,还配置为计算所述待评估点云中一个或多个点对应的第一特征值;对所述一个或多个点对应的第一特征值进行加权均值计算,将所得到的加权均值确定为所述待评估点云的第一特征值。

在一些实施例中,第二确定单元1101,还配置为针对所述待评估点云中的当前点,确定与所述当前点关联的近邻点集合;其中,所述近邻点集合内包括至少一个近邻点;

第二计算单元1102,还配置为针对所述近邻点集合,计算所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值,得到至少一个单位距离上的颜色强度差值;以及计算所述至少一个单位距离上的颜色强度差值的加权均值,得到所述当前点对应的第一特征值。

在一些实施例中,第二计算单元1102,还配置为获取所述当前点的第一颜色分量的第一颜色强度值,以及所述至少一个近邻点的第一颜色分量的第二颜色强度值;计算所述当前点的第一颜色强度值与所述至少一个近邻点的第二颜色强度值之间差值的绝对值,得到所述当前点与所述至少一个近邻点的颜色强度差值;

第二确定单元1101,还配置为根据所述当前点与所述至少一个近邻点的颜色强度差值以及所述当前点与所述至少一个近邻点之间的距离值,确定所述当前点与所述至少一个近邻点在单位距离上的颜色强度差值。

在一些实施例中,第二计算单元1102,还配置为计算所述待评估点云中一个或多个非空体素块对应的第二特征值;以及对所述一个或多个非空体素块对应的第二特征值进行加权均值计算,将所得到的加权均值确定为所述待评估点云的第二特征值。

在一些实施例中,第二计算单元1102,还配置为针对所述待评估点云中的当前非空体素块,获取所述当前非空体素块内至少一个点的第一颜色分量的第三颜色强度值;计算所述当前非空体素块内至少一个点的第三颜色强度值的加权均值,获得所述当前非空体素块的颜色强度平均值;以及还配置为针对所述当前非空体素块内至少一个点,利用所述第三颜色强度值与所述当前非空体素块的颜色强度平均值,确定所述至少一个点的颜色标准差;计算所述至少一个点的颜色标准差的加权均值,得到所述当前非空体素块对应的第二特征值。

在一些实施例中,参见图11,编码器110还可以包括第二训练单元1105,配置为获取主观质量测试数据集;对所述主观质量测试数据集进行训练,得到所述预设的向量矩阵。

在一些实施例中,第二确定单元1101,还配置为获取主观质量测试数据集;对所述主观质量测试数据集进行训练,得到所述预设的向量矩阵。

在一些实施例中,参见图11,编码器110还可以包括第二构造单元1106,配置为基于预设常数值、所述第一特征值和所述第二特征值,构造特征向量;

第二计算单元1102,还配置为对所述特征向量与所述预设的向量矩阵进行乘法运算,得到模型参数向量;其中,所述模型参数向量包括第一模型参数、第二模型参数和第三模型参数;

第二确定单元1101,还配置为将所述第一模型参数、所述第二模型参数和所述第三模型参数确定为所述模型参数。

在一些实施例中,所述预设常数值是整数。

可以理解地,在本实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例提供了一种计算机存储介质,应用于编码器110,该计算机存储介质存储有计算机程序,所述计算机程序被第二处理器执行时实现前述实施例中编码器侧所述的方法。

基于上述编码器110的组成以及计算机存储介质,参见图12,其示出了本申请实施例提供的编码器110的具体硬件结构示例,可以包括:第二通信接口1201、第二存储器1202和第二处理器1203;各个组件通过第二总线系统1204耦合在一起。可理解,第二总线系统1204用于实现这些组件之间的连接通信。第二总线系统1204除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图12中将各种总线都标为第二总线系统1204。其中,

第二通信接口1201,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;

第二存储器1202,用于存储能够在第二处理器1203上运行的计算机程序;

第二处理器1203,用于在运行所述计算机程序时,执行:

确定待评估点云的特征参数;

确定质量评估模型的模型参数;

根据所述模型参数和所述待评估点云的特征参数,使用所述质量评估模型,确定所述待评估点云的主观质量测度值。

可选地,作为另一个实施例,第二处理器1203还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法。

可以理解,第二存储器1202与第一存储器1002的硬件功能类似,第二处理器1203与第一处理器1003的硬件功能类似;这里不再详述。

本实施例提供了一种编码器,该编码器可以包括第二确定单元和第二计算单元。在该编码器中,利用质量评估模型可以提升主观质量评估的准确性;而且在该质量评估模型中,本申请的技术方案只需要使用原始点云以及从原始点云中提取的特征值,不再需要失真点云以及原始点云与失真点云匹配点对等,从而还简化了主观质量评估的计算复杂度。

需要说明的是,在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

37页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:一种基于梯度模相似度离差最小化的比特分配方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类