用于点云压缩的量化步长参数

文档序号:1804674 发布日期:2021-11-05 浏览:24次 >En<

阅读说明:本技术 用于点云压缩的量化步长参数 (Quantization step size parameter for point cloud compression ) 是由 A·扎格托 D·格拉兹斯 A·塔巴塔拜 于 2020-03-09 设计创作,主要内容包括:本公开涉及用于点云压缩的量化步长参数。本文中描述了一种对点云压缩算法的属性编码的量化方案进行参数化的技术。基于定点算术,在给定用户输入的量化参数(QP)的情况下,该算法在定点计数法中计算量化步长(QS)。(The present disclosure relates to quantization step size parameters for point cloud compression. Described herein is a technique to parameterize a quantization scheme for attribute coding of a point cloud compression algorithm. Based on fixed point arithmetic, the algorithm calculates the quantization step size (QS) in a fixed point counting method given the user input Quantization Parameter (QP).)

用于点云压缩的量化步长参数

相关申请的交叉引用

本申请在35U.S.C.§119(e)下要求2019年3月18日提交的标题为“QUANTIZATIONSTEP PARAMETER FOR POINT CLOUD COMPRESSION(用于点云压缩的量化步长参数)”的美国临时专利申请序列号62/819,830的优先权,该申请出于所有目的通过引用的方式被全文合并在本文中。

技术领域

本发明涉及三维图形。更具体来说,本发明涉及三维图形的编码。

背景技术

点云被考虑作为用于3D数据的传输的候选格式,该3D数据由3D扫描仪、LIDAR传感器捕获,或者被使用在比如虚拟现实/增强现实(VR/AR)之类的受欢迎的应用中。点云是3D空间中的点集合。除了空间位置(X,Y,Z)之外,每一个点通常具有相关联的属性,比如颜色(R,G,B)或者甚至反射率和时间标记(例如在LIDAR图像中)。为了获得目标3D对象的高保真表示,设备捕获大约数以千计或者甚至数以百万计的点的点云。此外,对于使用在VR/AR应用中的动态3D场景,每一帧常常具有独有的稠密点云,从而导致每秒传输几百万个点云。对于这样大的数据量的可行传输,常常应用压缩。

在2017年,MPEG发出了针对点云压缩的提议征集(CfP)。在评估了几项提议之后,MPEG对于点云压缩正在考虑两种不同的技术:3D原生编码技术(基于八叉树和类似的编码方法),或者3D到2D投影,随后是传统的视频编码。在动态3D场景的情况下,MPEG正在使用基于贴片表面建模的测试模型软件(TMC2),从3D到2D图像的贴片投影,以及利用比如HEVC之类的视频编码器对2D图像进行编码。该方法已被证明比原生3D编码更加高效,并且能够以可接受的质量实现具有竞争力的比特率。

在对点云进行编码时,TMC2对贴片投影的相关辅助信息进行编码,比如2D画布图像中的贴片位置和边框尺寸。对于辅助信息的时间编码,来自当前点云的贴片与来自即刻解码的点云的贴片之间的贴片匹配被用于预测。该规程被限制到紧接的邻域,并且包括对于序列中的所有帧实施增量编码。

发明内容

本文中描述了一种对点云压缩算法的属性编码的量化方案进行参数化的技术。基于定点算术,在给定用户输入的量化参数(QP)的情况下,该算法在定点计数法中计算量化步长(QS)。

在一个方面中,一种被编程在设备的非瞬时性存储器中的方法包括:获取三维内容,对三维内容实施几何结构编码,以及利用量化参数实施定点属性编码。量化参数对于色度和亮度是相同的。量化参数对于色度和亮度是不同的。色度量化参数与亮度量化参数成比例。色度量化参数是亮度量化参数的函数。量化参数对应于量化步长。利用表来进行量化参数与量化步长之间的对应性。

在另一方面中,一种装置包括:用于存储应用的非瞬时性存储器,该应用是用于:获取三维内容,对三维内容实施几何结构编码,以及利用量化参数实施定点属性编码;以及耦合到该存储器的处理器,该处理器被配置来处理该应用。量化参数对于色度和亮度是相同的。量化参数对于色度和亮度是不同的。色度量化参数与亮度量化参数成比例。色度量化参数是亮度量化参数的函数。量化参数对应于量化步长。利用表来进行量化参数与量化步长之间的对应性。

在另一方面中,一种系统包括用于获取三维内容的一个或多个设备,以及用于通过如下操作对三维内容进行编码的编码器:对三维内容实施几何结构编码,以及利用量化参数实施定点属性编码。量化参数对于色度和亮度是相同的。量化参数对于色度和亮度是不同的。色度量化参数与亮度量化参数成比例。色度量化参数是亮度量化参数的函数。量化参数对应于量化步长。利用表来进行量化参数与量化步长之间的对应性。

附图说明

图1示出了根据一些实施例的属性编码方法的流程图。

图2和3示出了根据一些实施例的利用QP的区域自适应分层变换(RAHT)的结果。

图4示出了根据一些实施例的被配置为实施QP点云压缩方法的示例性计算设备的方框图。

具体实施方式

本文中描述了一种对点云压缩算法的属性编码的量化方案进行参数化的技术。基于定点算术,在给定用户输入的量化参数(QP)的情况下,该算法在定点计数法(notation)中计算量化步长(QS)。

MPEG(动态图像专家组)当前正在定义用于点云压缩(PCC)的标准。点云被用来表示三维场景和对象,并且由通过其几何或外观属性描述的体积元素(体素)构成。TMC13是由MPEG保持和分发的测试模型软件,该软件不断地合并由其贡献者许可的新的提议。该标准的基于几何结构属性的压缩方案(被称作G-PCC)能够使用量化框架来实施属性编码,并且也被实施在TMC13软件中。量化是将值范围映射到单个值,从而得到有损压缩方案的处理。在G-PCC的情境中,量化减小变换后的属性系数的动态范围。

使用3D原生技术的3D数据压缩通常是使用网格或者形成点云的点的空间坐标来进行的。虽然任一种方法都可以被用来表示3D内容,但是在一些应用中,点云是优选的。在该后一种情况下,可以通过八叉树成功地实现几何结构压缩。除了几何结构之外,还可以对比如颜色和反射率之类的属性进行压缩。在这种情况下,比如区域自适应分层变换(RAHT)和提升变换之类的变换被证明是最成功的方法。在MPEG的测试模型软件TMC13中设想的该压缩架构的最经常的应用涉及静态点云和动态获取的点云。

之前只有QS被用于量化目的。本文中描述了使用定点算术将QP映射到QS。此外,通过使用定点算术将QP映射到QS,有可能实现基于QP的RDO(速率失真优化)框架。此外,通过对于每个通道选择不同的QP,例如色度QP可以不同于亮度QP,可以在属性通道之间实施改进的比特分配。

QP允许更精细的速率失真分配以及利用定点算术。对于亮度和色度可以使用不同的量化参数,或者生成不同属性通道的QP之间的关系。

图1示出了根据一些实施例的属性编码方法的流程图。点云数据通常包含几何结构和颜色属性信息。在步骤100中,实施三维内容(例如点云)的几何结构编码。可以通过任何方式来实施几何结构编码,比如3D原生编码技术(基于八叉树和类似的编码方法),或者3D到2D投影,随后是传统的视频编码。在步骤102中,实施属性传递。在步骤104中,进行定点属性编码。对于颜色和属性编码,能够使用图形变换。定点属性编码在比特流中发送QP而不是QS。在一些实施例中,对于亮度和色度使用相同的QP,在一些实施例中则使用不同的QP。通过对于色度和亮度使用不同的QP允许改进的比特分配。在TMC13比特流中发送QP而不是QS。更新后的配置文件使用QP而不是QSLuma或QSChroma。在步骤106中,对比特流进行编码。在几何结构编码和定点属性编码之后,生成比特流并且发送到解码器。在步骤108中,实施几何结构解码。基于几何结构编码来配置几何结构解码,以确保正确的解码。在步骤110中,实施定点属性解码。定点属性解码利用在比特流中发送的QP。在一些实施例中,实施更少的或附加的步骤。在一些实施例中,修改各步骤的顺序。

下表说明了CTC条件下的QS与QP之间的对应性:

速率 quantizationStepLuma quantQPFactor
r01 256 52
r02 128 46
r03 64 40
r04 32 34
r05 16 28
r06 8 22

使用等式1从量化参数QP获得量化步长Δstep

使用定点计数法(比例k),等式1变为

其中

假设α=4和k=8,获得如下量化:

Δ0={161,181,203,228,256,287} (4)

一旦通过QP实施了变换后的属性的量化,可以将拉格朗日速率-失真函数J定义为:

J(QP)=R(QP)+λ(QP)D(QP)

通过QP来控制亮度与色度之间的比特率分布。

考虑到亮度和色度具有特定的特性,可以对于每一个通道使用不同的QP,以实现更好的比特分配。QPL(用于亮度的QP)和QPC(用于色度的QP)分别是用于亮度和色度的量化参数。因此,作为QPL的函数的QPC为如下:

QPC=φ(QPL)。

考虑到不同的属性具有特定的特性,可以对于每一项属性使用不同的QP,以实现更好的比特分配。QP可以是基础量化参数,QPA0..n-1可以是用于属性A0和An-1的量化参数。将QPAi写作QP的函数:

QPAi=ψi(QP),i=0..n-1。

图2和3示出了根据一些实施例的利用QP的RAHT的结果。

图4示出了根据一些实施例的被配置为实施QP点云压缩方法的示例性计算设备的方框图。计算设备400能够被用来获取、存储、计算、处理、通信和/或显示信息,比如包括3D内容的图像和视频。计算设备400能够实施点云压缩的任何方面。一般来说,适于实施计算设备400的硬件结构包括网络接口402、存储器404、处理器406、(一个或多个)I/O设备408、总线410和存储设备412。处理器的选择并非关键,只要选择具有足够速度的适当处理器即可。存储器404可以是本领域内已知的任何传统的计算机存储器。存储设备412可以包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清晰度盘/驱动器、超高清晰度驱动器、闪存卡或者任何其他存储设备。计算设备400可以包括一个或多个网络接口402。网络接口的一个实例包括连接到以太网或其他类型的LAN的网卡。(一个或多个)I/O设备408可以包括以下各项当中的一项或多项:键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其他设备。被用来实施QP点云压缩方法的(一个或多个)QP点云压缩应用430可以被存储在存储设备412和存储器404中,并且按照应用通常被处理的那样被处理。在计算设备400中可以包括比图4中所示的更多或更少的组件。在一些实施例中,包括QP点云压缩硬件420。虽然图4中的计算设备400包括用于QP点云压缩方法的应用430和硬件420,但是QP点云压缩方法可以通过硬件、固件、软件或者其任何组合被实施在计算设备上。举例来说,在一些实施例中,QP点云压缩应用430被编程在存储器中并且使用处理器来执行。在另一个实例中,在一些实施例中,QP点云压缩硬件420是包括专门被设计为实施QP点云压缩方法的门的编程硬件逻辑。

在一些实施例中,(一个或多个)QP点云压缩应用430包括几个应用和/或模块。在一些实施例中,模块还包括一个或多个子模块。在一些实施例中,可以包括更少的或附加的模块。

在一些实施例中,QP点云压缩硬件420包括摄影机组件,比如镜头、图像传感器和/或任何其他摄影机组件。

适当的计算设备的实例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏机、数字摄影机、数字摄录一体机、摄影机电话、智能电话、便携式音乐播放器、平板计算机、移动设备、视频播放器、视频盘写入器/播放器(例如DVD写入器/播放器、高清晰度盘写入器/播放器、超高清晰度盘写入器/播放器)、电视、家庭娱乐系统、增强现实设备、虚拟现实设备、智能首饰(例如智能手表)、车辆(例如自动驾驶车辆)或者任何其他适当的计算设备。

为了利用QP点云压缩方法,设备获取或接收3D内容,并且以优化的方式处理和/或发送该内容,从而允许正确、高效地显示3D内容。QP点云压缩方法可以在用户的帮助下实施,或者在没有用户参与的情况下自动实施。

在操作中,除了对于亮度和色度或者任何给定的属性集合使用不同的QP之外,QP点云压缩方法使用QP而不是QS实现更精细的速率-失真分配,从而允许更好的比特率分配。

用于点云压缩的量化步长参数的一些实施例

1、一种被编程在设备的非瞬时性存储器中的方法,包括:

获取三维内容;

对三维内容实施几何结构编码;以及

利用量化参数实施定点属性编码。

2、第1条的方法,其中,量化参数对于色度和亮度是相同的。

3、第1条的方法,其中,量化参数对于色度和亮度是不同的。

4、第3条的方法,其中,色度量化参数与亮度量化参数成比例。

5、第3条的方法,其中,色度量化参数是亮度量化参数的函数。

6、第1条的方法,其中,量化参数对应于量化步长。

7、第6条的方法,其中,利用表来进行量化参数与量化步长之间的对应性。

8、一种装置,包括:

用于存储应用的非瞬时性存储器,该应用是用于:

获取三维内容;

对三维内容实施几何结构编码;以及

利用量化参数实施定点属性编码;以及

耦合到该存储器的处理器,该处理器被配置为处理该应用。

9、第8条的装置,其中,量化参数对于色度和亮度是相同的。

10、第8条的装置,其中,量化参数对于色度和亮度是不同的。

11、第10条的装置,其中,色度量化参数与亮度量化参数成比例。

12、第10条的装置,其中,色度量化参数是亮度量化参数的函数。

13、第8条的装置,其中,量化参数对应于量化步长。

14、第13条的装置,其中,利用表来进行量化参数与量化步长之间的对应性。

15、一种系统,包括:

用于获取三维内容的一个或多个设备;以及

用于通过如下操作对三维内容进行编码的编码器:

对三维内容实施几何结构编码;以及

利用量化参数实施定点属性编码。

16、第15条的系统,其中,量化参数对于色度和亮度是相同的。

17、第15条的系统,其中,量化参数对于色度和亮度是不同的。

18、第17条的系统,其中,色度量化参数与亮度量化参数成比例。

19、第17条的系统,其中,色度量化参数是亮度量化参数的函数。

20、第15条的系统,其中,量化参数对应于量化步长。

21、第20条的系统,其中,利用表来进行量化参数与量化步长之间的对应性。

前面通过具体实施例描述了本发明,在具体实施例中合并有细节以促进对于本发明的构造和操作原理的理解。本文中所提及的具体实施例和细节不意图限制所附权利要求的范围。本领域技术人员将很容易认识到,在不背离由权利要求限定的本发明的精神和范围的情况下,在被选择用来进行说明的实施例中可以做出其他各种修改。

12页详细技术资料下载
上一篇:一种医用注射器针头装配设备
下一篇:点云压缩的方法和装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!

技术分类