具体实施方式

基于图的点云压缩(G-PCC，Graph-based Point Cloud Compression)模型分别压缩几何信息和相关联的属性，诸如颜色或反射率。几何信息，即点云的3D坐标，通过其占用信息的八叉树分解进行编码。另一方面，通过类似差分脉冲编码调制(DPCM，DifferentialPulse Code Modulation)的技术对属性信息进行编码，该技术对不同层次之间的细节层次(LOD，Level-Of-Detail)数据执行闭环预测。基于已解码的几何信息，在编码器和解码器处以相同的方式构建LOD信息。基本上，LOD以这样的方式构建，即随着提供更多的LOD，以连续的方式获取给定点云的更详细信息。当对属性编解码执行基于样本的预测时，利用基于最近邻的树搜索(nearest-neighbor based tree search)来查找相邻样本以进行加权预测。权重被计算为每个相邻样本的几何距离的倒数。

在G-PCC属性编解码中，基于每个点的距离生成每个3D点的LOD，然后通过以基于LOD的顺序来应用预测以对每个LOD中的3D点的属性值进行编码。

G-PCC中的锚定方法(anchor method)如下进行。首先，计算其邻域的可变性以检查相邻值的差异程度，并且如果可变性低于阈值，则基于距离的加权平均预测按如下方式进行：基于点i的最近邻的距离，通过使用线性插值来预测属性值(a_i)_i∈0...k-1。设为当前点i的k个最近邻的集合，并且设为最近邻的集合的已解码/重建的属性值，为最近邻的集合到当前点的距离。预测的属性值然后由下式给出：

注意，当对属性进行编码时，所有点云的几何位置已经可用。另外，相邻点及其重建属性值在编码器和解码器处均可用，因为使用KD树结构以便于以相同的方式对每个点进行最近邻搜索。

其次，如果可变性高于阈值，则执行速率失真优化的预测器(predictor)选择。在生成LOD时，基于相邻点搜索的结果创建多个预测器候选。例如，当通过使用预测对P2的属性值进行编码时，将P0、P5和P4的基于距离的加权平均值设置为等于0的预测器索引。然后，将最近邻点P4的值设置为等于1的预测器索引。此外，将下一最近邻点P5和P0的值分别设置为等于2和3的预测器索引(表1)。在创建预测器候选之后，通过应用速率失真优化过程来选择最佳预测器，并且然后，对所选择的预测器索引进行算术编码。

定义预测器候选的最大数目(MaxNumCand，maximum number of predictorcandidate)，并将其编码到属性头中。在当前相邻点及其重建属性值在编码器和解码器处均可用，因为使用KD树结构以便于以相同的方式对每个点进行最近邻搜索。相邻点及其重建属性值在编码器和解码器处均可用，因为使用KD树结构以便于以相同的方式对每个点进行最近邻搜索。实现中，MaxNumCand被设置为等于numberOfNearestNeighborsInPrediction+1，并将其用于对进行编码和解码，所述预测器索引具有截断一元二值化。

提升变换建立在上一节中描述的预测变换之上。预测方案与提升方案之间的主要区别在于引入更新算子。

为了便于提升中的预测和更新步骤，必须在分解的每个阶段将信号分割成两组高相关性。在G-PCC中的提升方案中，通过利用LOD结构来执行分割，其中期望级别(level)之间具有这种高相关性，并且通过最近邻搜索来构建每个级别以将非均匀点云组织成结构化数据。在级别N的预测/更新(P/U)分解步骤产生细节信号D(N－1)和近似信号A(N－1)，其被进一步分解为D(N－2)和A(N－2)。重复执行该步骤，直到获得基本层(base layer)近似信号A(1)。

因此，不是对由LOD(N)，…，LOD(1)组成的输入属性信号本身进行编码，而是在提升方案中对D(N－1)，D(N－2)，…，D(1)，A(1)进行编码。注意，高效P/U步骤的应用通常导致D(N－1)，…，D(1)中的稀疏子带“系数”，从而提供变换编码增益优势。

上述用于预测变换的基于距离的加权平均预测作为G-PCC中的锚定方法(anchormethod)用于提升方案中的预测步骤。

对于诸如颜色的点云属性，在信道之间存在明显的冗余。

为了提高编解码效率，通常将颜色空间转换作为预处理/后处理步骤来执行。作为预处理/后处理步骤的颜色空间转换的一个问题是它们通常缺乏正交性，并且在转换的颜色空间中优化编解码器性能并不一定转化为原始空间中的良好质量。另外，无损颜色变换往往具有扩展的位深度，尤其是在试图以良好的精度近似非整数颜色变换时。这可能是一个依赖于许多实际系统中的实现约束的问题。

在本公开中，提出了有效地执行信道间去相关以提高压缩效率的方法。

所提出的方法可以单独使用或以任何顺序组合使用。此外，方法(或实施例)、编码器和解码器中的每一者可以由处理电路(例如，一个或多个处理器或一个或多个集成电路)实施。在一个示例中，一个或多个处理器执行存储在非易失性计算机可读介质中的程序。

本公开涉及以上描述的G-PCC预测器设计。这些方法可以应用于为点云设计的类似编解码器。

在本公开中，公开了可以避免使用颜色空间变换作为编解码效率的转换工具的上述问题的技术。

根据实施例，一种技术使用YCoCg-R作为用于G-PCC的DPCM中的预测残差的无损内环路变换(又称预测变换)，以在保持接近无损和无损重建的同时进行去相关(decorrelate)信道间依赖性。根据另一实施例，一种技术使用另一预测步骤来预测G-PCC的DPCM中的其它信道的残差值。

给出YCoCg变换，如下所示：

作为从YCoCg导出的无损变换，给出正向YCoCg-R，如下所示：

Co＝R-B

t＝B+(Co>>1)

Cg＝G-t

Y＝t+(Cg>>1)

反向YCoCg-R反转上述过程，如下所示：

t＝Y-(Cg>>1)

G＝Cg+t；

B＝t-(Co>>1)

R＝B+Co

当将此为残差变换来应用时，信号R、G和B是由G-PCC中的每个信道预测产生的每个信道的预测残差。

去相关多信道信号的另一种方法是使用预测器。在本公开中，一种技术使用预测器来预测信道的残差信号，使得对二阶残差进行量化和熵编码，而不是原始残差。

对于G-PCC预测设计，最简单的版本可以描述如下，其中粗体部分是在当前TMC3规范之上所需的改变。可以引入任何一般形式的线性或非线性预测器函数，以便可能改进这种最简单的预测。

如下文所用，“X”表示信道X信号，“X_pred”表示预测的信道X信号(从G-PCC中的重建相邻样本获得)，“X_delta_index”表示信道X的预测残差的量化索引，“X_delta_recon”表示信道X的重建残差，“X_recon”表示重建的信道X信号，并且“X_delta_residual_index”表示来自残差预测的残差的量化索引。

对于编码：

G-信道：

G_delta_index<-Quantize(G-G_pred)

G_delta_recon<-InverseQuantize(G_delta_index)

G_recon<-G_pred+G_delta_recon

EntopyEncode(G_delta_index)

C-信道(“C”可以是R或B)：

C_delta_index<-Quantize(C-C_pred)

C_delta_recon<-InverseQuantize(C_delta_index)

C_delta_residual_index<-Quantize(C_delta_recon–G_delta_recon)

C_delta_recon<-InverseQuantize(C_delta_residual_index)+G_delta_recon

C_recon<-C_pred+C_delta_recon

EntopyEncode(C_delta_residual_index)

对于解码：

G-信道

G_delta_index<-EntropyDecode()

G_delta_recon<-InverseQuantize(G_delta_index)

G_recon<-G_pred+G_delta_recon

//C-信道(“C”可以是R或B)

C_delta_residual_index<-EntropyDecode()

C_delta_recon<-InverseQuantize(C_delta_residual_index)+G_delta_reconC_recon<-C_pred+C_delta_recon

用于G-PCC和类似点云编解码器的信道间残差预测器的优点包括：解码过程中的变化很小；它不需要任何精心制作的多信道信号模型，并且与用于信道间去相关的其它基于无损颜色变换的方法(包括环路内残差变换)不同，所提出的方法可以根据豪斯道夫度量(Hausdorff metric)控制原始域中信号的保真度。这是因为在原始(RGB颜色)空间中执行量化。

以下提供了G-PCC工作草案规范中的信道间残差预测器的实施例示例。

在属性参数集语法中，可以添加标志以自适应地启用/禁用所提出的信道间残差预测器。

属性参数集语法：

属性参数集语义：

等于1的“lifting_residual_prediction_enabled_flag”指示属性解码过程执行残差预测。

逆量化过程：

本公开同样适用于G-PCC中的DPCM预测(又称预测变换)的上下文下的内环路颜色残差变换和颜色残差预测两者。这两种技术将被称为信道间工具。

在本公开中，提出了几种条件检查方法，用于决定是否将信道间工具应用于当前点。

在实施例中，为每个最近邻计算三个信道的重建残差值的最大差值。更具体地，解码器可以通过设置的阈值来跟踪在应用信道间工具之后有多少邻域经历了减少的残差量值/方差。特别是当三个重建的残差值相对均匀时，去相关很可能不成功。这需要一标志的簿记(bookkeeping)以指示解码时每个点的此类测试的结果。也可以在做出决定时进行多数投票(majority-voting)。

在另一实施例中，比较来自相邻点的三个信道的最大绝对差值。当颜色信道之间的值的可变性存在显著差异时，可能难以彼此预测。

可以结合任何测量来确定信道间工具的使用，所述测量可以识别来自相邻样本的信道间相关性。

在另一实施例中，可以发信号通知图块/条带级(例如，在图块/条带头中)或视频/图片级(例如，在SPS/PPS中)的标志以启用/禁用所提出的残差变换或预测。该信令可以应用于构成编码单元的点云像素的任何分组。

由于细节子带系数(detail subband coefficient)仅是来自提升的预测步骤的输出，因此这些实质上是预测残差信号，并且在给定相同预测策略的情况下，它们在不同颜色信道之间可能是相似的。

对于G-PCC提升设计，最简单的版本可以描述如下，其中粗体部分是在当前TMC3规范之上所需的改变。可以引入任何一般形式的线性或非线性预测器函数，以便可能改进这种最简单的预测。

如下文所用，“X”表示信道X信号，“X_coeff_index”表示信道X的提升系数的量化索引，“X_coeff_recon”表示信道X的重建提升系数，“X_recon”表示重建的信道X信号，“X_coeff_residual_index”表示来自残差预测的残差的量化索引，“quantWeight”表示在G-PCC中使用的加权因子，其在编码器处量化之前以及在解码器处去量化之后应用于提升系数。

编码：

G-信道

G_coeff_index<-Quantize(G)

G_coeff_recon<-InverseQuantize(G_coeff_index)

G_recon<-G_coeff_recon/quantWeight

EntopyEncode(G_coeff_index)

//C-信道(“C”可以是R或B)

C_coeff_index<-Quantize(C)

C_coeff_recon<-InverseQuantize(C_coeff_index)

C_coeff_residual_index<-Quantize(C_coeff_recon–G_coeff_recon)

C_ceoff_recon<-InverseQuantize(C_coeff_residual_index)+G_coeff_recon

C_recon<-C_coeff_recon/quantWeight

EntopyEncode(C_coeff_residual_index)

解码

/G-信道

G_coeff_index<-EntropyDecode()

G_coeff_recon<-InverseQuantize(G_coeff_index)

G_recon<-G_coeff_recon/quantWeight

//C-信道(“C”可以是R或B)

C_coeff_residual_index<-EntropyDecode()

C_coeff_recon<-InverseQuantize(C_coeff_residual_index)+G_coeff_reconC_recon<-C_coeff_recon/quantWeight

图1是用于对点云的属性信息进行编码的示例过程100的流程图。在一些实施方案中，图1的一个或多个过程框可以由用户设备210执行。在一些实施方案中，图1的一个或多个过程框可以由与用户设备210分离或包括用户设备210的另一设备或一组设备(诸如平台220)执行。

如图1所示，过程100可以包括获取点云，所述点云包括三维空间中的一组点(框110)。

点云可以是3D空间中的一组点，每个点具有相关联的属性，例如颜色、材料属性等。

如图1中进一步所示，过程100可以包括使用YCoCg-R变换对点云的属性信息进行编码(框120)。

YCoCg颜色模型是根据简单的变换形成的颜色空间，所述简单的变换为将相关联的红、绿、蓝(RGB)颜色空间转换为亮度值(表示为“Y”)和两个称为色度绿(Cg)和色度橙(Co)的色度值。YCoCg-R是YCoCg颜色模型的可逆缩放版本。

YCoCg-R变换可用于基于图的点云压缩(G-PCC)。在YCoCg-R中，Co＝R–B。此外，t＝B+(Co>>1)。再进一步，Cg＝G–t。再进一步，Y＝t+(Cg>>1)。

给出YCoCg变换，如下所示：

作为从YCoCg导出的无损变换，给出正向YCoCg-R，如下所示：

Co＝R-B

t＝B+(Co>>1)

Cg＝G-t

Y＝t+(Cg>>1)

反向YCoCg-R反转上述过程，如下所示：

t＝Y-(Cg>>1)

G＝Cg+t；

B＝t-(Co>>1)

R＝B+Co

在一些实施方案中，该过程可以包括基于使用YCoCg-R变换来对属性信息进行编码来传输点云。

虽然图1示出了过程100的示例框，但是在一些实施方案中，过程100可以包括与图1中描绘的那些框相比额外的框、更少的框、不同的框或不同排列的框。另外地或替代地，可以并行地执行过程100的两个或更多个框。

图2是其中可以实现本文所述的系统和/或方法的示例性通信系统200的图。如图2所示，通信系统200可以包括用户设备210、平台220和网络230。通信系统200的设备可以经由有线连接、无线连接或有线和无线连接的组合进行互连。

通信系统200可以支持数据的单向传输。例如，第一用户设备210可以在本地位置对视频数据进行编码，以便经由网络230传输到第二用户设备210。第二用户设备210可以从网络230接收第一用户设备210的已编码视频数据、解码已编码数据并显示恢复的视频数据。单向数据传输在媒体服务应用程序等中可能是常见的。

通信系统200可以支持数据的双向传输。例如，通信系统200可以支持例如在视频会议期间可能发生的已编码视频的双向传输。对于数据的双向传输，每个用户设备210可以对在本地位置处采集的视频数据进行编码以经由网络230传输到另一用户设备210。每个用户设备210还可以接收由另一用户设备210传输的已编码视频数据，可以解码已编码数据且可以在本地显示设备处显示恢复的视频数据。

用户设备210包括能够接收、生成、存储、处理和/或提供与平台220相关联的信息的一个或多个设备。例如，用户设备210可以包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，一对智能眼镜或智能手表)或类似设备。在一些实施方案中，用户设备210可以从平台220接收信息和/或向平台220传输信息。

平台220包括能够向用户设备210提供信息的一个或多个设备，如本文别处所述。在一些实施方案中，平台220可以包括云服务器或一组云服务器。在一些实施方案中，平台220可被设计为模块化，使得某些软件部件可以根据特定需要而被换入或换出。这样，平台220可以容易地和/或快速地重新配置以用于不同的用途。

在一些实施方案中，如图所示，平台220可以托管在云计算环境222中。值得注意的是，虽然本文描述的实施方案将平台220描述为托管在云计算环境222中，但是在一些实施方案中，平台220不是基于云的(即，可以在云计算环境之外实现)或者可以是部分基于云的。

云计算环境222包括托管平台220的环境。云计算环境222可以提供计算、软件、数据存取、存储等服务，这些服务不需要最终用户(例如，用户设备210)了解托管平台220的一个或多个系统和/或一个或多个设备的物理位置和配置。如图所示，云计算环境222可以包括一组计算资源224(统称为“计算资源224”，并且单独称为“计算资源224”)。

计算资源224包括一个或多个个人计算机、工作站计算机、服务器设备或其它类型的计算和/或通信设备。在一些实施方案中，计算资源224可以托管平台220。云资源可以包括在计算资源224中执行的计算实例、在计算资源224中提供的存储设备、由计算资源224提供的数据传送设备等。在一些实施方案中，计算资源224可以经由有线连接、无线连接或有线和无线连接的组合与其它计算资源224通信。

如图2中进一步所示，计算资源224包括一组云资源，诸如一个或多个应用程序(“APP”)224－1、一个或多个虚拟机(“VM”)224－2、虚拟化存储(“VS”)224－3、一个或多个管理程序(“HYP”)224－4等。

应用程序224－1包括可以提供给用户设备210或由用户设备210访问的一个或多个软件应用程序。应用程序224－1可以消除在用户设备210上安装和执行软件应用程序的需要。例如，应用程序224－1可以包括与平台220相关联的软件和/或能够经由云计算环境222提供的任何其它软件。在一些实施方案中，一个应用程序224－1可以经由虚拟机224－2向/从一个或多个其它应用程序224－1发送/接收信息。

虚拟机224－2包括执行类似物理机器的程序的机器(例如，计算机)的软件实现。虚拟机224－2可以是系统虚拟机或进程虚拟机，这取决于虚拟机224－2对任何真实机器的使用和对应程度。系统虚拟机可以提供支持完整操作系统(“OS”)的执行的完整系统平台。进程虚拟机可以执行单个程序，并且可以支持单个进程。在一些实施方案中，虚拟机224－2可以代表用户(例如，用户设备210)执行，并且可以管理云计算环境222的基础设施，诸如数据管理、同步或长期数据传送。

虚拟化存储224－3包括使用计算资源224的存储系统或设备内的虚拟化技术的一个或多个存储系统和/或一个或多个设备。在一些实施方案中，在存储系统的上下文中，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指逻辑存储从物理存储的抽象(或分离)，使得可以访问存储系统而不考虑物理存储或异构结构。分离可以允许存储系统的管理员在管理员如何为终端用户管理存储方面具有灵活性。文件虚拟化可以消除在文件级存取的数据与物理存储文件的位置之间的依赖关系。这可以实现优化存储使用、服务器合并和/或无干扰文件迁移的性能。

管理程序224－4可以提供硬件虚拟化技术，其允许多个操作系统(例如，“客户操作系统”)在主机(诸如计算资源224)上并发执行。管理程序224－4可以向客户操作系统提供虚拟操作平台，并且可以管理客户操作系统的执行。各种操作系统的多个实例可以共享虚拟化硬件资源。

网络230包括一个或多个有线和/或无线网络。例如，网络230可以包括蜂窝网络(例如，第五代(5G)网络、长期演进(LTE)网络、第三代(3G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如，公共交换电话网(PSTN)、专用网络、自组网、内联网、因特网、基于光纤的网络等，和/或这些或其它类型网络的组合。

提供图2中所示的设备和网络的数量和布置作为示例。实际上，可以存在比图2所示的设备和/或网络更多的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络，或不同布置的设备和/或网络。此外，图2所示的两个或更多个设备可以在单个设备内实现，或者图2所示的单个设备可以实现为多个分布式设备。另外地或替代地，环境200的一组设备(例如，一个或多个设备)可以执行被描述为由环境200的另一组设备执行的一个或多个功能。

图3是设备300的示例部件的图。设备300可以对应于用户设备210和/或平台220。如图3所示，装置300可以包括总线310、处理器320、存储器330、存储部件340、输入部件350、输出部件360和通信接口370。

总线310包括允许在设备300的部件之间通信的部件。处理器320以硬件、固件或硬件和软件的组合来实现。处理器320是中央处理单元(CPU，central processing unit)、图形处理单元(GPU，graphics processing unit)、加速处理单元(APU，acceleratedprocessing unit)、微处理器、微控制器、数字信号处理器(DSP，digital signalprocessor)、现场可编程门阵列(FPGA，field-programmable gate array)、专用集成电路(ASIC，application-specific integrated circuit)，或另一类型的处理部件。在一些实施方案中，处理器320包括能够被编程以执行功能的一个或多个处理器。存储器330包括随机存取存储器(RAM，random access memory)、只读存储器(ROM，read only memory)，和/或另一类型的动态或静态存储设备(例如，闪速存储器、磁存储器，和/或光学存储器)，其存储信息和/或指令以供处理器320使用。

存储部件340存储与设备300的操作和使用相关的信息和/或软件。例如，存储部件340可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、光盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带，和/或另一类型的非易失性计算机可读介质，以及对应的驱动器。

输入部件350包括允许设备300接收信息的部件，例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)接收。另外地或替代地，输入部件350可以包括用于感测信息的传感器(例如，全球定位系统(GPS)部件、加速度计、陀螺仪和/或致动器)。输出部件360包括提供来自设备300的输出信息的部件(例如，显示器、扬声器和/或一个或多个发光二极管(LED))。

通信接口370包括类似收发器的部件(例如，收发器和/或单独的接收器和发射器)，其使设备300能够诸如经由有线连接、无线连接或有线和无线连接的组合与其它设备通信。通信接口370可以允许设备300接收从另一设备接收信息和/或向另一设备提供信息。例如，通信接口370可以包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、无线网络接口、蜂窝网络接口等。

设备300可以执行本文描述的一个或多个过程。设备300可以响应于处理器320执行由非易失性计算机可读介质(诸如存储器330和/或存储部件340)存储的指令而执行这些过程。计算机可读介质在本文中被定义为非易失性存储器设备。存储器设备包括单个物理存储设备内的存储器空间或分布在多个物理存储设备的存储器空间。

软件指令可以经由通信接口370从另一计算机可读介质或从另一设备读入存储器330和/或存储部件340。当被执行时，存储在存储器330和/或存储部件340中的软件指令可以使处理器320执行本文描述的一个或多个过程。另外地或替代地，可以使用硬连线电路代替软件指令或与软件指令组合使用以执行本文所述的一个或多个过程。因此，本文描述的实施方案不限于硬件电路和软件的任何特定组合。

提供图3中所示的部件的数量和布置作为示例。实际上，设备300可以包括与图3所示的部件相比的附加部件、更少的部件、不同的部件或不同布置的部件。另外地或替代地，设备300的一组部件(例如，一个或多个部件)可以执行被描述为由设备300的另一组部件执行的一个或多个功能。

上述公开内容提供了说明和描述，但并非旨在穷举或将实施方案限制为所公开的精确形式。根据上述公开内容可以进行修改和变化，或者可以从实施方案的实践中获得修改和变化。

如本文所用，术语部件旨在被广泛地解释为硬件、固件或硬件和软件的组合。

显然，本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不是对实施方案的限制。因此，本文描述了系统和/或方法的操作和行为，而没有参考特定的软件代码——应当理解，软件和硬件可以被设计成基于本文的描述来实现系统和/或方法。

尽管在权利要求中陈述和/或在说明书中公开了特征的特定组合，但这些组合并不旨在限制可能实施方案的公开。实际上，这些特征中的许多可以以未在权利要求中具体陈述和/或在说明书中公开的方式组合。尽管下面列出的每个从属权利要求可以直接依赖于仅一个权利要求，但是可能实施方案的公开包括与权利要求集中的所有其它权利要求结合的每个从属权利要求。

除非明确说明，否则本文使用的任何元素、行为或指令均不应被解释为关键的或必要的。此外，如本文所用，冠词“一(a)”和“一个(an)”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。此外，如本文所用，术语“组”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关和不相关项目的组合等)，并且可以与“一个或多个”互换使用。在仅意指一个项目的情况下，使用术语“一个”或类似语言。此外，如本文所用，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”旨在表示“至少部分地基于”。