基于配准的改进v-pcc帧间预测方法及系统
阅读说明：本技术 基于配准的改进v-pcc帧间预测方法及系统 (Improved V-PCC (V-PCC) inter-frame prediction method and system based on registration ) 是由 郑明魁 王适 陈建 王泽峰 邱鑫 于 2021-07-28 设计创作，主要内容包括：本发明涉及一种基于配准的改进V-PCC帧间预测方法,包括以下步骤:步骤S1:基于运动一致性的二叉树粗分割算法对当前帧点云进行分割,并计算块内点云的质心到原点的距离,按距离的大小依次排序,给予相应的块其索引信息；步骤S2:对分割后的块进行三维配准帧间预测并计算误差,对于误差小于一定阈值的块直接熵编码块索引和运动信息；对于误差大于阈值的块,则融合并使用V-PCC的帧间估计,最后形成比特流。本发明有效提高V-PCC的编码性能。(The invention relates to an improved V-PCC interframe prediction method based on registration, which comprises the following steps of S1, segmenting current frame point clouds by a binary tree rough segmentation algorithm based on motion consistency, calculating the distance from the centroid of the point clouds in the blocks to the origin, sequencing the point clouds in the blocks according to the distance in sequence, and giving index information to the corresponding blocks; step S2, three-dimensional registration interframe prediction is carried out on the segmented blocks, errors are calculated, and block indexes and motion information are directly entropy-coded on the blocks with the errors smaller than a certain threshold value; and for the blocks with the errors larger than the threshold value, fusing and using the inter-frame estimation of the V-PCC to finally form the bit stream. The invention effectively improves the encoding performance of the V-PCC.)
技术领域
本发明涉及一种基于配准的改进V-PCC帧间预测方法及系统。
背景技术
从数学的角度，点云是一系列点的集合，物理含义是三维真实世界的数字化采样，每一个点由几何信息(x,y,z)属性信息(例如，R,G,B,反射强度等)。和传统的2D图像相比，3D点云更加能准确表达目标物体或者场景。目前已经广泛应用于虚拟现实和增强现实、无人驾驶、医疗以及高精度地图等领域。然而，相比传统的2D的图像，点云数量级至少超过了一个数量级而且是无序。目前对于用于点云编码性能测试的典型动态点云序列，每一帧点云通常包含近百万个点，每个点由30个比特表示几何信息以及24个比特表示颜色信息，因此一帧点云大小约为6Mbyte，对于30帧每秒的点云序列，则码率大小为180Mbyte/s，所以有效的压缩方法对于点云的存储和传输是极其重要的。
发明内容
有鉴于此，本发明的目的在于提供一种基于配准的改进V-PCC帧间预测方法，弥补V-PCC采用patch的方法破坏了点云的连续性，以及采用深度图投影成几何图因为帧与帧之间发生了伸缩和旋转和平移，使得投影后的几何图像有较大差异，导致未能充分利用点云序列的时空相关性，有效提高编码性能。
为实现上述目的，本发明采用如下技术方案：
一种基于配准的改进V-PCC帧间预测的编码方法，包括以下步骤:
步骤S1:基于运动一致性的二叉树粗分割算法对当前帧点云进行分割，并计算块内点云的质心到原点的距离，按距离的大小依次排序，给予相应的块其索引信息；
步骤S2:对分割后的块进行三维配准帧间预测并计算误差，对于误差小于一定阈值的块直接熵编码块索引和运动信息；对于误差大于阈值的块，则融合并使用V-PCC的帧间估计，最后形成比特流。
进一步的，所述基于运动一致性的二叉树粗分割算法，具体为：
步骤S11:对当前帧点云中每一个点在前一帧点云找到距离最近点并记录此时的最近点距离；
步骤S12:通过计算点云沿着x、y、z维度平均二分后的变异系数之和S(d)如式(1)所示，
其中离散系数为：均方误差：标准差：最近点的误差定义为：edji＝||pdji-rdji||2；d＝x、y、z表示分别沿着维度x、y、z分割；j＝1、2分别表示分割后的第一块点云和第二块点云的索引；pdji为当前帧点云沿着维度d分割后的j块点云中的第i点的几何坐标；rdji为点pdji在对应块中的最近点的几何坐标；Ndj为当前帧沿着维度d分割后的j块点云的总数。；
步骤S13:求解不同维度d二分后S(d)的最小值，此时最小值对应的维度即为确定的分割维度，点云由一帧变为两帧，通过设置标志位更新点云
步骤S14、统计分割的累计次数，判断是否小于设定分割次数，小于分割次数既重复分割，大于等于分割次数则说明分割完成。
进一步的，所述步骤S2具体为：
设定可以容忍的点云最大点对点失真为mseth，把分割后的对应的当前块和参考块进行ICP配准，并且计算参考块与当前块的点对点失真为mseref以及预测块和当前块的点对点失真为msepre，比较mseth和mseref以及msepre的大小，把点云分成四类，具体过程如下：
一类：当mseref≤mseth,mseref≤msepre，说明该块点云是静止的，参考点云和预测点云之间差异较小，配准之后误差没有改善。
二类：当mseref≤mseth,mseref≥msepre，说明该块点云近似是静止的，参考点云和预测点云之间差异较小，配准之后的预测点云和当前点云的误差进一步减小。
三类：当mseref≥mseth,mseth≥msepre，说明该块点云是运动的，参考点云和预测点云之间差异较大，但是通过配准之后形成的预测点云与当前点云的均方误差是小于阈值的；
四类：当mseref≥mseth,mseth≤msepre，说明该块点云是运动的，参考点云和预测点云之间差异较大，通过配准之后的预测点云与当前点云误差是大于阈值的；
当前帧是通过已编码的前一帧分割后进行预测，所以第一路比特流是对分割信息进行熵编码；对于一类静止的点云，只需要熵编码其索引信息；对于二类和三类点云则需要熵编码其块索引和旋转矩阵R和平移向量T。
对于不能有效使用配准的帧间预测的第四类点云，则融合后使用V-PCC编码；形成了使用直接熵编码分割信息、一类点云的索引信息和二类点云、三类点云的块索引和运动信息以及使用V-PCC编码的四类点云，形成四路比特流。
进一步的，所述第四类点云采用八叉树细分割，平均每次把点云块沿着三个维度同时分为八块，并把分割信息传递给参考帧，参考帧对应的块进行相同的分割，并按照八叉树对子节点的访问顺序，依次给予细分割后的点云块索引信息，并再次对分割后的点云配准和分类，并更新分类结果，若字块中点云数目小于预设值，则停止分割。
进一步的，解码方法，包括以下步骤:
步骤M1:根据解码出的分割信息，对前一帧已解码的点云进行分割，并且计算块的质心到原点的距离并排序，使用排序的编号赋予其块的索引编号；
步骤M2:解码一类点云的索引信息，根据索引信息和步骤S1得到的分割信息，还原了一类点云；解码二类、三类点云的索引信息,以及步骤S1的分割信息得到参考帧的点云块，对相应的参考帧点云块乘上对应的旋转矩阵R和加上平移向量T得到解码点云；
步骤M3:对于使用V-PCC编码的四类点云，其解码对应使用V-PCC解码；
步骤M4:把解码出的一、二、三、四类点云融合则得到当前帧的解码点云。
一种基于配准的改进V-PCC帧间预测系统，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如权利要求1-4任一项所述的编码方法中的步骤或权利要求5所述解码方法中的步骤。
本发明与现有技术相比具有以下有益效果：
1、本发明针对点云帧与帧之间存在点数差异、以及一帧点云不同位置运动不尽相同，导致不能进行有效的点云配准，提出了一种基于运动一致性的二叉树的粗分割，以及进一步的八叉树细分割方法，自适应地分割具有运动一致性的相邻点云，且保证了分割后参考点云和当前点云的对应性；
2、本发明采用配准预测是通过最小化参考帧和当前帧的差异，求解相应的旋转矩阵和平移向量，因此采用配准的帧间预测编码更小的残差；
3、本发明进一步对点云分类，和V-PCC相比，使得在保证点云失真的同时，减少了大量点的编码，进一步提高了V-PCC的编码性能。
附图说明
图1是本发明一实施例中的编码流程图；
图2是本发明一实施例中的解码流程图；
图3是本发明一实施例中基于运动一致性的二叉树粗分割流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1和2,，本发明提供一种基于配准的改进V-PCC帧间预测方法，包括编码过程和解码过程：
编码过程，包括以下步骤:
步骤S1:基于运动一致性的二叉树粗分割，把当前帧点云分成25块，并计算块内点云的质心到原点的距离，按距离的大小依次排序，给予相应的块其索引信息，根据当前帧的分割信息，把用来预测当前帧的参考帧点云也做相同的分割和给予块对应的索引信息，和当前帧对应分成25块；
步骤S2:设定可以容忍的点云最大点对点失真为mseth，把分割后的对应的当前块和参考块进行ICP配准，并且计算参考块与当前块的点对点失真为mseref以及预测块和当前块的点对点失真为msepre，比较mseth和mseref以及msepre的大小，把点云分成四类，具体过程如下：
一类：当mseref≤mseth,mseref≤msepre，说明该块点云是静止的，参考点云和预测点云之间差异较小，配准之后误差没有改善。
二类：当mseref≤mseth,mseref≥msepre，说明该块点云近似是静止的，参考点云和预测点云之间差异较小，配准之后的预测点云和当前点云的误差进一步减小。
三类：当mseref≥mseth,mseth≥msepre，说明该块点云是运动的，参考点云和预测点云之间差异较大，但是通过配准之后形成的预测点云与当前点云的均方误差是小于阈值的。
当mseref≥mseth,mseth≤msepre，说明该块点云是运动的，参考点云和预测点云之间差异较大，通过配准之后的预测点云与当前点云仍存在较大的差异。
首先当前帧是通过已编码的前一帧分割后进行预测，所以第一路比特流是对分割信息进行熵编码；对于一类静止的点云，只需要熵编码其索引信息；对于二类和三类点云则需要熵编码其块索引和旋转矩阵R和平移向量T。
对于最后不能有效使用配准的帧间预测的四类点云，则融合后使用V-PCC编码。因此最后形成了使用直接熵编码分割信息、一类点云的索引信息和二类点云、三类点云的块索引和运动信息以及使用V-PCC编码的四类点云，形成四路比特流。
优选的，在本实施例中，对于第四类不能有效使用三维配准预测的点云，说明点云本身对应关系较差、或者点云块内部的运动并非是一致的，因此在前面粗分割之后使得点云具有良好的对应关系的基础上，采用了更加高效的八叉树细分割，平均每次把点云块沿着三个维度同时分为八块，并把分割信息传递给参考帧，参考帧对应的块进行相同的分割，并按照八叉树对子节点的访问顺序，依次给予细分割后的点云块索引信息，并跳转步骤M3，再次对分割后的点云配准和分类，并更新分类结果，若字块中点云数目小于2000，则停止分割。
解码过程，包括以下步骤:
步骤M1:根据解码出的分割信息，对前一帧已解码的点云进行分割，并且计算块的质心到原点的距离并排序，使用排序的编号赋予其块的索引编号；
步骤M2:解码一类点云的索引信息，根据索引信息和步骤S1得到的分割信息，还原了一类点云；解码二类、三类点云的索引信息,以及步骤S1的分割信息得到参考帧的点云块，对相应的参考帧点云块乘上对应的旋转矩阵R和加上平移向量T得到解码点云；
步骤M3:对于使用V-PCC编码的四类点云，其解码对应使用V-PCC解码；
步骤M4:把解码出的一、二、三、四类点云融合则得到当前帧的解码点云。
参考图3，在本实施例中，优选的，基于运动一致性的二叉树粗分割算法，具体为：
步骤S11:对当前帧点云中每一个点在前一帧点云找到距离最近点并记录此时的最近点距离；
步骤S12:通过计算点云沿着x、y、z维度平均二分后的变异系数之和S(d)如式(1)所示，
其中离散系数为：均方误差：标准差：最近点的误差定义为：edji＝||pdji-rdji||2；d＝x、y、z表示分别沿着维度x、y、z分割；j＝1、2分别表示分割后的第一块点云和第二块点云的索引；pdji为当前帧点云沿着维度d分割后的j块点云中的第i点的几何坐标；rdji为点pdji在对应块中的最近点的几何坐标；Ndj为当前帧沿着维度d分割后的j块点云的总数。；
步骤S13:求解不同维度d二分后S(d)的最小值，此时最小值对应的维度即为确定的分割维度，点云由一帧变为两帧，通过设置标志位更新点云
步骤S14、统计分割的累计次数，判断是否小于设定分割次数，小于分割次数既重复分割，大于等于分割次数则说明分割完成。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：视频编解码方法、装置、系统及电子设备