阅读说明：本技术 一种三维帧间预测改进v-pcc帧间预测的方法 (Method for improving V-PCC (V-policy and charging control) inter-frame prediction by three-dimensional inter-frame prediction ) 是由 郑明魁 王适 邱鑫 黄昕 王泽峰 于 2021-07-27 设计创作，主要内容包括：本发明涉及一种三维帧间预测改进V-PCC帧间预测的方法。首先,对当前帧点云找到在前一帧点云的最近点并记录距离。然后,把当前点云的点按照的优先级升序排序,以第一个点为坐标原点沿着值增加的方向构建8*8*8的包围盒。再而,设定可以容忍的点云失真阈值,并计算包围盒内最近点的距离的均值,根据均值与失真阈值的比较,把点云分成静态点云(均值小于阈值,能有效被三维帧间预测)和动态点云。对静态点云则通过构建代价函数对包围盒沿着某个最佳的维度延伸,并且每次去掉当前帧中的包围盒内点云。最后,重复上述步骤,直到所有点云分类完成,对动态点云融合并使用V-PCC编码,静态点云则熵编码其包围盒坐标的最小和最大值。(The invention relates to a method for improving V-PCC (V-PCC) inter-frame prediction by three-dimensional inter-frame prediction. Firstly, the nearest point of the current frame point cloud is found and the distance is recorded. Then, the point of the current point cloud is pressed In ascending order of priority, 8 × 8 bounding boxes are constructed with the first point as the origin of coordinates along the direction of increasing value. Then, a point cloud distortion threshold value capable of being tolerated is set And calculating the mean value of the distance of the closest point in the bounding box according to the mean value and the distortion threshold value The point cloud is divided into static point cloud (the average value is less than the threshold value, and can be effectively predicted by three-dimensional frames) and dynamic point cloud. And for the static point cloud, extending the bounding box along a certain optimal dimension by constructing a cost function, and removing the point cloud in the bounding box in the current frame each time. And finally, repeating the steps until all the point cloud classifications are finished, fusing the dynamic point cloud and encoding by using V-PCC, and entropy-encoding the minimum value and the maximum value of the bounding box coordinate of the static point cloud.)

一种三维帧间预测改进V-PCC帧间预测的方法

技术领域

本发明涉及一种三维帧间预测改进V-PCC帧间预测的方法。

背景技术

点云是指目标表面特性的海量点集合，其表面特性包括几何信息(x,y,z)属性信息(例如，R,G,B,反射强度等)。和传统的2D图像相比，3D点云更加能准确表达目标物体或者场景。目前已经广泛应用于虚拟现实和增强现实、无人驾驶、医疗以及高精度地图等领域。然而，相比传统的2D的图像，点云数量级至少超过了一个数量级而且是无序，因此，有效的点云压缩是十分具有挑战性的，对点云的存储和传输是必不可少。

动态图像专家组(简称:MPEG)针对动态点云压缩设计了：基于视频的点云压缩方法，该方法首先计算对一帧点云中每一个点计算法向量，通过聚合法向量相似且邻近的点云投影到2D像素形成不规则图像块(patch)，包括几何图像和纹理图像，进一步形成视频序列并用HEVC压缩。基于patch的方法解决点因为遮挡而使得一些点无法一一恢复的问题，但是也导致也破坏了点云的连续性，不利于时空相关性冗余的去除，影响了后续视频编码的效率。

首先估计点云帧与帧之间的相对运动，分割出帧与帧之间变化接近0的静止点云，因此静止点云可以根据已编码的上一帧和熵编码的边界信息直接恢复。动态点云则融合并用V-PCC方法压缩。因此可以节省大量点的编码从而节省了比特开销。

发明内容

本发明的目的在于提供一种三维帧间预测改进V-PCC帧间预测的方法，以弥补V-PCC采用patch的方法使得未能充分利用点云序列的时空相关性。

为实现上述目的，本发明的技术方案是：一种三维帧间预测改进V-PCC帧间预测方法，包括如下编码过程：

步骤M1、对当前帧点云中每一个点在前一帧点云找到距离最近点并记录此时的最近点距离；

步骤M2、把当前点云的点按照x、y、z的优先级升序排序，以第一个点为坐标原点沿着值增加的方向构建8*8*8的包围盒；

步骤M3、首先设定可以容忍最大点云的点对点失真为阈值mse_th，计算包围盒内点云的最近点距离的均值并且和阈值mse_th比较，均值小于阈值mse_th则说明是可以通过三维帧间预测的点云，称为静态点云，均值大于阈值mse_th则说明此时运动较大，不能有效通过三维帧间预测，称为动态点云；

步骤M4、对静态点云分别沿着x、y、z不同的维度增加一个单位得到不同的包围盒，且延伸的包围盒内是非空的，计算沿着不同维度增加后的均方距离，均方距离最小对应的维度即为最终选择的延伸维度；

步骤M5、判断此时延伸后的均方距离是否小于阈值mse_th，若是，则更新静态点云并且返回步骤M4；若不是，则说明不能延伸；

步骤M6、对于不能再延伸的静态点云，熵编码能确定包围盒边框的最小值和最大值；

步骤M7、对于所有包围盒内不能用三维帧间有效预测的的动态点云融合为一帧新的点云；

步骤M8、一直重复步骤M2到M7，并且每次把当前编码帧中确定后的包围盒内点云去掉，直到编码完所有点云；

步骤M9、对最后融合后的点云使用V-PCC的帧间预测编码。

在本发明一实施例中，还包括如下解码过程：

步骤S1、判断比特流的名字，选择对应的解码方式；

步骤S2、对于只有两类的点云，若当前点云不是静态点云，说明只能是动态点云，所以采用对应的解码方法：V-PCC解码；

步骤S3、对于静态点云的比特流，采用熵编码的解码，恢复包围盒的最小值和最大值；

步骤S4、根据最小值和最大值坐标点，确定包围盒的边界，取出在边界框内的已编码的前一帧点云恢复静态点云；

步骤S5、融合解码后的动态点云和静态点云恢复最后的解码点云。

相较于现有技术，本发明具有以下有益效果：本发明首先进行三维帧间预测，避免了点云因为分解为2D不规则图像块破坏了点云的连续性影响了冗余信息的去除。使三维帧间预测优化目前V-PCC的帧间预测方法，因此我们的方法只会优于V-PCC的方法。

附图说明

图1为本发明总体流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，是本发明提供的一种三维帧间预测改进V-PCC帧间预测的方法总体流程图，分为编码过程和解码过程两部分。包括如下步骤：

1)编码过程如图1(1)编码流程图所示：

步骤M1、对当前帧点云中每一个点在前一帧点云找到距离最近点并记录此时的最近点距离；

步骤M2、把当前点云的点按照x、y、z的优先级升序排序，以第一个点为坐标原点沿着值增加的方向构建8*8*8的包围盒。

步骤M3、首先设定可以容忍最大点云的点对点失真为阈值mse_th，计算包围盒内点云的最近点距离的均值并且和阈值mse_th比较，均值小于阈值则说明是可以通过三维帧间预测的点云(说明包围盒内点云的相对运动较小，因此称为静态点云)，大于阈值则说明此时运动较大，不能有效通过三维帧间预测，称为动态点云。

步骤M4、对静态点云分别沿着x、y、z不同的维度增加一个单位得到不同的包围盒，且延伸的包围盒内是非空的，计算沿着不同维度增加后的均方距离，均方距离最小对应的维度既为最终选择的延伸维度。

步骤M5、判断此时延伸后的均方距离是否小于阈值mse_th，若是，则更新静态点云并且返回步骤M4；若不是，则说明不能延伸。

步骤M6、对于不能再延伸的静态点云，熵编码能确定包围盒边框的最小值和最大值。

步骤M7、对于所有包围盒内不能用三维帧间有效预测的的动态点云融合为一帧新的点云。

步骤M8、一直重复步骤M2到M7,并且每次把当前编码帧中确定后的包围盒内点云去掉，直到编码完所有点云。

步骤M9、对最后融合后的点云使用V-PCC的帧间预测编码。

步骤M6和M8形成了编码的两路比特流，并分别用静态点云比特流和动态点云比特流命名。

2)解码过程如图1(2)解码流程图所示：

步骤S1、判断比特流的名字，选择对应的解码方式；

步骤S2、对于只有两类的点云，若当前点云不是静态点云，说明只能是动态点云，所以采用对应的解码方法：V-PCC解码。

步骤S3、对于静态点云的比特流，采用熵编码的解码，恢复包围盒的最小值和最大值。

步骤S4、根据最小值和最大值坐标点，确定包围盒的边界。取出在边界框内的已编码的前一帧点云恢复静态点云。

步骤S5、融合解码后的动态点云和静态点云恢复最后的解码点云。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。