基于平面拟合中心坐标投影的点云空间可伸缩编码几何重构方法
阅读说明：本技术 基于平面拟合中心坐标投影的点云空间可伸缩编码几何重构方法 (Point cloud space scalable coding geometric reconstruction method based on plane fitting center coordinate projection ) 是由 万帅 陈章 王哲诚 于 2021-07-04 设计创作，主要内容包括：本发明涉及一种基于平面拟合中心坐标投影的点云空间可伸缩编码几何重构方法,属于视频编解码技术领域。通过每个结点与周围26邻居结点构成的局部空间,利用邻居结点信息拟合当前结点的局部平面,再求解当前结点的中心点在该平面上投影点的坐标。解决了空间可伸缩后几何重构过程中的几何误差较大的问题。(The invention relates to a point cloud space scalable coding geometric reconstruction method based on plane fitting center coordinate projection, and belongs to the technical field of video coding and decoding. And fitting a local plane of the current node by using the information of the neighbor nodes through a local space formed by each node and the surrounding 26 neighbor nodes, and then solving the coordinates of the projection point of the central point of the current node on the plane. The problem of the geometric error is great in the space scalable back geometry reconstruction process is solved.)
技术领域
本发明涉及视频编解码技术领域，尤其涉及一种基于平面拟合中心坐标投影的点云空间可伸缩编码几何重构方法。
背景技术
在点云G-PCC编码器框架中，将输入点云进行slice划分后，对slice进行独立编码。在slice中，点云的几何信息和点云中的点所对应的属性信息是分开进行编码的。G-PCC编码器首先对几何信息进行编码。编码器对几何信息进行坐标转换，使点云全都包含在一个bounding box(包围盒)中；然后再进行量化，这一步量化主要起到缩放的作用，由于量化取整，使得一部分点的几何信息相同，根据参数来决定是否移除重复点，将不去除重复点称为几何无损压缩，去除重复点称为几何有损压缩，并量化和移除重复点这一过程又被称为体素化过程。接下来，对bounding box进行基于octree(八叉树)的划分。几何无损压缩和几何有损压缩过程在八叉树划分完成时均存在几何重建过程。
在点云G-PCC解码器框架中，点云的几何比特流信息和点云中的点所对应的属性比特流是分开进行解码的。G-PCC解码器首先对几何比特流进行解码。解码器对几何比特流进行算术解码，解码出点云的bounding box(包围盒)和基于octree(八叉树)的占位比特(1为非空，0为空)；根据编码时八叉树划分层级深度的不同，几何信息的解码又分为基于八叉树和trisoup(triangle soup，三角面片集)的两种框架。
spatial scalability(空间可伸缩)是G-PCC的重要功能，通过解码部分点云比特流信息生成点云缩略图，目前仅作用在基于八叉树几何信息解码框架中。skip Layer(跳过层)为解码端少解码的八叉树层级。如图1所示，八叉树几何编码到了第K层，不进行spatialscalability过程解码时，K层完全解码；进行spatial scalability过程时部分解码，解码到M层结束(M＝K–skip Layer)。
其功能是通过参数scalable_lifting_enabled_flag控制的。scalable_lifting_enabled_flag＝0时，不进行spatial scalability功能；scalable_lifting_enabled_flag＝1时，进行spatial scalability功能。
在基于八叉树的几何信息解码框架中，根据bounding box计算出当前点云在空间中的最大立方盒，再根据占位比特对非空的子立方体继续进行八等分，通常划分得到的叶子结点为1×1×1的单位立方体时停止划分，但是如果解码过程进行Spatial scalability(空间可伸缩)时，则是划分到指定的skip Layer，生成2skipLayer×2skipLayer×2skipLayer的立方体。之后，通过立方体生成几何坐标，对叶子结点为1×1×1的单位立方体，几何坐标为该立方体左前下角的坐标，对叶子结点为2skipLayer×2skipLayer×2skipLayer的单位立方体，几何坐标根据skip Layer的不同，采用不同的重构策略。
目前标准中可伸缩编码几何重构方法是由LG Electronics Inc的Hyejung Hur,Sejin Oh于2020年1月在提案m52315中提出的，被MPEG G-PCC标准(即MPEG-I(ISO/IEC23090)Part 9)接收。该技术方案就是根据skip Layer的层级不同采用不同的重构策略。
解码端的具体实施描述如下：
当skip Layer＝1，几何坐标为该立方体左前下角的坐标，如图3.Q点位置；
当skip Layer>1，几何坐标为该立方体中心位置的坐标，如图3.P点位置；
目前该技术是在标准附录C处。
C.3解码的位置移位过程
当MinGeomNodeSizeLog2大于1时，进程对当前点云图像的每个slice在基于八叉树的几何信息解码框架操作如下：
mask＝(-1)<<MinGeomNodeSizeLog2
for(i＝0；i<PointCount；i++){
PointPos[i][0]＝(PointPos[i][0]&mask)+(1<<(MinGeomNodeSizeLog2-1))
PointPos[i][1]＝(PointPos[i][1]&mask)+(1<<(MinGeomNodeSizeLog2-1))
PointPos[i][2]＝(PointPos[i][2]&mask)+(1<<(MinGeomNodeSizeLog2-1))
}
MinGeomNodeSizeLog2是当前八叉树最小的结点边长，数值上等于skip Layer；
PointCount是当前slice在解码到MinGeomNodeSizeLog2层级时结点的总数；
PointPos[i][0]是当前结点重构几何点的x轴坐标；
PointPos[i][1]是当前结点重构几何点的y轴坐标；
PointPos[i][2]是当前结点重构几何点的z轴坐标；
mask是中间掩码；
PointPos[i][0]PointPos[i][1]PointPos[i][2]的初始值，为当前边长为MinGeomNodeSizeLog2结点立方体左/前/下角的坐标，如图3.Q所示，经过上述代码的移位操作，PointPos[i][0]PointPos[i][1]PointPos[i][2]的值会等于当前结点立方体中心位置的坐标如图3.P点所示。
目前G-PCC使用如下两种方法衡量该过程几何误差大小。
(1)利用点到点距离表示，点到点几何误差测度计算过程如图5所示，图中黑点(bi)为点云伸缩编解码后生成的点，红点(aj)为原始点云中与其距离最近的点。黑点与红点的坐标之差(E(i,j)＝bi-aj)为点对点误差向量。误差向量的长度为点对点的几何误差，即：B为伸缩编码后的稀疏点云，A为原始点云，根据所有点i∈B的点对点距离以NB为点云B中的点数，定义整个点云的点对点误差D1为：
(2)利用点到平面距离表示，将误差向量E(i,j)沿法向Nj投影，得到一个新的误差向量这样，点对平面误差计算为:
上述技术中由于仅解码部分几何比特流信息，在边长为skip Layer的结点空间内，通过一个几何点代表结点范围内的所有点，所以进行spatial scalability后几何重构过程是一个有损的过程。
发明内容
要解决的技术问题
为了解决已有空间可伸缩后的几何重构过程，并没有考虑到不同结点内部点分布情况的不同，存在空间可伸缩后几何重构过程中的几何误差较大的问题。本发明提出一种基于平面拟合中心坐标投影的点云空间可伸缩编码几何重构方法。
技术方案
一种基于平面拟合中心坐标投影的点云空间可伸缩编码几何重构方法，其特征在于：通过每个结点与周围26邻居结点构成的局部空间，利用邻居结点信息拟合当前结点的局部平面，再求解当前结点的中心点在该平面上投影点的坐标。
本发明进一步的技术方案为：所述的周围26邻居结点包括6个共面邻居结点，12个共边邻居结点，8个共点邻居结点。
本发明进一步的技术方案为：利用邻居结点信息拟合当前结点的局部平面具体为：
1)K邻居结点平面拟合判断
检索当前邻居结点的26邻居情况，设26邻居内存在的邻居数量为：neighNum；
当neighNum≥K时，利用该结点周围26邻居结点内存在的neighNum个结点，计算出距离该结点中心位置坐标最近的K个邻居结点，利用P点坐标、八叉树结点边长octreeSize和邻居所在位置计算出邻居结点中心位置坐标；
2)最小二乘法平面拟合
采用最小二乘法平面拟合原理，通过N1～Nk的中心位置坐标进行平面拟合的最终方程为：
a0*x+a1*y+a2-z＝0
其中xi、yi、zi为邻居结点中心位置坐标。
本发明进一步的技术方案为：其特征在于所述的K值与点云图像平面法向量搜索邻居数相等，可以取1，2，3，4，5，6，7，8，9，10，11，12，13，14，15，16。
本发明进一步的技术方案为：求解当前结点的中心点在该平面上投影点的坐标为：
其中：
其中：x0、y0、z0为当前几何中心位置的坐标，即立方体的中心位置；x1、y1、z1为约束前的平面拟合几何重建方法计算出的几何坐标。
有益效果
本发明提出的一种基于平面拟合中心坐标投影的点云空间可伸缩编码几何重构方法，更加充分的利用了点云的空间相关性，使spatial scalability后几何重构的误差减少。几何信息PSNR表示：与现有技术相比，在相同的码率情况下，本发明方法带来的几何误差比现有技术带来的几何误差减少(PSNR为正值)或增加(PSNR为负值)的数值。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1空间可伸缩示意图；
图2G-PCC解码器框架图；
图3可伸缩编码后几何重构方法；
图4本发明在点云G-PCC解码器框架中所处位置示意图；
图5点到点误差示意图；
图6结点及邻居结点中心位置示意图；
图7平面拟合几何重建方法示意图；
图8平面拟合几何重建方法修正示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明中涉及的名词和术语适用于如下的解释：
1)点云压缩(Point Cloud Compression，PCC)
2)基于几何的点云压缩(Geometry-based Point Cloud Compression，G-PCC)
3)片(slice)
4)包围盒(bounding box)
5)八叉树(octree)
6)帧内预测(intra prediction)
7)三角面片集(triangle soup，trisoup)
8)基于上下文模型的自适应二进制算术编码(Context-based Adaptive BinaryArithmetic Coding，CABAC)
9)块(block)
10)交点(vertex)
11)细节层次(Level of Detail，LOD)
12)区域自适应分层变换(Region Adaptive Hierarchal Transform，RAHT)
13)跳过层(skip Layer)
14)空间可伸缩(Spatial Scalability)
15)动态图像专家组(Moving Picture Experts Group，MPEG)
16)国际标准化组织(International Standardization Organization，ISO)
17)国际电工委员会(International Electrotechnical Commission，IEC)
18)最小几何结点边长的log2对数(Minimum Geometry Node Size Log2，MinGeomNodeSizeLog2)
19)直接编码点数(Direct Point Count，DirectPointCount)
本发明提出了全新的一种基于平面拟合中心坐标投影的点云空间可伸缩编码几何重构方法，通过每个结点与周围26邻居结点构成的局部空间，利用邻居结点信息拟合当前结点的局部平面，再求解当前结点的中心点在该平面上投影点的坐标。具体过程如下：
Nj是点aj的平面法向量，是利用点aj及其邻居点(一共K个点)拟合局部平面的法向量，由于在进行scalable后，在解码端无法获取到点云各个具体的位置信息，无法计算准确的局部平面和平面法向量，所以采用当前结点的邻居占位信息进行局部平面近似拟合，计算该局部平面方程。
1.K邻居结点平面拟合判断
检索当前邻居结点的26邻居情况，设26邻居内存在的邻居数量为：neighNum；
当neighNum≥K时，利用该结点周围26邻居结点内存在的neighNum个结点，计算出距离该结点中心位置坐标(图6中P点即为结点中心位置)最近的K个邻居结点，利用P点坐标、八叉树结点边长octreeSize和邻居所在位置计算出邻居结点中心位置坐标(图6中N1～Nk即为邻居结点中心位置坐标)。
2.最小二乘法平面拟合
采用最小二乘法平面拟合原理，通过N1～Nk的中心位置坐标进行平面拟合。根据最小二乘法平面拟合原理和一般平面公式：
z＝a0*x+a1*y+a2
由最小二乘法知：
S＝min∑[(a0*xi+a1*yi+a2)-zi]2
对于上式分别取a0,a1,a2的偏导数：
再对上式移位后换算成矩阵形式：
再对上式通过克拉默法则求出a0,a1,a2的行列式表达式；
即：采用最小二乘法平面拟合原理，通过N1～Nk的中心位置坐标进行平面拟合的最终方程为：
a0*x+a1*y+a2-z＝0
3.平面拟合后几何重建坐标计算
再根据拟合的平面方程，计算结点中心位置P(x0,y0,z0)在该拟合平面上的投影点P1(x1,y1,z1)。如图7所示。
由上式拟合平面方程一般式可知，该平面的法向量由此可知，P1(x1,y1,z1)坐标满足以下方程：
其中：
该点P1(x1,y1,z1)即为平面拟合几何重建方法计算出的几何坐标。
4.构建几何坐标值约束
由于点P1(x1,y1,z1)的坐标必须在该结点的空间内部，即满足如下的约束条件：
设点P(x0,y0,z0)到拟合平面的距离为L；
则：
(1)当L≤octreeSize/2时，满足上述的约束条件，点P1(x1,y1,z1)在结点空间的内部。
(2)当L>octreeSize/2时，则会出现点P1(x1，y1，z1)出现在结点空间的外部，对此时的平面拟合几何坐标进行如下修正。
如图8所示，设点P2(x2,y2,z2)为PP1连线上的一点，且该点为结点空间内距离拟合平面最近的点。
所以，点P2(x2,y2,z2)满足：
即：
点P2(x2,y2,z2)即为在L>octreeSize/2时，修正后的平面拟合几何重建方法几何坐标。以下对比了skip Layer＝3不同跳过层时的情况。
D1-PSNR计算方式如下：
D2-PSNR计算方式如下：
(式中，p为表中定义的每个参考点云的峰值恒定值，由点云序列确定，如表2.加粗部分所示。)
表1.几何信息PSNR
表2.点云序列峰值恒定值
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：云应用的图像传输方法、装置、服务器及存储介质