阅读说明：本技术 基于图像熵k均值聚类的3d-hevc快速cu分割方法 (3D-HEVC (high efficiency video coding) rapid CU (CU) segmentation method based on image entropy K-means clustering ) 是由 张桦 姚王泽 黄鸿飞 沈菲 戴国骏 吴以凡 于 2020-05-18 设计创作，主要内容包括：本发明公开了一种基于图像熵K均值聚类的3D-HEVC快速CU分割方法。快速CU分割预测编码决策方法在CU划分之前,首先将CU平均划分为四块,然后对CU整体以及各小块分别进行二维熵计算,并合成一个五维向量,然后对其进行K均值聚类(K均值聚类模型需要进行离线训练得到各尺寸的聚类中心),若判断为不需要划分,则停止对CU的划分,否则进入递归进一步划分。二维熵具有能突显图像分布特征以及混乱程度的能力,以此为基础进行K均值训练从而能够得到判断是否划分的模型。本发明直接对CU进行判断,减少了递归带来的时间消耗因此具有计算复杂度低、编码时间短和视频重建效果好的特点。(The invention discloses a 3D-HEVC rapid CU segmentation method based on image entropy K-means clustering. The quick CU partition prediction coding decision method comprises the steps of firstly averagely dividing a CU into four blocks before the CU is divided, then respectively carrying out two-dimensional entropy calculation on the whole CU and each small block, synthesizing a five-dimensional vector, then carrying out K-means clustering on the five-dimensional vector (a K-means clustering model needs to be trained offline to obtain clustering centers of all sizes), stopping dividing the CU if the division is judged not to be needed, and otherwise, carrying out recursive further division. The two-dimensional entropy has the capability of highlighting image distribution characteristics and the chaos degree, and K mean value training is carried out on the basis of the capability, so that a model for judging whether to divide or not can be obtained. The invention directly judges the CU, reduces the time consumption brought by recursion, and has the characteristics of low computational complexity, short coding time and good video reconstruction effect.)

基于图像熵K均值聚类的3D-HEVC快速CU分割方法

技术领域

本发明涉及视频编码领域，具体是一种基于图像熵K均值聚类的3D-HEVC快速CU分割方法。

背景技术

在过去几年里，随着3D视频服务需求的增加，3D视频的展现、压缩和传输成为一个新的有挑战的研究课题。多视角加深度图(MVD)的视频格式是多种有发展前景的视频表现形式中的一种。由3D视频编码扩展开发联合协作组(JCT-3V)提出的高质量视频编码的3D扩展(3D-HEVC)是对于压缩MVD数据的一种新兴视频编码标准。

传统的CU分割是以递归划分至最小尺寸后逐渐向上比较进行判断是否划分，其时间复杂度很大，我们可以在其划分之前加入判断该CU矩阵是否需要划分，若不需要划分则不必进入递归判断，否则进入递归划分，由于深度图中平缓的较多，所以其中很多CU都不需要划分，可大大减少CU分割的时间。

图像二维熵能够反映灰度分布空间特征的特征量，可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征，此外还可以通过熵的值表示信息的混乱程度。

k均值聚类算法(k-means clustering algorithm)是一种迭代求解的聚类分析算法，可以简洁高效的将每个对象进行分类，并最终计算出聚类中心来作为分类的依据。

发明内容

本发明的目的是鉴于图像二维熵在提取图像信息方面的作用，提出一种基于图像熵K均值聚类的3D-HEVC快速CU分割方法，该方法将视频中的一帧图像进行图像二维熵计算，再经过K均值模型进行分类。该方法具有计算复杂度低、编码时间短和视频重建效果好的特点。

为了实现上述目的，本发明的技术方案包括如下步骤：

步骤1：选取不同序列以及不同QP值、不同尺寸的CU矩阵进行K均值离线训练，得到离线训练模型。

对于输入的CU矩阵，将其划分为四个子块，并对每一个子块及整个CU矩阵进行二维熵计算，形成一个五维向量。将五维向量输入训练模型，得到离线训练模型，并根据离线训练模型最终得到不同尺寸、不同QP的聚类中心。

步骤2：正式进行预测时，读入CU矩阵，划分为四个子块后进行二维熵计算并形成一个五维向量，将该五维向量输入K均值离线训练模型，进行聚类；

步骤3：如果属于聚类0，直接跳转至步骤5；

步骤4：如果属于聚类1，则让该读入的CU矩阵进入递归，将该CU矩阵划分为4个大小为N/2*N/2的子块，将每个子块作为新的CU矩阵，跳转到步骤2；所述的N为CU矩阵的尺寸；

步骤5：该CU矩阵不需要划分，划分过程结束。

步骤1所述的二维熵计算如下：

首先将CU矩阵平均分成四个子块，对每个子块以及整个CU矩阵分别进行计算。对于每个子块以及整个CU矩阵，遍历其所有像素点并计算像素点周围其余8个像素点的均值；如果该像素为CU四个角落点，则计算其周围三个像素点均值；若该像素为CU四个边点，则计算其周围五个像素点均值；同时进行统计当像素点数值为i时，其周围像素均值为j的数量，由此得到特征二元组f(i,j)，表示像素点数值为i，且其周围像素均值为j的数量；通过特征二元组f(i,j)计算该特征二元组f(i,j)的比例值，公式如下：

p_(i,j)＝f(i,j)/N²

其中N为所遍历对象的尺寸长度；

最后计算CU矩阵的二维熵，公式如下：

计算出每个子块以及整个CU矩阵的二维熵，并将其合为一组五维向量。

步骤1所述的K均值算法如下：

从3DHEVC的测试序列GT_fly,street，kendo，balloons，shark，hall，newspaper，dancer中，用其原始算法(计算rd cost并比较大小来判断是否需要划分)得到的QP分别为25、30、35、40，CU尺寸分别为64、32、16的矩阵各一万个(所有矩阵都已经标记是否需要划分)。即QP为25，CU尺寸为64的矩阵一万个，QP为25，CU尺寸为32的矩阵一万个，QP为25，CU尺寸为16的矩阵一万个，QP为30，CU尺寸为64的矩阵一万个等。

然后以同QP同尺寸的一万个矩阵为单位进行训练。分别将每个矩阵平均分为四个小块，计算其小块与整体的二维熵并合并成一个五维向量。

对得到的所有五维向量进行预处理，去除偏差值大于预设阈值的数据。

最后将进行预处理筛选所得到的最终数据集分别进行K均值聚类训练，最终得到不同QP不同尺寸共12个聚类模型，其中将每个模型的聚类0设为需要划分。

所述的每个模型的聚类0和聚类1的分类实现如下：

对于已经训练好的模型，输入原始训练数据进行分类，若得到的结果中，聚类0所对应的需要划分的矩阵比例多，则聚类0为需要划分，聚类1为不需要划分，反之，若聚类1所对应的需要划分的矩阵比例多，则聚类1为需要划分，聚类0为不需要划分；最后，将所有表示需要划分的聚类点都设定为聚类1，将所有表示不需要划分的聚类点都设定为聚类0，以作为统一使用。

步骤2过程如下：

进行正式预测时，首先判断该输入CU矩阵属于的QP值以及尺寸大小，然后将其划分为四个小块，分别计算其二维熵以及整体的二维熵。将得到的五维向量输入对应QP值与尺寸值的K均值聚类模型，得到预测结果。

本发明的有益效果如下：

本发明使用二维熵以及K均值算法应用于三维视频编码，利用二维熵的提取图像信息的作用以及K均值算法的分类能力，能有效的在视频码率减少的同时减少了编码时间，避免了计算冗余模式，减少计算量。

进一步的，通过计算图像及其子图像共五个二维熵所合成的五维向量来进行K均值算法训练，较大程度提升了判断准确度。同时，在进行实际递归判断时，由于只需要输入模型就能立刻得到结果从而避免了大量计算，极大的提升了编码时间。

附图说明

图1是K均值算法离线训练流程图

图2是CU分割预测方法流程图

图3是完整的分割流程图

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，本发明具体包括如下步骤：

步骤1.进行K均值算法离线训练，分别取序列GT_fly,street，kendo，balloons，shark，hall，newspaper，dancer的QP为25，30,35,40尺寸为64×64、32×32，16×16CU矩阵一万个。

步骤2.以每一万个矩阵为单位训练。判断该矩阵集的QP值，然后判断该矩阵集的尺寸。

步骤3.将每一个矩阵平均划分为四块，并对每一块以及整体进行二维熵计算，形成一个五维向量，二维熵计算过程如下：

首先将CU矩阵平均分成四个子块，对每个子块以及整个CU矩阵分别进行计算。对于每个子块以及整个CU矩阵，遍历其所有像素点并计算像素点周围其余8个像素点的均值；如果该像素为CU四个角落点，则计算其周围三个像素点均值；若该像素为CU四个边点，则计算其周围五个像素点均值；同时进行统计当像素点数值为i时，其周围像素均值为j的数量，由此得到特征二元组f(i,j)，表示像素点数值为i，且其周围像素均值为j的数量；通过特征二元组f(i,j)计算该特征二元组f(i,j)的比例值，公式如下：

p_(i,j)＝f(i,j)/N²

其中N为CU矩阵的尺度长，若CU未划分，则N为整个CU矩阵的尺度长，若CU已划分，则N为划分后子CU矩阵的尺度；

最后计算CU矩阵的二维熵，公式如下：

计算出每个子块以及整个CU矩阵的二维熵，并将其合为一组五维向量。

步骤4.对得到的所有五维向量进行预处理，去除偏差值大于预设阈值的数据。随后输入K均值模型中进行训练，聚类0设置为判断不划分。得到属于具体QP值以及CU尺寸的聚类中心12个。

如图2所示，本发明分割预测方法，具体包括如下步骤：

步骤(1).基于3D-HEVC，得到一个N*N(N＝64,32,16,N>8,第一次为64)大小的CU后，将其平均划分为四块矩阵，分别对其进行二维熵计算，最后对整体进行二维熵计算，并合并成一个五维向量。

步骤2：进行K均值算法聚类判断。若属于聚类0，则跳转至步骤4，若不属于聚类0，则跳转至步骤3

步骤3：让该CU进入递归，将该CU划分为4个大小为N/2*N/2的子CU，对每个子CU，跳转到步骤1；

步骤4：该CU不需要划分，划分过程结束。

如图3所示，基于图像二维熵K均值聚类的3D-HEVC快速CU分割预测方法，完整的分割流程图具体如下：读入一个64*64的CU,经过基于图像二维熵的K均值算法判断其需不需要划分，若不需要划分，该CU划分过程结束；若需要划分，划分为4个32*32的子CU，然后分别读入32*32的CU,经过基于图像二维熵的K均值算法判断其需不需要划分，若不需要划分，该CU划分过程结束；若需要划分，划分为4个16*16的子CU，然后分别读入16*16的CU,经过基于图像二维熵的K均值算法判断其需不需要划分，若不需要划分，该CU划分过程结束；若需要划分，划分为4个8*8的子CU，划分为最小尺寸，划分过程结束。