基于编码单元多特征分析的快速编码方法
阅读说明：本技术 基于编码单元多特征分析的快速编码方法 (Quick coding method based on multi-feature analysis of coding unit ) 是由 刘欣刚 朱超 吴立帅 汪卫彬 代成 李辰琦 于 2019-08-31 设计创作，主要内容包括：本发明公开了一种基于编码单元特征分析的快速编码方法,属于视频编码技术领域。本发明包括：编码单元纹理、边缘、结构特征提取；将提取的多特征输入至SVM分类器中离线学习,得到各深度下SVM的分类模型；通过提取的特征寻找当前关联度最大的编码单元进行深度0预判决；根据特征将编码单元划分为简单、中等和复杂三种情况；在各深度下对划分为简单的编码单元终止其深度判决,对划分为复杂的编码单元跳过当前深度进行下一深度判决,对划分为中等的编码单元则按照原流程进行当前深度的判决。本发明基于视频图像复杂度进行编码单元快速划分的方法可以大大减少编码单元在深度判决过程中的计算复杂度,在保证视频质量的前提下节约了编码时间。(The invention discloses a rapid coding method based on coding unit characteristic analysis, and belongs to the technical field of video coding. The invention comprises the following steps: extracting texture, edge and structural features of the coding unit; inputting the extracted multiple features into an SVM classifier for off-line learning to obtain classification models of the SVM at various depths; searching a coding unit with the maximum current association degree through the extracted features to perform depth 0 pre-judgment; dividing the coding unit into three cases of simple, medium and complex according to the characteristics; and stopping the depth judgment of the simply divided coding units under each depth, skipping the current depth of the complicated coding units for the next depth judgment, and judging the current depth of the medium-sized coding units according to the original flow. The method for rapidly dividing the coding units based on the complexity of the video images can greatly reduce the calculation complexity of the coding units in the depth judgment process, and saves the coding time on the premise of ensuring the video quality.)
技术领域
本发明涉及视频编码技术领域，具体涉及一种基于视频图像复杂度多特征的编码单元深度划分的高效视频编码方法。
背景技术
视频是由一帧帧图像组成的，但由于原始视频数据量巨大，导致其无法满足日常的存储和传输需求，所以我们需要对原始视频进行压缩。国际电信联盟(ITU-T)和国际标准化组织/国际电工委员会组织(ISO/IEC)再次联手合作成立视频编码联合工作组(JCT-VC)，于2013年公布了新一代视频编码标准——高效视频编码标准(HEVC/H.265)。HEVC沿用了上一代H.264的混合编码框架，引进了多种先进的编码技术，针对相同的视频序列，在保证编码质量不变的前提下，HEVC标准要比H.264标准节约50％的编码比特率。虽然HEVC在编码效率上有了很大的提高，但它的计算复杂度极大，其编码时间几乎是H.264标准的两倍，这也从很大程度上阻碍了HEVC标准在日常生活中的推广和应用。
HEVC采用了灵活的块划分方式，包括编码单元(CU)、预测单元单元(PU)、变换单元(TU)。在CU层HEVC通过四叉树递归的方式将编码图像划分为64x64、32x32、16x16、8x8四种像素尺寸，并分别用0、1、2、3四个深度表示，其中64x64的编码单元称为编码树单元(CTU)。通过从最大深度3到最小深度0至下而上的代价比较，确定CU最终的划分组合。由于CU这种划分和比较方式计算复杂度很高，如何减少不必要的计算成为了加速HEVC编码时间的关键。
图像的复杂度特性和最终的划分结果往往存在一定的联系。通常来说，图像纹理简单的区域一般使用较大的编码块编码，而图像纹理复杂的区域则更多采用小块来编码。针对CU层四叉树递归计算冗余的问题，传统方法大多基于单一统计特征拟合编码单元的二分类曲线，并根据曲线结果设定阈值进行CU层的划分判定。由于单一特征无法准确衡量图像的复杂度，而且仅仅使用单一阈值也无法达到自适应的需求，所以导致编码的预测效率非常低下。
发明内容
本发明的发明目的在于：针对现有高效视频编码技术计算复杂度高、传统方法选取特征单一、划分阈值单一的技术问题，本发明提供了一种基于编码单元多特征分析的快速编码方法。
本发明包括如下步骤：
S1：对各深度下的编码单元进行特征提取，获取各深度下的编码单元的纹理、边缘和结构特征；
S2：分类器特征离线学习：
将步骤S1提取的不同深度下的多特征输入至SVM分类器中离线学习，得到各深度下的SVM分类模型，各SVM分类模型用于确定各深度下的编码单元的复杂度分类；
S3：基于多特征关联度，确定邻域关联度最大的CTU；
S4：最大关联CTU深度0判断：
根据邻域关联度最大的CTU的深度对当前CTU提前判决；在当前编码深度为0的前提下，若与当前编码单元关联度最大的CTU的最终划分深度为0，则终止当前CTU的四叉树划分；否则继续执行步骤S5；
S5：复杂度预测：
编码每一个深度下的CU时，将提取的纹理、边缘和结构特征输入至对应深度的SVM分类模型中，根据输出结果将编码单元的复杂度分为简单、中等、复杂三种情况；
S6：根据复杂度预测的分类结果执行相应的划分判决：
若编码单元图像被分类为简单，则终止当前深度的四叉树划分；
若编码单元图像被分类为复杂，则直接进行当前的四叉树划分(即在当前深度下，直接对当前编码单元进行四叉树划分)，并进行下一深度的复杂度预测及划分判决；
若编码单元图像被分类为中等，则按照HEVC标准进行编码。
进一步的，步骤S1中，纹理、边缘和结构特征具体为：
纹理特征：提取每个编码单元的像素邻域均方差作为衡量图像纹理复杂度(Texture Complexity,TC)的特征；
边缘特征：提取每个编码单元的像素Sobel梯度值作为衡量图像边缘复杂度(Edges Complexity,EC)的特征；
结构特征：提取每个编码单元与其四个子块预测残差方差的方差作为衡量图像结构复杂度(Structure Complexity,SC)的特征。
进一步的，所述步骤S2包括如下步骤：
S21：将所有编码单元的TC、EC、SC和对应的深度信息输入至SVM分类器中进行离线训练；
S22：对于每个深度下的训练模型，基于训练后的分类器参数，得到对应编码单元的复杂度划分情况的阈值，即对应各深度下的分类器模型；
S23：根据离线训练分类的准确率，分别确定各深度下编码单元的最佳复杂度预测参数。
进一步的，所述步骤S5包括如下步骤：
S51：输入当前深度下编码单元的TC、EC、SC至SVM分类器中进行复杂度计算；
S52：若SVM分类器的预测编码单元不划分的输出结果小于0，则该编码单元的图像复杂度被分类为简单；
S53：若SVM分类的预测编码单元直接划分的输出结果大于0，则该编码单元的图像复杂度被分类为复杂；
S54：若SVM分类输出其他结果，则该编码单元的图像复杂度被分类为中等。
综上所述，由于采用了上述的技术方案，本发明的有益效果是：本发明提取编码图像的多个特征，从多个角度更加准确地衡量了编码图像的复杂度情况。根据邻域图像的关联性提前终止深度0判决，利用编码图像的时空域和深度信息加速深度0判决，大大加速编码时间。通过对特征离线学习的方法得到多分类器预测模型，多分类器多阈值的预测更加准确灵活。
附图说明
图1：本发明编码单元多特征分析的快速编码流程图。
图2：本发明提取图像边缘复杂度的水平和垂直Sobel梯度模板示意图。
图3：编码单元四叉树划分示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本发明的基于编码单元多特征分析的快速编码方法，是一种基于视频图像复杂度特性来加速编码单元深度划分的高效视频编码(HEVC)方法。首先提取各深度下的编码单元特征，包括编码单元纹理、边缘、结构特征；分类器特征离线学习，将提取的多特征输入至SVM分类器中离线学习，得到各深度下SVM的分类模型；时空域相邻编码单元关联度分析，通过提取的特征寻找当前关联度最大的编码单元进行深度0预判决；复杂度判断，根据特征将编码单元划分为简单、中等和复杂三种情况；编码单元深度判决，在各深度下对划分为简单的编码单元终止其深度判决，对划分为复杂的编码单元跳过当前深度进行下一深度判决，对划分为中等的编码单元则按照原流程进行当前深度的判决。本发明基于视频图像复杂度进行编码单元快速划分的方法可以大大减少编码单元在深度判决过程中的计算复杂度，在保证视频质量的前提下节约了编码时间。
参见图1，其具体实现过程如下：
S1：各深度下编码单元特征提取。
S11：提取每个编码单元的像素邻域均方差作为衡量图像纹理复杂度(TextureComplexity,TC)的特征，即TC表达式如式(1)、式(2)所示：
式中，N代表当前编码块像素点的数量，f(i,j)代表当前编码单元在坐标为(i,j)处的图像像素值，而
S12：提取每个编码单元的像素Sobel梯度值作为衡量图像边缘复杂度(EdgesComplexity,EC)的特征，即EC表达式如式(3)、式(4)所示:
式中，N代表当前编码块像素点的数量，
S13：提取每个编码单元与其四个子块的预测残差方差的方差作为衡量图像结构复杂度(Structure Complexity,SC)的特征，根据每个编码单元与其四个子块的预测残差方差的方差作为该编码单元的SCom，如式(5)所示：
式中，vari表示编号为i的子块的预测残差方差，
S2：分类器特征离线学习，将提取的多特征输入至SVM分类器中离线学习，得到各深度下的SVM的分类模型，具体步骤为：
S21：将所有编码单元的TC、EC、SC和对应的深度信息输入至SVM分类器中进行离线训练；
S22：对于每个深度下的训练模型，选择合适的分类器参数，得到对应编码单元划分情况的阈值，即各深度下的分类器模型，分类器模型可简单用式(6)表示：
式中，ω、b分别为分类器训练后得到的参数，x为输入的TC、EC、SC等特征，sign为激活函数：当输出值为-1时表示预测的编码单元不划分，输出值为1时表示预测的编码单元继续划分，输出值为0时表示预测的编码单元划分情况不确定；
S23：根据离线训练分类的准确率，分别确定各深度下编码单元最佳的预测参数，即式(7)所示：
式中，ω1、b1分别是预测编码单元不划分的参数，ω2、b2分别是预测编码单元直接划分的参数；
S3：基于多特征关联度分析，确定邻域关联度最大的CTU；
S31：根据TC、EC、SC对当前编码单元的时空域相邻的CTU进行图像特征的关联度分析，确定与其关联度最大的CTU(也称为最大关联CTU)，其中最大关联度的计算表达式如式(8)所示：
式中，R表示最大关联度，TCcur、ECcur、SCcur分别为当前编码单元图像的纹理复杂度、边缘复杂度、结构复杂度，nei为相邻时空域的CTU，i分别为前一帧同位置CTU、正左方CTU、左上方CTU、正上方CTU、右上方CTU；
基于该最大关联度对应的CTU，得到当前编码单元的最大关联CTU。
S4：最大关联CTU的深度0判断，根据邻域最大关联CTU的深度对当前CTU提前判决；在当前编码深度为0的前提下，若与当前编码单元关联度最大的CTU的最终划分深度为0，则终止当前CTU的四叉树划分，编码单元四叉树划分示意图如附图3所示。否则继续执行后面步骤；
S5：复杂度预测，编码每一个深度下的CU时，将提取的特征输入至分类模型中，根据输出结果将编码单元分为简单、中等、复杂三种情况，并进行相应处理：
S51：输入当前深度下编码单元的TC、EC、SC至分类器中进行复杂度计算；
S52：若y1输出结果小于0，则该编码单元的图像复杂度被分类为简单；
S53：若y2输出结果大于0，则该编码单元的图像复杂度被分类为复杂；
S54：若输出其他结果，则该编码单元的图像复杂度被分类为中等；
S6：分类结果处理，根据分类结果执行相应的划分判决：
S61：若编码单元图像被分类为简单，则终止当前深度的四叉树划分；
S62：若编码单元图像被分类为复杂，则直接进行当前的四叉树划分，并进行下一深度的判决；
S63：若编码单元图像被分类为中等，则按照原始的HEVC标准进行编码；
本发明的快速编码方法提取图像的多个特征，利用特征离线训练的分类器对编码单元各深度的划分情况进行判决。以上方法减少了遍历所有深度下CU的比较次数，从而大大降低了编码复杂度。通过对实验仿真结果的分析，在同等可接受的质量损失前提下，本发明的编码时间可减少52.97％，而当前同类方法为46.5％。可见本发明在编码性能几乎不受影响的前提下有效地降低了编码复杂度。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
- 上一篇：一种医用注射器针头装配设备
- 下一篇：图像的编码、解码方法及装置、电子设备及系统