阅读说明：本技术 一种基于图卷积注意网络的三维目标检测方法 (Three-dimensional target detection method based on graph convolution attention network ) 是由 夏桂华 何芸倩 苏丽 朱齐丹 张智 于 2019-09-26 设计创作，主要内容包括：本发明提供的是一种基于图卷积注意网络的三维目标检测方法。(1)对点云进行体素化划分与随机降采样；(2)在每个栅格体素中进行局部特征提取；(3)中间层卷积提取高阶特征图；(4)区域建议网络预测目标的标框、类别以及方向。本发明为了增强每个点与临近点之间的连接关系,提出了一种以边缘卷积形式为基础的引入注意机制的特征提取模块,同时在中间卷积层之后也引入原理相同的注意机制模块,对特征图各个通道进行特征的重新选择从而得到更合理的高阶特征图。本发明提升了点云的目标检测准确率,特别是在遮挡严重的情况下,仍能有良好性能。(The invention provides a three-dimensional target detection method based on a graph convolution attention network. (1) Carrying out voxelization division and random downsampling on the point cloud; (2) local feature extraction is carried out in each grid voxel; (3) extracting a high-order characteristic diagram by convolution of the middle layer; (4) the area suggests a frame, a category and a direction of the network prediction target. In order to enhance the connection relation between each point and the adjacent points, the invention provides a feature extraction module which is based on an edge convolution form and introduces an attention mechanism, and simultaneously introduces an attention mechanism module with the same principle after the middle convolution layer, and reselects the features of each channel of the feature map so as to obtain a more reasonable high-order feature map. The invention improves the target detection accuracy of the point cloud, and particularly has good performance under the condition of serious shielding.)

一种基于图卷积注意网络的三维目标检测方法

技术领域

本发明涉及的是一种计算机视觉三维点云处理方法，具体地说是一种三维目标检测方法。

背景技术

目标检测是一种传统的可视化任务，可以同时识别和定位目标，这是实现智能场景的先决条件。如今二维检测已经达到了前所未有的繁荣，但是在地图绘制、室内机器人和增强现实等领域，三维检测明显优于二维。它可以提供更多的位置姿态信息，同时也是自动驾驶环境感知的基本任务之一。RGB图像曾经是目标检测任务的主流数据形式，但随着3D传感器的发展，激光雷达近年来已成为一种越来越流行的检测工具。

现在，一些基于激光雷达和相机的方法融合了点云数据和图像数据一同获得更高的准确度。但融合方法也面临着计算成本过大的问题，所以单一传感器方法仍具有竞争力。许多研究表明，点云是描述物体形状更适当数据形式。点云可以更好地表示欧式距离并没有多尺度问题。然而，点云是一种稀疏数据，这使二维方法很难直接应用。

在提取特征时，大部分方法使用逐点处理点的方式，并使用对称函数来提取全局特征，这种思路忽视了点与点之间的连接和关系。而与图片数据相比，点云是一种天然的易于构建链接的图结构。有一些研究利用了图网络的思想，考虑了相邻点和边之间的关系有助于增强局部特征的表达，提出了边卷积的方法。在三维卷积时，考虑到在定义的体素范围内，由于点的稀疏性，很多体素为空，使用稀疏卷积的方式，可以在不影响卷积效果的同时提升计算速度并且减小显存损耗。

发明内容

本发明的目的在于提供一种能够提升点云目标检测准确率，在遮挡严重的情况下仍能有良好性能的基于图卷积注意网络的三维目标检测方法。

本发明的目的是这样实现的：

(1)对点云进行体素化划分与随机降采样；

(2)在每个栅格体素中进行局部特征提取；

(3)中间层卷积提取高阶特征图；

(4)区域建议网络预测目标的标框、类别以及方向。

本发明还可以包括：

1.所述的对点云进行体素化划分与随机降采样具体包括：使用体素网格的结构对原始点云进行划分，舍弃规定范围外的离群点，将点云划分至栅格中，并在每个体素栅格中进行随机降采样，然后对每个栅格进行编号，并进行存储。

所述的存储是使用哈希表存储。

2.所述的在每个栅格体素中进行局部特征提取具体包括：在每一个体素的栅格内，使用图注意网络模块对对应点进行特征提取。

所述的使用图注意网络模块对对应点进行特征提取具体为：首先将每个点与周围相邻的点之间连边，形成一个以欧氏距离为判断标准的图结构，同时将每个点与这个点本身连一条边，提取每条边的两端点坐标等信息作为边的初始特征，然后对边进行卷积操作，最后经过对称函数的选择，处理得到体素级特征。

在边卷积操作之前，使用注意机制对初始特征进行选择。

3.所述的中间层卷积提取高阶特征图具体包括：使用稀疏卷积的方法，将特征图压缩为一个致密的结构，进行卷积后，再映射回原本稀疏的空间表示；在经过卷积抽象后，利用注意机制对不同通道进行权重的重新分配，得到一个与特征图相对应的注意力图，将注意力图叠加到卷积得到的高阶特征图上，得到最终的三维特征图。

4.所述的区域建议网络预测目标的标框、类别以及方向具体包括：将经过多层卷积的高阶特征图经特征提取后，利用三个分别的全连接层计算各个锚点所对应的边界框、类别、方向的预测值。

本发明的基于图卷积注意网络的三维目标检测方法的特点是加强点云局部关系表达与优化特征选择过程。其中本发明将能够表述相邻点间关系的边卷积方法用于目标检测的特征提取，在初始点的特征选择阶段，使用注意机制来选择对特征表达更为重要的初始物理特征，从而得到更优的提取特征。在中间层卷积的过程中，同样产生了多通道的特征数据，本发明利用注意机制的思想，优化卷积结果，强化了有主要影响力的通道比重，得到更有表示力的特征图。

通常的一副场景的点云数据包含超过100k个点，因此考虑使用特定的数据结构对点云进行预处理，即体素化。首先将原始点划分为体素并首先提取点状特征，然后下采样的体素信号进入卷积和区域建议以获得三维边界框。

本发明考虑到在特征提取过程中加强底层原始点之间的关系表示，在特征提取时利用了图网络的思想，同时，为了更好的加强特征表达，考虑了一种模仿人类认知敏锐度的注意机制，从而使特征的多通道选择更为智能化。本发明将注意机制分别应用在图网络边卷积初始特征选择之前与稀疏卷积特征图处理之后，在提升神经网络模块表述力的同时，令每个阶段的特征表达更具解释性。

本发明具有以下优点：

1.本发明在每个体素的特征表示过程中使用了注意机制的图卷积方法，能够更好的描述点云的每个点之间的关系，提取更有表述力的特征。

2.本发明在经过中间层卷积后，对得到的高阶特征图利用注意机制进行权重的重新分配，得了更合理的高阶特征图。

3.以上两个改进共同作用，本发明能够提升三维目标检测在车辆的检测中的准确率。

附图说明

图1：基于图网络注意结构的特征提取模块，其中e表示边，x表示点，i与j表示点的编号；

图2：体素特征提取；

图3：引入注意机制的中间层稀疏卷积；

图4：总体流程。

具体实施方式

下面举例对本发明做更详细的描述。

步骤一：点云的体素化划分聚类

使用体素化的方式对原始超过100k个点的点云数据进行结构化和降采样，首先裁去一定范围以外的点，仅保留范围在x，y，z轴下D，H，W之内的点。由于一副点云的点数量过大，在提取范围之内，利用尺寸为v_d，v_h，v_w的小体素网格对整体点云进行划分。

为了解决点在每个体素中分布不均的问题，本实施方式使用了随即降采样的方法，使每个体素中的点不超过T个。最后将处理好的体素结构编号，并使用哈希表的方式存储，从而消除内部点为空的体素。

步骤二：体素中的点云特征提取

在将原始点云体素化后，为了得到体素级特征，本实施方式对每一个体素使用图注意网络模块进行特征提取。

点云是一个天然的图结构，在对点云的特征提取中，常规将每个点单独考虑而忽视了点与点之间的联系，定义

为一个图，其中包括了n个点组成的点集

以及点之间的边集

例如，本发明定义一个d维的临近图，对于每个点x_i，在

中包含了(i，j_i1)，...，(i，j_ik)形式的边集，其中i与j都为点的编号，于是定义边特征为

其中h_θ与下列公式中的H为对称函数。

通常来说，点云具有三个维度来表示其在真实世界的坐标，在本实施方式中，描述两点之间的边时，结合了中心点x_i和与其用h操作连接的点

的信息作为初始的特征选择。此时，边特征的每一个通道对于总特征表述的贡献是不同的，于是，添加了一种注意机制方法。在边卷积的多层感知操作之后，使用一种对称操作H对边级的特征进行提取，得到对应的点级的特征。随后，通过将点级特征X＝{x′₁，...，x′_n}进行另一个对称操作提取得到最终的体素级特征。

步骤三：中间层稀疏卷积

本实施方式使用三维稀疏卷积运算作为卷积中间层。假设ConvMD(c_in，c_out，k，s，p)是一个卷积运算符，其中c_in和c_out是输入的数量和输出通道，k，s，p分别对应于内核大小，步幅大小和填充大小。每个卷积运算包含3D卷积，BatchNormal层和Relu层。最后，在将稀疏映射转换为密集映射后，得到了一个高级特征映射，并在此添加了一个注意模块。

卷积操作期间有许多不同的比例特征图。很明显，每个维度的特征对贡整个特征的贡献都具有不同的重要性。为了改进特征图的描述，令其更为合理，本发明将注意图添加到原始特征图中。

本实施方式使用SE注意模块用于生成注意特征图。首先，让致密的特征映射输入为其中H为特征图高度，W为特征图宽度，C为通道数。然后使用avg-pool ing操作来提取每个通道从而得到一个提取特征，因此获得统计得到通道权重然后使用多层感知来获得每个维度的一些高级特征，于是最终的注意图为s_c＝F_e(z_c，W)，其中F_e为提取函数。

在缩放函数F_scale后，将注意特征图添加到原始图中以获取最终输出的综合特征图

此注意力机制操作添加在中间层之后，可以将高级信息聚合到最终的中间层特征图中，从而为后续的区域建议提供更多信息。

步骤四：区域建议网络

区域建议网络(RPN)已经成为许多检测框架中的典型嵌入模块。在本实施方式中，使用类似SSD的端到端的形式作为区域建议架构。区域建议层的输入是中间层提取的特征图，一个区域建议层包含卷积层，BatchNormal层和Relu层。在每个单独的RPN层之后，将特征贴图上采样到相同的固定大小，并将这些图连接在一起。最后，使用三个1×1卷积来生成边界框，类和方向的预测值。