基于图卷积注意网络的三维目标检测方法与制作流程

本技术提供的是一种基于图卷积注意网络的三维目标检测方法。(1)

对点云进行体素化划分

与随机降采样；(2)

在每个栅格体素中进行局部特征提取；(3)

中间层卷积提取高阶特征图；

(4)

区域建议网络预测目标的标框、类别以及方向。本技术为了增强每个点与临近点之间的

连接关系，提出了一种以边缘卷积形式为基础的引入注意机制的特征提取模块，同时在中间

卷积层之后也引入原理相同的注意机制模块，对特征图各个通道进行特征的重新选择从而得

到更合理的高阶特征图。本技术提升了点云的目标检测准确率，特别是在遮挡严重的情况

下，仍能有良好性能。

技术要求

1.

一种基于图卷积注意网络的三维目标检测方法，其特征是：

(1)

对点云进行体素化划分与随机降采样；

(2)

在每个栅格体素中进行局部特征提取；

(3)

中间层卷积提取高阶特征图；

(4)

区域建议网络预测目标的标框、类别以及方向。2.

根据权利要求1

所述的基于图卷积注意网络的三维目标检测方法，其特征是所述的对

点云进行体素化划分与随机降采样具体包括：使用体素网格的结构对原始点云进行划

分，舍弃规定范围外的离群点，将点云划分至栅格中，并在每个体素栅格中进行随机降

采样，然后对每个栅格进行编号，并进行存储。

3.

根据权利要求2

所述的基于图卷积注意网络的三维目标检测方法，其特征是：所述的存

储是使用哈希表存储。

4.

根据权利要求1

所述的基于图卷积注意网络的三维目标检测方法，其特征是所述的在每

个栅格体素中进行局部特征提取具体包括：在每一个体素的栅格内，使用图注意网络模

块对对应点进行特征提取。

5.

根据权利要求4

所述的基于图卷积注意网络的三维目标检测方法，其特征是所述的使用

图注意网络模块对对应点进行特征提取具体为：首先将每个点与周围相邻的点之间连

边，形成一个以欧氏距离为判断标准的图结构，同时将每个点与这个点本身连一条边，

提取每条边的两端点坐标等信息作为边的初始特征，然后对边进行卷积操作，最后经过

对称函数的选择，处理得到体素级特征。

6.

根据权利要求5

所述的基于图卷积注意网络的三维目标检测方法，其特征是在边卷积操

作之前，使用注意机制对初始特征进行选择。

7.

根据权利要求1

所述的基于图卷积注意网络的三维目标检测方法，其特征是所述的中间

层卷积提取高阶特征图具体包括：使用稀疏卷积的方法，将特征图压缩为一个致密的结

构，进行卷积后，再映射回原本稀疏的空间表示；在经过卷积抽象后，利用注意机制对

不同通道进行权重的重新分配，得到一个与特征图相对应的注意力图，将注意力图叠加

到卷积得到的高阶特征图上，得到最终的三维特征图。

8.

根据权利要求1

所述的基于图卷积注意网络的三维目标检测方法，其特征是所述的区域

建议网络预测目标的标框、类别以及方向具体包括：将经过多层卷积的高阶特征图经特

征提取后，利用三个分别的全连接层计算各个锚点所对应的边界框、类别、方向的预测

值。

技术说明书

一种基于图卷积注意网络的三维目标检测方法

技术领域

本技术涉及的是一种计算机视觉三维点云处理方法，具体地说是一种三维目标检测方

法。

背景技术

目标检测是一种传统的可视化任务，可以同时识别和定位目标，这是实现智能场景的先

决条件。如今二维检测已经达到了前所未有的繁荣，但是在地图绘制、室内机器人和增

强现实等领域，三维检测明显优于二维。它可以提供更多的位置姿态信息，同时也是自

动驾驶环境感知的基本任务之一。RGB

图像曾经是目标检测任务的主流数据形式，但随

着3D

传感器的发展，激光雷达近年来已成为一种越来越流行的检测工具。

现在，一些基于激光雷达和相机的方法融合了点云数据和图像数据一同获得更高的准确

度。但融合方法也面临着计算成本过大的问题，所以单一传感器方法仍具有竞争力。许

多研究表明，点云是描述物体形状更适当数据形式。点云可以更好地表示欧式距离并没

有多尺度问题。然而，点云是一种稀疏数据，这使二维方法很难直接应用。

在提取特征时，大部分方法使用逐点处理点的方式，并使用对称函数来提取全局特征，

这种思路忽视了点与点之间的连接和关系。而与图片数据相比，点云是一种天然的易于

构建链接的图结构。有一些研究利用了图网络的思想，考虑了相邻点和边之间的关系有

助于增强局部特征的表达，提出了边卷积的方法。在三维卷积时，考虑到在定义的体素

范围内，由于点的稀疏性，很多体素为空，使用稀疏卷积的方式，可以在不影响卷积效

果的同时提升计算速度并且减小显存损耗。

技术内容

本技术的目的在于提供一种能够提升点云目标检测准确率，在遮挡严重的情况下仍能有

良好性能的基于图卷积注意网络的三维目标检测方法。本技术的目的是这样实现的：

(1)

对点云进行体素化划分与随机降采样；

(2)

在每个栅格体素中进行局部特征提取；

(3)

中间层卷积提取高阶特征图；

(4)

区域建议网络预测目标的标框、类别以及方向。

本技术还可以包括：

1.

所述的对点云进行体素化划分与随机降采样具体包括：使用体素网格的结构对原始

点云进行划分，舍弃规定范围外的离群点，将点云划分至栅格中，并在每个体素栅格中

进行随机降采样，然后对每个栅格进行编号，并进行存储。

所述的存储是使用哈希表存储。

2.

所述的在每个栅格体素中进行局部特征提取具体包括：在每一个体素的栅格内，使用图

注意网络模块对对应点进行特征提取。

所述的使用图注意网络模块对对应点进行特征提取具体为：首先将每个点与周围相邻的

点之间连边，形成一个以欧氏距离为判断标准的图结构，同时将每个点与这个点本身连

一条边，提取每条边的两端点坐标等信息作为边的初始特征，然后对边进行卷积操作，

最后经过对称函数的选择，处理得到体素级特征。

在边卷积操作之前，使用注意机制对初始特征进行选择。

3.

所述的中间层卷积提取高阶特征图具体包括：使用稀疏卷积的方法，将特征图压缩为一

个致密的结构，进行卷积后，再映射回原本稀疏的空间表示；在经过卷积抽象后，利用

注意机制对不同通道进行权重的重新分配，得到一个与特征图相对应的注意力图，将注

意力图叠加到卷积得到的高阶特征图上，得到最终的三维特征图。4.

所述的区域建议网络预测目标的标框、类别以及方向具体包括：将经过多层卷积的高阶

特征图经特征提取后，利用三个分别的全连接层计算各个锚点所对应的边界框、类别、

方向的预测值。

本技术的基于图卷积注意网络的三维目标检测方法的特点是加强点云局部关系表达与优

化特征选择过程。其中本技术将能够表述相邻点间关系的边卷积方法用于目标检测的特

征提取，在初始点的特征选择阶段，使用注意机制来选择对特征表达更为重要的初始物

理特征，从而得到更优的提取特征。在中间层卷积的过程中，同样产生了多通道的特征

数据，本技术利用注意机制的思想，优化卷积结果，强化了有主要影响力的通道比重，

得到更有表示力的特征图。

通常的一副场景的点云数据包含超过100k

个点，因此考虑使用特定的数据结构对点云进

行预处理，即体素化。首先将原始点划分为体素并首先提取点状特征，然后下采样的体

素信号进入卷积和区域建议以获得三维边界框。

本技术考虑到在特征提取过程中加强底层原始点之间的关系表示，在特征提取时利用了

图网络的思想，同时，为了更好的加强特征表达，考虑了一种模仿人类认知敏锐度的注

意机制，从而使特征的多通道选择更为智能化。本技术将注意机制分别应用在图网络边

卷积初始特征选择之前与稀疏卷积特征图处理之后，在提升神经网络模块表述力的同

时，令每个阶段的特征表达更具解释性。

本技术具有以下优点：

1.

本技术在每个体素的特征表示过程中使用了注意机制的图卷积方法，能够更好的描述

点云的每个点之间的关系，提取更有表述力的特征。

2.

本技术在经过中间层卷积后，对得到的高阶特征图利用注意机制进行权重的重新分配，

得了更合理的高阶特征图。

3.

以上两个改进共同作用，本技术能够提升三维目标检测在车辆的检测中的准确率。

附图说明图1

：基于图网络注意结构的特征提取模块，其中e

表示边，x

表示点，i

与j

表示点的编

号；

图2

：体素特征提取；

图3

：引入注意机制的中间层稀疏卷积；

图4

：总体流程。

具体实施方式

下面举例对本技术做更详细的描述。

步骤一：点云的体素化划分聚类

使用体素化的方式对原始超过100k

个点的点云数据进行结构化和降采样，首先裁去一定

范围以外的点，仅保留范围在x

，y

，z

轴下D

，H

，W

之内的点。由于一副点云的点数量过

大，在提取范围之内，利用尺寸为vd

，vh

，vw

的小体素网格对整体点云进行划分。

为了解决点在每个体素中分布不均的问题，本实施方式使用了随即降采样的方法，使每

个体素中的点不超过T

个。最后将处理好的体素结构编号，并使用哈希表的方式存储，从

而消除内部点为空的体素。

步骤二：体素中的点云特征提取

在将原始点云体素化后，为了得到体素级特征，本实施方式对每一个体素使用图注意网

络模块进行特征提取。点云是一个天然的图结构，在对点云的特征提取中，常规将每个点单独考虑而忽视了点

与点之间的联系，定义为一个图，其中包括了n

个点组成的点

集以及点之间的边

集例如，本技术定义一个d

维的临近图，对于每个点xi

，

在中包含了(i

，ji1)

，...

，(i

，jik)

形式的边集，其中i

与j

都为点的编号，于是定义边

特征为其中hθ

与下列公式

中的H为对称函数。

通常来说，点云具有三个维度来表示其在真实世界的坐标，在本实施方式中，描述两点

之间的边时，结合了中心点xi

和与其用h

操作连接的点的信息作为

初始的特征选择。此时，边特征的每一个通道对于总特征表述的贡献是不同的，于是，

添加了一种注意机制方法。在边卷积的多层感知操作之后，使用一种对称操作H

对边级的

特征进行提取，得到对应的点级的特征。随后，通过将点级特征X

＝{x′1

，...

，x′n}

进行另

一个对称操作提取得到最终的体素级特征。

步骤三：中间层稀疏卷积

本实施方式使用三维稀疏卷积运算作为卷积中间层。假设ConvMD(cin

，cout

，k

，s

，p)

是

一个卷积运算符，其中cin

和cout

是输入的数量和输出通道，k

，s

，p

分别对应于内核大

小，步幅大小和填充大小。每个卷积运算包含3D

卷积，BatchNormal

层和Relu

层。最后，

在将稀疏映射转换为密集映射后，得到了一个高级特征映射，并在此添加了一个注意模

块。