starnet 值得收藏！基于激光雷达数据的深度学习目标检测方法大合集（下）

作者|黄宇

资料来源|转载自我认识的挑战和发展列自动驾驶仪

【介绍】在最近发表的文章“”中，作者介绍了各大公司和机构基于激光雷达目标检测所做的一些工作。本文是补充的第二部分。

继续介绍一些工作。没想到，这个研究方向很火。

“FVNet:从点云实时检测物体的三维前视图建议生成”

这是一个称为FVNet的框架，它从点云生成3D前视图建议和目标检测。它包括两个步骤:生成前视图建议和估计3D边界参数。

首先，将点云投影到圆柱面上，生成具有丰富信息的前视特征地图，而不是从摄像机图像或鸟瞰图生成建议。然后，引入方案生成网络，从生成的图中预测三维区域方案，进而从整个点云中提取感兴趣的目标。最后，提出了另一种网络，用于从提取的目标点中提取点特征，并在标准坐标中回归最终的3D帧参数。该框架实现了每点云样本处理时间12毫秒的实时性能。

参见图(a)了解FVNet的概述。它由两个子网组成:(b)用于生成3D区域提议的提议生成网络(PG-Net)和用于估计3D边界参数的参数估计网络(PE-Net)。

图为PG-Net架构。顶部是骨干网，底部是残差块、卷积块和上采样块的细节。

该图显示了3D边界及其对应的圆柱段。左:3D帧，具有维度优先(Pw，Ph)、位置预测(bx，by)和截断距离预测(r1，r2)。右:3D空中对应的圆柱段，由截截两个径向距离r1和r2的平截头体生成。

形成圆柱投影的公式为:

" Part-A^2网络:用于从点云检测目标的3D部分感知和聚集神经网络"

提出了点云部分感知和部分A 2网络三维目标检测的组成。整个框架由两个阶段组成:组件感知阶段和组件聚合阶段。

首先，组件感知阶段学习预测粗略的3D建议和精确的对象内组件位置，同时从3D真实(GT)帧获得自由监督。设计的RoI感知点云池模块对同一提案中预测的对象内组件位置进行分组，实现了三维提案特征编码的有效表示。

然后，组件聚集阶段学习对帧重新评分，并基于汇集的组件位置来细化帧位置。

如下图所示，即使当目标被部分遮挡时，所提出的组件感知和聚合网络也可以鲁棒地预测组件和分割掩模在目标中的位置。这样的组件位置可以帮助更精确的3D目标检测。

下图是用于3D目标检测的part-aware和Part-A^2网络的总体框架。它包括两个阶段:(a)在第一部分，组件感知阶段精确估计目标中组件的位置，并通过将原始点云馈送到设计的骨干网络来生成3D建议。(b)第二部分，在聚合阶段，执行建议RoI感知的点云汇集操作，对每个三维建议组件信息进行分组，然后使用组件聚合网络根据组件特征和信息对帧的位置进行评分和细化。

稀疏上采样和特征细化块描述如下。该模块用于基于稀疏卷积的UNet骨干解码器。横向特征和底部特征首先通过稀疏卷积进行融合和变换。然后，通过稀疏反卷积对融合特征进行上采样。

让我们来谈谈RoI感知点云特征池图。由于上述BEV图显示的模糊性，使用之前的点云汇集方法无法恢复原来的框架形状。所提出的RoI感知点云汇集方法可以通过保留空体素对帧形状进行编码，只需要稀疏卷积。

下图显示了一些结果:

“体素-FPN:点云三维物体检测中的多尺度体素特征聚合”

点云数据中的目标检测是计算机视觉系统的关键组成部分之一，尤其是自动驾驶场景。体素FPN是一种单步三维目标检测器，它只使用激光雷达传感器的原始数据。

核心框架包括编码器网络和相应的解码器，其次是区域建议网络。编码器以自下而上的方式提取多尺度体素信息，而解码器以自上而下的方式融合来自不同尺度的多个特征图，如下所示。

下图是VFE框架:体素特征提取。

这是RPN-FPN框架图:

图为可视化汽车检测结果:绿色立方体代表真实3D帧，红色代表检测结果。

"标准:点云从稀疏到密集的三维物体探测器"

提出了一种两步三维目标检测框架——稀疏到密集三维目标检测器。第一步是自下而上的提案生成网络，使用原始点云作为输入，使用球形锚为每个点播种，生成准确的提案。实现了较高的召回率和较少的计算量。

然后，利用PointsPool，将内部点特征从稀疏表示转化为紧凑表示，生成所提出的特征，从而节省更多的计算时间。

在帧预测的第二步中，实现了一个并行交叉连接(IoU)分支，以提高对定位精度的认识，从而进一步提高性能。

下面是框架的示意图，包括三个不同的部分。第一部分是建议生成模块(PGM)，用于从基于人工点的球形锚生成准确的建议。第二部分是点卷轴层，用于将建议的特征从稀疏表示转换为紧凑表示。最后一个是帧预测网络，它对建议进行分类和回归，选择高质量的预测。

接下来，建议生成模块网络。(一)三维分割网络(基于PointNet ++)，以原始点云(x，y，z，r)为输入，通过叠加集合抽象(SA)层和特征传播(FP)模块，为每个点生成语义分割点和全局上下文特征。(b)提议生成一个网络(基于PointNet)。它以锚点中点的归一化坐标和语义特征作为输入，生成分类和回归预测。

下图是一个直观的KITTI测试结果。汽车、行人和骑自行车的人分别用黄色、红色和绿色突出显示。每幅图像的上一行是投影到RGB图像上的3D对象检测的结果。另一个是激光雷达阶段的结果。

“快速点神经网络”

腾讯的工作是为基于点云的三维目标检测提供一个统一、高效、有效的框架。这种两步方法利用了体素表示和原始点云数据。

第一步，以体素表示为输入的网络只由光卷积运算组成，产生少量高质量的初始预测。在初始预测中，每个点的坐标和索引卷积特征与注意机制有效地结合，并且保留了准确的位置和上下文信息。

在第二步中，融合特征用于处理内部点以进一步细化预测。

图中给出了两步框架的概述。在第一步中，点云被体素化，并被馈送到体素神经网络，以生成少量的初始预测。然后，通过融合内部点坐标和体素背景特征，为每个预测生成帧特征。框架特性被发送到RefinerNet进行进一步改进。

假设点云的感兴趣区域是大小为(L，W，H)的长方体，每个大小为(vl，vw，vh)的体素，3D空被划分为大小为(L/ vl，W/ vw，V/ vh)的3D体素网格。

下图是VoxelRPN的网络结构。图中使用的图层格式如下(内核大小)(通道)/(步幅)，即(kx，ky，kz)(chn)/(sx，sy，sz)。除非另有说明，否则默认步长为1。

下图显示了RefinerNet架构:

而这就是边框的经典化，其中数字代表了RefinerNet中边角预测的顺序。

给出一个结果:

“星网:点云中目标检测的目标计算”

这是谷歌的工作。提出了一种单步和两步点云数据融合的目标检测系统。在点云中观察到的目标与传统相机图像有很大不同:目标稀疏，位置变化较大，但没有表现出单个相机视角观察到的尺度畸变。这两个观测结果表明，简单廉价的数据驱动目标方案可以最大化空之间的覆盖范围或匹配点云的观测数据密度。这种识别与基于局部非卷积的点网络相结合，允许为点云建立目标检测器，该检测器只能被训练一次，但是适应不同的计算设置-对于不同的预测优先级或空之间的区域。他们在KITTI检测数据集和大规模Waymo开放数据集上展示了这种灵活性和目标检测策略。星网如下图所示:

图为StarNet点featurizer。星网块将一组点作为输入，其中每个点都有一个相关的特征向量。每个块首先计算点云的聚合统计(最大值)。接下来，将全局统计数据连接回每个点要素。最后，应用两个完全连接的层，每个层由BN、线性投影和ReLU激活组成。以及(b)星网点特征器堆叠多个星网块，并使用平均聚合来读出每个块的输出。读数连接在一起形成点云特征。

注意算法的伪代码:

“用于点云3D对象检测的类平衡分组和采样”

本文介绍了一种在自动驾驶研讨会(2019年，CVPR)中赢得数字场景3D检测挑战的方法。一般来说，稀疏3D卷积用于提取丰富的语义特征，然后将其馈送到类平衡多头网络以执行3D目标检测。为了处理自动驾驶场景中固有的严重的类不平衡，设计了类平衡采样和增强策略来生成更平衡的数据分布。

此外，还提出了一种平衡分组头来提高相似形状类的性能。图为其网络架构。三维特征提取器由子流形和常规三维稀疏卷积组成。3D特征提取器的输出具有16倍的缩减率，该缩减率沿着输出轴被展平，并被馈送到后续的区域建议网络(RPN)以生成8倍的特征图，随后是多组头部网络以生成最终预测。注意:标题组的数量是根据分组规范设置的。