基于点云的深度学习方法论文阅读

1. PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling

基于自适应采样的非局部神经网络鲁棒点云处理

引用格式：Yan X, Zheng C, Li Z, et al. PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 5589-5598.
本文的重点就是提出了SA和L-NL两个模块，提升了网络对点云噪声和异常点的鲁棒性，加强了对点云特征的学习能力。
（读完觉得本文的组织结构很清晰）
本文提出的PointASNL主要由两个通用模块组成：自适应采样（AS）模块和局部非局部（L-NL）模块。AS模块用于调整采样点的坐标和特征，而L-NL模块用于捕获采样点的邻域和长距离依赖性（ long-range dependency）。
与二维图像的情况不同，传统的卷积运算无法直接对非结构化点云数据进行处理。因此，现有的方法大多采用采样的方法从原始点云中选取点进行局部特征学习。
现有的一些采样算法：

• 最远点采样 farthest point sampling (FPS)
  作为最具代表性的一种，FPS基于欧几里得距离，是依赖任务并对异常值敏感的。
• 泊松圆盘采样 Poisson disk sampling (PDS)
  PDS作为一种预先定义的均匀采样方法，也不能以数据驱动的方式解决FPS中面临的任务依赖和对异常值敏感的问题。
• Gumbel子集采样 Gumbel subset sampling (GSS)
  GSS只对高维嵌入空间进行采样，忽略了点的空间分布。

此外，这些方法的共同关键问题是采样点仅限于原始点云的一个子集。因此，假设取了一个离群点，它将不可避免地影响后续操作。
为了克服上述问题，本文提出了一个可微的自适应采样（AS）模块，通过数据驱动的方式来调整初始采样点（例如FPS）的坐标。这种坐标调整有助于拟合固有的几何子流形，并在不受异常值影响的情况下，进一步移动到原始点云以外的点。因此，AS模块不仅有利于点特征学习，而且提高了模型对噪声的鲁棒性。
目前很多的工作都是考虑采样点周围的局部点组，然后构造基于图的学习或者定义卷积运算，然而，这种点局部单元只考虑相邻区域的局部信息的相互作用，然后通过层次结构获取全局上下文，这通常导致自底向上的特征学习。受到Non-local neural networks[3]的启发，本文提出了L-NL模块， 特别地，点非局部单元允许将采样点的响应计算为整个点云影响的加权和，而不是仅在有限的相邻范围内。利用学习到的long-dependency correlation，L-NL模块可以为稳健的点云处理提供更精确的信息。

以往相关工作：
特征学习方面：

• 基于体素的方法和基于投影的方法
  考虑到早期的直接对点云进行体素化然后利用三维卷积进行特征学习的方法的内存消耗，在此基础上出现了很多考虑点云的稀疏性的改进方法，大大提高了计算效率，但是这种方法缺乏捕捉非局部几何特征的能力。
• 基于点的学习方法
  代表性方法：PointNet、PointNet++、PointCNN、Point2Sequence、PointWEB等，这类方法大多是学习局部特征然后聚合为全局特征，或者学习全局特征但缺乏对局部信息的利用（怎么有种不可兼得的感觉，然后本文就提出了L-NL模块解决这个问题？）

对噪声和异常点的处理方面：

• 基于统计的方法
  例如基于统计距离的，基于邻域内点的个数的等，这类方法需要复杂的参数调整或额外信息，并且依赖于特定物体或任务。
• 数据驱动的方法
  很多基于数据驱动的方法的采样方法对噪声和异常值敏感。

SA模块

如图所示，该模块首先通过推理组内点关系更新分组点的特征，然后对初始采样点进行归一化加权，得到新的采样点。最后得到的新的采样点和特征是所有点和其特征的加权和，不一定是原始点云中的点。

N-NL模块

L-NL模块中，有两个单元：点局部（PL）单元和点非局部（PNL）单元。具体而言，PL单元可以是任何有吸引力的算法（例如PointNet++[25]、PointConv[44]），PNL单元创新性地考虑了采样点与整个点云之间的多尺度相关性。因此，通过结合局部和全局信息来增强点云的上下文学习。

具体地，PNL结构：

其中查询点即原始输入通过SA后生成的新的采样点，关键点即为输入点云的关键点（没有看到怎么得到的），点非局部单元就是得到每个查询点与全局关键点的关系信息。

2.A Graph-CNN for 3D Point Cloud Classification

图卷积神经网络

引用格式：Zhang Y, Rabbat M. A graph-cnn for 3d point cloud classification[C]//2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018: 6279-6283.
本文重点是将图卷积应用到点云中进行了目标识别任务，提出了两种池化层，分别是multi-resolution pooling和global pooling layer。这篇文章没有图卷积的基础知识会觉得看不懂，因为它的重点就是把图卷积应用到了点云中，其他的倒没什么太大的亮点。
图卷积的基础知识看这里
网络结构

3.Non-local neural networks

引用格式：Wang X, Girshick R, Gupta A, et al. Non-local neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7794-7803.
受计算机视觉中经典的非局部均值方法的启发，本文提出了一种非局部操作作为一个通用的模块来捕获long-range dependency。这模块可以应用到许多计算机视觉体系结构中。[1]中的L-NL模块就是受此文启发。
非局部操作将一个位置的响应计算为输入特征映射中所有位置的特征的加权和。位置集可以是空间、时间或时空，这意味着非局部操作适用于图像、序列和视频问题。
non-local模块：

+xi表示残差模块，由上式可知，加入non-local模块直接在原来的基础上加入Wz*yi即可。
其中yi等于：

yi表示位置i的输出响应，f是用于计算位置i的输入与所有输入位置关系的函数，g是输入xi的响应函数。
g、f 的选择：

为简单起见，g就选择线性函数，W是学习的权重。

f 可以选择高斯函数：

对于学习到的嵌入可以采用嵌入高斯函数：

或者更简单的点积形式：

C(x)=N

4.3DSSD: Point-based 3D Single Stage Object Detector

引用格式：Yang Z, Sun Y, Liu S, et al. 3dssd: Point-based 3d single stage object detector[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11040-11048.
本文提出了一种轻量级、高效的三维单阶段目标检测框架。
速度：每个场景38ms，25FPS

现有方法：

• 结合雷达数据、前视图、鸟瞰图（BEV），如MV3D、MMF等，融合多个传感器信息
• 仅使用激光雷达数据的三维目标检测主要有两种方法，一种是基于体素的，一种是基于点的。

三维目标检测像二维一样，根据对生成的候选区域是直接预测结果还是经过一个refine模块再预测结果划分为one-stage(single-stage)和two-stage方法。

对于two-stage方法：
它们以原始点云为输入，根据每个点预测边界框。具体来说，它们由两个阶段组成。在第一阶段，他们首先利用set abstract（SA）层进行下采样和提取上下文特征。然后，应用feature propogation（FP）层进行上采样并将特征广播（broadcasting）到下采样过程中丢弃的点。然后应用三维RPN网络（RPN）生成以每个点为中心的proposals。基于这些proposals，开发了一个refine模块作为第二阶段给出最终预测。这些方法虽然取得了较好的性能，但在许多实时系统中，它们的推理时间往往难以忍受（这一点与二维的相吻合）。
提出问题：
本文认为 FP层和refine模块耗了一半的推理时间，所以本文出发点是想去除这两个模块，但是FP层又是非常重要的，因为在当前SA的采样策略（基于3D欧几里得距离（D-FPS）的最远点采样）下，内部点较少的前景实例在采样后可能会丢失所有点。如果没有FP层，它们是不可能被检测到的，这导致了巨大的性能下降。

解决问题：

• 提出了新的基于特征距离的采样方法F-FPS（我发现对采样方法进行改进的文章也挺多的），它保留了不同实例的内部点，本文最终采用的采样方法是D-FPS与F-FPS的结合。
  单独采用D-FPS当采样点不足时会丢失一部分正点（即前景点），而单独采用F-FPS虽然定位和回归精度提高了，但分类精度会低，因为无法采样足够的负点（即背景点），所以采用二者结合的方法。
  

• 为了去掉refine模块就要在SA层后使用精心设计的边界框预测网络（包括 candidate generation layer (CG)、an anchor-free regression head、3D center-ness assignment strategy）。

• CG层：首先移位F-FPS得到的代表点，生成候选点。这种移位操作是由这些代表点与其相应实例的中心之间的相对位置来监督的。（我理解的：相应实例的中心点从ground truth中得到，candidate点类似于二维中的锚点，这一步的操作旨在使生成的候选点的中心与真实中心更近）然后以这些候选点为中心，从F-FPS和D-FPS产生的代表点中找到其周围的点，然后通过层感知器（MLP）网络提取它们的特征

• 提取到的特征输入anchor-free regression head，预测三维边界框

• 3D center-ness assignment strategy 用于将更高的分类分数分配给更接近实例中心的候选点
  

3DSSD架构：

评估数据集：

• KITTI
  在KITTI数据集中，有7481个训练图像/点云和7518个测试图像/点云，包括汽车、行人和骑车人三类。
  由于数据量大，场景复杂，本文只在car class上评估模型。而且，大多数最先进的方法只在这个类上测试模型。我们使用平均精度（AP）来比较不同的方法。在评估过程中，我们遵循官方的KITTI评估协议-即，对于class car，IoU阈值为0.7。
  
• nuScenes
  nuScenes数据集是一个更具挑战性的数据集。它包含1000个场景，收集自波士顿和新加坡，由于它们的交通拥挤和极具挑战性的驾驶环境。它为我们提供了10个不同类别的1.4米三维物体，以及它们的属性和速度。每帧大约有40k个点，为了预测速度和属性，以前的方法都是将最近0.5s内的关键帧和帧的点合并，得到大约400k个点。面对如此大量的点，由于GPU内存的限制，所有基于点的两阶段方法都比基于体素的方法性能差。
  此数据集使用一种新的评价指标NDS（nuScenes detection score ），mean average precision (mAP，平均平均精度), the mean average errors of location (mATE，位置平均误差，这个地方写错了吧，应该是mALE吧), size (mASE，属性平均误差), orientation(mAOE，方位平均误差), attribute (mAAE，属性平均误差) and velocity (mAVE，速度平均误差)的加权和。
  
  
  

5.3D point capsule networks

引用格式：Zhao Y, Birdal T, Deng H, et al. 3D point capsule networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2019: 1009-1018.
（Submitted 16 May, 2019; v1 submitted 11 December, 2018; originally announced December 2018.）
代码：https://tinyurl.com/yxq2tmv3
本文提出了 3D point capsule networks，一个灵活有效的三维形状处理和理解工具，该算法可以用在三维重建、局部特征提取和零件分割等任务中，也能够解决新的任务，如部分插值和替换。
理解这篇文章需要很多的储备知识，没有仔细看。主要了解了一下capsule network，简单capsule network是不同于CNN的，它提取的不是单一的特征向量，而是一个包含多个神经元的载体，每个神经元表示了图像中出现的特定实体的各种属性。（是不是可以理解为多个特征向量呢？），类似于生活中提到的胶囊。
关于capsule network 看这里

6.PointRCNN:3D Object Proposal Generation and Detection from Point Cloud

引用格式：Shi S, Wang X, Li H. Pointrcnn: 3d object proposal generation and detection from point cloud[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 770-779.
(Submitted 11 July, 2019; v1 submitted 27 December, 2018; originally announced December 2018.)
代码：https://github.com/sshaoshuai/PointRCNN

本文是two-stage 三维目标检测算法。第一阶段任务是生成很多预选3D框（文章称之为3D Proposal）。第二阶段是在预选3D框的基础上，获得更加精细的3D框。

PointRCNN整体流程：

• 首先将原始点云输入第一阶段，进行编码和解码操作，这里采用的是pointnet++网络，得到Point-wise 的特征向量（point-wise即基于每个点的，也就是每个点都有一个特征向量），然后对点云进行了前景点分割（Foreground Point Segementation）再然后以分割出的每个前景点为中心得到3D proposal box。其中，边界框（x,y,z,h,w,l,theta）的回归损失采用bin-based loss。（基于bin（暂译为区间）的三维边界框回归误差：看这里，重点理解 bin-based loss 是如何将回归问题转换为分类问题和residual loss的。）
• 将第一阶段得到的每个点的语义特征，前景mask（我理解为每个点是前景的confidence）和3D proposals传递到第二个阶段，第二个阶段对每个3D proposal box 进行坐标规范化，然后提取每个proposal的局部特征，将局部特征与语义特征连接起来最后输入一个mlp进行边界框回归和分数预测。

本文的网络结构：

Botton-up 3D proposal generation 自底向上的3D预选目标框的生成
Canonical 3D Box Refinement 标准3D目标框的精细优化

第二阶段将第一阶段得到的候选区域的前景点坐标转换为规范坐标，文中的意思即原点位于box proposal的中心，局部x和z轴大致平行于地平面，x指向建议的头部方向，另一个z0轴垂直于X0；y轴与雷达坐标系中的y轴保持一致。此操作可以使box细化阶段更好地了解每个方案的局部空间特征。

评估数据集：KITTI

消融实验

• 第二阶段采用两种特征连接起来的操作的有效性
  实际上第二阶段还融合了物体与雷达传感器的距离信息
  
  和segementation mask信息，下表也证明了这两个信息的有效性。
  
  其中CT表示canonical transformation。RPN feature则是第一阶段得到的特征。AP代表平均精度，E、M、H表示easy、middle、hard。

• 下表是使用本文提出的3D proposal generation方法的有效性。可以发现使用此方法可以保持不错的召回率。

• bin-based loss的有效性
  residual-based loss (RB-loss) 、residual-cos-based loss(RCB-loss)、corner loss (CN-loss) 、partial-bin-based loss (PBB-loss)、bin-based loss (BB-loss)

7.Structure Aware Single-stage 3D Object Detection from Point Cloud

引用格式：He C, Zeng H, Huang J, et al. Structure Aware Single-stage 3D Object Detection from Point Cloud[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11873-11882.
代码：https://github.com/skyhehe123/SA-SSD
本文提出了一种单阶段的三维目标检测器——SA-SSD(Structure Aware)，常见的单阶段目标检测器通过卷积的方式一步步提取特征，缩小后的特征不可避免地会丢失空间信息，不能充分利用三维点云的结构信息，降低了定位精度。本文提出的SA-SSD通过加入辅助网络，将主干网络中的特征转换为point-level表示，并通过两个辅助任务进行联合优化，从而促进主干网络学习更有分辨力的特征。另外对于置信度与边界框不一致的问题，提出了PSwarp( part-sensitive warping)模块。最终在KITTI数据集上去取得不错的精度和时间效率。
问题背景：基于点云数据的三维目标检测是自动车辆系统（AV，Autonomous V ehicle）中的一个重要组成部分。与普通的二维目标检测仅从图像平面估计二维边界框不同，AV需要从真实世界中估计出一个信息更丰富的三维边界框，以完成路径规划和碰撞避免等高级任务。
提出问题：
现有的三维目标检测方法可以分为：单阶段方法和两阶段方法

• 单阶段方法
  单阶段方法将稀疏的三维点云解析为一个紧凑的表示，如体素网格或鸟瞰图（BEV）图像，并使用CNN以完全卷积的方式直接预测边界框。这使得单阶段方法通常简单有效。逐步缩小的特征图不可避免地会失去空间分辨率，不能明确地考虑点云数据的结构信息，使得单级检测器处理稀疏点云的精度降低。当目标包含的点不足时，单级探测器无法实现精确定位。
  
  上图是2D点集检测对象的常规示例。如图（a）所示，只检测到来自对象的几个点，并且有一些背景点靠近其边界。这种情况在真实场景中非常常见，在真实场景中，物体远离传感器，被其他不感兴趣的物体遮挡。随着CNN逐渐降低点云的空间分辨率，一些目标点可能淹没在背景点中，导致对象边界处的特征在低分辨率特征空间中被错误分类，如图（b）所示。因此，该模型被误导并生成低质量的边界框。
• 两阶段方法
  对每个点进行操作并为每个感兴趣区域重新提取特征大大增加了计算成本，使得两阶段方法很难达到实时速度。

解决方法：

• 整体网络结构

• 主干网络和检测网络
  主干网络采用三维卷积，不同于体素化的预处理方法，本文直接将每个点表示为输入张量的非零项，方法是将点的坐标量化为张量索引。（不懂标准的体素化方法为什么这么麻烦，为什么不是像本文这样直接计算索引就好了？？？）经实验证明，本文这种将不规则无序点云转换为规则点云的方法时间效率更高。
  
  对输入张量进行卷积，将提取到的特征输入检测网络，然后沿深度维度的特征向量串联成一个通道，将特征映射从主干输出到BEV表示，然后进行传统的二维CNN卷积。

• 针对逐步缩小的特征图不可避免地会失去空间分辨率，进而导致单阶段方法不能明确考虑点云数据的结构信息的问题，提出将主干网络特征图进行上采样，插值操作得到点级的特征图，对这些特征图进行两个辅助任务，分别是前景分割和目标中心点提取，然后与主干网络联合优化，这样主干网络虽然在下采样的过程中失去了一部分空间分辨率，也能学习到对结构敏感的特征。并且辅助网络只在训练阶段使用，推理时被移除，所以不会增加时间消耗。

• 针对预测的边界框与相应的置信图之间有偏差的问题，提出了一种局部敏感的warping操作PSWarp( PSRoIAlign的变体)，如下图所示。首先修改最后的分类层来生成K部分敏感的分类图，例如，使用{upper left，upper right，bottom left，bottom right}，K=4。同时，将每个特征映射位置的预测边界框划分为K个子窗口，并选取每个子窗口的中心位置作为采样点，这样，就可以生成K个采样网格，每一个都与一个分类图相关联，最后用K个样本分类图的平均值计算最终的置信图C。
  
  消融实验证明各个模块的有效性：
  

• 损失函数设计

总的损失函数等于分类损失（focal loss）+回归损失（smooth L1损失）+两个辅助任务的损失。
超参数通过实验选择。

结果评估：

• 数据集
  KITTI ：数据集包含7481个训练样本和7518个测试样本。进一步将训练数据分成3712个样本的训练集和3769个样本的验证集。对最常用的汽车类别进行了实验。基准测试考虑了三个级别的困难：简单、中等和困难（基于对象大小、遮挡状态和截断级别）。
• 评价指标
  使用（IoU）阈值为0.7的平均精度（AP）作为评价指标。
• 结果
  

8.Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud

引用格式：Shi W, Rajkumar R. Point-gnn: Graph neural network for 3d object detection in a point cloud[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 1711-1719.
代码：https://github.com/WeijingShi/Point-GNN
本文提出了一种基于图卷积神经网络的目标检测方法，Point-GNN。为了减小平移带来的变化，引入了一种自动配准根据特征对齐坐标，为了减轻分类分数与边界框不匹配的问题，提出了合并边界框的策略，主要创新是以上两点，针对图卷积并没有精心的设计，属于one-stage的检测方法。
问题背景：机器人、自动驾驶等
提出问题：

三种点云的表示方法及处理方法，每种方法都有其优缺点。

• Grids 容易造成信息丢失和空间浪费
• 直接处理点云，分组采样的方法在大型点云上重复分组和采样可能会导致计算开销，以及使用MLP+maxpooling会没有充分考虑点之间的连通性和相邻点的上下文，可能会导致细节丢失。
• 图卷积依赖于K-最近邻（KNN）算法，该算法对点云密度很敏感。
• 本文之前很少有工作将图卷积神经网络用于目标检测。

解决方法：

• 整体结构
  
• graph construction 构建图
  构建图就是常见的固定半径搜素临近点的问题
  
  其中pi（xi，si），xi为坐标，si为其他特征，如雷达反射强度等。
  当原始点云数量很多时，先进行体素下采样以减少计算负担。为了保留原始点云中的信息，本文将密集点云编码为顶点的初始状态值si。更具体地说，搜索每个顶点半径范围内的原始点，并使用集合上的神经网络来提取它们的特征。用M LP嵌入激光雷达的反射强度和相对坐标，然后用max函数进行聚合。
• a GNN of T iterations T次迭代GNN（带有自动配准模块）
  典型的图卷积网络迭代过程：
  首先利用函数ft（.）计算两个顶点之间的边特征，ρ（.）是一个集合函数，它聚集了每个顶点的边缘特征，gt（.）使用聚集的边缘特征来更新顶点特征，然后，图神经网络输出顶点特征或在下一次迭代中重复该过程。
  
  带有自动配准模块的边缘特征迭代更新的过程：
  在目标检测的情况下，设计用GNN来细化顶点的状态，以包含顶点所属对象的信息。为了达到这个目标，重写上述方程，用它的邻域状态来优化一个顶点的状态。

使用邻域的相对坐标作为ft（.）的输入进行边缘特征提取。相对于点云的全局移动，相对坐标具有平移不变性。然而，对于邻域的平移仍是敏感的，当一个小的平移被添加到一个顶点时，它的邻域的局部结构保持相似。但是邻域的相对坐标都发生了变化，使得输入方差增加到ft（.）。为了减少平移方差，提出用邻域的结构特征代替中心点坐标来对齐相邻点的坐标。由于中心顶点已经包含了先前迭代的一些结构特征，因此可以利用它来预测对准偏移，并提出一种自动配准机制：

• 每个迭代t使用不同的MLPt集合，在迭代之间不共享。对图神经网络进行T次迭代后，利用顶点状态值来预测顶点所属对象的类别和边界框。分类分支MLPcls计算多类概率。最后，本地化分支MLPloc为每个类计算一个边界框。
  迭代次数选择（本文选T=3）：
  

• 损失函数
  分类损失：平均交叉熵损失
  
  其中，
  边界框回归损失：Huber 损失
  边界框回归7个量（x,y,z,l,w,h.theta），theta是偏航角，与顶点(xv,yv,zv)关联起来有：
  
  
  Huber损失：
  
  总损失函数（为避免过拟合，在每个MLP中加入L1正则化）：
  

• bounding box merging and scoring 边界框合并与打分
  由于多个顶点可以位于同一目标上，因此神经网络可以输出同一目标的多个边界框。有必要将这些边界框合并为一个，并指定一个置信分数。通常用非最大抑制（NMS），做法是选择分类分数最高的框，并抑制其他重叠的框。然而，分类分数不一定能反映定位质量。值得注意的是，一个部分被遮挡的物体可以有一个很强的线索来指示物体的类型，但是缺少足够的形状信息。标准NMS只根据分类分数会选择一个不精确的边界框。
  算法，绿色为修改部分
  遮挡因子：
  

消融实验：

结果评估：

• 数据集
  KITTI
• 评价指标
  AP
• 结果
  
  

9.PointAugment: an Auto-Augmentation Framework for Point Cloud Classification

引用格式：Li R, Li X, Heng P A, et al. PointAugment: an Auto-Augmentation Framework for Point Cloud Classification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6378-6387.
代码： https://github.com/liruihui/PointAugment
本文提出了一种新的自动增广框架PointAugment，它在训练分类网络时自动优化和扩充点云样本，以丰富数据的多样性。所提出的方法可以应用在已有网络中提升性能。核心思想与GAN一样，比较特别的可能在于Augmentor的损失函数设计。（到目前为止，还没有发现有任何研究利用三维点云自动增强来实现网络学习最大化）

问题背景：
近年来，很多研究聚焦于开发用于三维点云处理的深度神经网络。可靠地训练网络通常依赖于数据的可用性和多样性。然而，与ImageNet和MS-COCO数据集等二维图像基准测试不同，3D数据集的数量通常要小得多，标签数量相对较少，多样性有限。例如，ModelNet40是3D点云分类最常用的基准之一，它只有40个类别的12311个模型。有限的数据量和多样性会导致过拟合问题，进而影响网络的泛化能力。

提出问题：

• 现有的深度三维点云处理方法将网络训练和数据采集视为两个独立的阶段，没有联合优化，例如反馈训练结果以增强DA（data augmentation）。因此，训练后的网络可能是次优的。
• 现有的方法对所有输入点云样本应用相同的固定增强过程，包括旋转、缩放和/或抖动。在增广过程中忽略了样本的形状复杂度，例如，球体无论如何旋转都保持不变，但复杂形状可能需要更大的旋转。因此，传统的DA对于增加训练样本可能是多余的或不充分的。

解决问题：

• 基本思想：PointAugment通过一种对抗性学习策略，将增广网络（augmentor）与分类网络（classifier）进行端到端的训练，从而与网络训练共同优化增广过程。通过将分类器损失作为反馈，增量器可以学习通过扩大类内数据变化来丰富输入样本，而分类器则可以通过提取不敏感特征来学习对抗这一问题。得益于这种对抗性学习，增量器可以学习在训练的不同阶段生成最适合分类器的增广样本，从而最大限度地提高分类器的能力。（类似于GAN，只是重点在得到性能更好的D）
  

  • 与学习为所有训练样本寻找固定的扩充策略的方法不同，PointAugment是样本感知的，即在训练过程中，根据单个训练样本的性质和网络能力动态地生成转换函数。
  • 与利用GAN进行数据增强不同的地方是，PointAugment通过一个明确设计的边界来扩大增广后的点云与原始点云之间的损失，动态调整增广样本的难度，使增广样本能更好地适应不同训练阶段的分类器

• Augmentor
  
  

  • Per-point feature extraction：ML
  • Shape-wise regression
    M是三维空间中的线性矩阵，主要结合了旋转和缩放
    为了回归M，基于高斯分布生成一个C维噪声向量，并将其与G相连，然后使用MLPs来获得M。注意，噪声向量使 Augmentor能够通过引入回归过程中的随机性来探索回归变换矩阵时的更多样化选择。
  • Point-wise regression
    学到的D给出了点级的平移和抖动
    为了回归D，我们将N个G和F还有一个N×C噪声矩阵连接起来，其值是基于高斯分布随机独立生成的。最后，我们使用MLPs来获得D。
    

• Classifier
  
  分类器的选择是灵活的。

• 损失函数

  • Augmentor loss
    为了使网络学习最大化，增量器产生的增广样本P’应满足两个要求：(i)Pi应比P更具挑战性，即P‘的分类损失应该大于P(ii)P’应该具有独特的形状即不能偏离P。
    
    其中，L(P )和L(P’)表示P和P‘的分类交叉熵损失。
    为满足(i)要最小化LA，理想情况下
    
    但如果只要求(i)，此时输出的P‘可能与P完全无关。
    
    所以进一步限制了增大幅度ξ。
    
    
    在早期训练过程中，分类器比较脆弱，所以ξo不应该太大，当分类器变得更强大时，我们可以逐渐放大ξo，以使增量器产生更具挑战性的P’。
    动态调整ρ：
    
    最终：
    
    其中λ是一个固定的超参数，用于控制每个项的相对重要性。一个小的λ鼓励增量器更多地关注分类，而对P的增加较少，本文选λ=1.
    

  • Classifier loss
    
    γ=10.0，最后一项有助于显式地惩罚增强样本与原始样本之间的特征差异，以学习更加鲁棒的特征。

• 端到端的训练策略
  与GAN好像没查差别啊
  
  消融实验

结果评估：

本文在分类方法PointNet、PointNet++、RSCNN、DGCNN上证明了方法的有效性。

• 数据集
  ModelNet10 、ModelNet40、SHREC16
  
  • 评价指标
    accuracy
  • 结果
    

10.Associate-3Ddet: Perceptual-to-Conceptual Association for 3D Point Cloud Object Detection

引用格式：Du L, Ye X, Tan X, et al. Associate-3Ddet: Perceptual-to-Conceptual Association for 3D Point Cloud Object Detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 13329-13338.
代码：
本文旨在解决由于距离和遮挡造成的三维目标检测性能下降的问题。本文提出的方法学习将从真实场景中提取的特征(感知特征)与类概念模型中更具鉴别性的特征(概念特征)相关联，从而增强了特征的鲁棒性。这是一种仿生物学设计，当人看到一个被遮挡或者特征不完全的物体，通常是将眼睛看到的(感知特征)与已有知识(概念特征)结合起来对物体进行有效的识别。
提出问题：随着距激光雷达传感器距离的增加，点云的密度急剧下降，导致密度变化较大。此外，由于遮挡或低密度点云，物体的某些部分可能是不可见的。在这些情况下，由于缺乏紧凑的感知特征，3D检测结果容易出错。
解决问题：

• 网络结构如下图所示，有两个并行的分支，感知特征提取分支和概念特征。特别地，因为被遮挡或者远处的物体具有较少的特征可用于识别，为了使PFE生成类似于概念特征的特征表示，加入了可变形卷积模块，该网络可以自适应地调整相应的感受野，并且即使在稀疏的情况下也能够主动地捕捉更多信息量的上下文信息。
  

• CFG算法首先在概念场景上进行端到端的单独训练，概念场景是从真实场景中派生出来的，并与完整的对象模型集成在一起。这里提出的概念模型可以是一个完整的点云，例如来自外部资源的三维CAD模型，或者来自同一数据集的具有更多信息知识的代理模型。在对CFG进行端到端的训练后，固定参数，为进一步的域自适应提供稳定的特征指导。在PFE的训练过程中，将真实场景及其对应的概念场景分别输入到PFE和CFG中。即使只有稀疏且部分可见的真实物体点云，PFE也被鼓励在概念模型的指导下学习更鲁棒的特征。在推理过程中，不再需要CFG。

• 提出的P2C学习将PFE产生的感知特征映射到CFG提取的概念特征，建立关联。(直接优化这两个特征之间的L2距离以进行域自适应,PFE的参数被调整为鼓励感知对象生成类似于更具信息量的概念特征)，在推理阶段也不需要P2C模块。
  
  结果评估：
  数据集：KITTI
  
  参考文献：
  [1]Yan X, Zheng C, Li Z, et al. PointASNL: Robust Point Clouds Processing using Nonlocal Neural Networks with Adaptive Sampling[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 5589-5598.
  [2]Zhang Y, Rabbat M. A graph-cnn for 3d point cloud classification[C]//2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018: 6279-6283.
  [3]Wang X, Girshick R, Gupta A, et al. Non-local neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7794-7803.
  [4]Yang Z, Sun Y, Liu S, et al. 3dssd: Point-based 3d single stage object detector[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11040-11048.
  [5]Zhao Y, Birdal T, Deng H, et al. 3D point capsule networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2019: 1009-1018.
  [6]Shi S, Wang X, Li H. Pointrcnn: 3d object proposal generation and detection from point cloud[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 770-779.
  [7]He C, Zeng H, Huang J, et al. Structure Aware Single-stage 3D Object Detection from Point Cloud[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11873-11882.
  [8]Shi W, Rajkumar R. Point-gnn: Graph neural network for 3d object detection in a point cloud[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 1711-1719.
  [9]Li R, Li X, Heng P A, et al. PointAugment: an Auto-Augmentation Framework for Point Cloud Classification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6378-6387.
  [10]Du L, Ye X, Tan X, et al. Associate-3Ddet: Perceptual-to-Conceptual Association for 3D Point Cloud Object Detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 13329-13338.