1.Multimodal Shape Completion via Conditional Generative Adversarial Networks

引用格式：Wu R, Chen X, Zhuang Y, et al. Multimodal Shape Completion via Conditional Generative Adversarial Networks[J]. arXiv preprint arXiv:2003.07717, 2020.
代码：https://github.com/ChrisWu1997/Multimodal-Shape-Completion
本文通过条件生成对抗网络实现了部分点云的多模态形状补全。本文认为部分点云的补全形状是模糊的，即存在多个可能性，而以往的很多工作只是一对一的映射，本文通过学习一对多的映射实现了多模态形状补全的问题。

问题背景：
形状补全是计算机视觉、计算机图形学和机器人学领域中的一个基本问题，它旨在推测不完整形状中缺失区域的几何结构。现在有各种各样的解决方案可以有效地获取形状。然而，获得的形状往往是不完整的，例如，用户建模界面中的工作不完整，以及由于遮挡而导致的不完整扫描。形状补全工作使这些不完整的数据能够在下游应用中使用，例如，虚拟漫游、智能形状建模、路径规划。
Ps：

• 虚拟漫游，是虚拟现实（VR）技术的重要分支，在建筑、旅游、游戏、航空航天、医学等多种行业发展很快。由于有可贵的3I特性——沉浸感、交互性和构想性，使得沿用固定漫游路径等手段的其他漫游技术和系统无法与之相比。虚拟建筑场景漫游或称建筑场景虚拟漫游是虚拟漫游的一个代表性方面，是虚拟建筑场景建立技术和虚拟漫游技术的结合。前者是基础，后者是系统运行方法。
  虚拟漫游系统是一种应用越来越广泛、前景十分看好的技术领域。在建筑设计、城乡规划、室内装潢等建筑行业，在虚拟战争演练场和作战指挥模拟训练方面，在游戏设计与娱乐行业，乃至在促进未来新艺术形式诞生等方面，它都大有用武之地，而且代表着这些行业的新技术和新水平。
• 路径规划是指，在具有障碍物的环境中，按照一定的评价标准，寻找一条从起始状态到目标状态的无碰撞路径。

本文的两个难点：
首先，在高维形状空间中对多模态进行建模并将其映射到低维的潜在空间是一个挑战。一个常见的问题是模式崩溃，在低维空间中只表示模式的一个子集。
第二，大多数基于学习的方法所依赖的groundtruth监督数据非常难以获得。在没有特定监督数据的情况下（即，对于每个训练不完整的形状，需要多个相应的完整形状），在没有任何配对数据的情况下，以无监督的方式学习形状补全的多模式映射是很困难的。
解决方法：

• 为了对可能的补全输出进行多模态建模，采用了一种显式的多模态编码策略，其中Ez被作为一部分训练，以显式地重建完整的形状。更精确地说，一个可变的自动编码器（E_{VAE}，D_{VAE}）被预先训练成一个标准的高斯分布N（0，I），然后解码以重建原始形状。
• 在没有成对训练数据的情况下，通过对点集学习到的潜在空间进行对抗性训练来解决多模态形状完成问题，同时引入了一个低维code z，通过对可能输出中呈现的多模态进行建模来学习潜空间，作为部分形状之外的条件输入。
• 此外，为了强制生成器使用隐式代码z，我们引入了一个编码器Ez来从补全输出中恢复z，强制隐式空间和形状空间之间的连接是可逆的。

本文的网络结构：

其中EMD 表示earth-mover distance，VAE表示variational autoencoder。Ez选用E_{VAE}。

结果评估：

数据集：

• PartNet dataset
• PartNet-Scan dataset
• 3D-EPN dataset

指标：

• Minimal Matching Distance (MMD) 测量补全形状的质量， 补全形状集和测试形状集之间的最小匹配距离， 越小越好
• Total Mutual Difference (TMD)衡量补全输出的多样性，对同一部分输入的k个完成形状之间的所有差异进行求和，越大越好
• Unidirectional Hausdorff Distance (UHD)测量输入部分的完成保真度，从输入部分形状到每个k完成结果的平均Hausdorff距离，越小越好。

结果：

ours-im-l2z，ours-im-pc2z本文方法的不同设置的两个版本。
各个性能指标结果比较中庸，没有哪一项是最好的，也没有哪一项是最差的。

2.Cascaded Refinement Network for Point Cloud Completion

引用格式：Wang X, Ang Jr M H, Lee G H. Cascaded Refinement Network for Point Cloud Completion[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 790-799.
代码：https://github.com/xiaogangw/cascaded-point-completion
本文对稀疏不完整的点云提出了一种级联细化网络和由粗到细的策略得到精细的补全点云。综合考虑局部输入的局部细节和全局形状信息，可以在不完全点集中保留已有的细节，并生成高保真的缺失部分。不像传统的GAN鉴别器一样只输出一个真假置信度，本文设计了一个patch鉴别器，保证每一个局部区域都具有与ground truth相同的模式来学习复杂的点分布。

问题背景：
三维形状补全具有广泛的应用，如机器人导航、场景理解和增强现实。
难点：
以往的方法无法生成三维物体的详细几何结构，也无法产生令人满意的粗糙物体输出。
解决方法：
引入又粗到精的refinement策略，并对重建损失和对抗损失进行端到端联合优化。

可以看出生成器网络分为三个部分：

• 特征提取h
  采用两层PointNet特征提取体系结构和maxpooling操作来提取全局点特征f。
• 粗糙重建g1
  g1由几个全连接层组成，这些层将潜在嵌入f映射到粗糙点云。粗略的输出大致捕捉到了完整的对象形状，但丢失了精细的细节。
• 密集重建g2
  g2是一个条件迭代求精子网络。从生成低分辨率点（2048×3）开始，然后逐步细化具有较高分辨率的点。
  在refine过程中，lifting model是重点模块。
  
  提升模块将点的数量放大两倍，同时通过特征收缩和扩展单元（受沙漏网络的启发，通过自下而上和自上而下的方式整合局部和全局信息，以细化点的位置并使其均匀分布在物体表面。）来细化点的位置。为了向上采样点集PS，我们首先将点Ps平铺两次以获得新的点集Ps‘。然后我们采样一个唯一的2D网格向量（？）并将其附加到每个点坐标之后，以增加重复点之间的变化。在迭代求精中，我们还利用平均形状先验fm（对于每个对象类，将该类中所有实例的潜在嵌入的平均值作为平均形状向量。）来减轻不完全点云和完全点云之间的点特征的域间隙。我们将点Ps’、平均形状向量fm、全局特征f和采样的2D网格连接起来，得到一个新的特征fs。我们的目的是预测每一点的逐顶点位移{dx，dy，dz}得到点特征fs。

鉴别器：

• 分片选择
• 层次特征集成
• 值回归

特点是基于Patch的鉴别器，对输入点云进行FPS，得到Ns个点，再借鉴PointNet++中不同半径的分层点集特征学习思想，来考虑多尺度局部patch。最后，不同于传统的GAN输出单个置信度值，鉴别器得到了Ns个分数。

结果评估：
数据集：

• Dataset of PCN
• Dataset of TopNet

评价指标：

• Chamfer Distance
  

• Fr´ echet Point Cloud Distance (FPD)
  

结果：

对遮挡的鲁棒性：（百分数为遮挡比例）

3.GRNet: Gridding Residual Network for Dense Point Cloud Completion

引用格式：Xie H, Yao H, Zhou S, et al. GRNet: Gridding Residual Network for Dense Point Cloud Completion[J]. arXiv preprint arXiv:2006.03761, 2020.
代码：https://github.com/hzxie/GRNet
本文提出了一种新的点云补全网络——GRNet，通过将点云转换为三维网格表示，通过3DCNN提取特征，再将三维网格进行反网格化，得到粗略的补全点云，提出了可微立方特征采样层来提取相邻点的特征，保留了上下文信息，经过MLP之后实现了密集点云补全。
问题背景：随着三维采集技术的快速发展，三维传感器（如激光雷达）变得越来越可用，价格也越来越低廉。作为一种常用的格式，点云是描述物体三维形状的首选表示形式。在许多应用中，包括语义分割和SLAM，都需要完整的3D图形。然而，由于传感器分辨率和遮挡的限制，可以获得高度稀疏和不完整的点云，从而导致几何和语义信息的丢失。因此，从局部观测数据中恢复完整的点云，称为点云补全，对实际应用具有重要意义。
提出问题：体素化操作会导致不可逆的几何信息丢失，主流方法（如PCN和TopNet）使用多层感知器（mlp）直接处理点云，使用最大池（max-pooling）来以全局或层次化的方式聚合多个点之间的信息，这些方法没有充分考虑点之间的连通性和相邻点的上下文，可能会导致细节丢失。（算是一个典型的问题，结构细节容易被忽略，上面两篇论文也针对这个问题提出了不同的方法）本文为了应用3DCNN，提出了三维网格化和反网格化的操作（怎么说呢，有一种公说公有理，婆说婆有理的感觉，当文章采用的是哪种方法，必须要说出此方法的优点以及不用其他方法的原因即缺点）
解决问题：

• 整体网络结构

具体地：

为了解决上述问题，本文引入三维网格作为中间表示，对无序点云进行正则化，明确地保留了点云的结构和上下文，如上图所示。除3D-CNN和MLP外，本文还设计了三个可微层：

• 网格化
  在网格划分中，对于点云的每个点，首先使用插值函数加权该点所在的三维网格单元的八个顶点，该插值函数反映点云的几何关系。
  在标准的体素化过程中：
  顶点V的值wi，其中p指原始点云的点，N（vi）表示vi的邻居点。
  
  本文的网格化方法：
  
  其中：
  
  
  
  p满足
  

• 进行3DCNN卷积
  一个带跳跃连接三维卷积神经网络（3D-CNN）用于学习上下文感知和空间感知特征，使网络能够补全不完整点云的缺失部分。

• 反网格化
  网格化的反过程，将输出的三维网格转换为粗糙的点云，方法是将每个三维网格单元替换为一个新的点，该点的坐标是三维网格单元的八个顶点的加权和。
  
  其中，是第i个三维网格单元的顶点索引集。

• 立方特征采样（Cubic Feature Sampling）
  立方特征采样通过连接点所在的三维网格单元的相应八个顶点的特征来提取粗点云中每个点的特征。

• MLP
  反网格化的粗糙补全点云和立方特征被传递给MLP，得到最终补全的点云。从具体的结构看出，这部分将输入点云tile r倍，然后通过MLP为每个点学习一个residual，最终residual+tile（P，r）即为生成的精细的补全点云。

• Grid Loss
  本文在网格划分的基础上设计了一个新的损失函数，即网格损失，它定义为两个三维网格的值集之间的L1距离。
  
  其中NG为网格分辨率。
  消融实验：
  

结果评估：

• 数据集：
  ShapeNet
  Completion3D
  KITTI
• 评价指标
  ground truth：
  
  a reconstructed point set being evaluated：
  
  Chamfer Distance：
  
  F-score：
  
  其中：P 精度，R 召回率
  
• 结果
  ShapeNet
  CD
  F-score
  

Completion3D
CD

KITTI（没有ground truth，所以用一致性和均匀性评估）

4.Progressive Point Cloud Deconvolution Generation Network

引用格式：Hui L, Xu R, Xie J, et al. Progressive Point Cloud Deconvolution Generation Network[J]. arXiv preprint arXiv:2007.05361, 2020.
代码：https://github.com/fpthink/PDGN
本文提出了一种由低分辨率生成高分辨率点云的方法，通过叠加多个不同分辨率点云的反卷积网络作为输入，渐进的得到高分辨率的点云。两个创新点：提出了一种基于学习的双边插值方法；提出了形状保留对抗损失训练网络。
（反卷积操作在生成模型中挺常见的，毕竟从一个低分辨率的点云生成高分辨率的点云必定是输入低维生成高维的操作，所以肯定要涉及到反卷积。）
问题背景：随着激光雷达、Kinect等三维传感器的发展，三维几何数据被广泛应用于各种计算机视觉任务中。由于生成对抗网络在二维图像领域的巨大成功，三维数据生成受到越来越多的关注。
提出问题：
点云作为一种重要的三维数据类型，能够简洁、灵活地描述三维模型的几何结构。与二维图像数据不同，点云具有无序性和不规则性。二维生成模型不能直接扩展到点云。因此，如何在无监督的情况下生成真实的点云仍然是一个具有挑战性和开放性的问题。
解决问题：

• 整体结构
  

• 将得到的潜在特征向量输入反卷积网络，反卷积网络的重点就是基于学习的双边线性插值
  
  

  双边插值公式：
  
  其中，
  
  对于每个点，我们在k-邻域中进行双边插值以生成新的k点。因此，我们可以得到一个高分辨率的特征图，其中每个点的邻域包含2k个点。之后对所生成的高分辨率的特征图提取局部特征，再与复制一倍的全局特征相连。

• 在每个反卷积网络之后使用MLP来生成每个分辨率的点云的三维坐标。

• 鉴别器

• 损失函数
  为了确保生成的点云的几何结构在不同分辨率之间是一致的，对生成器施加了形状约束，以形成一个保持形状的对抗性损失。
  利用对应点邻域的平均值和协方差来表征生成的点云在不同分辨率下的局部几何结构的一致性。使用最远点采样（FPS）从每个分辨率中选择质心点，并找到质心点的k-邻域。第i个质心点邻域的平均值和协方差表示为：
  
  利用均值与方差的CD距离作为损失函数：
  
  
  shape-preserving loss (SPL)：
  
  整个生成对抗网络的损失函数：
  
  消融实验：
  

结果评估：

• 数据集
  ShapeNet 、ModelNet10、ModelNet40
• 评价指标
  • Jensen-Shannon Divergence (JSD)测量生成样本与实际样本之间的边缘分布
  • Minimum Matching Distance (MMD)真实样本集中的一个点云与其生成集中最近邻点之间的距离
  • Coverage (COV)测量真实样本集中的点云的分数，这些点云可以与生成集中的至少一个点云匹配
  • the earth mover’s distance (EMD)
  • the chamfer distance (CD)
  • the 1-nearest neighbor accuracy (1-NNA)用于评估两个样本测试的两个分布是否相同
• 结果