摘要

点云由从连续3D对象不规则采样的一组离散点组成。大多数现有的点云学习方法都是在(半)监督的方式下进行的，但这需要昂贵的人工注释。为此，我们提出了一种新的几何采样不变表示的无监督学习方法，旨在学习图形上点云的固有特征表示，这是基于一个对象的几何形状可以以不同的模式和密度采样到不同形式的点云中。特别地，我们在图上表示点云，并利用多层次的不变表示：低分辨率不变性和原始分辨率不变性。为了在较低分辨率下学习不变性，我们以不同的模式对输入点云进行二次采样，并最大化二次采样变量之间的互信息。此外，为了学习原始分辨率下的不变性，我们基于学习到的特征将下采样点云的分辨率提高到输入的原始分辨率，并最小化输入和每个上采样版本之间的距离。在实验中，我们将学习到的表示应用到具有代表性的点云下游任务中，并对点云分类、分割和上采样的结果进行了验证，证明了该模型的优越性。

1.介绍

目前点云处理成功的方法大多是以(半)监督方式训练的，这需要昂贵的人工注释。这限制了点云的广泛适用性，尤其是对于大规模数据。因此，需要以一种无监督的方式学习点云的特征表示。
无监督点云学习的主要目的是学习区分表示和一般表示。对于点云上的无监督表示学习，已经进行了几次尝试。这些方法主要基于重建或生成。前者旨在训练编码器通过经由解码器重构输入数据来学习特征表示，而后者试图通过训练生成性对抗性网络(GANS)或可变自动编码器(VAEs)来学习特征表示以生成3D点云。这些方法在获取点云的结构和低级信息方面是有效的，但通常无法学习高级语义信息。
最近，许多方法试图探索点云学习的语义信息。包括通过解决部分对比和对象聚类的辅助任务来学习点云的无监督语义特征，或者重建部分被随机重新排列的点云，以捕获点云的语义属性。这些表示是通过推断零件之间的关系来学习的，而全局信息没有得到充分利用。
为此，我们提出了基于几何采样不变表示的无监督点云学习，目的是在不同尺度上刻画局部和全局的几何和语义信息。这从一个3D对象的连续表面可以以不同的模式和密度采样成不同形式的点云的原理中得到启发，即，这些明显采样的点云描述了同一3D对象的底层结构，从而共享不变的三维表示。因此，我们提出了一种新的几何采样不变表示的无监督学习方法，它学习了点云的固有特征。特别地，如图1所示，我们利用多层次的不变表示：低分辨率不变性和原始分辨率不变性，以捕捉不同尺度上的几何结构。

为了在较低分辨率下学习不变性，我们对不同模式的输入点云进行随机二次采样，通过基于连体图的具有共享权的编码器网络[56]分别对这些二次采样变量的特征在图上进行编码，并最大化它们之间的互信息以确保不变性。同时，为了学习更具区分性的表示，我们对来自不同对象的亚采样点云的特征进行了强制区分。我们通过优化InfoNCE损失来实现不同对象之间的互信息最大化和区分表示，它接近互信息的下界。
此外，为了学习原始分辨率下的不变性，我们通过面片流形重构方法，基于学习到的特征，将下采样的点云上采样到输入的原始分辨率，并最小化输入与每个上采样版本之间的距离来学习不变性。通过联合优化两种分辨率下的不变表示学习，学习的表示在不同的尺度上传递结构和语义信息。
为了对所提出的模型进行评估，我们将学习到的表示应用于具有代表性的点云下游任务，包括点云分割、点云分类和基于多个基准数据集的点云上采样。实验结果表明，该模型在无监督的点云分类和分割中达到了最好的性能，并通过预先训练提高了上采样性能。
贡献：
（1）我们提出了一种新的几何采样不变表示的无监督学习范式，旨在学习在不同采样模式和密度下具有不变性的点云的固有特征。
（2）探索了多层次的几何采样不变表示：低分辨率不变性和原始分辨率不变性，它们捕捉了不同尺度上的几何结构和语义信息。（3）实验结果表明，与几种典型的点云下游任务相比，该模型具有一定的优越性。

2.相关工作

2.1.自监督表征学习

由于人工标注的代价较高，自监督表示学习受到越来越多的关注。自动编码器(AEs)和生成对抗网络(GANs)是两种具有代表性的无监督方法。AEs的目标是训练编码器通过解码器重构输入数据来学习特征表示。其思想是基于特征表示应该包含足够的信息来重构输入数据。FoldingNet提出了一种新颖的基于折叠的解码器，该解码器将规范的2D网格变形到点云的底层表面上，即使对于具有精细结构的对象也能实现低重建误差。还有的方法利用点云上采样或重建作为他们学习点云表示的借口任务。MAP-VAE引入了一种创新的多角度分析，能够有效地从语义局部自我监督中学习点云上的局部几何和结构。PointOE提出通过旋转不同角度的点云和预测旋转角度来挖掘点云的内在特征。相反，GAN通过一对生成器和鉴别器从输入噪声中产生数据，以无监督方式提取特征表示。LGAN介绍了第一个三维点云的深度生成模型。RL-GAN-Net提出了一种点云生成模型，该模型对低可用性数据具有健壮性，并且不需要先验知识。
除了AEs和Gans之外，另一个重要的范式称为对比学习，目的是训练编码器在正样本和负样本的表征之间进行对比。PointGLR通过全局特征和局部特征之间的双向推理来学习点云表示。Deep Infomax(DIM)还提出通过对比学习任务最大化局部块和对应的全局表示之间的互信息来学习图像特征表示。AMDIM通过随机采样图像的两个不同视图来生成局部特征向量和上下文向量，从而增强了局部特征与其上下文之间的正关联。Deep Graph Infomax和Infograph将Dim的框架扩展到非欧几里得数据。

3.方法

我们首先在3.1节中描述了几何采样不变表示的无监督学习问题，然后在3.2节中给出了一个实现该公式的算法。

3.1.构想

点云是黎曼流形(曲面)上函数的离散样本，表示对象的几何信息。几何属性在采样下是不变的，即从同一流形中以不同模式和密度采样的点云对应于相同的形状，这些点云共享不变表示。
形式上，给定一个点云$P\in {\mathbb{R}}^{N\times 3}$，为简单起见，我们考虑两个采样算子$S_1$和$S_2$。函数$E(\cdot )$是几何抽样不变的，如果它满足

这可以扩展到更多采样的点云。
我们的目标是学习一个函数$E:P\to E(P)$，它提取不变的特征表示。特别地，为了揭示不同尺度下的几何结构，我们学习了多分辨率下的几何采样不变表示：低分辨率不变性和原始分辨率不变性。也就是说，我们确保表示在
1）低分辨率下的下采样点云$Q_1=S_{1}P$和$Q_2=S_{2}P$之间是不变的，其中$S_1$和$S_2$是下采样算子；
2）输入点云P和分别来自$Q_1$和$Q_2$的上采样点云在原始高分辨率下是不变的。我们将表示不变性的两个层次分别表示如下。
低分辨率下的不变性。 为了确保表示在低分辨率下的几何采样不变性，即$E(S_{1}P)=E(S_{2}P)$，我们建议最大化对应于同一对象的$Q_1=S_{1}P$和$Q_2=S_{2}P$的学习特征之间的互信息：

其中$I(\cdot )$表示互信息(两个概率分布的相似度)。
由于学习特征之间的互信息很难直接计算，我们取而代之的是最大化互信息的下界。在现有的能够逼近互信息下界的方法中，我们选择了InfoNCE损失。这是因为InfoNCE不像其他方法那样需要额外的网络来近似互信息，从而避免了复杂的训练过程。此外，最小化InfoNCE损失已被证明等同于最大化互信息。
具体地说，除了最大化同一对象(正样本)对应的下采样点云之间的互信息外，我们还试图最大化不同对象(负样本)对应的点云之间的差异，从而导致区分性特征学习。在数学上，给定一组点云$P=P_1，...，P_M$，其中随机样本包含一个正样本和M−1个负样本，InfoNCE损失旨在最小化

其中$P_i$是第i个正点云样本，而$P_k$是小批量P中的第k个点云。$\odot$表示两个特征向量之间的Hadamard乘积。这里，我们采用Hadamard乘积来度量特征之间的相似性，因为它有利于区分来自不同点云的样本。
解释：这里分子表示同一对象学习到的特征之间的相似度，我们希望同一对象学习到的特征相似度越高越好，也就是分子越大越好；分母表示求正样本点云和负样本点云之间的特征相似度，也就是我们希望学习到不同对象的特征的相似度越小越好，所以分母越小越好。对于这个公式，希望分母越小，分子越大，加上负号，所以希望最小化$L_N$。
原始分辨率的不变性。 除了利用低分辨率下的不变表示学习，我们还探索了原始分辨率下的几何不变性。与次采样点云相比，原始分辨率点云往往包含更多的几何细节和语义信息，这些信息在采样时是不变的，这是对低分辨率不变表示学习的补充。如果低分辨率数据与原始分辨率点云共享不变特征，则可以使用从低分辨率点云中学习的特征来重建点云。
因此，为了确保在低分辨率下学习的特征包含原始点云中的几何细节，我们首先使用学习到的特征将点云$Q_1$和$Q_2$分别向上采样到相同的分辨率${\hat{P}}_1$和${\hat{P}}_2$。然后，我们通过倒角距离$L_{CD}$分别最小化P和每个上采样点云${\hat{P}}_1$和${\hat{P}}_2$之间的差值。以${\hat{P}}_1$为例，倒角距离定义为：

同样的定义也适用于$L_{CD}({\hat{P}}_2,P)$，通过计算两个上采样点云和原始点云P的倒角距离的平均值，我们获得了在原始分辨率下不变性的损失函数。
最后的公式。 考虑到子采样点云之间的信息损失和输入点云与每个上采样点云之间的倒角距离损失，通过最小化损失对整个网络进行端到端的训练。

其中α是超参数，它在低分辨率下的不变性和原始分辨率下的不变性之间取得平衡。期望值E接管了上采样点云$\hat{P}$。
我们通过公式5向后传播方程中的损失来迭代地更新特征提取器E中的参数。接下来，我们详细介绍了所提出的算法。

3.2.算法

基于该公式，提出的框架由三个模块组成：点云重采样、低分辨率不变性学习和原始分辨率不变性学习。网络框架见图2。


点云重采样。 给定一个输入点云P={p1,p2,...,Pn}T,pi∈R3P=\{p_1,p_2,...,P_n\}^T, p_i \in \R^3P={p1​,p2​,...,Pn​}T,pi​∈R3，我们首先将P重采样成不同的模式。为了探索低分辨率不变表示学习，我们将P下采样到更低的分辨率，这里采用随即下采样方法。通过在P上分别进行两次均匀随机子采样，我们得到两个子云$Q_1$和$Q_2$，其中$|Q_1|=|Q_2|=N/2$。
低分辨率不变表征学习。特征提取器E将下采样点云$Q_1$和$Q_2$的坐标作为输入。我们通过具有共享权重的Siamese网络对不规则子云$Q_1$和$Q_2$的逐点特征进行编码，其中采用DGCNN中的边缘卷积(EdgeConv)层作为基本特征提取块。具体地说，给定一个输入子云Q={q1,...,qN/2}T,qi∈R3Q=\{q_1, ...,q_{N/2}\}^T,q_i\in \R^3Q={q1​,...,qN/2​}T,qi​∈R3，我们首先构造K近邻图，其中每个点都以欧氏距离与其K个最近邻点相连。然后，点的编码要素是

其中$j\in N(i)$表示点 i 附近的邻居点 j，$\theta$和$\varphi$是可学习的网络参数。
方程中的边缘卷积。公式(6)在每个节点上，通过捕捉点与点之间距离的边权重，本质上聚合相邻节点的特征。通过堆叠多个边缘卷积层，每个节点与邻居跳跃的特征聚合在一起。 此外，随着二次采样操作增大邻近点之间的距离，低分辨率点云的边缘卷积能捕获较长范围的依赖关系，从而提取在各种采样下不变的更高级别的特征。因此，这种学习的表示法能够在低分辨率下捕捉到固有的几何结构。
（有没有可能将EdgeConv换成curveNet中的）
同时，为了学习每个目标的区分性特征，我们将从同一目标对应的重采样点云中提取的特征作为正样本，而从不同目标重采样的点云特征作为负样本。我们保证正数的特征尽可能相似，在不同的抽样模式下满足几何不变性。相反，否定对的特征被强制尽可能地区分，以便区分不同的对象。这是通过优化等式（3）中的InfoNCE损耗来实现的。
原始分辨率不变表示学习。
为了确保原始分辨率下的几何采样不变表示，我们将次采样点云$Q_1$和$Q_2$上采样到输入点云P的分辨率，并最小化P和每个上采样点云之间的倒角距离，如公式(4)中所述。
在各种点云上采样方法中，我们选择了基于面片流形重构(PMR)的上采样方，因为它简单有效。给定次采样点云Q及其编码的逐点特征$E(Q)$，基于PMR的上采样的思想是将点云Q每个点$q_i$连同其编码的邻域特征$f_i$一起变换为以$q_i$为中心的局部表面-称为面片流形。通过在这些面片流形上采样 r 次(在我们的设置中r=2)，我们能够获得上采样的点云。
具体地说，我们首先在Q的每个点周围构造一个面片流形。由特征向量 f 参数化的3D空间中嵌入的2D流形被定义为：

其中(u，v)是二维矩形区域$[-1,1{]}^2$中的某个点。等式(7)将2D矩形映射到由 f 参数化的任意形状的面片流形。因此，我们从$[-1,1{]}^2$上的均匀分布中提取样本，然后通过基于mlp的映射将其转换到3D空间：

它近似于任意形状的流形。
然后，我们从每个面片流形$M_i([u,v,f_i])$中采样两个点，从而得到具有n个点的上采样点云：

其中F表示PMR网络，$M=|Q|=N/2$。
基于这种方法，我们将$Q_1$和$Q_2$分别向上采样到${\hat{P}}_1$和${\hat{P}}_2$上，并最小化了方程中的倒角距离。等式(4)在输入点云P和每个上采样点云之间保证原始分辨率不变表示学习。
最后，我们通过最小化等式（5）中的损失函数来联合优化低分辨率和原始分辨率不变表示学习。算法1对所提出的算法进行了总结。

4.实验

在这一部分中，我们通过将该模型应用于三个具有代表性的下游任务：点云分类、点云分割和点云上采样，对所提出的模型进行了评估。我们将提出的方法与最新的监督和非监督方法进行了比较。
请注意，在所有任务中，我们在公式（5）中以同样的方式设置了参数$\alpha$。我们初始化$\alpha =1$，如果$L_{CD}>L_N$，则在每个周期结束时将其除以2。这旨在使$L_{CD}$和$L_N$值保持相同的量级。

5.总结

本文提出了一种新的图上几何采样不变表示的无监督学习方法，旨在学习在不同采样模式和不同密度下不变的判别表示和一般表示。为了捕捉不同尺度上的几何结构和语义信息，我们利用了低分辨率和原始分辨率的不变表示，这迫使编码器学习内在表示。我们将该模型应用于点云的下游任务，包括分类、分割和上采样，实验结果证明了该模型的优越性。