留个笔记自用

LG-GAN: Label Guided Adversarial Network for Flexible Targeted Attack of Point Cloud-based Deep Networks

做什么

点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。
一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样

做了什么

基于点云的攻击方法，通过将原始的点云和目标攻击标签馈入LG-GAN，它可以学习如何将点云变形，使识别网络仅通过一次向前传递就被误导成特定的标签，跟图像对抗攻击是一个道理

怎么做

整体结构由两个部分组成，第一个部分是一个generative network生成网络G，学习如何通过输入点云转换成对应对抗样本，第二个部分是 discriminator network鉴别网络D，学习如何给对抗样本打分使得它和真实样本更加不可区分

首先是生成器部分，这里的输入是点云集P∈R^N×3和目标标签t，这个部分的作用是通过这两个生成一个关于P和t的对抗样本。
分为三个小部分，一个标签编码器E_l，这个模块是为了将标签t编码成相应的标签向量Z_t，一个点特征编码器E_p，这个模块是为了将点云P编码成一个特征embedding，一个点解码器D_p由前面两个的输出获得最终的生成对抗样本P_adv

这里的m是特征的尺度数，也就是有几层的featue
然后就是具体的几个小模块
首先是点特征模块就是E_p

首先这里的输入就是点云P，这里采用了多尺度的特征提取方式，多尺度的获得方法使用的是最远点采样（FPS），获得了N，N/2，N/4，N/8四个尺度后用Pointnet++提取逐点特征

这里的F_pⁱ指的是形状为
的第i层Pointnet++的点特征（Pointnet++是前面encoder层提取的）
w_j是定义为1/d(x,x_j)的贡献权重，d(·)是欧式距离计算，而这里的x_j是x的邻域，简单来说就是对每个点来说附带上周围点的attention使其获得局部性
然后将各层的特征经过一个1×1的卷积变换到同一通道数下，将m层feature map和原来的点云坐标都堆叠起来，得到最终的聚合特征F_p‘’

然后就是剩下来的feature decoder和label encoder


简单来说这里也是将target用多层尺度来进行提取，然后也设置了l层FC，每层将当前聚合特征F_p’‘和label特征Z_tconcat起来后经过FC传递，文中是没讲label特征怎么来的，也没讲怎么还原出最后的对抗样本的，然后也没开源代码，真的玄学，但反正提取特征也是个黑箱，换什么都合理吧。
然后就非常迅速地到了第二个部分，Discriminator部分

就像前面所说，这个部分是为了帮助生成更真实的对抗性点云，进一步利用图形鉴别器网络D进行对抗性学习，这在对抗学习中很常见了
这里的结构是类似于PointNet++构建的，由一个特征提取头和一些残差模块组成，特征提取头就是很多层卷积堆叠而成，然后通过max-pool为每个点找到k近邻的特征，对于残差块

这里定义了一个图卷积的做法，那么又要定义下图结构了

这里的N(x)表示点x的k近邻

f_in和f_out分别是这个block的输入和输出，w₀和w₁皆是可学习参数
然后再加上一层pool和FC得到最终的分类

最后是网络训练的LOSS
这里设计的LOSS由三个部分组成，分类损失L_cls是促使被攻击模型H对目标标签t进行预测的分类损失，也就是促使别的模型对点云分类的预测是错误的（即预测的是目标标签t而不是真正的标签），重构损失L_rec，促使生成的对抗点云与原始样本相似， 对抗损失L_dis，促使生成的对抗点云得分要高（即以假乱真程度要高）
首先是分类损失，这里采用的是cross-entropy


这里的P^即是生成的对抗点云，H（P）就是被攻击模型对对抗样本的预测概率
然后是重构损失，这里就没什么特殊的了，就直接对比两个点云的L2距离
然后是对抗损失
这里的D_θ就是discriminator
最后将三个LOSS相加后训练第一部分

然后是第二部分discriminator的训练LOSS

总结

1.这似乎是第一篇在点云里面做对抗学习的，具有开创性，但整体结构上来说没有什么特殊的地方，比较普通