对抗样本存在的猜想

• 最初的猜想- low-probability spaces

一开始，对抗样本被认为存在于低概率空间，难以通过对输入周围空间的随机采样来获取。寻找公式2的解决方案 包含了输入空间来寻找对抗样本，使得solver能够找到扰动。而最先进的dnn模型已经使用数据增强方法来增加它们的鲁棒性，转换后的输入是高度相关的并且同分布的。对抗样本被认为既不相关也不同分布，导致了导致了这样的理论：它们位于数据流形的“口袋”中 [161]。

Gu和Rigazio [69] 研究了这些pockets的大小然后发现它们在体积上是相对大的并且局部连续的。作者假设对于对抗样本的敏感是与选择一个错误的目标函数或者是训练方法的不足有关而不是模型拓扑的结果。因此，提出一种能够有效地输出 数据方差较低的区域 的训练方法，应该可以解决这个问题。作者试图设计一种最小化网络输出方差的防御方法，对于小扰动和小数据集取得了一些成功。然而，这不足以为更大的数据集或扰动训练鲁棒的模型。

[161] Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus.
2013. Intriguing properties of neural networks. arXiv:1312.6199.

• 线性猜想

Goodfellow反驳以上猜想，提出了对抗样本跨越 大的高维区域 的猜想。作者认为，存在对抗性的例子是因为dnn实际上具有非常线性的行为，尽管隐藏层中存在非线性变换。选择易于优化的激活函数（如ReLU）可以使DNN表现得更线性。因此，对高维输入的所有维度的小扰动求和会迫使整个求和朝着可能导致错误分类的方向发展。如第6.1.1节所述，这一假设导致发现更有效的方法来产生对抗性例子。线性假设的经验证据也由[96，162，166]提供。罗[113]提出了这个猜想的一个变体，其中dnn在输入流形的某些区域是线性的，而在其他区域则是非线性的。

[65] Ian Goodfellow, Jonathon Shlens, and Christian Szegedy. 2015. Explaining and Harnessing Adversarial Examples.
ICLR (2015).

• 梯度消失

Rozza等人。[141]认为正确分类的输入的梯度在训练过程中会减小，并且无法在训练数据周围创建平坦区域。因此，大多数训练数据位于决策边界附近，小扰动可以将输入推过边界。作者假设，提出一种避免这种现象的训练算法将减轻对抗样本的威胁。然而，正如我们将在第7.4节中讨论的，对梯度施加限制并不是一种有效的防御措施。

[141] Andras Rozsa, Manuel Gunther, and Terrance E. Boult. 2016. Towards robust deep neural networks with BANG.
arXiv:1612.00138.

• 边界倾斜假设

塔奈和格里芬 质疑线性假设不“令人信服”[163]。首先，因为小扰动是相对于激活的，而增加了线性。因此，输入和扰动之间的比率保持不变。其次，作者认为线性行为不足以解释对抗样本现象，并论证了建立对对抗样本不敏感的线性模型的可能性。

相反，作者提出了边界倾斜的观点，基于这样一个假设：学习的类边界靠近数据流形，但是边界相对于它倾斜。然后，通过从数据流形向分类边界 去扰动 点，直到被扰动的输入越过边界，就可以找到对抗性的例子。如果边界只是稍微倾斜，那么扰动穿过决策边界所需的距离就非常小，这将导致强大的对抗样本，在视觉上几乎不易察觉地接近数据。作者认为，对抗样本很可能发生在数据的低方差方向上，因此推测对抗性例子可以被认为是过度拟合现象的影响，这种现象可以通过正则化得到缓解。

Izmailov等人。[87]研究了这一理论，通过在分类过程中从输入中去除低可变性特征，发现去除这些特征几乎不能提高鲁棒性。然而，去除互信息低的特征对鲁棒性有很大影响。同样，Ilyas等人。[86]指出，对抗性的例子是非鲁棒性特征的结果，这些特征来自于数据中的模式，这些模式可以很容易地被计算机预测，但人类无法理解。

• 与决策边界相关。

Moosavi Dezfouli等人。[121]证明了产生通用扰动是可能的，这种扰动可以应用于任何输入。在调查这一现象时，作者假设对手的例子利用了决策边界之间的几何关联。准确地说，作者提出了一个低维子空间的存在性，该子空间包含垂直于输入周围决策边界的向量。

Fawzi等人。[51]研究了与决策边界曲率相关的对抗样本的敏感性。结果表明，决策边界上的小曲率增加了分类器对抗鲁棒性。因此，假设 限制决策边界的曲率可以提高对抗性样本的敏感性。[165]中提出了类似的假设，[122]中给出了更多的理论分析。

• 非 i.i.d假设

一个不同的假说认为对抗样本不在数据流形中，而是从不同的分布中取样[57,102,116,154]。这个假设导致了对抗性检测方法的提出（第7.1节），并尝试用生成模型来学习这种新的分布。虽然有趣的是，这一假设的证明意味着对抗性的例子打破了i.i.d.假设，因此需要更多的经验数据。

卡里尼和瓦格纳[24]也对这一假设提出质疑，他们开发了能够轻易绕过对抗探测器的攻击。

• 流形几何假设。

Gilmer等人。[59]假设对抗样本是数据流形的高维（可能是复杂的）几何结构的结果。作者使用了一个更易于探索的合成数据集，发现只要分类器有最小的测试误差，输入分布中得到正确分类的大多数数据点都位于错误分类输入的附近。因此，当训练是在近似真实分布的情况下进行的，模型对对抗样本是敏感的。这一结果提出了一个问题，即是否可以消除对抗样本的敏感性。此外，作者驳斥了对抗样本不在数据流形的假设。

• 与训练资源有关。

根据第2节中简要讨论的PAC学习模型，Schmidt等人[147]表明训练鲁棒模型学习的样本复杂度可以显著高于训练非鲁棒模型。特别地，为了获得l∞范数的鲁棒性，需要在输入维上增加样本complexity polynomial。同样，Bubeck等人[19] 认为统计查询模型中的鲁棒学习以指数方式地增加查询数量。有点不同的是，Cullina等人[33]证明了在由 凸约束集 约束的对抗 存在时，样本复杂度不会增加。这一结果表明，在一定的约束条件下，鲁棒性是可以实现的，但这类集合的实用性尚未得到评估。齐普拉斯等人[167]表明获得鲁棒性涉及到失去准确性，并且这种权衡普遍存在 与ML模型无关。

总之

尽管塔奈和格里芬[163]声称反驳了线性假设，但仍然没有足够的经验证据完全否定它。可以说，高维空间中的线性变换足以使样本朝倾斜边界方向移动，从而导致错误分类。然而，作者成功地证明了对抗性例子不仅仅是由于DNNs的线性行为。正如Gilmer等人所说，流形的复杂几何结构可能是对抗性例子的根本原因。[59]。然而，仍然没有研究来调查是否发现对抗性例子的概率受到流形的几何约束。同样，也没有研究将非稳健特征与流形的几何结构联系起来。如[86]所建议的，去除非稳健特征是否会导致数据在光滑流形上得到更好的表示？进一步说，没有证据表明显示对抗性的例子不在数据流形中。使用这一主张的出版物试图开发对抗性探测器，并取得了一定的成功，然而，它们的功效仍然很低。

在决策空间中，对抗性的例子是在小空间还是在大空间中，目前还没有定论。根据Gilmer等人。[59]它们与测试误差和模型正确近似输入分布的能力成正比。然而，对于高容量模型，还需要更多的证据来支持这一猜想。

一些出版物指出对抗性稳健性存在局限性[19,49,59]，甚至对对抗性例子的敏感性也无法消除[59]。这样的结果引发了关于该领域未来研究的几个问题，其中一些问题将在第10节中讨论。我们认为，需要更多的基础研究，类似于[33，59，86，147]，以解释DNNs这种特殊行为的原因和影响，并在第9节中阐明主题