摘要

在黑盒设定下，大多数现有的攻击方式转移性较差。在这篇文章中，从将对抗样本的生成看作一个优化过程的角度出发，我们提出两种新的生成对抗样本的方式，称为Nesterov Iterative Fast Gradient Sign Method (NI-FGSM) 以及 Scale-Invariant attack Method (SIM)。NI-FGSM旨在将Nesterov accelerated gradient加入到迭代攻击中，从而有效提高对抗样本的转移性。SIM基于我们对深度学习模型尺度不变性的发现，为此，我们优化不同尺度的对抗扰动来避免过拟合。NI-FGSM和SIM可以集成在一起来构建基于梯度的鲁棒攻击，从而针对防御模型生成转移性更好的对抗样本。实验结果显示我们的攻击方法比SOTA 基于梯度的攻击方法具有更高的可转移性和更高的攻击成功率。

介绍

在本文中，我们将对抗样本的生成过程视为一个优化过程，，并提出了两种提高对抗样本转移性的新方法： Nesterov Iterative Fast Gradient Sign Method (NI-FGSM) and Scale-Invariant attack Method (SIM)。

• 受到Nesterov accelerated gradient (Nesterov, 1983)在传统优化方面优于momentum for conventionally optimization (Sutskever et al., 2013)的启发，我们将Nesterov accelerated gradient 应用到基于梯度的迭代攻击中。我们期望 NI-FGSM could replace the momentum iterative gradient-based method (Dong et al., 2018) in the gradient accumulating portion并且有更高的性能。
• 此外，我们发现深度学习具有尺度不变性，并提出了一种 Scale-Invariant attack Method (SIM)，通过优化输入图像不同尺度副本上的对抗扰动来提高对抗样本的转移性。SIM可以避免白盒模型被攻击时“过拟合”，并生成针对其他黑盒模型时转移性更好的对抗样本。
• 我们发现将我们的NI-FGSM以及SIM和现有的基于模型的攻击方法组合起来能提高对抗样本的攻击成功率

Extensive experiments on the ImageNet dataset (Russakovsky et al., 2015) show that our methods attack both normally trained models and adversarially trained models with higher attack success rates than existing baseline attacks. Our best attack method, SI-NI-TI-DIM (Scale-Invariant Nesterov Iterative FGSM integrated with translation-invariant diverse input method), reaches an average success rate of 93.5% against adversarially trained models under the black-box setting. For further demonstration, we evaluate our methods by attacking the latest robust defense methods (Liao et al., 2018; Xie et al., 2018; Liu et al., 2019; Jia et al., 2019; Cohen et al., 2019). The results show that our attack methods can generate adversarial examples with higher transferability than state-of-theart gradient-based attacks.

前置介绍

方法

3.1 动机

和训练神经网络的过程类似，生成对抗样本的过程可以被看作优化问题。在优化阶段，被攻击的白盒模型可以被是为训练过程中的训练数据。对抗样本可以看成待优化的参数。然后在测试阶段，用于评估对抗样本的黑盒模型可以被视为测试数据。

从优化的视角来看，对抗样本的转移性和训练后模型的泛化性类似。因此，我们可以将用于提升模型迁移性的方法迁移到生成对抗样本的过程中，通过这样来提升对抗样本的转移性。

现在已经提出了许多方法来提升深度学习模型的泛化性，我们可以将他们分为两类：

1. 更好的优化算法，例如Adam优化器
2. 数据扩充

相对应地，用于提升对抗样本转移性的方法同样可以被分为两类：

1. 更好的优化算法：例如MI-FGSM，应用了momentum的思想
2. 模型扩充（例如在多个模型上的ensemble攻击）

基于上述分析，我们旨在通过applying the idea of Nesterov accelerated gradient for optimization and using a set of scaled images to achieve model augmentation来提升对抗样本的可转移性。

3.2 Nesterov Iterative Fast Gradient Sign Method

Nesterov Accelerated Gradient (NAG) (Nesterov, 1983)是普通梯度下降方法的一个变体，可以提高训练速度并显著加快收敛。NAG可以被看作是改进的momentum方法，可以被表示如下：

$$\begin{gathered} v_{t+1}=\mu \cdot v_t+{\nabla }_{{\theta }_t}-\alpha \cdot \mu \cdot v_t \\ {\theta }_{t+1}={\theta }_t-\alpha \cdot v_{t+1} \end{gathered}$$

3.3 Scale-Invariant Attack Method

除了使用更好的优化算法外，我们同样可以通过model augmentation来提高对抗样本的可转型。首先我们通过如下方式对model augmentation和loss-preserving transformation进行一个正式定义：

定义1 Loss-preserving Transformation：给定一个输入$x$，它的真值标签$y^{true}$以及一个分类器$f(x):x\in \mathcal{X}\to y\in \mathcal{Y}$（损失函数使用交叉熵损失 $J(x,y)$）。如果存在一个输入转换$\mathcal{T}(\cdot )$满足对任意的输入$x\in \mathcal{X}$，$J(\mathcal{T}(x),y^{true})\approx J(x,y^{true})$，那么我们称$\mathcal{T}(\cdot )$是一个loss-preserving转换。

定义2 Model Augmentation：给定真值标签为$y^{true}$的输入$x$以及一个使用交叉熵$J(x,y)$作为损失函数的模型$f(x):x\in \mathcal{X}\to y\in \mathcal{Y}$，如果存在一个loss-preserving转换$\mathcal{T}(\cdot )$，那么我们可以从原始模型$f$推导得到一个新的模型$f^{\prime }(x)=f(\mathcal{T}(x))$。我们将这样的模型推导称为model augmentation。

直观地说，与通过提供更多的训练数据类提高模型的泛化性类似，通过同时攻击多个模型也可以提高对抗样本的可转移性。Dong et al. (2018) 通过攻击一组模型来增强基于梯度的攻击。然而，这种方法需要训练一组不同的模型进行攻击，这需要大量的计算成本。相反，在这篇文章中，我们通过模型扩充来从原始模型中导出一组模型，这是通过loss-preserving transformation来获得多个模型的一种简单方法。

为了得到loss-preserving transformation，我们发现深度神经网络除了平移不变性外可能有尺度不变性性质。具体而言，对于同一模型上的原始图像和缩放图像的损失值是类似的，这在4.2节中得到了实验验证。因此，尺度变换可以作为一种模型扩充方法。在上述分析的推动下，我们提出了一种Scale-Invariant attack Method (SIM), 改方法优化了输入图像不同尺度副本上的对抗扰动：