前言

论文名：Compression of Neural Machine Translation Models via Pruning
论文作者：Abigail See et.al.
期刊/会议名：CoNLL 2016
本文作者：XMU_MIAO
日期：2020/11/12

摘要

  与其他深度学习领域一样，神经机器翻译（NMT）同样存在过参数化问题（over-parameterization），从而造成其存储空间过大。本文研究了三种简单的针对NMT模型基于大小的剪枝方案，即：Class-Blind,Class-Uniform,Class-Distribution三者在如何计算NMT架构中不同类别权重的剪枝阈值方面存在差异。 我们证明了权重剪枝作为一种压缩技术针对最先进的NMT系统的效力。我们表明了在WMT’14English-German翻译任务上，拥有超过2亿个参数的NMT模型可以被剪枝40%而不造成性能损失。这有助于揭示NMT架构中的冗余分布。我们的主要结果是：通过再训练，可以恢复甚至超过被剪枝80%的模型。

一、Introduction

  NMT模型虽然相比于基于词汇的翻译方法内存占用显著降低了，但模型规模对于移动设备来说仍然过大。虽然更深更大的模型能够带来更大的进步，它也引入了过度参数化，导致运行时间长、过拟合和上面讨论的存储大小问题。 对过度参数化问题的解决方案可能会帮助所有这三个问题，但是第一个问题(长运行时间)超出了本文的讨论范围。

二、Contribution

• 研究了权重剪枝对于NMT模型的有效性，包括三种基于大小的权重剪枝方案：class-blind、class-uniform、class-distribution
• 经过试验发现高层权重（attention、softmax等）非常重要，而低层权重（输入嵌入等）存在一些参数冗余现象。

三、Approach

3.1模型架构

在本文工作中，我们具体考虑以LSTM作为隐藏层单元的深度多层循环架构，图1展示了一个该架构的例子

3.2 NMT中的权重

图2展示了一个3.1中提到模型的具体细节。具体细节在图中进行了说明。

3.3 剪枝方案

  我们遵循一般的基于大小的剪枝方法，该方法剪枝绝对值（$L_1$范数）最小的一些权重。实验中采取了三种剪枝策略。假设整个模型的预期剪枝率为$x\%$，那我们如何在模型的不同权重类别上（如图2）分配剪枝比例呢？我们建议研究以下三种剪枝方案：

• $\text{Class-Blind}$：将所有参数无论权重级别都按照大小（$L_1范数$）进行排序，并修剪最小的$x\%$参数（所以某些类比其他类被剪枝得更多）【class-blind修剪最简单，它坚持这样的原则：当权重大小很小时，无论其在架构中的位置如何，修剪这些权重将它们设置为零的破坏性最小】
• $\text{Class-Uniform}$：在每个类别的权重中，按照大小（$L_1范数$）进行排序，并对每个类中最小的$x\%$参数进行修剪（所以每个类别的权重中都有$x\%$的参数被修剪）【class-uniform在每个权重类中按照绝对比例进行修剪权重】
• $\text{Class-Distribution}$：对于每一个类别$c$，权重大小（$L_1范数$）小于$\lambda {\sigma }_c$的权重将被剪枝。其中${\sigma }_c$是类别$c$的标准差，$\lambda$是选择的一个通用参数来保证所有参数的$x\%$被剪枝。【class-distribution按照每个类的标准差的大小进行剪枝操作】

---

3.4 重新训练

  为了在不造成性能损失的情况下对网络进行积极的修剪，我们对修剪后的网络进行了重新训练。也就是说，我们继续训练剩余的权值，但保留由于剪枝引入的稀疏结构。 在实现过程中，剪枝的权重用0来表示。我们使用二进制掩码矩阵来表示网络的稀疏结构，以忽略剪枝位置上权值的更新。这种实现的优点是简单，因为其只需要对训练和部署的代码进行最小的更改。值得注意的是，使用稀疏矩阵和稀疏矩阵乘法的更复杂实现可能会带来速度的提升，这不在本文讨论范围内。

四、Experiments

我们在一个先进的NMT模型上评估我们剪枝方法的有效性。具体来说，我们考虑来自Luong et.al.的基于注意力的英德NMT系统。训练集和测试集等设置可参考原文。在重新训练剪枝后的NMT模型时，我们采用以下设置：（1） 采用更小的学习率$lr$（原来1.0，现在0.5）；（2） 采用简单的$SGD$，训练更少$epoch$（原来12，现在4）；（3） 采用简单的学习策略：2个$epoch$后的每个$epoch$，将$lr$减少为之前$epoch$的一半；（4） 其他参数设置与未剪枝前相同

Minh-Thang Luong et.al. Effective Approaches to Attention-based Neural Machine Translation In EMNLP 2015a

4.1 不同剪枝方案的对比

虽然class-blind的剪枝方案虽然简单，但从图3中可以看出，其由于其他两种剪枝方案。为了进一步探索该结果，对于三种剪枝方案，我们单独对每种权重进行剪枝（此处我的理解是：对整个模型分别使用三种权重剪枝的方案，在每种剪枝方案中，每种类别的权重都不同被剪枝，在每种剪枝方案中，每次只保留一种类别的权重被剪枝）并记录对性能的影响（用混乱度perplexity衡量），如下图4所示

从上图4和图5中我们可以得到以下一些信息：

• class-uniform的整体性能损失是由几个类造成的：target layer4、attention、softmax weights。
• 被剪枝的造成性能损失最大的类是那种数值较大的权值类-相同的剪枝率下，这些权值类有更大的权重值。
• class-blind对target layer4、attention、softmax weights剪枝造成的性能损害则大大降低，对每个类的性能损失的影响也较为均匀。
• 图4也揭示了NMT架构中一些有趣的信息-高层权重比低层权重更加重要，尤其是attention权重和softmax权重

4.2 剪枝与重新训练

  剪枝对于模型性能有一个直接的负面影响（根据BLEU值的测量），剪枝率与模型性能损失呈指数关系，如上图6中蓝色曲线所示。从图中可以发现，剪枝率达40%时性能几乎没有被影响，这表明了NMT系统中存在大量的参数冗余和过参数化现象。
  考虑重新训练的效果，如图6中橙色曲线所示，最多剪枝80%，经过重新训练，依然能够将性能恢复到baseline,甚至超过baseline。 即使在剪枝90%的情况下，也依然能够恢复大部分的性能。这是一个非常有趣的发现，但是我们不期望稀疏模型的性能能够显著优于参数为其五倍多的模型。有许多关于这个现象的解释，以下我们给出两种解释：
（1）剪枝较少的模型在训练集上的表现优于验证集，修剪较多的模型在两个集上的表现更为接近。这表明，剪枝对重新训练模型有一定的正则化作用，但也不是剪枝越多就越好。
（2）剪枝可以作为一种避免陷入局部最优的方法。 如下图7展示了训练、剪枝和重新训练阶段的loss变化。在剪枝后，loss立即变大，但却使得重新训练阶段能够找到一个新的更好的局部最优

4.3 从稀疏模型开始训练

  经过剪枝和再训练的模型拥有良好的性能，不禁要问：我们是否可以通过从稀疏模型开始训练来获得这种性能的捷径? 也就是说，与其训练、剪枝再训练，不如简单地剪枝然后训练？为了验证这一点，我们将50%-90%的剪枝模型的稀疏性结构，训练出具有相同稀疏性结构的全新模型。图6中的紫色曲线显示，“从头稀疏”模型的性能不如修剪和重新训练的模型，但它们确实接近基线性能。这表明，尽管稀疏结构本身就包含关于冗余的有用信息，因此可以产生有竞争力的压缩模型，但将修剪与训练交织在一起是很重要的。 虽然我们的方法只涉及一个修剪阶段，但其他修剪方法通过包含多个迭代，将修剪与训练更紧密地交织在一起。预计，为NMT实现这一点可能会导致进一步的压缩和性能改进。

4.4 NMT模型中的冗余分布

我们在图8中可视化了NMT基线模型的冗余结构。黑色像素表示接近于零的权重(那些可以被修剪的权重);白色像素表示较大的像素。 从图中可以得到几点观察：
（1）低频词的权重很低，不能够被充分学习
（2）低层次LSTM结构中，input $h$最为重要，其次是input gate $i$、output gate $o$、forget gate $f$，而高层次LSTM结构中，尤其是target端，连接到gates上的权重与inputs上的权重同样重要。
（3）对于低层前馈输入比循环层更加重要，而在高层次中循环层则比前馈输入层更加重要。
（4）最后，通过仔细观察，我们注意到在图8中矩阵的一些子方阵中出现了几个白色对角线，表明即使没有初始化恒等矩阵的权值，一个类似恒等的权值矩阵也被学习到了。在较高的修剪百分比，这些对角线变得更加明显。【感觉没看出来】

4.5 结果的通用性

  为了验证文中剪枝方法的通用性，我们还在一个较小的、非最先进的NMT模型上测试了我们的剪枝方法。我们在这个模型上发现了相似的结果。这在一定程度上也验证了文中剪枝方法在NMT模型上的通用性。

五、相关工作

  从神经网络中剪枝参数，称为权值剪枝或网络剪枝，是一个十分成熟的想法，可以通过许多方式实现。其中最流行的为Optimal Brain Damage(OBD)和Optimal Brain Surgeon(OBS)，其计算损失函数中相关参数的Hessian矩阵以评估每一个参数的显著性。OBD和OBS的性能优于所谓的“朴素的基于大小的方法”，后者根据大小删除参数（删除接近于零的参数）。然而对于大型网络，OBD和OBS的高计算复杂度相对于基于大小的方法的计算简单性相比是不利的。
  今年来，深度学习的复兴引发了对现代模型和任务的网络剪枝的重新研究。采用迭代再训练的基于大小的剪枝方法在卷积神经网络（CNN）执行视觉任务时取得了良好的效果。
  其他的剪枝方法侧重于通过sparsity-inducing regularizers修剪神经元或“连接”具有相似输入权重的成对神经元，而不是参数 。基于神经元的剪枝方法比权值剪枝方法有更多的限制，其需要找到矩阵的全零行或几乎相同的行对，以便修剪单个神经元。相比之下，权值修剪允许权值自由地、彼此独立地被修剪。
  有许多其他针对神经网络的压缩技术，包括基于权重矩阵的低秩(low-rank)近似或通过哈希函数(hash function)进行权重共享的剪枝方法。
  上述大部分方法针对压缩用于视觉任务的卷积神经网络(CNNs)。我们将基于大小的剪枝方法用于循环神经网络(RNNs)尤其是针对NMT中的LSTM网络，据我们所知，这是第一次有人这么做。

总结

  本文研究了权重剪枝在NMT模型中的作用，对比研究了三种剪枝方案：class-blind、class-distribution、class-uniform。class-blind剪枝方法可以视为一种全局(global)剪枝方案，其对整个模型中大小最小的某些权重进行剪枝，而后两种剪枝方案可视为是一种局部(local)剪枝方案，其在每一类的权重中按照某种原则进行剪枝，使得每种类别的权重都能得到一定比例的剪枝。 通过实验发现，class-blind较后两种剪枝方案表现得更好。
  文中NMT模型在剪枝40%的参数的情况下，性能几乎没有变化。这表明在NMT模型中存在大量的参数冗余和过参数化现象，通过剪枝并再训练，发现模型能够在剪枝80%的情况下，通过再训练恢复甚至超过原先模型的性能。通过进一步的实验发现，剪枝对于再训练提供了一定的正则化效果，并且能够帮助再训练找到新的更好的局部最优。文中也探究了在NMT模型中冗余参数的分布情况，并发现高层次的权重更为重要，低层次的权重存在一定的冗余现象。最后，在一个规模较小的NMT模型上重新探究了这些发现并找到了相似的结果，这在一定程度上验证了权重剪枝方法在NMT模型上的通用性。论文链接：Compression of Neural Machine Translation Models via Pruning