一. Attention

Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射。在计算attention时主要分为三步，

第一步，是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；

第二步，使用一个softmax函数对这些权重进行归一化；

第三步，将权重和相应的键值value进行加权求和得到最后的attention。

二. Self-Attention

对于self-attention来讲，Q(Query), K(Key), V(Value)三个矩阵均来自同一输入。

将所有输入词向量合并成输入矩阵X（输入矩阵X的每一行表示输入句子的一个词向量），并且将其分别乘以权重矩阵，则所有query, key, value向量也可以合并为矩阵形式表示Q、K、V。

首先我们要计算Q和K的转置矩阵做点积，

然后为了防止其结果过大（梯度会更稳定），会除以一个尺度标度 ，其中  为一个query或key向量的维度。

再利用Softmax操作将其结果归一化为概率分布，

然后再乘以矩阵V就得到权重求和的表示。该操作可以表示为 

 

三. Transformer

接下来，介绍google2017年的论文《Attention is all you need》中提出的Transformer，是BERT等后续模型的基础。

对于使用自注意力机制的Transformer，有两点重要优势，提高了运行速度（降低每一层的计算复杂度，矩阵运算，多头可以并行），解决长距离依赖学习难题（最大的路径长度也都只是1）。

Transformer的整体结构如下图，还是由编码器和解码器组成。

在编码器的一个网络块中，由一个多头self-attention子层和一个前馈神经网络子层组成，整个编码器栈式搭建了N个块。

解码器，类似于编码器，只是解码器的一个网络块中多了一个多头attention层。

为了更好的优化深度网络，整个网络使用了残差连接和对层进行了规范化（Add&Norm）。

 

每一个编码器都可以拆解成以下两个字部分。

对输入序列做词的向量化之后，每个位置的词向量被送入self-attention模块，然后是前向网络，最后将输入传入下一个编码器。

这里能看到Transformer的一个关键特性，每个位置的词仅仅流过它自己的编码器路径。在self-attention层中，这些路径两两之间是相互依赖的。但前向网络层则没有这些依赖性，对每个向量都是完全相同的网络结构，这些路径在流经前向网络时可以并行执行。

解码器同样也有这些子层，但是在两个子层间增加了attention层，该层有助于解码器能够关注到输入句子的相关部分，与 seq2seq model 的Attention作用相似。

这里先明确一下decoder的输入输出和解码过程：

输出：对应i位置的输出词的概率分布；

输入：encoder的输出 & 对应i-1位置decoder的输出。所以中间的attention不是self-attention，它的K，V来自encoder，Q来自上一位置decoder的输出；

解码：这里要特别注意一下，编码可以并行计算，一次性全部encoding出来，但解码不是一次把所有序列解出来的，而是像rnn一样一个一个解出来的，因为要用上一个位置的输入当作attention的query。

 

3.1 multi-headed

论文进一步增加了multi-headed的机制到self-attention上，在多头下有多组，而非仅仅一组（论文中使用8-heads）。每一组都是随机初始化，经过训练之后，输入向量可以被映射到不同的子表达空间中。

将h次的放缩点积attention结果进行拼接，再进行一次线性变换得到的值作为多头attention的结果。

3.2 Positional Encoding

除了主要的Encoder和Decoder，还有数据预处理的部分。Transformer加入了相对位置信息，提出两种Positional Encoding的方法，

（1）用不同频率的sine和cosine函数直接计算

（2）学习出一份positional embedding

3.3 Add & Normalize

在每个子层中（slef-attention, ffnn），都有残差连接，并且紧跟着layer-normalization。

如果我们可视化向量和layer-norm操作，将如下所示：

  --->

 

 

 

 

 

 

 

 

 

参考文献：

1. Attention Is All You Need https://arxiv.org/abs/1706.03762
2. http://www.likecs.com/show-59320.html
3. https://blog.csdn.net/yujianmin1990/article/details/85221271
4. https://www.cnblogs.com/robert-dlut/p/8638283.html
5. https://www.cnblogs.com/ydcode/p/11038064.html
6. https://www.tensorflow.org/tutorials/text/nmt_with_attention#%E7%BC%96%E5%86%99%E7%BC%96%E7%A0%81%E5%99%A8_%EF%BC%88encoder%EF%BC%89_%E5%92%8C%E8%A7%A3%E7%A0%81%E5%99%A8_%EF%BC%88decoder%EF%BC%89_%E6%A8%A1%E5%9E%8B