目录

基本原理：

相关性的判断：

 新向量的计算：

Multi-head self-attention

 位置信息（Positional Encoding）：

推荐阅读：

---

基本原理：

I saw a saw（我看见了一个锯子）

如果直接将每个单词丢进fully conneted network里，第一个saw和第二个saw得到的结果必然是一样的。那能否让fc考虑上下文信息呢？由此就引入了self-attention，自注意力机制。

self-attention的输入是一堆向量，输出也是一堆向量，不同的是，输出的向量中考虑到了上下文的信息。那如果考虑上下文信息呢？

1.判断上下文向量和当前向量的相关性

2.按照相关性，对相关性做归一化后，按照相关性，乘上对应的向量，得到新的向量。

相关性的判断：

两个向量的相关性，比较常见的做法就是做点积，当然也可以也有其他方法，不过常见的就是用点积。

 新向量的计算：

其中q,k,v是原始的向量a乘以对应的矩阵Wq,Wk,Wv得到的，其中Wq,Wk,Wv是放到神经网络里训练得到的，参数共享。

q:query，k:key，v:value

query和key得到相关性α，通过softmax后得到α‘，再乘以v，最终加在一起，就是对应的新的向量了。

此外，李宏毅老师的课里还讲到了对应的矩阵表示，感兴趣的可以去看一看。

Multi-head self-attention

在self-attention中，我们用q来找相关的k，但是相关这件事情有很多种形式，比如两件衣服，可能颜色相近，可能图案相近，所以需要不同的q负责不同的相关性。

multi-head self-attention的过程和self-attention中的类似，q,k,v由原始的向量a乘以对应的矩阵Wq,Wk,Wv得到，然后q再乘以另外两个矩阵分别得到q1和q2，qi1=Wq1*qi,qi2=Wq2*qi,k1,k2,v1,v2也是类似的情况。

最终得到的结果b1,b2，再乘上一个矩阵Wo得到最后的结果b。 

 

 位置信息（Positional Encoding）：

希望通过给每个位置一个不同的位置向量，让模型知道每一个input的位置的信息。最早的ei是人设的，也可以通过模型学习出来。

 

推荐阅读：

(强推)李宏毅2021春机器学习课程_哔哩哔哩_bilibili