词嵌入

word2vec（2013 Tomas Mikolov）

假设你已经对word embedding有初步的了解，至少知道skipgram是用中心词去预测上下文词汇，而CBOW是用上下文词来预测中心词。
假设个鬼哦，还是从头开始整理吧哭泣。我不！！！
网上有好多通俗的讲解word2vec，嘛要是只想了解一下大概是怎么做的而已的话其实也是够的，才怪！！ 但对于想要了解得更底层一些的同学（我）来说就有一些误导性，比如一般的word2vec都是用C或者C++写的，跑的时候也是用多线程跑的，而不是用GPU跑的。反向传播的时候也是一对一对的去更新参数而不是一个batch一个batch去更新。loss也不是用softmax而是用nce loss之类的。

下面我讲的是我们实际上在训练词向量矩阵的过程。

举个例子：我们有一个超级大的txt文本，里面是以段落为行，即每个段落结尾有一个\n分行。我们要用这个文本训练一个词向量矩阵，维度为100，要训练的词袋里面有N个词（一般取count=5为界，出现次数小于5的都不去踢出词袋）。
文本里有一个段落（文本提前做了预处理，去掉了字母以外的符号）：
My dog is very cute and does not bite people

假设这个时候cute被作为中心词，window取2，即周围词是[is ,very, and, does]。
对于cbow和skipgram，开始训练之前都要先随机初始化两个词向量矩阵（记为左右矩阵），然后在训练的过程通过反向传播更新这两个矩阵（神经网络的经典套路），希望矩阵通过训练能捕捉到词的一些信息。当然两个都可以作为词向量矩阵，不过一般都是取右边的作为词向量矩阵，也有人将两个词向量矩阵平均一下作为词向量矩阵。

• cbow
  重复一遍，cbow用周围词去预测中心词，对于cbow来说左矩阵就是代表周围词的向量矩阵，右矩阵代表中心词向量矩阵。
  cbow的做法是用[is ,very, and, does]这四个词的在左矩阵的词向量的平均去跟右矩阵的所有向量 中心词+负采样得到的词在右矩阵中对应的词向量分别算分数，分数函数一般用$s(w, v) =w^Tv$。分数越大代表词就有可能作为预测值，所以为了让中心词能够被预测到，我们要告诉矩阵应该往增大周围词跟中心词的分数，减少周围词与负采样的词的分数的方向进行更新。怎么告诉呢，那就是loss的任务了。
  loss：
  $log\sigma(s(w_{context},v_c))+\sum_{{n_t}\in{Neg(c)}}{log\sigma(-s(w_{context},v_{n_t}))}$
  注意到他不是用$softmax$去算概率而是用$sigmoid$。

面试题目: 为什么要用负采样。
如果去跟右矩阵的所有向量算分数+softmax的话，不仅更新一个词对的计算量就很大，而且反向传播的话两个矩阵里面所有向量都要更新到，多线程也使用不了，一个模型要训练到天荒地老。

• skipgram
  知道cbow怎么操作，skipgram就也知道了。对skipgram来说左矩阵就是上下文的词向量矩阵，右矩阵是中心词的词向量矩阵。还是用上面的例子，中心词是cute，周围词是[is ,very, and, does]。取一个词对（cute，is），查cute在左矩阵的词向量，去跟周围词（is）和负采样得到的词在右矩阵中对应的词向量分别算分数，后面跟cbow一样。从这里就可以看出来，对于同一个中心词cute，cbow对矩阵做了一次梯度更新，但是skipgram需要对矩阵做2*window次更新。所以效率上是cbow快啦，效果的话，其实，如果你样本量巨大，cbow和skipgram的效果是差不多的。

• huffman树

• hierarchical softmax

• negative sampling

GloVe

fasttext

https://github.com/facebookresearch/fastText

中文词嵌入

CWE

JWE

cw2vec