说明

最近在做自然语言处理方面的研究，特别是研究到了词嵌入，于是便对keras中的Embedding的工作方式产生了疑问，常用的词嵌入模型诸如CBOW，Skip-gram都是一个单独的模型，而keras中的Embedding层仅仅是一个层，那是不是这个层中嵌入了某一个模型呢，答案是：错。
在翻了下百度上的一些解答后，感觉都不清楚，最终在StackExchange上看到了一个大佬的回复，感觉讲的真清楚，所以呢，就打算做个笔记，结合自己的理解翻译一下，以供后续查阅。
先奉上链接，英语好的可以直接看原文.

先翻译下问题

首先一个老外，跟我一样有了同样的问题，于是啊，他就做了如下工作：

import numpy as np
from keras.models import Sequential
from keras.layers import Embeddingmodel = Sequential()
model.add(Embedding(5, 2, input_length=5))input_array = np.random.randint(5, size=(1, 5))model.compile('rmsprop', 'mse')
output_array = model.predict(input_array)

然后一运行就酱紫咯

input_array = [[4 1 3 3 3]]
output_array = 
[[[ 0.03126476  0.00527241][-0.02369716 -0.02856163][ 0.0055749   0.01492429][ 0.0055749   0.01492429][ 0.0055749   0.01492429]]]

然后我们来分析一下这个结果。5个数字输入变成了5*2的一个嵌入了。然后我们来看看Embedding层的参数，第一个vocabulary size，这个可以理解成被我们用来嵌入的那些东西所在的那个集合的size，比如你要把中文嵌入到某个空间中，那这里可以设置为你所选定的常用中文汉字的个数，什么5000,10000等等。第二个跟第三个参数就跟这里的输出有关了。先说第三个，input_length，这里比如我们一般都是将一个句子嵌入到一个空间中，但是句子长度通常不一样，那这里我们就需要取一个值，让所有的句子变成一样长的，超过这个长度的就减掉过长的，不够的采取一种办法来补够，具体的这里不说了，可以去看keras文档。现在再来说第二个参数，嵌入空间的维度，说白了就是把上面的句子中的单个字用一个这个维度的向量来表示，比如这里的句子可以看做[4 1 3 3 3] 这个序列，嵌入后每一个数字对嵌入后的向量的相应一行。但是这个结果知道了，内部是如何实现的呢，这些数字又是如何算出来的呢？

Embedding层工作原理

实际上，没有使用任何数学运算从输入中计算输出向量。而是将每个输入整数用作索引，以访问包含所有可能向量的表。这就是为什么您需要将词汇表的大小指定为第一个参数的原因（以便可以初始化表）。说白了就是你指定多大的词汇表最终就能算出多少不同的词向量出来，算出来后，用的时候就只是一个查表过程了。用来查的那个数字就是我们输入的那串序列。

该层最常见的应用是文本处理。让我们看一个简单的例子。我们的训练集仅包含两个短语：

Hope to see you soon

Nice to see you again

因此，我们可以通过为每个单词分配一个唯一的整数来编码这些短语（例如，按照训练数据集中出现的顺序）。然后我们的短语可以改写为：

[0, 1, 2, 3, 4]

[5, 1, 2, 3, 6]

现在假设我们要训练一个网络，其第一层是嵌入层。在这种情况下，我们应该按以下方式对其进行初始化：

Embedding(7, 2, input_length=5)

第一个参数（7）是训练集中不同单词的数量, 这里刚刚有7个不同的数字，所以7就够了，当然你也可以比7大。第二个自变量（2）表示嵌入向量的大小，也就是我们要将原来的一个数字变成一个二维的向量。的input_length argumet，当然，确定每个输入序列的大小。

训练好网络后，我们可以获取嵌入层的权重，在这种情况下，权重为大小（7，2），可以看作是用于将整数映射到嵌入向量的表：

+------------+------------+
|   index    |  Embedding |
+------------+------------+
|     0      | [1.2, 3.1] |
|     1      | [0.1, 4.2] |
|     2      | [1.0, 3.1] |
|     3      | [0.3, 2.1] |
|     4      | [2.2, 1.4] |
|     5      | [0.7, 1.7] |
|     6      | [4.1, 2.0] |
+------------+------------+

就酱紫咯。因此，根据这些嵌入，我们的第二个训练短语将表示为：

[[0.7, 1.7], [0.1, 4.2], [1.0, 3.1], [0.3, 2.1], [4.1, 2.0]]

说到这里就剩最重要的部分了，那就是如何得到这个表的，好吧，其实很简单啦，其实这个表其实就是这个层的权重，训练的时候根据底层的优化算法，比如梯度下降等，就跟模型中的其他参数一样，训练得到。