1. ELMO的基本原理是什么

ELMO采用了典型的两阶段过程：

• 第一个阶段是利用语言模型进行预训练
• 第二个阶段是在做下游任务时，从预训练网络中提取对应单词的网络各层的Word Embedding作为新特征补充到下游任务中

1.1第一阶段：利用语言模型进行预训练

下图展示的是其预训练过程，它的网络结构采用了双层双向LSTM，其中单词(token)特征这一块采用的是单词的embedding或者采用字符卷积得到其embedding表示

语言模型训练的任务目标是根据单词 的上下文去$W_i$正确预测单词 $W_i$；上图中左端的前向双层LSTM代表正方向编码器，输入的是从左到右顺序的除了预测单词外 $W_i$ 的上文Context-before；右端的逆向双层LSTM代表反方向编码器，输入的是从右到左的逆序的句子下文Context-after；每个编码器的深度都是两层LSTM叠加。

使用这个网络结构利用大量语料做语言模型任务就能预先训练好这个网络，如果训练好这个网络后，输入一个新句子 $S_{new}$，句子中每个单词都能得到对应的三个Embedding：

• 最底层是单词的Word Embedding
• 第一层双向LSTM中对应单词位置的Embedding，这层编码单词的句法信息更多一些；
• 第二层LSTM中对应单词位置的Embedding，这层编码单词的语义信息更多一些

ELMO的预训练过程不仅仅学会单词的Word Embedding，还学会了一个双层双向的LSTM网络结构，而这两者后面都有用

1.2 下游任务利用预训练好的embedding

第二阶段模型总览

以QA问题为例，展示下游任务如何利用预训练好的embedding：
（1）对于问句X，我们可以先将句子X作为预训练好的ELMO网络的输入，这样句子X中每个单词在ELMO网络中都能获得对应的三个Embedding
（2）给予这三个Embedding中的每一个Embedding一个权重a，这个权重可以学习得来，根据各自权重累加求和，将三个Embedding整合成一个
（3）将整合后的这个Embedding作为X句在自己任务的那个网络结构中对应单词的输入，以此作为补充的新特征给下游任务使用

对于上图所示下游任务QA中的回答句子Y来说也是如此处理。因为ELMO给下游提供的是每个单词的特征形式，所以这一类预训练的方法被称为"Feature-based Pre-Training"

2 ELMo的训练过程是什么样的？损失函数是什么？

ELMo的训练过程实际上指的是其第一阶段的预训练过程，第一阶段实际上就是在训练一个双向语言模型，假设给定一个序列，该序列含有 $N$ 个token $\{t_1, t_2, ..., t_N\}$ ，那么：

(1) 前向语言模型通过在给定上文 (Context-before)的情况下对token $t_k$ 的概率建模来计算序列出现的概率：
$p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{1}, t_{2}, \ldots, t_{k-1}\right)$

(2)后向语言模型与前向类似，但是它是“从后往前建模的”，通过在给定下文$(t_{k+1 , ... , t_N})$ (Context-after)的情况下对token $t_k$ 的概率建模来计算序列出现的概率：
$p\left(t_{1}, t_{2}, \ldots, t_{N}\right)=\prod_{k=1}^{N} p\left(t_{k} | t_{k+1}, t_{k+2}, \ldots, t_{N}\right)$

由于ELMo结合了前后向语言模型，故其目标是同时最大化前后向语言模型的对数似然：
$\begin{array}{l} \sum_{k=1}^{N}\left(\log p\left(t_{k} | t_{1}, \ldots, t_{k-1} ; \Theta_{x}, \vec{\Theta}_{L S T M}, \Theta_{s}\right)\right.\left.+\log p\left(t_{k} | t_{k+1}, \ldots, t_{N} ; \Theta_{x}, \overleftarrow{\Theta}_{L S T M}, \Theta_{s}\right)\right) \end{array}$
其中：
$\Theta_x$ 为token表示的参数(即初始化的词向量，前后语言模型共享)
$\Theta_s$ 为softmax分类的参数(前后向语言模型共享)（应该是计算得分全连接层的权重）
$\overrightarrow{\Theta}_{L S T M}$ $\overleftarrow{\Theta}_{L S T M}$ 分别表示前后向语言模型LSTM层的参数

综上所述，ELMo的训练过程即为一个前后向语言模型的训练过程，通过上述描述则一目了然，而其损失函数即为简单的分类损失，取决于源码实现，不同源码中的实现可能略有不同。

3 ELMo的优点是什么？ELMo为什么有效？

ELMo利用了深度上下文单词表征，该模型的优点：

• 引入双向语言模型，其实是 2 个单向语言模型（前向和后向）的集成；
• 保存预训练好的 2 层 biLSTM，通过特征集成或 finetune 应用于下游任务；

总结来说，通过上述结构，ELMo能够达到区分多义词的效果

ELMo为什么有效呢？

• ELMo的假设前提是一个词的词向量不应该是固定的，所以在多义词区分方面ELMo的效果必然比word2vec要好
• ELMo通过语言模型生成的词向量是通过特定上下文的“传递”而来，再根据下游任务，对原本上下文无关的词向量以及上下文相关的词向量表示引入一个权重，这样既在原来的词向量中引入了上下文的信息，又能根据下游任务适时调整各部分的权重(权重是在网络中学习得来的)，因此这也是ELMo有效的一个原因

4. ELMo为什么能够达到区分多义词的效果？

在ELMo第一阶段训练完成之后，将句子输入模型中提取各层embedding的时候，每个单词(token)对应两边LSTM网络的对应节点，那两个节点得到的embedding是动态改变的，会受到上下文单词的影响，周围单词的不同会强化某种语义，弱化其它语义，这样就达到区分多义词的效果了。需要注意的是，第一个单词和最后一个单词也是有上下文的，譬如说第一个单词的上文是一个特殊的token ，下文是除第一个单词外的所有单词，最后一个单词的下文是一个特殊的token ，上文是除最后一个单词外的所有单词。

5. ELMo把三种不同的向量叠加的意义是什么？这样做能达到什么样的效果？

过ELMo模型，句子中每个单词都能得到对应的三个Embedding：

• 最底层是单词的Word Embedding；
• 往上走是第一层双向LSTM中对应单词位置的Embedding，这层编码单词的句法信息更多一些；
• 再往上走是第二层LSTM中对应单词位置的Embedding，这层编码单词的语义信息更多一些

ELMo把三种不同的向量叠加的意义主要体现在以下两个点：

• 一是之前很多方法都只用了最顶层LSTM的hidden state，但是通过实验验证，在很多任务中，将每一层hidden state融合在一起会取得更好的效果
• 二是在上述实验中得到结论，每一层LSTM得到单词的embedding所蕴含的信息是不一样的，因此将所有信息融合起来，会让单词embedding的表达更丰富

参考

• 关于ELMo，面试官们都怎么问