再续李宏毅老师的深度学习与人类自然语言处理课程
p25 Multi-lingual Bert

1. 首先指明 世界上存在6-7k中语言，不需要每种语言训练一个bert模型
   引出MBert模型，并且给出mbert模型的能力，train在某种语言上，然后在另一种语言做eval，竟然得到的效果也不错。此外，竟然通过翻译的手段效果还要好。
2. 给出google的benchmark。https://sites.reasearch.google/xtreme
   cross-lingual transfer evaluation of multingual encoder(XTREME) benchmark

mbert可能去掉语言的信息，得到语义的信息，lhy老师做了一个实验，
Mean Reciprocal Rank，指出不同语言的词向量的align的关系
并且给出资料量扩展一倍，然后在某些语言上，得到很大提升
并且把大量资料训练word2vec和glove

3. how alignment happends?
   mbert把不同语言的词向量align在一起。
   猜想： 不用语言可能有一样的token
   explain： code switching 比如 DNA的构造很像螺旋体，mbert可能学到DNA与螺旋体的关系。 也可能出现在digits、punctuations上，中英文有公用的token
   是否存在Intermediate Langua， ch- X， EN-X
   引用 K， et al ， ICLR 2020例子
   

lhy老师课上说，这种做法听起来怪怪的。

你看K，et al ICLR2020的做法是用英文和假英文这两种语言训练bert， 比如用en-enfake train一个bert，然后在enfake做fine-tune， 分别用enfake和en去做推理，得到xnli和ner结果。从结果上看，用fake和用en差不多

alignmen的在没有codeswitch 和 intermediate language上

mbert的功能

如果把语种信息拿掉，mbert怎么知道要reconstruct的语言呢？

mbert里面有语种信息（language information）

lhy希望把mbert如何存储语种信息找出来，
然后给出他学生的做法，把所有语种的词向量取平均

然后lhy老师想到当时做的GAN，当时把短发取平均， 把长发取平均，得到一个距离，然后短发+这个差值平均得到长发

mbert确实包含有language information

宏毅老师组做的实验：