几个比较有用的关于Embeddings的博客链接

1. Embeddings

Embedding：一个映射，将单词从原先所属的空间映射到新的多维空间中，也就是把原先词所在空间嵌入到一个新的空间中去。

当我们应用 embedding 方案时，一般要面对下面几个问题：

• 希望 Embedding 表达什么，即选择哪一种方式构建语料
  前面我们提了 Embedding 向量最终能表达实体在某个空间里面的距离关系，但并没有讲这个空间是什么。在 NLP 领域，这个问题不需要回答，就是语义空间，由现存的各式各样的文本语料组成。在其他场景中，以电商举例，我们会直接对商品 ID 做 Embedding，其训练的语料来自于用户的行为日志，故这个空间是用户的兴趣点组成。行为日志的类型不同，表达的兴趣也不同，比如点击行为、购买行为，表达的用户兴趣不同。故商品 Embedding 向量最终的作用，是不同商品在用户兴趣空间中的位置表达。
• 如何让 Embedding 向量学到东西
• 如何评估向量的效果
• 线上如何使用

2. Word2Vec

Word2Vec：通过学习文本来用词向量的方式表征词的语义信息，即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。
Word2Vec的模型
Word2Vec模型中，主要有Skip-Gram和CBOW两种模型，从直观上理解，Skip-Gram是给定input word来预测上下文。而CBOW是给定上下文，来预测input word。CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量，而输出就是这特定的一个词的词向量。　Skip-Gram模型和CBOW的思路是反着来的，即输入是特定的一个词的词向量，而输出是特定词对应的上下文词向量。CBOW对小型数据库比较合适，而Skip-Gram在大型语料中表现更好。下图为CBOW。

1. 总览：概念one-hot、bag of word、……
   http://www.scofield7419.xyz/2017/09/25/文本表示学习-词嵌入入门理解/
   https://blog.csdn.net/jiaolong724/article/details/83717246
2. word2vec中CBOW和Skip-Gram训练模型的原理
   https://blog.csdn.net/dxlcnm/article/details/79918084
   https://blog.csdn.net/qq_24003917/article/details/80389976
3. 几种推荐搜索场景下的用户Embedding策略
   https://blog.csdn.net/guoyuhaoaaa/article/details/84539971
4. Embedding在深度推荐系统中的3大应用方向
   https://www.jianshu.com/p/fe5577b6c4fe
   这篇文章中，我们将Embedding技术单独抽取出来进行讲解。介绍在深度学习推荐系统中，Embedding主要的三个应用方向：
   1.在深度学习网络中作为Embedding层，完成从高维稀疏特征向量到低维稠密特征向量的转换；
   2.作为预训练的Embedding特征向量，与其他特征向量连接后一同输入深度学习网络进行训练；
   3.通过计算用户和物品的Embedding相似度，Embedding可以直接作为推荐系统或计算广告系统的召回层或者召回方法之一。