原文地址：Airbnb中的id & type embedding（KDD2018）

欢迎关注我的公众号，微信搜 algorithm_Tian 或者扫下面的二维码~

现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~

上周介绍了盒马生鲜中对商品是怎么进行embedding的，以及怎样解决冷启动问题的。这周我们介绍一篇Airbnb中对酒店和用户进行embedding的文章。这篇文章是2018年KDD上的，论文题目为：

Real-time Personalization using Embeddings for Search Ranking at Airbnb

本博文从以下几方面介绍这篇论文：

1. listing id embedding（几点优化）

2. listing type & user type embedding

3. 相似度计算方式

1. listing id embedding

1.1 序列构造

1.2 优化目标函数

1.2.1  global context

1.2.2 负采样方式的优化

1.3 冷启动

1.4 可视化展示

2. type embedding

3.一些实验参数

1. listing id embedding

1.1 序列构造

和上篇文章一样，这里构造训练序列的时候也是以用户最近浏览历史构造，这篇文章中把酒店页面叫做listing，于是训练序列就为用户浏览过的listing id的列表，按时间顺序排序，不过在这里还有两个额外的限制条件：

（1）是预定酒店（booked listing）之前浏览的listing；

（2）两个浏览页面之间时间间隔不超过30分钟。

于是借鉴word2vec中的skip-gram模型，最大似然函数为：

在这里l表示的就是listing id，语言概率p为：

v是listing的embedding。用负采样方法替代的话，目标函数就为：

Dp是正样本对集合，Dn是负样本对集合，l是中间词。

1.2 优化目标函数

1.2.1  global context

这篇论文的一个创新点在于，把预定酒店（booked listing id）作为一个全局正样本，也就是对每个中间词，booked listing都视作它的context，即global context。

加入global context之后目标函数变为：

l_b是booked listing。

1.2.2 负采样方式的优化

由于中间词和它的上下文，在Airbnb的应用场景中都是出自同一个地区（市场），而随机负采样由于是在全局进行负采样，所以得到的负样本集大部分不会在同一地区，这种数据上的不平衡导致学习出的embedding更多的只关注地域的相似。

所以加入一个经过挑选的负样本集D_mn，它选择的负样本和中心词来自同一地域（market），目标函数变为：

1.3 冷启动

价格属于同一区间+类型相似+方圆十公里内最近的三个，的embedding的平均。

1.4 可视化展示

2. type embedding

listing id embedding对于在同一市场（地域）中找相似的listing很有效，但是它是基于用户短期行为的，在个性化推荐中，考虑用户长期行为也同样重要，所以用户的booked listing序列也可以用来构建listing embedding。

但是直接使用用户的booked listing id序列作为训练数据，存在一些问题：

（1）对于Airbnb的应用场景来说，用户的预定酒店行为发生的可能非常少，训练数据很少

（2）很多用户可能历史预定次数就只有一次，而长度等于1的序列是没办法用作训练数据的。

（3）如果想训练出有意义的embedding，词的出现次数要至少是5-10次，而对于listing id来说，很多酒店历史预定总次数少于5-10次。

（4）用户随着时间的变化，对酒店的需求可能会变化很大。比如几年后同一个用户对酒店价格上的要求是不一样的。

于是将对id进行embedding学习改为对type进行embedding。其实就是根据酒店以及用户的一些属性，对id进行分桶。如下图所示：

训练序列的构造为：同一个用户的booked listing按照时间顺序排序，每个时刻t的booked listing按照那个时刻listing的属性进行分桶得到对应的l_type_t，而当时进行预订行为状态的用户也按照那个时刻的用户属性进行分桶得到u_type_t，按时刻拼接u_type,l_type得到训练序列。

这样做的一个好处就是把user和listing放到了同一个空间中进行学习，用户和酒店之间的相似度可以通过embedding之间的cosine距离进行衡量。

下面的表格是listing和user的分桶方式，可以参考来理解。

那么，怎样学习对应的type embedding呢？

对user type的更新，用：

对listing type的更新，用：

其中u_t,l_t是作为中间词的user type和listing type。c是除了中间词以外的其他listing type和user type。

文章还构建了一个全局负反馈集合，就是用户点过的不想再看或不感兴趣的listing id的type。这样目标函数就变为：

和

下表是一个基于type embedding的相似度示例。

3.一些实验参数

对于每个user id，生成以下几个listing ids：

于是对这几种listing序列，可以定义以下表格中的几个相似度特征：

下面的几个公式表示怎么计算这几个相似度：

文章中用这几个相似度进行实验后，得到的覆盖率和重要程度的结果为：

这篇文章的介绍就到这里了。虽然这篇文章的训练数据构建和时间序列有关，但是还是只应用了和共现相关的skip-gram而不是和顺序有关的RNN。可能是限于训练时长或数据原因？感觉可以考虑一下能获取顺序信息的一些模型。

当然，这只是我个人的一点小看法啦~

限于博主的表达水平，有的地方可能介绍的不是很清晰，欢迎在公众号发消息或朋友圈留言讨论~【公众号申请时间晚于2018年3月的没有留言板功能。。。但是公众号消息我会看的~】

欢迎扫描或长按二维码关注我

每周一篇技术分享