原文链接：acm上，需要付费下载，也可以去百度学术上免费求助，一两分钟就可以下载了

一 简介

类别意图表现出查询之间的跨上下文相关性及其变化，这个我们尚未研究。 图 1 说明了跨上下文注意力的概念。 该图的左上部分描绘从查询“table household”到其变体query查询“简易 麻将 卓 家用”。它应该最关注“麻将”。右上角描述了另一个查询“麻将 卓”，最关注“麻将”和“桌”。 我们如何理解一个新的查询“麻将桌 家用”？ 与左查询或右查询相似吗？ 底部该图的一部分描绘了新的query与“麻将表”的变体查询分布attention相似。 我们可以得出“变体query”有助于解决这个问题

受这些观察的启发，在本文中，我们建议和相似query之间来对比相似关系，用来解决电子商务中的长尾查询分类。我们的框架由一个基本模型和一个across-context模块。查询表示不仅从标记的类别中学习，而且还从variant queries中学习。 通过预测variant queries的类别，我们的跨上下文注意模块能够从variant queries中“派生”和“提取”外部信息，有利于识别原始查询的类别意图。 我们的跨上下文模块在预测过程中不会带来额外的计算成本。 对大型人类标记数据集的离线评估
搜索日志表明我们的模块可以改进灵活查询编码器的基础模型。 真实电子商务中的在线评估www.taobao.com的搜索引擎展示了我们的跨语境模块有效。

2 RELATED WORK

在我们的工作中，我们还使用点击日志数据作为我们的训练数据。我们训练频繁query的模型，因为尾查询缺乏足够的数据

3 PROPOSED APPROACH

3.1 Overview

在这里，我们定义了一些符号并展示了我们的长尾query分类模型
𝑁：类目总数
x：query词
查询分类旨在从N中找出一个子集 y 分配给 x。 这里大小 |y| 的长度不固定，应该由模型决定。 在电子商务中，query及其variant queries可能具有相似或可对比的类别意图。 我们为原始query贡献了一个变体query z，它包含 𝑚 个单词，其相关类别是 r

我们提出的模型的概述如图 2 所示。它由两个组件组成，即base model和across-context模块。base model将查询 x 作为输入，并将 x 编码为hidden space（定义为h），然后预测类别 y。 我们的across-context模块是一个训练阶段的辅助任务，它利用across-context attention模块从variant query中获得辅助信息

query encoder是我们神经网络架构的一部分。它需要 x 作为输入，并生成查询表示 h(D维向量)。 然后mlp生成一个N维向量，每个代表一个类别。其中Wo是size为R(N*D)的权重矩阵，每行都可以代表是一个类别的向量表达

 

我们的基础模型可以是任何文本分类神经网络。例如，基于 BiLSTM 的模型使用双向 LSTM [11]对源query进行编码，然后使用像 max pooling 这样的层所有 LSTM 隐藏状态得到一个固定长度的查询嵌入向量。 CNN 模型使用相同的方案，但将 biLSTM 替换为卷积网络[17]。

序列生成模型 [19, 27, 36] 也可以作为我们的基础模型，尽管它们并不是压缩成一个向量，我们直接将最后一个输出ht作为这个向量。解码器生成条件概率在时间步 𝑡 上所有类别的分布如下：

和之前直接生成向量方式一样，这里的Wo也是N*D的权重向量，Wo的每一行都可以代表一个类别，如果类别i是老类别，(Tt)i是负无穷，否则就是0，防止decoder模块生成相同的类别，目标函数下面所示。其中，yt是u的一个取值之一类别，y可以取到y1 y2 ... yt-1

 

 3.3 Across Context Module

3.3.1 variant query encoder
我们采用 biLSTM [11] 作为我们的variant query encoder。 variant query encoder顺序“从两个方向”将variant query的每个单词作为输入，并产生每个字的双向隐藏状态。我们可以将其表述如下：