感想

1 介绍

大多数现有的社交媒体数据嵌入方法可以被分类为两类，例如基于网络和基于内容。基于网络嵌入方法学习几点的一个表示，用来捕获网络结构，这包含着基于浅层模型的方法，例如GraRep,Line和PPNE，以及基于深度模型的方法，例如SDNE。这些方法主要使用网络中近似的信息来学习嵌入，忽略了结点包含的内容。基于内容的方法主要使用一个监督方法或者半监督方法来学习图片和文本的联合表示，这忽略了数据之间的联系，以及不同数据形式之间的细粒度的关系。即使HNE结合了网络和内容用于embeddinglearning，它对不同数据形式的独立建模，学习过程很费时。

与此同时，社交媒体数据的多模态，异构和相互连接的特点可以为社交数据embedding提供线索。首先，社交图片没有孤立的存在，而是显式的或隐式的连接。即使相互连接违背了在大多数统计机器学习算法中的独立同分布的假设，内容和连接信息可以同时被利用来弥补彼此，一次得到更好的解决方案；第二，即使不同形式的内容是异构的，但是它们之间存在细粒度的联系。例如，如上面图1，一些单词，例如“dog”,”baby”,”flowers”和对应图片区域相联系。如果关系被精确的解析，这些单词和视觉区域可以以一种亲密的方式建模，根据需要，突出的特征是可以排在最前面。

为了解决上述的挑战，我们提出利用链接信息和社交图片的多模态的内容过来做embedding。特别地，（1）怎样在学习的表示中捕获不同数据形式的细粒度的关系；（2）怎样把链接关系融入到社交图片的embedding。我们对这些疑问的解决方案叫做用于社交图片embedding的Deep Multimodal Attention Networks。它旨在学习社交图片embedding，可以同时对基于多模态内容和网络结构进行编码为一个联合的深度模型。框架如图2所示。

视觉文本注意力模型利用不同数据形式的细粒度的关系，以此作为社交图片嵌入，文本区域和图片单词的对齐以此来阻止模型被单个模态占据主导。为了把链接信息结合用于embedding。建立在CNN基础上的Siamese-Triplet神经网络结构用于对网络结构进行建模。接着，用一个联合模型来集成这两个组件，把多模态内容和链接信息嵌入到一个合一的向量空间。为了改进模型推断的效率，我们在Triplet网络中应用了正负采样的方法，这大大减少了优化方法的时间复杂度。

2 贡献

3.1 问题陈述

其中，V={V1,…,VN}，V是一个节点的集合，ε是边的集合。一个边,属于集合ε，当且仅当Vi和Vj的无向连接存在。为了进一步简化的理解，我们假定在网络中有两种类型的对象：image(V)和text(T)，每个结点包含一对两种类型的对象。然后

其中，一张图片表示为一个矩形张量形式，V_i∈R^L，L表示tag词汇量的大小。

图2阐明了我们方法的框架。详细地，为了对社交图片的联系进行编码，Siamese-Triplet神经网络是对图片的三元关系进行建模，例如，对于一个给定的图片，正图片是随机抽样的图片链接它的，负图片是随机图片没有链接它的。Siamese-Triplet神经网络有三个相同的基网络组成，它们共享相同的参数，有一个hinge rank损失来学习正负图片的排序。为了捕获图片区域和文本单词的细粒度的关系，我们提出了一个多模态注意力网络（multimodalattention networks）模型，为给定社交图片的输入单词和视觉区域给定一个合理的注意力权重（reasonable attention weights），随后我们用一个联合深度模型来融合这两个组件，挺且同时优化他们。网络中的链接数量随着结点的增加呈现爆炸性的增长，直接通过在每次迭代中更新整个网络来优化目标函数会导致复杂度爆炸。因此，我们提出一个正负图片采样的方法来减少训练的复杂度，在推导过过程中对每张照片随机采样一个正图片和K个负图片，这只有线性的复杂度。

3.2 Siamese-Triplet Neural Network Model

其中，M表示两个相似度的间隙参数（gap parameter），我们在实验中经验的设置M=0.3.因此我们用于训练的目标函数定义为：

其中，N表示结点的总数，L2规范化用dropout层来替代。

选择负样例来用语学习排序是比较重要的，我们使用mini-batch SGD的方法来训练模型，对于每对和,我们在相应的batch B上来随机采样K个负样例。对于样例的每个三元组之一，三个样例的梯度是分别计算的，参数通过反向传播方法更新。为了确保片段和每次查找不同的负匹配，所有的图片在训练的每次迭代中随机打乱。对于我们的实验，我们设置K为3.

3.3 视觉文本注意力模型

给定一个image-text对，我们的目标是自动发现单词和文本区域的关系。令T_i={t_i^0,t_i^1,…,t_i^k,…,t_i^L },T_i∈R^L表示第i对的文本特征，它是一个one-hot单词向量，长度为L，其中k表示单词的索引。令V^i表示对应T_i的原图片。我们用CNN来获取图片区域映射Ri,对于Vi的R_i={r_(i,0),r_(i,1),…,r_(i,j),…r_(i,D)}∈R^(D×M)定义如下：

其中θ_c是CNN层的参数，j表示区域的索引，D表示图片区域的维度，M是map的维度。

在注意力模型中，根据每个图片区域r_(i,j)和单词t_i^k的相关程度指派一个0到1之间的值。正式地，我们旨在自动产生单词的图片注意力的值： 其中，Zi表示未规范化的单词注意力的值，第i对的区域映射(map)R_i.Zi是用softmax函数来空间归一化来获取最终的单词注意力映射(map)Ai,

其中，z_(i,j)^k代表在图片i中区域i对应单词k的未归范注意力的值，a_(i,j)^k代表图片i中区域j对应的单词k的规范化注意力的值。如果把单词k指派到输入图片，我们应该给予相关的图片区域一个更高的值。注意力估计值f_a (.)可以用很多方式来计算，例如CNN。在这篇文章中，它被定义为一个序列化分布的全连接层，用如下的方式计算：

其中w∈R^(L×M)和b∈R^L组成了注意力模型的参数集合θ_a.(公式5)，在反向传播的时候来更新。Tanh激励用于使得模型变得非线性。

令r_(i,j)∈R^(L×M)表示Ri中区域j的视觉特征向量，规范化的注意力的值作为每个单词的代权特征和，来获取输出特征如下：

注意力模型的结构解释如图4，上面的公式有点像每个单词的代权均方池化层，和原来所有单词共享的独立视觉特征相比，带权视觉特征映射u_i^k在把图片区域映射到相关的的单词k上更有效。U_i的维度是R^(L×M)，而T_i∈R^L。为了比较视觉输出特征和文本特征，我们堆叠了一些LFC（Locally Fully Connected）层来获取视觉特征的L维度输出，LFC层局部全连接每个单词，对应不同单词的参数集合是独立的。即u_i^k仅仅和对应每个单词k的ti有关。注意，最后的LFC层仅仅对词汇表中每个单词有1个神经元，LFC设置了最后的输出的维度是L，最后的LFC层的激励sigmoid,该激励用来规范化估计单词置信度的特征表示，这是通过比较groundtruth text向量来估计的。令Y_i∈R^L为LFC层的最后输出：

我们对上述提到的三个方程做了一个做一个pipeline,从图片输入到Yi的整个过程为：

其中，f_w是f_c的pipeline，f_c,f_a和θ_w是θ_c, θ_a和θ_l的集合。
参数θ_w是学习到的，通过最小化Yi和Ti之间的带权二分交叉熵损失，

其中N是这些对的数量，λ是一个平衡参数。Ti中的零参数比非零参数多，很合理的惩罚更多的错误负样例。

3.4联合的嵌入模型

4 实验

4.1 实验设置

4.2 Baselines

4.3 多标记分类

所有的数据集是多标记的，类别分布不均衡。我们利用macro/micro precision，macro/micro recall，macro/micro F1-measure，Mean Average Precision (mAP)来评估其性能。如果预测的任何标签置信度高于0.5，这个标签是正的。为了公平比较，我们使用有3FC层的神经网络来学习一个一般的分类器。完成训练过程后，我们使用训练的模型来获取测试集合的嵌入。随后，我们使用上述提到的FC分类器来训练和测试每个数据集。

3个数据集的实验结果如表2，DMAN超过了其他的方法。首先，从NUS-WIDE的结果来看，我们可以得出DMAN Triplwr的性能比CCA,DT和LHNE在mAP上更好，验证了使用triplet网络模型做嵌入的有效性。结合文本内容，DMAN Triplet+Text 几乎达到了HNE在mAP度量下的分数，并在所有的度量上超过了DMAN Triplet模型。这证明了结合多模态内容作嵌入学习的重要性，在使用注意力模型的情况下，DMAN的mAP从HNE的54.99%提升到了57.22%，和DMANTriplet+Text相比，attention DMAN在所有的度量下都有提升，这是因为注意力模型使得多模态内容进行了对齐，这对学习多模态数据的高效表示非常有用。另一方面，HNE单独的学习图片和文本文档的特征，很难补货不同数据形式的相互关系。与此同时，其他基准线方法不能有效的利用连接信息和不同数据模态的细粒度关系。PASCAL中tags的数量比其他的数据集少，但是质量更好。因此，DMAN Triplet+Text和DMAN在PASCAL比在其他数据集上更好。

4.4 Cross-Modal Search

为了进一步证明DMAN的优越性，我们把它和baselines的方法在跨模态搜索的任务上进行了比较。在NUS-WIDE，MIR和PASCAL数据集中，有77/81,12/14,17/20的groundtruth label单词出现在了文本向量中。我们手工的构造了77,12和17个查询向量，维度为1000，分别作用于三个数据集，通过设置对应的label条目到一个，然后剩下的条目设置为0.使用学到的嵌入方程，我们把查询向量映射到潜在的空间来检索测试集上所有的训练样本，我们使用的是标准的Euclideandistance，多有查询的rank k的平均精度(p@k)报告如表3.

图5给了MIR搜索结果的一些样例。对于每个查询，我们展示了top-5 排序的图片和他们通过注意力模型对应的区域。对于查询“Sea”，对其的图片已经错误的匹配到了蓝天和白云，这是因为“sea”，“cloud”，“sky”的标签在相同图片中频繁的共现。对于其他的查询，我们的模型得到了图片的正确的注意力，因此提高了性能。

参考文献