本文利用scene graph-base训练无监督图片标注（unpaired image caption）。本文的框架由an image scene graph generator、a sentence scene graph generator、a scene graph encoder和a sentence decoder。本文的主要贡献：

1. 一个新奇的scene graph-based框架；
2. 不需要任何的训练队，一个无监督特征连结的方法学习跨领域匹配；

方法

  1.Paired Image Captioning Revisited

大多数的目标是学习

训练目标如下：

  2.Unpaired Image Captioning

        这里分别有S图像集和I语句集，但是他们之间并没有连结。目标是无监督的方法训练以恶iimage caption。给定一个图片，首先使用scene graph generator提取图片场景，然后将匹配sentence scene graph。公式如下：

       两种模式的匹配实在特征空间中进行的，重新计算上式：

       是一个graph encoder，是RNN-base sentence decoder。是在两个模式下下的匹配过程。首先在text 模式下学习scene graph encoder 和 the RNN-based decoder，然后进行匹配。句子的编码和解码过程如下：

是重构的句子。

    Scene Graph Generator

      一个scene graph包含节点和边缘线，节点有物体、属性、关系。

      一个image scene graph generator 包含一个物体检测、一个属性分类、一个关系分类。这里使用faster-rcnn检测物体，MOTIFS进行关系检测和一个额外的分类器对属性鉴别。

       ，首先把句子构建语法输，然后根据规则把树转换为scene graph。

     Scene Graph Encoder

       encoding  objects：在这里也是考虑到了主客体之间的关系，N代表的是数目，e代表的各种节点的嵌入式表示，g代表卷积操作：

        encoding attribute：

        encoding relation：

        当进行完操作后，就有三个嵌入式矩阵：

 Sentence Decoder

        本操作的目的是从生成句子，为了计算解码任务在文本中的相关性，我们使用三种关注模型，被定义如下：

w属于权重向量，其余的与上式相似。将他们连结，然后根据下式进行序列生成，g是神经卷积网络生成三元组的嵌入矩阵：

训练与推断

Training in Text Modality

将原句卷积进入图表中，首先训练编码解码器：

也可以利用强化学习的方法进行训练，训练目标如下：

Unsupervised Mapping of Scene Graph Features.

       匹配时需要将scene graph从图片转换为句子流，这里使用CycleGAN网。上图阐述了主要观点，两个为匹配的特征集合，两个匹配函数，两个辨别器，匹配从图片到文本损失函数为：

从文本到图片为：

CycleGAN介绍了使训练规范化的循环一致性损失，是图片和文本各自的重构特征：

总体的优化为：

Cross-modal Inference.

        推断公式为：

其余的为实验过程和结果感兴趣的可以阅读原文。

若有不足之处，欢迎各位指出共同交流。