摘要 

      人们在描述图片的时候，总是描述他们感兴趣的区域，但是大多数的cpation模型所描述的与兴趣无关。本文提出了一种ASG的方法，包括三种抽象节点（object，attribute，relationship），根据ASG，我们提出了一种ASG2Caption的模型，他能关注感兴趣的区域兵生成模型。本文的贡献又以下几点：

       1.本文首先提出了用ASG以细粒度的方式生成caption模型，它也可以控制细节生成的等级（例如属性，关系，物体）。

       2.ASG2Caption模型包含role-awate graph encoder 和language decoder用以自动的理解ASG节点和生成有序的关注模型。

       3.本文实现了在ASG下最好的可关注模型，此方法同样可以扩展自动生成ASGs，ASGs可以生成不同的队中多样的图像描述。

        如上图，可以通过ASG描述的更加细致，这是现在已有模型所不能做到的。但是ASG中不包括语义模型。

Abstract Scene Graph

       对于一张图片一个ASG表示为G=（v,），v是节点结合为边缘。使用者关注使用如下方法构建G：

• 增加使用者的感兴趣物体到G中，他与图片I中的一个区域相关；（object）
• 物体的属性,与物体i相连，l是数量；（attribute）
• 相连i,j表示两物体有关系。 （relationship）

The ASG2Caption Model

 Role-aware Node Embedding

       在G中的第i个节点，首先初始化与其一致的视觉特征，object与特征区域相关，attribute也与区域相关，relation与相连结的两个物体都有关。关系中分为主体和客体，为了分辨主体和客体，建立一个role-awate 嵌入节点:

是一个3*d维嵌入矩阵，d是特征维度，pos[i]是一个嵌入式向量辨别同一物体不同属性节点的属性。

Multi-relational Graph Convolutional Network

      ASG中的节点是单向的，我们对图进行了扩展，使其为双向G=（v,,r）.这里又六个边缘类型object到attribute, subject到 relationship, relationship到object和他们的相反方向，我们使用MR-GCN编码图标内容G：

未完待续！！！