留个笔记自用

Cascade EF-GAN: Progressive Facial Expression Editing With Local Focuses

做什么

Facial expression editing面部表情编辑

简单来说就是可以将给定面部图像的表情转换为目标表情，而不会丢失身份属性

做了什么

主要的点有两点，第一点，在全局图片变化的前提下，注重表情丰富的局部区域信息，这里是选取了眼睛、鼻子、嘴唇三个区域来作为局部身份的倾向。第二点，在网络容量的限制下，单步变换在处理大间隙变换时经常产生重叠的伪影，将变换看成一个连续变化的话一步步迭代能更好的处理局部信息和伪影。

怎么做

整体网络结构呈现的十分简单，主要核心部分就是EF-GAN with Attention-Driven Local Focuses部分，另外一部分就是在EF-GAN结果的基础上进行迭代的Cascade Facial Expression Transformation部分。
所以首先先看EF-GAN部分

输入和输出都很好理解，输入就是一张人脸图和目标表情标签，输出就是一张目标表情的人脸图。
首先这部分有两个branch，跟文章立意一样，分为全局特征即整张图还有局部细节特征即眼睛、鼻子、嘴唇三个部分。
第一步是将目标标签编码，即encode成vector形式，这里采用的是Facial Action Coding Sys-tem (FACS)编码成Action Units。文中说是使用的开源的OpenFace来操作的。FACS的大致例子👇

之后将操作原输入图，将输入图的三个局部区域crop出来，这里文章说crop的方法仍然用的是OpenFace
然后将前面两个得到的label和patch image操作后concatenate的结果经过各自的G网络，这里4个G网络结构完全相同但不共享权重。
最后分别得到四张图，即跟前面截的相同，全局图、三个局部图，但都是经过目标表情转换后的结果

具体结构👇

这里也用到了现在比较常见的attention机制，为了证明理论合理，这里还把attention也给可视化了
这里就能比较明显的看出在global中，比较看重的部分是显著的变化，比如嘴唇的变化，而局部部分看重的是细节的部分，比如眼睛的区分特征，两者结合效果明显更好
得到了四张结果后，接下来就需要把它们融合在一起

这里的想法主要就是将三个局部区域结合再精细化后再和全局图进行结合，使其收集到的局部信息对全局信息进行细节和补充
接下来是第二部分Cascade Facial Expression Transformation部分

这里原文的解释是为了在处理大间隙表达变换时，网络容易产生重叠伪影，简单来说的理解就是一块区域内两种像素堆叠然后出现这种情况
为了防止这种情况，这里把大间隙表达变换问题分割，分割成多个小问题，也就是多次进行细节处理，采用了EF-GAN的串联迭代
整体流程：输入源图，经过EF-GAN得到结果A，结果A经过EF-GAN得到结果B，结果B经过EF-GAN得到最终结果C。就是LSTM那样的迭代。文中还提到了这里的AUs是自建网络来进行得到的，感觉并不是特别有参考意义，就没有进行深究了。
然后便是训练和LOSS了

L_adv是用于改善合成人脸表情图像的照片真实感以使其与真实人脸无法区分的对抗损失
L_cond是确保生成的面部表情图像与提供的目标 AUs 标签对齐
L_cont用于保持图像内容的身份信息和一致性的内容丢失
L_attn鼓励注意力模块产生稀疏的注意力图，并关注再次需要修改的区域
L_interp期望AUs语义自然

总结

1.分布、迭代、attention，简单分割问题的方式，其他地方似乎没什么特殊的