原文下载：https://arxiv.org/abs/1903.03785
CVPR 2019
【注】此翻译不是全文详细翻译
Abstract
1.Introduction
2.Face and head model literature
3.Face and head shape combination
3.1.Regression modelling
3.2.Gaussian process modeling
3.3.Model Refinement
4.Intrinstic evaluation of CFHM models
5.Head reconstruction from single images
6.Conclusion

Abstract
我们发现了一个以前没有受到关注的问题：是否有可能将两个或多个3DMM组合在一起？这些3DMM （a）是使用可能仅部分重叠的不同模板构建的;（b）具有不同的表示能力（ c）是根据可能无法公开获得的不同数据集构建的
在回答这个问题时，我们做出了两个贡献。
首先，我们提出了两种解决上述问题的方法： i.使用回归器来补充其中一个模型的缺失部分； ii.使用Gaussian Process框架来混合来自多个模型的协方差矩阵。
其次，作为我们方法的示例应用，我们建立了一个新的面部和头部形状模型，该模型将LSFM与LYHM相结合，从而拥有先进的性能，并在很大程度上优于现有的头部模型。
最后，作为一项应用实验，我们通过利用我们提出的large-scale model（就是上面建立的模型）与FaceWarehouse blendshapes结合使用，从单个不受约束的图像中重建full head model。

1.Introduction
由于其能够推断和表示3D surface 的能力，3D可变形模型（3DMM）在计算机视觉，计算机图形，生物识别和医学成像中具有许多应用[4、15、1、26]。要正确训练3DMM，需要许多已配准的原始3D图像（“扫描图”），而这需要大量的时间和精力来收集和注释带有meta data的原始3D图像。有时，只有生成的3DMM可供研究团体使用，而不能使用原始3D图像。由于日益严格的数据保护法规，对于人脸/头部的3D图像尤其如此。此外，即使3DMMs具有重叠的部分，它们的分辨率和表达详细的形状变化的能力也可能完全不同，并且我们希望在单个模型中捕获多个3DMM的最佳属性。但是，目前很难组合和丰富具有不同属性的现有3DMM，这些属性描述了没有此类原始数据的对象的不同部分。**因此，在本文中，我们提出了一种通用方法，可以将来自对象类不同部分的3DMM组合到单个3DMM中。**由于它们在计算机视觉社区中的广泛使用，因此我们融合了人脸和整个人头的3DMM，以此作为示例，**从而创建了第一个combined, large-scale, full-head morphable model。**该技术易于扩展到合成包含耳朵[10]和身体的详细模型，并且确实适用于3DMM很好描述的任何对象类别。
更具体地说，尽管在身份[17、30、28]和表情[8、29]方面都有很多人脸模型，但很少涉及完整的头部结构[11]。 建立描述大规模人类头部结构的高质量，大规模统计模型，为众多学科铺平了道路。 首先，它将协助颅面临床医生进行诊断，手术计划和评估。 其次，基于面部的几何形状按比例生成正确的头部模型将有助于计算机图形设计人员创建逼真的头像表示。 最后，头部模型将可以实现从数据不足的来源（例如2D图像）中重建完整的头部表示。
我们的主要贡献是：
（i）一种旨在融合基于形状的3DMM的方法，以人脸和头部为例。 （请注意，3DMM的纹理成分不在本文讨论范围内，也不是我们未来工作的主题。）特别是，我们提出了一种基于潜在形状参数的回归方法以及一种协方差组合方法，该方法利用Gaussian process framework
（ii）关于种族，年龄和性别的combined large-scale statistical human head model ，其远比任何其他现有的人头变形模型都更加准确-我们将其公开提供给研究团体，该模型包括有和没有眼睛和牙齿的版本。（目前还没有找到这个公开的模型，稍后找到了会进行更新）
（iii）应用实验，其中我们利用组合的3DMM从不受约束的单个图像执行全头重建，还利用FaceWarehouse blendshapes处理面部表情。

2.Face and head model literature
大致就是一些相关工作介绍

3.Face and head shape combination
在本节中，我们提出将LSFM人脸模型与LYHM全头模型结合的两种方法。 第一种方法利用PCA参数并解决线性最小二乘问题以逼近整个头部形状，而第二种方法则构造了一个组合协方差矩阵，该协方差矩阵后来在高斯过程可变形模型（GPMM）中被用作内核[22]。
3.1Regression modelling
图2展示了整个流程，包括1）回归矩阵计算，2）模型组合 ，3）全头模型注册，然后进行PCA建模。 现在描述每个阶段。

对于阶段1，将具有N个点的3D网格（形状）表示为一个3N×1矢量
LYHM（是一个full head 3DMM）有Nh个点