人脸相关论文阅读（二）——Deep Face Representations for Differential Morphing Attack Detection

论文信息：

• 发表在Cryptography and Security 密码学与安全，目前正在接受IEEE信息取证与安全学报(TIFS)的审查。
• 作者 Ulrich Scherhag, Christian Rathgeb, Johannes Merkle and Christoph Busch
• 日期 2020.0403

好像不是常看的那几个会议和期刊啊
大致浏览一下讲什么的，什么思想吧

morphing attack detection (MAD) 变形攻击检测
变形技术也可以用来从两个人的生物特征面部图像中创建变形的面部图像，其中的生物特征信息与两个人的生物特征信息相似。

用变形技术生成的人脸图片可能被用来犯罪，盗用身份信息等。

MAD的两类方法

• single image MAD algorithms 这种方法只检测具有潜在变形的图像（只拿一张图来就可以检测）
• differential MAD methods 这种方法是将有问题的图像与真实的图像相比较（需要两张图）

以往方法的一些缺点

• 一些方法没有将图像可能的后处理考虑在内，比如print-scan transformation，severe compression（即可能检测的是打印的或扫描图片或严重压缩的图片）
• 此外，绝大多数以前关于differential MAD的方法使用的probe图像不会显示出真实的类内变化，例如面部姿势和表情、照明、眼镜、胡须、发型、服装、化妆品和面部老化。
• 所用的数据集训练集和测试集相似度高，只针对单一的变形方法有效，容易过拟合

以上指出的问题得到了由国家标准与技术研究所(NIST)进行的人脸识别供应商测试(FRVT)变形测试[22]的最新结果的支持，在该测试结果中，提交的算法没有一种在所有测试场景中都取得了令人满意的性能。

本文主要贡献

• 对已发表的MAD方法进行概念性分类，包括技术考虑和权衡，并对相关的不同MAD方案进行更详细的调查。
• 创建了包含大量符合ICAO的真实和经变形的参考图像(使用四种不同的变形算法创建)以及从不同图像源(即，人脸图像数据库)获得的对应的无约束probe图像的人脸数据库；使用可能在现实世界中应用的图像后处理，即JPEG2000压缩或打印-扫描变换，以及选择表现出人脸姿势和表情以及照明和焦点的变化的probe图像，使得能够在现实世界中训练和测试MAD算法。
• 基于深度人脸表示的差分MAD算法的提出通过使用最先进的人脸识别系统，从参考和probe图像对中提取丰富而紧凑的深层人脸表示，并结合训练基于机器学习的分类器来检测变形算法引起的图像变化。
• 对最新的人脸识别系统针对MAs的性能进行了全面的评估，然后使用一个商业和两个开源的深度人脸识别系统对所提出的MAD概念进行了基于场景的评估；结果表明，基于深度人脸表示的MAD的性能优于先前提出的差分MAD方案，这一点也得到了最新的NIST FRVT Morph报告[22]的证实。
  问题
  pairs of reference and probe images 什么是参考图像，什么是probe图像？我迷了。。。
  大概是参考图像是需要被核验的图像，probe图像是真实捕获的图像。

检测变形图像时可利用的信息

• 变形的过程对图像进行平均，从而产生平滑的皮肤纹理。此外，由于不完全重叠的区域(例如头发)，可能会出现重影伪影或半阴影效果。特别是，在瞳孔和鼻孔区域，这些伪影更频繁地出现。此外，可能会出现边缘扭曲或图像区域移位。（可以以多种方式使用纹理描述符来容易地表示和检测这些类型的伪影。）

• 深度神经网络可以用两种不同的方式来检测变形。首先，从零开始训练新的神经网络或重新训练现有的神经网络[19]、[25]、[45]来完成MAD任务。从理论上讲，深度神经网络可以被训练来检测任何人工制品。因此，重要的是训练数据包含大的方差，以避免过度拟合算法和数据库特定的人工产物。其次，现有深层网络提取的特征向量(嵌入)可以用于MAD[34]。由于神经网络没有对变形后的人脸图像进行训练，因此可以认为不会出现对不真实变形的过度拟合。

差分方法可利用的思路

• 比较从可信现实捕获图片和潜在变形提取的特征向量的算法。可以将单图像算法扩展到差分算法，例如，估计特征向量之间的差异。可信现实捕获图片的附加信息可以提高检测算法的性能和鲁棒性。

• 尝试反转变形过程。这里的假设是，如果在经变形的图像中表示两个被摄体，并且从可能经变形的参考中减去可信现实捕获，则在经变形的人脸图像中，第二被摄体的身份变得更占优势，从而导致较低的人脸识别分数。除了显式变形方法外，还有基于生成性对抗网络(GAN)的变形方法。（GAN中应该不能这样直接减去）。

关于数据库

• 对于MAD算法的开发和评估，需要真实的和变形的参考图像。为了与护照照片相似，这些图像应符合国际民航组织护照照片质量标准的要求。应该使用多个工具来生成变形图像，以表示MAs的足够变化。此外，参考图像(真实的和变形的)应该经过各种逼真的后处理，包括强大的JPG2000压缩和打印-扫描变换。对于差分MAD的研究，需要附加的probe图像。为了模拟自动边界控制的重要用例，这些探头图像应该类似于在eGATES中拍摄的实况捕获。由于这些记录是半控的，捕获的样本质量下降，不符合国际民航组织的要求。可以预期例如相对于姿势、面部表情、照明和背景的高得多的方差。此外，由于边境控制可能在护照申请后长达十年进行，因此参考图像和probe图像可能会根据对象的外观(眼镜、胡须、发型、服装、化妆品)和年龄而显著不同。
• 目前还没有可用的公共数据库来包含显示所有上述属性的人脸图像。所以，本文在现有人脸图像数据库的基础上建立一个新的MAD数据库。
• FERET，FRGCv2 相关数据库

一些变形算法的效果

本文提出的算法
我们使用预先训练好的深度人脸识别网络作为特征提取器，并在神经网络(最底层)提取的深度表示上训练我们的MAD算法。深度人脸识别系统利用非常大的人脸图像数据库来学习丰富而紧凑的人脸表示。虽然这些特征向量(即深部面部表示)至少在差分情况下没有被训练来检测MA，但是它们对于MAD非常有用：由于变形的面部图像不仅包含攻击者的生物测定信息，而且还包含共犯的生物测定信息，因此预计其深部面部表示至少在某些方面与在探测图像中检测到的那些有很大的偏差。另一方面，由于神经网络训练集中没有变形的人脸图像，特征不能包含特定变形技术或工具所特有的图像特征信息，从而降低了过拟合的风险。
大多数深度人脸识别系统的工作方式如图7所示。人脸图像经过预处理并传输到神经网络，训练用于提取深度人脸表征。该网络将人脸图像传输到具有较小维度的判别特征空间(在ArcFace和FaceNet的情况下为512，在Eyedea的情况下为256)。如果要比较两个图像，则它们的特征向量的距离(例如，使用欧几里德距离)可以用作相异分数。尽管我们在第III-F节中的漏洞分析已经表明，该度量不适用于将变形从真实图像中分离出来，但是特征向量仍然可以包含足够的信息来检测MA。本文的MAD算法的处理过程如图8所示。在训练阶段，预处理的真实或变形的参考图像和probe图像输入到神经网络。所得到的深部人脸表示组合后由基于机器学习的分类器来处理，以学习区分真实的认证尝试和MA。在测试期间，以相同的方式处理潜在变形的参考图像和probe图像，并且使用先前训练的分类器来估计MAD分数。深层特征的一种简单而有效的组合是减法，即差分向量的估计，它保留了特征向量的维数，并保持了较低的训练工作量。对于分类器，我们测试了各种机器学习算法，即AdaBoost算法、随机森林算法、梯度提升算法和支持向量机算法。一直以来，以径向基函数为核的支持向量机具有最好的精度，因此被选为MAD算法。通过利用从参考图像和探针图像中提取的特征向量的差向量，通过多维缩放(MDS)将特征向量简单降维到二维，表明可以将真假图像和变形图像分开。

这不是阈值分割转变为由机器学习获得的分类器进行分割嘛！

图9提供了相应的散点图。每个图显示了使用所有四种变形工具的MA的数据点。可以看到，对于这两个数据库，可以基于从ArcFace和Eyedea获得的深部人脸表示的差异向量来分离MAs和真正认证尝试。特别是利用ArcFace算法进行特征提取，可以几乎无差错地分离FERET数据库。faceNet特征向量也允许分离，但预计会有更高的错误率。

实验部分略

一些结论
根据本工作进行的实验，得出以下结论：

• 检测性能：基于深度人脸表示的MAD在图像后处理(即图像压缩、图像大小调整甚至打印-扫描变换)方面取得了良好的检测性能，并且具有很强的鲁棒性。与基于纹理描述符的MAD相比，这是一个明显的优势，MAD通常对后处理非常敏感，特别是在更具挑战性的场景中。此外，检测性能不明显依赖于对训练集的后处理，因此不需要扫描图像进行训练。
• Heterogeneous（各种各样的）变形算法：变形算法生成的变形会产生明显的伪影，例如清晰可见的伪影，检测精度通常较高。此外，如果训练集和评估集包含由不同变形算法生成的变形，则识别性能略有下降。
• Heterogeneous数据库：如果对Heterogeneous人脸图像库进行训练和测试，这些Heterogeneous人脸图像库包含不同条件的人脸图像，例如姿势变化、光线等，检测性能会受到负面影响。在从公开可用的FERET和FRGCv2人脸数据库的子集获得的数据库上，实验显示在FERET子集上的检测精度更高，其中与FRGCv2子集相反，在FERET子集中，probe图像仅包含表情和姿势的微小变化，FRGCv2子集另外包括具有光线和焦距变化的probe图像。可以得出结论，光线和probe图像焦距的强烈变化对差分MAD来说是特别具有挑战性的条件。
• 基于机器学习的分类器：在被测试的基于机器学习的分类器中，即AdaBoost、Gradient Boosting、随机森林和支持向量机(SVM)，基于SVM的分类器在绝大多数实验中表现出最具竞争力的检测性能。
• 商业人脸识别与开源人脸识别：虽然商业人脸识别算法的性能经常优于相应的开源实现，但MAD并非如此。确切地说，对于MAD任务，与商业人脸识别系统提取的深层特征相比，从开源算法(例如，ArcFace)获得的深层面部表示可能更适合。
  此外，这项工作强调了对现实数据库的需求。不仅参考图片的质量，而且probe图像的质量对MAD算法的检测性能都有很大的影响。因此，对于可在现实世界场景中部署的算法的开发，有必要在真实数据上进行测试。然而，由于隐私法规的原因，仍然存在数据库交换困难的问题。