微软北大联合提出换脸AI和脸部伪造检测器，演绎现实版「矛与盾」？

AI 开发者按：近日，微软研究院与北京大学的研究小组共同提出了一种全新的 AI 换脸框架 FaceShifter，以及一种检测伪造人脸图像的方法 FaceX-Ray。前者可以极大提高换脸的高保真度，而后者则用于检测出复杂伪造人脸图像。

一个致力于造假，一个专注于打假；光是听起来，就不禁让人联想到「矛」与「盾」的故事。那到底哪个更胜一筹呢？VB 发布了的相关内容介绍了这两个成果， AI 开发者将其整理及编译如下。

图片来源：360图片

人脸技术研究背景

目前，最先进的机器学习算法不仅可以完成对地点或物体的图像改变与生成，以 Deepfake 为代表的 AI 换脸技术甚至已经可以达到以假乱真的换脸效果；但由于换脸技术的滥用可能会为社会带来一系列恶劣影响，研究人员也在不断探索该技术的原理，并希望能够解决这一难题。

就在最近，这一技术又有了新的进展。微软研究院和北京大学的研究小组发表的两篇学术论文中，他们分别提出了一种用于生成高保真和遮挡感知的人脸交换框架——FaceShifter，以及一种用于检测伪造人脸图像的方法——FaceX-Ray。

与现有的方法相比，微软研究的面容转换

图片来源：微软研究院

据相关研究人员表示，与多个现行基线方法相比，这两种方法都能在不牺牲性能的情况下取得更好的效果，而且它们所需的数据比以前的方法少得多。

无训练换脸——FaceShifter

从相关资料可以看到，FaceShifter 能够将目标图像中的人替换为源图像中的另一个人的同时，保留其头部姿势、面部表情、灯光、颜色、强度、背景和其他属性特征。

虽然像 Reflect 和 FaceSwap 这样的应用程序声称可以相当准确地做到这一点，但是微软论文的合著者表示 FaceShifter 对姿态和视角的变化则敏感度更高。

取源图像中的脸来替换目标图像中的面，换脸结果显示在右边

图片来源：FaceShifter论文（https://arxiv.org/pdf/1912.13457.pdf）

FaceShifter 通过使用生成性对抗网络（GAN）来提高换脸的保真度，它主要由两部分架构组成。第一部分主要利用利用自适应注意力非正规化（AAD）层的新生成器整合人脸合成图片的特征和属性，该层可以自适应地学习整合面部属性的位置；第二部分则重点解决面部遮挡问题，这部分则包括了一个新的启发式错误确认细化网络（HEAR-Net），可利用重建图像与其输入之间的差异来识别遮挡。

更多来自 FaceShifter 的样本

图片来源：微软研究院

研究小组称，「该框架在生成任意真实图像相对的换脸图像时，无需特定的训练，都显示出了优越的性能。大量实验表明，该框架明显优于以前的人脸交换方法。」

可以看到，在一项定性测试中，FaceShifter 保留了人脸形状，并自动适应换脸图像的光线和图像分辨率。此外，即使是从互联网上抓取的「狂野面孔」，该框架也能够在不依赖人工注释数据的情况下恢复异常区域——包括眼镜、阴影和反射效果，以及其它不常见的遮挡。

灰度打假 FaceX-Ray

而与 FaceShifter 相比，FaceX-Ray 则恰好是伪造头像的克星。正如研究人员在相应的论文中所指出的那样，我们确实需要这样的工具来防止伪造图像被滥用的情况。

2019 年 6 月曾有份报告披露，一名间谍利用人工智能生成的个人资料图片愚弄 LinkedIn 中的联系人；而就在去年 12 月，Facebook 发现数百个账户上面都有使用人工智能合成的假面像来作为个人资料照片。

各种面部操作方法的视觉结果，包括自监督生成的混合图像

图片来源：Face X-Ray论文（https://arxiv.org/pdf/1912.13458.pdf）

谈回 Face X-Ray 检测技术，它与现有方法不同，它不需要事先知道操作方法或人工监督；相反的是它会生成灰度图像，显示给定的输入图像是否可以分解为来自不同来源的两个图像的混合。

研究人员表示这一想法是可行的，因为大多数操作换脸的方法，都会有「将已改变的面部混合到现有背景图像中」这一步骤。但每幅图像都有自己独特的标记，这些标记是从硬件（如传感器和镜头）或软件组件（如压缩和合成算法）引入的，并且这些标记往往在整个图像中也以类似的方式呈现。

生成训练样本概述

图片来源：Face X-Ray论文

因此，Face X-Ray 不需要依赖于与特定人脸操作技术相关联的伪影知识，并且支持它的算法可以在不使用任何方法生成假图像的情况下进行训练。

在一系列实验中，研究人员在 FaceForensics++（一个包含 1000 多个用四种最先进的人脸置换方法生成的原始剪辑的大型视频语料库），以及另一个包含由真实图像构建的混合图像的训练数据集上训练了 Face X-Ray。

他们评估了 FaceX-Ray 使用四个数据集进行概括的能力，其中包括：

上述 FaceForensics++语料库的一个子集；

谷歌发布的数千个 deepfake 影视集合，deepfake 检测挑战赛的图像；

Celeb DF，一个包含 408 个数据集真实视频的语料库和 795 个减少了视觉伪影的合成视频。

结果表明，Face X-Ray 能有效地识别出未被发现的伪造图像，并能可靠地预测融合区域。研究人员指出，该方法依赖于混合步骤的存在，因此它可能不适用于全合成图像，并且它可以无法成功检测出对抗性样本的真伪。但撇开这一点，这也算是朝通用化面部伪造图像检测工具迈出的有希望的一步。

AI 开发者