faceid 一张贴纸破解顶级FaceID，华为新研究让人脸识别不再安全

机器的核心报告

机器志信编辑部

用来刷脸解锁的Face ID也可以被“对抗样”攻击。最近，莫斯科国立大学和华为莫斯科研究中心的研究人员发现了一种新的攻击方法，使得已经广泛应用于手机、门禁和支付的人脸识别系统突然变得不可靠。

在这项新的研究中，科学家只需要用普通打印机打印一张额头上有图案的纸，就可以使目前业界领先的公共Face ID系统识别错误。这是第一次可以使用人工智能算法。在现实世界中实施攻击:

AI人脸识别系统的分类效果正常情况下，它识别一个特定的人:Person_1。

即使脸没有被遮住，系统也会将Person_1识别为其他人“0000663”和“0000268”。

改变角度，改变光照条件，都不会改变错误的识别效果。加贴后可以看到Person_1的概率很低。

使用图像识别系统对抗样本攻击在人工智能领域并不是什么新鲜事，但是想要在现实世界中实现无差别攻击，或者说人脸识别这种被数千万人使用的应用技术，似乎有点吓人。有了这种新方法，人们可以很容易地打印一张破解笔记，贴在额头上，那么AI识别的准确率就会显著下降。

从上面的动画可以看出，研究人员实现了非定向攻击，对抗的信息被整合到了贴纸上。所以如果我们想找一个针对性的攻击方式，让系统把我们识别为特定的人，然后解锁ta的手机，就不远了，只要把之前的针对性攻击方式迁移到贴纸上就可以了。

研究人员不仅发表论文:https://arxiv.org/abs/1908.08705

它还直接披露了该项目的代码:https://github.com/papermsucode/advhat

“反样本”是人工智能的软肋，是一种可以欺骗神经网络，使图像识别的AI系统出问题的技术。这是近年来计算机视觉和机器学习领域的一个研究热点。

在本文中，研究人员提出了一种新的可复制技术AdvHat，它可以在各种拍摄条件下攻击目前最强的公共Face ID系统。实现这种攻击不需要复杂的设备——只需要在彩色打印机上打印一个特定的计数器样本，贴在你的帽子上，计数器样本用一种全新的算法制作，在非平面条件下也能保持有效。

据研究人员介绍，这种方法已经成功破解了最先进的Face ID型号LResNet100E-IR和ArcFace@ms1m-refine-v2，其攻击模式也可以移植到其他Face ID型号上。

现实中Face ID也可能受到攻击

以前反攻击主要体现在虚拟世界。我们可以用电子抗攻击样本欺骗各种识别系统，比如一般的图像识别或者更详细的人脸识别。然而，这些攻击有一些问题。比如人脸识别攻击只能是一个在线识别API，不能通过打印出对抗样本来欺骗真实系统。

标准的在线人脸对抗样本只能攻击在线人脸识别模型或API，不能用于离线真实人脸识别场景。

真正的识别系统很大程度上不仅有人脸识别模块，还有活体检测等其他处理模块。只要活体检验判断对方样本不是真人，自然就失去效果。所以很多研究者都在思考，是不是可以把对抗信息打印出来贴在脸上，还是贴在头上的某个位置，这样才能攻击真正的人脸识别。甚至，我们可以将对抗信息嵌入帽子或其他饰品中。不是更方便吗？

沿着这个思路，华为莫斯科研究中心的两位研究人员创造了这样一个对抗样本。他们说，在过去，Face ID模型仍然需要大量的私人数据，随着大规模公共数据的发布，像ArcFace这样的研究模型可以与微软或谷歌的模型相媲美。如果他们的对抗样本可以攻击ArcFace，那么他们几乎可以攻击商业模式。

研究人员说，他们的建议有以下特点:

AdvHat 是一种现实世界的对抗样本，只要在帽子加上这种「贴纸」，那么就能攻击顶尖的公开 Face ID 系统；这种攻击是非常容易实现的，只要有彩印就行；该攻击在各种识别环境下都能起作用，包括光照、角度和远近等；这种攻击可以迁移到其它 Face ID 系统上。

Face ID应该如何进攻

在Face ID系统的实际应用场景中，并不是每个捕获的人脸都是已知的，因此为了识别人脸，前一类的预测相似度必须超过一些预先定义的阈值。

本文的目的是创建一个可以粘贴在帽子上的矩形图像，从而诱导Face ID系统将人脸和地面真实之间的相似度降低到决策阈值以下。

该攻击可能涉及以下过程:

将平面贴纸进行转换以凸显三维信息，转换结果模拟矩形图像放在帽子上后的形状。为了提高攻击的鲁棒性，研究者将得到的图像投影到高质量人脸图像上，投影参数中含有轻微的扰动。将得到的图像转换为 ArcFace 输入的标准模板。降低初始矩形图像的 TV 损失以及余弦相似度损失之和，其中相似性是原图嵌入向量与 ArcFace 算出嵌入向量之间的距离。

流程图如下图2所示。

图2:攻击流程示意图。

首先，研究人员将贴纸重塑为具有真实尺寸和外观的图像，然后将其添加到面部图像中。然后，使用略有不同的转换参数，将图像转换为ArcFace输入模板，最后将模板输入ArcFace。因此，评估余弦相似性和电视损失，从而可以获得用于改善贴纸图像的梯度信号。

图3:第一步转换贴纸示意图。

贴纸攻击测试详情

如前所述，研究人员在将图像输入ArcFace之前随机修改了图像。他们构建了一批生成的图像，并计算了整个过程中初始贴纸上的平均梯度。梯度可以用简单的方法计算，因为每个变换都是可微的。

请注意，在每次迭代中，批次中每个图像上的贴纸都是相同的，只是转换参数不同。此外，研究人员使用了动量迭代函数系统和几种启发式方法，在实验中非常有效。

研究人员将攻击分为两个阶段。在第一阶段，研究人员使用了5255的步长值和0.9的动量；在第二阶段，研究人员使用了1255的步长值和0.995的动量。电视减肥的重量一直是1e4。

研究人员使用带有贴纸的固定图像进行验证，其中他们将所有参数设置为最真实的值。

他们使用最小二乘法，通过线性函数插入最后100个验证值:他们在第一阶段经历了100次迭代，在第二阶段经历了200次迭代。如果线性函数的角系数不小于0，那么:1)从第一阶段到第二阶段的攻击；2)第二阶段停止攻击。

“防样贴”有什么作用

在实验中，研究人员使用400×900像素的图像作为贴纸图像，然后将贴纸图像投影到600×600像素的人脸图像上，然后将其转换成112×112像素的图像。

为了找到最适合贴纸的位置，研究人员进行了两次贴纸定位实验。首先，他们用粘贴在眼线上方不同高度的贴纸攻击数字域中的图像。然后，根据空之间的变压器层参数的梯度值，在每次迭代后改变贴纸的位置。

下面的图4展示了一些典型的对抗贴的例子。它看起来像一个模特在贴纸上画了挑衅的眉毛。

图4:对抗贴纸的一个例子。

为了测试AdvHat方法在不同拍摄条件下的鲁棒性，研究人员为前10人中的4人拍摄了11张其他照片。拍摄条件示例如下图6所示:

图6:研究人员为一些人拍摄了另外11张照片，以测试不同拍摄条件下的攻击效果。

检测结果如下图7所示:虽然最终相似度增加，但攻击依然有效。

图7:各种拍摄条件下的基线和最终相似度。图中不同颜色的点代表不同的人。圆圈代表对抗攻击的相似度，X代表基线条件下的相似度。

最后，研究人员在其他Face ID模型上测试了这种方法的攻击效果。他们在InsightFace Model Zoo中选择了一些人脸识别方法。每个模型上测试了10个不同的人。

图8:不同模型中基线和最终相似性之间的差异。

虽然AdvHat生成的对抗样本非常简单，但这种攻击方法似乎已经应用于大多数基于摄像头的人脸识别系统。如果我们想避免被冒充，似乎仍然需要回到虹膜识别。

这篇文章是关于机器核心的报道。请联系本微信官方账号进行授权。