让人脸识别失效的对抗样本生成(三)

在第二集 让人脸识别失效的对抗样本生成(二)中,我们使用本地人脸识别服务来测试Fawkes生成的对抗样本,发现识别率达到了100%,这离我们的期望很远。

今天我们改变测试的方法,使用非名人照片,在超过千个人脸数据库中搜索试试。

我们使用Labeled Faces in the Wild Home(LFW)数据集,这个数据集有13000张人脸,我们还从CASIA-FaceV5这个亚洲人脸数据集中抽出10个人,每人五张照片作为非名人照片来进行测试。

图片

LFW是以人名为文件夹,每一个人有一张以上的照片。

图片

图片

我们把LFW数据集中的A和Z开头的照片都取出来,生成对抗样本。

图片

图片

用原照片和生成的对抗样本进行比较:

可以看到有的照片改动比较大,有的照片改变比较小。

图片

图片

CASIA-FaceV5这个亚洲人脸数据集中抽出的10个人,也生成对抗样本:

图片

从下图可以看到,这张照片改动比较小

图片

使用整个lfw数据集中 Z开头的对抗样本在lfw人脸库中搜索,部分结果如下:

  •  
./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Andy_Benes_0001./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Alex_Cabrera_0001./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0002./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0003./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0001./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0004./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0005./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0006

可以看到,对抗样本依然可以被搜索出来。

  •  
./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Howard_Dean_0008./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Zhang_Yimou_0001./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Adolfo_Rodriguez_Saa_0002./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Zhu_Rongji_0004./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Andrei_Konchalovsky_0001./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Hisao_Oguchi_0002

张导演的这几张也有一张被识别了出来,其他的识别出错。

再用我们准备的50张非名人照片的对抗样本,部分结果如下:

  •  
./asia_low/049_0_low_cloaked.png,449_0./asia_low/049_0_low_cloaked.png,399_0./asia_low/049_0_low_cloaked.png,000_0./asia_low/049_0_low_cloaked.png,299_0./asia_low/049_0_low_cloaked.png,049_0./asia_low/049_0_low_cloaked.png,149_0./asia_low/049_0_low_cloaked.png,349_0./asia_low/049_0_low_cloaked.png,249_0./asia_low/099_0_low_cloaked.png,unknown_person./asia_low/199_0_low_cloaked.png,199_0./asia_low/149_0_low_cloaked.png,000_0./asia_low/149_0_low_cloaked.png,049_0./asia_low/149_0_low_cloaked.png,149_0./asia_low/149_0_low_cloaked.png,349_0./asia_low/149_0_low_cloaked.png,249_0./asia_low/299_0_low_cloaked.png,299_0./asia_low/299_0_low_cloaked.png,049_0./asia_low/299_0_low_cloaked.png,149_0./asia_low/299_0_low_cloaked.png,349_0./asia_low/249_0_low_cloaked.png,349_0./asia_low/249_0_low_cloaked.png,249_0

可以看到基本上都会被搜索到。

  •  
./asia_low/049_0.png,099_0./asia_low/049_0.png,199_0./asia_low/049_0.png,449_0./asia_low/049_0.png,399_0./asia_low/049_0.png,000_0./asia_low/049_0.png,299_0./asia_low/049_0.png,049_0./asia_low/049_0.png,149_0./asia_low/049_0.png,349_0./asia_low/049_0.png,249_0./asia_low/049_0_low_cloaked.png,099_0./asia_low/049_0_low_cloaked.png,199_0./asia_low/049_0_low_cloaked.png,449_0./asia_low/049_0_low_cloaked.png,399_0./asia_low/049_0_low_cloaked.png,000_0./asia_low/049_0_low_cloaked.png,299_0./asia_low/049_0_low_cloaked.png,049_0./asia_low/049_0_low_cloaked.png,149_0./asia_low/049_0_low_cloaked.png,349_0./asia_low/049_0_low_cloaked.png,249_0

原照片加入搜索,发现对抗样本并没有比原照片难搜索出来。

这下有点难办了,本来人脸的1:N的搜索准确率就不高,作者竟然是在1千张以上的照片上进行搜索操作,这下也没看出来效果,难道是我姿势不对?还是等作者出本地服务吧。

感觉有点浪费时间了,我还会继续关注这个课题,我的目标是在aipwn.org上出一个生成照片对抗样本的服务,能躲过人脸识别的照片样本。

其实我已经有一些方案了,这篇论文容我去看看它的开源代码后再写文章来汇报,或许那个时候服务已经好了。

另外可以在真实场景中使用的,用于抵抗社交媒体压缩照片的框架可以参考这篇文章——让人脸识别算法失灵,还能抵抗微信微博照片压缩!武大&Adobe提出抗压缩对抗新框架,成功率最高超90%

我是P小二,明天再见。

往期回顾:

让人脸识别失效的对抗样本生成(二)

让人脸识别失效的对抗样本生成(一)

DeepFake系列——TweepFake:DeepFake推文检测

图片

发表评论