让人脸识别失效的对抗样本生成(三)
在第二集 让人脸识别失效的对抗样本生成(二)中,我们使用本地人脸识别服务来测试Fawkes生成的对抗样本,发现识别率达到了100%,这离我们的期望很远。 今天我们改变测试的方法,使用非名人照片,在超过千个人脸数据库中搜索试试。 我们使用Labeled Faces in the Wild Home(LFW)数据集,这个数据集有13000张人脸,我们还从CASIA-FaceV5这个亚洲人脸数据集中抽出10个人,每人五张照片作为非名人照片来进行测试。
LFW是以人名为文件夹,每一个人有一张以上的照片。
我们把LFW数据集中的A和Z开头的照片都取出来,生成对抗样本。
用原照片和生成的对抗样本进行比较: 可以看到有的照片改动比较大,有的照片改变比较小。
CASIA-FaceV5这个亚洲人脸数据集中抽出的10个人,也生成对抗样本:
从下图可以看到,这张照片改动比较小
使用整个lfw数据集中 Z开头的对抗样本在lfw人脸库中搜索,部分结果如下:
./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Andy_Benes_0001./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Alex_Cabrera_0001./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0002./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0003./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0001./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0004./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0005./lfw_z/Zinedine_Zidane_0001_min_cloaked.png,Zinedine_Zidane_0006
可以看到,对抗样本依然可以被搜索出来。
./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Howard_Dean_0008./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Zhang_Yimou_0001./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Adolfo_Rodriguez_Saa_0002./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Zhu_Rongji_0004./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Andrei_Konchalovsky_0001./lfw_z/Zhang_Yimou_0001_min_cloaked.png,Hisao_Oguchi_0002
张导演的这几张也有一张被识别了出来,其他的识别出错。 再用我们准备的50张非名人照片的对抗样本,部分结果如下:
./asia_low/049_0_low_cloaked.png,449_0./asia_low/049_0_low_cloaked.png,399_0./asia_low/049_0_low_cloaked.png,000_0./asia_low/049_0_low_cloaked.png,299_0./asia_low/049_0_low_cloaked.png,049_0./asia_low/049_0_low_cloaked.png,149_0./asia_low/049_0_low_cloaked.png,349_0./asia_low/049_0_low_cloaked.png,249_0./asia_low/099_0_low_cloaked.png,unknown_person./asia_low/199_0_low_cloaked.png,199_0./asia_low/149_0_low_cloaked.png,000_0./asia_low/149_0_low_cloaked.png,049_0./asia_low/149_0_low_cloaked.png,149_0./asia_low/149_0_low_cloaked.png,349_0./asia_low/149_0_low_cloaked.png,249_0./asia_low/299_0_low_cloaked.png,299_0./asia_low/299_0_low_cloaked.png,049_0./asia_low/299_0_low_cloaked.png,149_0./asia_low/299_0_low_cloaked.png,349_0./asia_low/249_0_low_cloaked.png,349_0./asia_low/249_0_low_cloaked.png,249_0
可以看到基本上都会被搜索到。
./asia_low/049_0.png,099_0./asia_low/049_0.png,199_0./asia_low/049_0.png,449_0./asia_low/049_0.png,399_0./asia_low/049_0.png,000_0./asia_low/049_0.png,299_0./asia_low/049_0.png,049_0./asia_low/049_0.png,149_0./asia_low/049_0.png,349_0./asia_low/049_0.png,249_0./asia_low/049_0_low_cloaked.png,099_0./asia_low/049_0_low_cloaked.png,199_0./asia_low/049_0_low_cloaked.png,449_0./asia_low/049_0_low_cloaked.png,399_0./asia_low/049_0_low_cloaked.png,000_0./asia_low/049_0_low_cloaked.png,299_0./asia_low/049_0_low_cloaked.png,049_0./asia_low/049_0_low_cloaked.png,149_0./asia_low/049_0_low_cloaked.png,349_0./asia_low/049_0_low_cloaked.png,249_0
原照片加入搜索,发现对抗样本并没有比原照片难搜索出来。 这下有点难办了,本来人脸的1:N的搜索准确率就不高,作者竟然是在1千张以上的照片上进行搜索操作,这下也没看出来效果,难道是我姿势不对?还是等作者出本地服务吧。 感觉有点浪费时间了,我还会继续关注这个课题,我的目标是在aipwn.org上出一个生成照片对抗样本的服务,能躲过人脸识别的照片样本。 其实我已经有一些方案了,这篇论文容我去看看它的开源代码后再写文章来汇报,或许那个时候服务已经好了。 另外可以在真实场景中使用的,用于抵抗社交媒体压缩照片的框架可以参考这篇文章——让人脸识别算法失灵,还能抵抗微信微博照片压缩!武大&Adobe提出抗压缩对抗新框架,成功率最高超90%。 我是P小二,明天再见。 往期回顾: 让人脸识别失效的对抗样本生成(二) 让人脸识别失效的对抗样本生成(一) DeepFake系列——TweepFake:DeepFake推文检测