让人脸识别失效的对抗样本生成(二)
在人脸识别失效的对抗样本生成(一)中,我们把原始图片加入到搜索集合中,使用生成的对抗样本来搜索人脸,发现Face++的人脸搜索还是可以把原始图片找出来。
![图片 图片](https://substackcdn.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F24d00f6c-01ff-4bc1-8db7-5c2339a5ac26_902x735.png)
对于这种情况,fawkes作者做了以下回复:
![图片 图片](https://substackcdn.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F593cc595-3129-41d8-ac54-bf4a2f5c40c2_953x395.png)
回复中提到
第一不要使用名人进行测试,市面上大多数的识别模型已经对名人进行过训练。
第二就是测试的分类至少进行两个以上的测试。
根据作者回复的信息,我们调整一下测试方法,这次使用开源人脸识别项目face_recognition来构建本地的人脸识别服务,来测试fawkes的效果。
下图是face_recognition的用法:
![图片 图片](https://substackcdn.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F29439d0b-c57b-4ad8-ba33-16f7ecd5b027_1080x505.png)
使用对抗样本进行本地的人脸库搜索:
![图片 图片](https://substackcdn.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2dd371a2-c282-4587-a360-62486dc433f7_1080x440.png)
可以看到:
有两张人脸的图片都识别了出来:
./output/trump_mm_min_cloaked.png,mm./output/trump_mm_min_cloaked.png,trump_mm./output/trump_mm_min_cloaked.png,trump_twitter./output/trump_mm_min_cloaked.png,trump
使用微信和twitter压缩过的照片也都被识别了出来:
./output/trump_min_cloaked.png,trump_twitter./output/trump_min_cloaked.png,trump./output/gakki_min_cloaked.png,gakki_wechat./output/gakki_min_cloaked.png,gakki
识别准确率是100%。其实face_recognition用的人脸数据集是缺少亚洲人数据的,识别效果本来应该不太准确,又翻车了?
第二集持续翻车,下一集只能再改一下测试方法,使用非名人照片,在超过千个人脸数据库中搜索试试,顺便也谈谈真实场景中对抗图片压缩的框架ComReAdv。
往期回顾:
【Bug Bounty 2020】黑客神器!使用Google Colab免费打造你的漏洞挖掘工具箱
DeepFake系列——TweepFake:DeepFake推文检测
![图片 图片](https://substackcdn.com/image/fetch/w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd3850e07-52a0-4f11-a81e-36694a140ddd_1080x394.png)