我应该算是这本书的首批读者,到目前为止拿到手有8个月了。当时因为这本书的主编本身有一些争议,还发了一个朋友圈,今天就完成当时在朋友圈留下的任务,带来这本《人工智能安全》的读书笔记。人工智能安全这本书主要是提出了一个人工智能安全的体系架构,主要有三方面的内容,包括人工智能助力安全,人工智能内生安全,人工智能衍生安全。书中还简单介绍了包括人工智能的发展史,世界各国的人工智能战略,人工智能前沿的一些技术和人工智能安全的未来发展等主题。人工智能安全体系架构如上图所示,我们从这三方面来了解一下。人工智能助力安全 AI for Sec人工智能助力安全,就是用AI来赋能安全,包括防御和攻击。对于防御者来说,可以利用AI来提升和扩展原来的防御能力,包括做智能安防,智能入侵检测系统,检测恶意代码,异常检测等等非常多的应用。在攻击者角度的话,可以实现自动化的漏洞挖掘,构建智能恶意代码,为神经网络植入后门,自动构建钓鱼邮件,还包括生成高逼真的假音视频等等。AI助力攻击已经渗透到攻击的完整攻击链,AI还被用于发动恐怖袭击,引导舆论等有军事或者政治企图的新行动中。人工智能内生安全 AI Sec人工智能内生安全就是AI系统的本身安全,AI系统现在存在脆弱性,包括框架组件,数据,算法,模型等,这些环节都可以给系统带来脆弱性。框架组件方面,TF,Numpy等框架被爆出一些漏洞,给系统带来一定的风险。数据方面,我们需要保证输入数据的正确性,包括训练数据和推理数据。AI系统高度依赖数据的正确性,数据的丢失,噪声输入都可以给系统带来严重干扰。算法方面,很难保证算法的正确性,神经网络是个黑盒子,预测能力强,但是缺乏解释性。对抗样本就是利用算法的缺陷来攻击的一种技术。模型方面,很难保证模型不被窃取或者被污染。模型是一个实体文件,就存在被窃取和被植入后门的安全风险。人工智能衍生安全 AI safty人工智能衍生安全是指由于AI系统的自身脆弱性导致危及其他领域的安全。包括以下这4个方面。