首页 要闻 电商 名品 潮流 数码 手机 数码 汽车 海淘 移动客户端
您现在所在的位置: 首页 > 潮流会展 > 百度安全亮相Black Hat?Asia?2019,展示目前黑盒模型攻击技术
百度安全亮相Black Hat?Asia?2019,展示目前黑盒模型攻击技术
时间:2019-04-11 | 来源:亿尚网 | 我要投稿 | 分享到:
0

      近年来,业内针对迁移学习展开广泛的算法研究和实践,在迁移学习放宽了机器学习两大基本条件、将大数据模型迁移到小数据、个性化数据模型的训练过程中,从安全视角,并非无懈可击。例如,迁移学习这种训练方法的高效性,来自于特征提取层的架构和参数被重复利用,同时在迁移学习过程中保持特征值和架构不变。正因如此,模型所使用的特征提取层可以通过一定的攻击手段推算出来。百度安全研究员提出的“指纹攻击”就是用于推算黑盒模型使用的特征提取层的有效方法——通过对深度学习模型的特征提取层中的最后一层的神经元的离散值的最小化,从而使得目标分类的置信度降低,通过搜集的14个不同的公开模型
在3月26日-29日于新加坡召开的Black Hat Asia 2019上,来自百度安全对于深度神经网络(DNN)模型算法安全性、Rowhammer新型攻击方法、Meltdown新变种等三大创新性研究报告成功入选。其中,在The Cost of Learning from the Best: How Prior Knowledge Weakens the Security of Deep Neural Networks的议题中,百度安全研究员们分享了在AI时代下机器学习算法安全领域的最新研究与实践。百度安全希望通过这个研究呼吁业内更加迫切的将人工智能模型算法的安全问题纳入研究范畴,携手工业界、学术界共同探索与建设安全的AI时代。
深度学习模型容易受到对抗样本的攻击,这在业内已不是新鲜事。对图像数据叠加人类难以通过感官辨识到的细微扰动,就可以“欺骗”模型,指鹿为马,甚至无中生有。业内将这种影响AI决策边界的细微扰动称之为“对抗样本”(Adversarial Example Attack),攻击者往往提前知晓模型的架构、参数,既而利用特定算法针对性的生成“对抗样本”,诱导模型做出错误的、甚至攻击者预设的判别结果。此乃深度学习模型的“白盒攻击“,若应用到人脸识别、语音识别、无人驾驶等领域,不仅会导致严重的安全事故,也会破坏整个人工智能生态应用的进程与基本信任。
然而,百度安全在Black Hat Asia 2019上带来的最新研究成果表明:黑盒模型制造的只是虚假的安全感,当模型架构和参数不可知的情况下,攻击者依然有机会实施对深度学习模型的欺骗。报告中Zhenyu Zhong、Yunhan Jia博士展示了百度安全目前已实现的黑盒模型多种攻击技术,并创新性的提出了“指纹攻击“(Fingerprinting attack)——即根据极少的请求结果推测出模型的结构,既而针对性的构造对抗样本。

百度安全研究员们设置了条件充足、非充足的两个黑盒攻击场景,同时结合两种不同的攻击手段——非定向攻击(Dispersion attack)、定向攻击(Target Score attack)进行比较,现场展示了指纹攻击的实验结果。如图1所示,在攻击者条件充足的情况下,攻击的绕过率分别高达86%(非定向)和65%(定向),而在条件不充足(比如仅支持2次请求)的情况下,攻击的绕过率也可以达到33%(非定向)和16%(定向)。这个实验结果表明,深度学习模型的“黑盒保护”看似安全,但是现实中还是存在弱点,而且在高效的攻击手段面前,这个弱点还很严重。
与会,百度安全研究员介绍了百度安全针对对抗样本的解决思路,以及通过对抗训练强化模型提高深度学习模型鲁棒性的途径。百度安全针对人工智能算法安全性的研究,包括深度学习模型鲁棒性测试、形式化验证、机器识别恶意样本实时监测、黑白盒攻防等领域。此外,百度安全始终倡导通过新一代技术研发与开源,实现对安全问题的快速响应与对抗,百度安全实验室AdvBox对抗样本工具包针对AI算法模型提供安全性研究和解决方案,目前已应用于百度深度学习开源平台PaddlePaddle及当下主流深度学习平台,可高效地使用最新的生成方法构造对抗样本数据集用于对抗样本的特征统计、攻击全新的AI应用,加固业务AI模型,为模型安全性研究和应用提供重要的支持。

分享到:
文明上网理性发言,请遵守新闻评论服务协议 (查看全部 0条评论)
    
验证码:  
CopyRight @ 2005-2019 Reserved 亿尚网版权所有尊重原创违者必究