linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > 小企鹅新闻图书馆 >

预防AI被误导,IBM开源检测模型及对抗攻击工具箱

时间:2018-04-22  来源:未知  作者:admin666

为了防止 AI 模型受误导产生错误的判断,研究人员需要经过不断的模拟攻击来确保 AI 模型不会受到欺骗。IBM 研究团队近日开源了检测模型及对抗攻击的工具箱 Adversarial Robustness Toolbox,来协助开发人员加强针对深度神经网路攻击的防御性,让 AI 系统变得更加安全。


近几年 AI 在认知问题上取得不少突破,生活中许多任务也都开始加入 AI 技术,像是辨识图像和影片中的物体、语音转文字、机器翻译等。不过,深度学习网络若受到设计过的干扰讯号影响,很容易产生错误的判断,而这类型的干扰是人类难以察觉的,有心人可能会利用这样的弱点,误导 AI 模型的判断,用于不当的行为。

Adversarial Robustness 工具箱目前主要提供增强电脑视觉辨识的防御性,给开发人员提供新型防御技术,并在实际部署 AI 模型时也能防御恶意的误导攻击,该工具箱是用 Python 撰写而成,因为 Python 是建立、测试和部署深度神经网路最常用的语言,包含了对抗和防御攻击的方法。

首先,开发人员可以用该工具箱检测深度神经网路的稳固性,主要记录了模型对不同干扰的输出结果,再透过攻击的资料集来强化 AI 模型,最后标注攻击模式和讯号,防止模型因干扰讯号,产生错误结果。

Adversarial Robustness 工具箱目前支持 TensorFlow 和 Keras,未来预计会支持更多框架,像是 PyTorch 或 MXNet,现阶段主要是提供图像识别的防御,未来将会增加更多领域的版本,像是语音识别、文字识别或和时间序列等。

来自:iThome

友情链接