机器学习会成为数据安全的新威胁和后门吗?

机器学习算法已成为一项重要的网络安全技术,目前主要用于识别恶意软件、向安全分析师提供过滤警告以及优先修补漏洞。研究机器学习和人工智能系统安全性的专家警告说,未来此类系统可能会被专业攻击者利用。

在去年发表的一篇研究论文中,研究人员表示,神经网络的冗余特性可以让攻击者将数据隐藏在常见的神经网络文件中,最多可以隐藏文件大小的 20%,而不会显着影响模型性能。 2019 年的另一篇论文表明,受感染的训练服务可能会植入一个实际上存在于神经网络中的后门,即使该网络经过训练可以处理其他任务。



贝里维尔机器学习研究所(BIML)的联合创始人兼首席执行官加里·麦格劳(Gary McGraw)表示,这两篇研究论文显示了机器学习面临的潜在威胁,但最直接的风险是数据被盗或被篡改。 “如果你将机密信息放入机器并让机器学习该数据,人们就会忘记机器中仍然存在机密信息,并且有一些更复杂的方法可以将其取出,”他说。开发人员通常只关注这种潜在威胁,有时在为该技术创造新用途时会更加严重,而忽略了为其开发的产品的安全性。”

2020 年,微软、MITRE 等公司联合发布了一份潜在攻击列表报告——Adversarial ML Threat Matrix。报告称,公司需要评估依赖人工智能或机器学习技术的系统是否存在潜在风险。一些风险,例如在机器学习文件中隐藏数据,与日常风险没有太大区别。除非企业测试具有弹性的系统,否则更多以机器学习为中心的风险,例如创建模型的可能性,当攻击者触发时,可以以特定方式行动,将获得回报。

软件安全公司 Sophos 的首席科学家 Joshua Saxe 表示,因为防御者只关注即时攻击,而不关注未来难以执行的复杂攻击。随着越来越多的安全专业人员依赖机器学习系统来完成他们的工作,意识到这种威胁形势将变得更加重要。研究人员创建的对抗性攻击矩阵包括逃避检测恶意软件和控制流量的工具、僵尸网络域生成算法 (DGA) 和恶意软件二进制文件。

麦格劳指出,随着机器学习的应用,数据面临更大的风险。由于敏感数据通常可以从机器学习系统中恢复,同时,机器学习生成的系统往往以不安全的方式运行。如果在机器学习系统上执行的查询被暴露,那么数据在操作过程中就会暴露出来,这突出了机器学习的一个关键但未被重视的方面,即保持数据安全的重要性。

Saxe 说,机器学习威胁不同于使用人工智能/机器学习技术来计划更有效攻击的攻击者。机器学习攻击可能更多地发生在机器人和自动驾驶汽车中,因为它们不仅依赖算法进行操作,而且还将人工智能决策转化为实际行动,安全人员需要阻止和防范破坏这些算法的行为。

虽然研究人员已经表明,许多类型的机器学习攻击更有可能发生,但大多数仍然需要数年时间,因为攻击者的工具箱中仍然有更简单的工具来帮助它实现攻击的目的。

 

参考来源:https://www.darkreading.com/vulnerabilities-threats/machine-learning-in-2022-data-threats-and-backdoors-

转载请注明,谢谢