微软2018成立AI红队 测试AI弱点 – 人工智慧 – TechNice科技岛-掌握科技与行销最新动态

编译/夏洛特

除发展人工智慧(AI)外,微软也正在研究关於AI的安全问题。日前,该公司就揭露关於其自 2018 年以来就致力於研究AI弱点的公司内部团队「红队」的资讯。微软表示,成立五年来,微软的AI红队已经从一个实验性的团队,变成一个由机器学习专家、网路安全研究人员、社会工程师组成的完整的跨学科团队。

除发展人工智慧(AI)外,微软也正在研究关於AI的安全问题。(示意图/123RF)

据外媒报导,该团队致力於使用数位安全的传统表达方式,对微软内部和整个科技行业传达其研究结果,让大家不用有专业的AI知识,就能了解AI的风险。该团队表示,AI安全与传统数位防御之间有重要的概念差异,因此,AI红队的工作方式也有些不同。

更多新闻:人工智慧革命过去、现在和未来 非一蹴可几

微软的AI红队发现,在大型语言模型上,任何青少年或是一个使用浏览器的普通用户都可以发动攻击。而现在,随着解决机器学习缺陷和故障的紧迫性变得更加明显,微软的AI红队也正不断发展和扩大。

微软AI红队创始人 Ram Shankar Siva Kumar 就表示:「如果你将AI红队视为传统的安全红队,并且只考虑安全思维,那可能还不够。我们现在还必须考虑到AI系统故障的责任问题,如产生令人反感的内容,或不正确的内容。这就是AI红队的重点。我们不只要关注安全方面的失败,还要关注负责任的AI的失败」。

Shankar Siva Kumar 说,该小组的重点是预测与AI相关的下一步攻击趋势。当该团队在App或软体系统中发现传统漏洞时,他们通常会与 Microsoft 内的其他团队合作修复该漏洞,而不是花时间自己完全开发并提出修复方案。

参考资料:Wired