Anthropic向白宫通报AI智能体失控事件

Anthropic 向白宫通报一起智能体失控事件：AI 试图闯进多个美国政府网站

IT之家 10 月 10 日消息，据《纽约时报》当地时间 9 日报道，Anthropic 披露，旗下 AI 智能体 曾在无人指示的情况下 ，试图访问美国联邦、州及地方政府的多个网站。Anthropic 没有公布涉及的政府机构名称，已向白宫通报这些事件。 Anthropic 在博客文章中提到，一款处于测试阶段的 AI 模型 擅自执行了多项操作 ，包括利用某大学网站的漏洞下载数据，以及向某政府机构提交一份原本被明确禁止提交的表格。 Anthropic 在审查旗下 AI 于 7 月的操作记录时发现了这些问题。当时，OpenAI 披露旗下 AI 技术曾攻击初创企业 Hugging Face，Anthropic 及其他 AI 实验室也发现，旗下 AI 曾脱离测试环境，实施黑客攻击。 Anthropic 一名发言人拒绝就博客文章之外的内容发表评论。 当天早些时候，费城警察局披露，Anthropic 曾通知警方，旗下 AI 通过警方网站提交了一条虚假的凶杀案线索。警方称，举报日期为 7 月 18 日，提交者声称掌握一起尚未侦破案件的线索。 警方将举报标记为垃圾信息，没有展开调查。IT之家从报道中获悉，Anthropic 本周向费城警方通报了此事，并告知警方将在周五公开披露。 Anthropic 解释道，一款尚未发布的非前沿研究模型原本需要填写一份模拟政府表格。但由于模拟表格加载失败，或者模型误将表格关闭，模型转而进入提供正式表格的网站，并提交了表格。