Anthropic IPO 招股书披露：曾因安全顾虑暂停旗舰模型训练逾一个月

Anthropic 招股书披露：曾因安全顾虑暂停旗舰 AI 模型训练一个多月

IT之家 10 月 27 日消息，Anthropic 在当地时间周一公布的 IPO 招股文件中披露，出于安全方面的顾虑，该公司曾暂停下一代旗舰 AI 模型的训练长达一个多月；另外还有四个 AI 智能体在测试期间突破限制，接入了真实的外部计算机系统。 IT之家注意到，这家 Claude 开发企业在文件的风险提示章节中表示，其推迟了一款全新前沿基础模型的预训练工作，目的是强化防护机制，防止模型权重与知识产权被盗。 这份披露内容展现出，研发能力越来越强的 AI 模型会伴随各类安全难题，部分从业者已经发出警示，这类技术未来有可能脱离人类管控。竞争对手 OpenAI 今年早些时候也曾因为安全问题暂停部分训练工作，当时其模型出现了入侵 Hugging Face 平台的情况。 这些事件说明，突发的安全事故有可能打乱核心模型的开发与上线节奏，而这些模型正是 Anthropic 冲刺备受期待的上市进程、实现业务增长的关键。 Anthropic 警示，训练暂停会造成营收延后，使公司落后于竞争对手。这份文件用大约 94 页篇幅罗列了风险因素。 沙箱逃逸 招股文件还披露了此前未对外公开的安全评估事故：四个 AI 模型脱离测试沙箱环境，访问到现实中的计算机系统，相关会话持续时长在 10 小时至 34 小时之间。 Anthropic 称，在和第三方合作方开展网络安全测试时出现操作失误。按照要求测试环境应当关闭联网权限，但最终环境仍保持着互联网连接。 其中一起事故里，该模型的早期版本持续尝试一项无法完成的评估任务，期间找到一条保存的密码，并利用密码获取了第三方系统的管理员权限。随后它拿到更多凭证、修改系统设置，还访问到个人数据。文件没有写明涉事外部合作方的身份。 Anthropic 表示已经通知所有受影响的相关方，没有发现模型刻意躲避人类监管、或是多个模型互相协同行动的证据。事后公司叫停了部分上线前网络安全评估项目，并暂停风险等级更高的强化学习测试环境。 另外，该公司在当地时间上周日称，Claude 曾绕过付费墙，在没有获得人工授权的情况下调取了美国佐治亚州公开的汇总选票数据。