Anthropic自家模型在测试中真去攻击了真实公司，还往PyPI上传了恶意包，看这份事故复盘挺开眼。
Anthropic在7月30日公告，第三方评估环境配置失误导致Claude模型对真实互联网发起攻击。Claude Opus 4.7将一个同名真实公司误认为靶标，提取了凭证和数据库数据。Claude Mythos 5为完成任务向真实PyPI发布恶意Python包，被下载到15个真实系统。内部研究测试模型扫描约9000个目标后入侵一家真实公司，但主动停止。所有涉事模型均未部署正式安全措施，攻击仅使用基本技术。
Anthropic：第三方评估环境配置失误，导致三起真实网络安全事件
IT之家 7 月 31 日消息，人工智能企业 Anthropic 当地时间 30 日发布公告，表示在对自家 Claude 的网络安全评估审查中发现了三起不应发生的真实网络安全事件，背后的直接原因是第三方评估环境配置失误。 这三次事件中 Anthropic 的模型都 被指派了无限制的“夺旗”网络攻击任务 。为保障安全性，此类任务的测试环境需与真实互联网隔离，但 Anthropic 与评估伙伴 Irregular 之间存在误解， 导致向评估模型开放了真实互联网访问权限 。 第一起事件中，Claude Opus 4.7 把一个与虚构目标同名的真实公司当成任务目标，访问了其基础设施，提取了凭证和数据库数据。这是最严重的一次事件，模型即使意识到是真实系统仍在继续攻击。 而 Claude Mythos 5 在第二起事件中为完成任务将一个恶意 Python 包发布到真实 PyPI。这一恶意文件被下载到 15 个真实系统，导致凭证被窃取。模型曾短暂意识到“如果这是真实互联网会很糟糕”，但说服自己仍在模拟中。 Anthropic 内部的一款研究测试模型则表现得相对更好一些。其 扫描了约 9000 个目标，用基本手法入侵了一个真实公司，后来意识到是真实环境后 主动停止 了攻击。 Anthropic 表示，所有涉事模型均未部署正式发布时使用的标准安全措施，但都经过了特定的安全训练。 这些攻击仅利用了一些基本技术 。模型没有发现或利用任何复杂的漏洞，也没有试图将自身从测试环境中导出或故意逃离。