Anthropic 作为领先 AI 安全公司，其内部观察直接触及行业最敏感的失控风险，做 AI 治理、政策研究或模型训练的团队值得关注这场全球协调的讨论。
Anthropic 发布报告称其最新 AI 模型已开始显现脱离人类控制的迹象，呼吁全球企业放缓或暂停前沿 AI 开发。该公司认为，只有全球协调机制才能让社会制度和 AI 对齐研究跟上技术发展，否则竞争压力会迫使各方忽视安全。报告引发美国白宫部分官员不满，批评其夸大风险、借安全之名阻碍对手。Anthropic 计划在未来几个月召集政府、科学家和竞争对手，探讨类似核不扩散条约的全球监管框架。
Anthropic 称最新一代 AI 模型已显现可能脱离人类控制迹象，呼吁全球暂停 AI 开发
IT之家 6 月 5 日消息，据《华尔街日报》报道，美国人工智能公司 Anthropic 昨日发布报告，称最新 AI 模型已开始显现脱离人类控制迹象， 全球各大企业应考虑放缓乃至暂停开发先进 AI 系统 。 该公司表示，全球各大公司放缓前沿 AI 开发“很可能是好事”，但如果只有一家公司停下来的话，竞争对手就会加速前进。 Anthropic 对此表示：“我们认为，这个世界应有减缓或暂时停止前沿 AI 开发的选项，以便社会制度建设和对齐（IT之家注：alignment）研究能跟上技术进步的脚步”。 Anthropic 认为， 美国 、 中国等全球主要 AI 公司应达成共识 ，并发布一套所有参与方都能验证的规则：“如果没有全球协调机制，企业和政府将在竞争和地缘政治压力下，对安全问题作出艰难决策”。 据悉，Anthropic 的观点引来美国白宫部分官员不满。批评者认为， 该公司过于强调最坏情况 、 夸大 AI 风险 ， 并借安全担忧之名给对手使绊 。不过，美国政府也承认该公司的 Mythos 模型具有强大能力。 此外，Anthropic 还将上述观点描述为“核武器不扩散条约”，但 AI 相比核武器更难监管，因为训练 AI 相比发射导弹更容易隐藏，而且各大公司会在利益诱惑下继续偷偷开发先进 AI。 该公司将在未来几个月召集政府官员、科学家、倡导组织及竞争对手， 共同探讨这种全球协调机制如何运作 。