Anthropic 呼吁全球放缓前沿 AI，因模型可能接近递归自我改进

Anthropic 发表声明，呼吁建立全球机制来减缓前沿 AI 的发展，因为其自身模型可能正在接近递归自我改进的临界点——即系统能够在没有直接人类控制的情况下帮助构建更强的版本。未来模型在科研、实验、调试和训练设计方面将变得极其擅长，以至于人类不再是主要瓶颈。一旦这种循环启动，进展将从人类主导的工程转向机器辅助的改进，使得所有安全测试、法律和实验室政策都显得滞后。Anthropic 警告，这一跳跃可能在政府、公司和研究人员拥有可信的衡量或约束手段之前到来。验证是难点，因为大型 AI 训练比武器设施更容易隐藏，任何在他人暂停时秘密训练的实验室都可能获得领先优势。