精选理由
Anthropic 的警告直指 AI 安全的核心矛盾——递归自我改进可能让所有监管都来不及，做 AI 治理、模型安全或前沿研究的从业者值得认真读一读，这关系到行业未来几年的规则走向。
Anthropic 发表声明，呼吁建立全球机制来减缓前沿 AI 的发展，因为其自身模型可能正在接近递归自我改进的临界点——即系统能够在没有直接人类控制的情况下帮助构建更强的版本。未来模型在科研、实验、调试和训练设计方面将变得极其擅长，以至于人类不再是主要瓶颈。一旦这种循环启动，进展将从人类主导的工程转向机器辅助的改进，使得所有安全测试、法律和实验室政策都显得滞后。Anthropic 警告，这一跳跃可能在政府、公司和研究人员拥有可信的衡量或约束手段之前到来。验证是难点，因为大型 AI 训练比武器设施更容易隐藏，任何在他人暂停时秘密训练的实验室都可能获得领先优势。
AI 翻译 · 中文
Anthropic 发表声明，呼吁建立全球机制来减缓前沿 AI 的发展，因为其自身模型可能正在接近递归自我改进的临界点——即系统能够在没有直接人类控制的情况下帮助构建更强的版本。未来模型在科研、实验、调试和训练设计方面将变得极其擅长，以至于人类不再是主要瓶颈。一旦这种循环启动，进展将从人类主导的工程转向机器辅助的改进，使得所有安全测试、法律和实验室政策都显得滞后。Anthropic 警告，这一跳跃可能在政府、公司和研究人员拥有可信的衡量或约束手段之前到来。验证是难点，因为大型 AI 训练比武器设施更容易隐藏，任何在他人暂停时秘密训练的实验室都可能获得领先优势。
Anthropic just called for a global way to slow frontier AI because its own models may be approaching recursive self-improvement, where a system helps build a stronger version of itself without direct human control. Futur…