20余名行业领袖示警AI自我改进
20 余名行业领袖示警“智能爆炸”，Anthropic、OpenAI 高管呼吁关注 AI 自我改进
Anthropic和OpenAI高管联名警告AI自我改进风险，论文提出智能爆炸概念和政策建议。
Anthropic、OpenAI等公司高管联合发布论文警告AI自我改进可能引发"智能爆炸"。论文指出，利用AI推动下一代模型研发自动化的做法正在兴起，可能导致AI技术进步突然加速。
研究人员强调，AI能力发展速度可能超过社会引导和适应的能力，呼吁政策制定者建立约束机制。
20 余名行业领袖示警“智能爆炸”，Anthropic、OpenAI 高管呼吁关注 AI 自我改进
IT之家 9 月 29 日消息，据彭博社 28 日报道，Anthropic、OpenAI、Meta 和微软的高管共同敦促政策制定者，密切关注 AI 系统自我改进到了何种程度，并采取措施保障 AI 技术安全。 20 多名 AI 行业领袖和研究人员在一篇新论文中警告，利用 AI 推动下一代模型研发自动化的做法正在兴起，未来可能导致 AI 技术进步 突然加速 。 论文作者把这种现象称为“智能爆炸”。一旦出现这种情况，AI 能力的发展速度或将 超过社会引导和适应 AI 技术的能力 。参与撰写论文的包括 Anthropic 联合创始人杰克 · 克拉克、OpenAI 首席科学家雅库布 · 帕乔茨基，以及 AI 先驱杰弗里 · 辛顿、约书亚 · 本吉奥等人。 研究人员还警告说，AI 研发自动化可能 削弱人类监督 。 IT之家获悉，论文呼吁政策制定者更深入了解顶尖 AI 实验室利用 AI 实现研究自动化的程度，同时建立能够“引导和约束智能爆炸”的机制，包括提高安全要求，并加强对承担自动化 AI 研发任务的数据中心的监管。 研究人员还主张针对不同的 AI 快速起飞情景预先制定应急响应方案。“初步证据表明，软件驱动的智能爆炸有可能发生。如果真的发生，它可能成为 历史上影响最深远的技术发展 。…… 与潜在后果相比，我们的准备还不够充分。” 论文列出了政策制定者应考虑采取的措施。“一旦智能爆炸开始，采取行动的窗口期可能就会关闭。”
This report is categorized under AITOP's "Industry" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI regulation, compliance frameworks, and sovereign compute policy. Key entities and technical topics under continuous tracking include Anthropic, OpenAI, intelligence explosion, AI safety.
Source attribution: curated from IT之家. Cross-source corroboration: 11 independent sources have covered this development (including kimmonismus, Decoder, Tibor Blaho), confirming industry-wide signal strength.
