Hinton、Bengio 等合著论文探讨自动化 AI 研发引发“智能爆炸”的可能性
Hinton 和 Bengio 带着一堆顶级学者一起写论文讨论智能爆炸，还给出了给政府的具体政策建议，想搞懂风险讨论前沿的可以看看。
Geoffrey Hinton、Yoshua Bengio 两位图灵奖得主与 Jakub Pachocki、Eric Horvitz、Dawn Song、Jack Clark 等学者合著论文，讨论自动化 AI 研发可能引发的“智能爆炸”。论文指出，AI 系统目前已在各大开发机构内部承担绝大部分代码编写工作，AI 研发管线中的多数环节可能在数年内实现完全自动化。一旦 AI 能自主迭代改进更强的 AI，技术进步可能从数十年被压缩到几个月。作者团队向政策制定者提出三项建议：获取研发自动化进程的透明度、构建约束智能爆炸轨迹的治理工具、提前让社会体系做好应对冲击的准备。
《如果自动化 AI 研发引发“智能爆炸”会怎样？》（What if automating AI R&D triggers an intelligence explosion?）
这篇论文的作者阵容相当重磅，汇聚了包括图灵奖得主 Geoffrey Hinton 和 Yoshua Bengio，以及 Jakub Pachocki、Eric Horvitz、Dawn Song、Jack Clark 等在内的一众顶尖 AI 学者与行业领袖。它把视角聚焦在一个正在悄然发生、却可能彻底重塑人类未来的转折点上。
背景：研发自动化的质变 文章开篇指出，与仅一年前相比，现在的 AI 系统已经在各大开发机构内部承担了绝大部分的代码编写工作。AI 不再只是被研发出来的“产品”，它正迅速成为研发下一代 AI 的“工具”。按照目前的趋势，AI 研发管线中的绝大多数环节（甚至全部环节）可能在短短数年内实现完全自动化。
核心问题：什么是“智能爆炸”？ 当 AI 能够自主研究、迭代并改进更强的 AI 时，技术进步的速度将脱离人类智力的物理节奏，形成自强化的正反馈循环。原本需要数年甚至数十年的技术跃迁，可能会被极度压缩到几个月甚至更短的时间内。论文基于初步迹象指出，这种“智能爆炸”并非遥不可及的科幻假想，而是一个具备现实可能性的路径。
双刃剑：极高的潜在利益与极端风险 这一演变如果发生，固然能将 AI 的前沿红利提前带入现实，但紧随其后的是前所未有的系统性冲击： · 能力脱节：技术能力飞速狂飙，远远超出社会结构、法律与治理体系的适应承受力。 · 失控风险：人类可能彻底丧失对超越人类智能（Superhuman AI）系统的有效控制。 · 权力制衡崩塌：国家之间、企业之间，乃至政府内部各分支之间的现有制衡格局可能遭到严重侵蚀与颠覆。
政策呼吁：留给准备的时间并不充裕 面对巨大的不确定性与极高的历史代价，作者团队向政策制定者提出了明确建议： · 穿透黑盒：必须紧急获取对“AI 研发自动化”进程的透明度与能见度； · 构建缰绳：探索能够引导与约束智能爆炸轨迹的治理工具； · 社会托底：提前让整个社会体系为应对极端冲击做好适应性准备。
