20余名行业领袖示警AI自我改进

20 余名行业领袖示警“智能爆炸”，Anthropic、OpenAI 高管呼吁关注 AI 自我改进

IT之家 9 月 29 日消息，据彭博社 28 日报道，Anthropic、OpenAI、Meta 和微软的高管共同敦促政策制定者，密切关注 AI 系统自我改进到了何种程度，并采取措施保障 AI 技术安全。 20 多名 AI 行业领袖和研究人员在一篇新论文中警告，利用 AI 推动下一代模型研发自动化的做法正在兴起，未来可能导致 AI 技术进步 突然加速 。 论文作者把这种现象称为“智能爆炸”。一旦出现这种情况，AI 能力的发展速度或将 超过社会引导和适应 AI 技术的能力 。参与撰写论文的包括 Anthropic 联合创始人杰克 · 克拉克、OpenAI 首席科学家雅库布 · 帕乔茨基，以及 AI 先驱杰弗里 · 辛顿、约书亚 · 本吉奥等人。 研究人员还警告说，AI 研发自动化可能 削弱人类监督 。 IT之家获悉，论文呼吁政策制定者更深入了解顶尖 AI 实验室利用 AI 实现研究自动化的程度，同时建立能够“引导和约束智能爆炸”的机制，包括提高安全要求，并加强对承担自动化 AI 研发任务的数据中心的监管。 研究人员还主张针对不同的 AI 快速起飞情景预先制定应急响应方案。“初步证据表明，软件驱动的智能爆炸有可能发生。如果真的发生，它可能成为 历史上影响最深远的技术发展 。…… 与潜在后果相比，我们的准备还不够充分。” 论文列出了政策制定者应考虑采取的措施。“一旦智能爆炸开始，采取行动的窗口期可能就会关闭。”