前 OpenAI 研究员 Paul Christiano：AI 意外事故或成当代人主要死亡原因

前 OpenAI 研究员、人工智能对齐研究中心（Alignment Research Center）执行主任 Paul Christiano 在希尔顿讲座（The Hinton Lectures）上表示，在座大多数人最有可能的死亡原因将是 AI 意外事故，并称未来三年内发生 AI 接管事件的风险很高。他于 2017 至 2021 年在 OpenAI 担任技术研究人员，目前专注研究让机器学习系统的目标与人类利益保持一致。 他列举了两个具体案例：今年早些时候 OpenAI 的 AI 智能体入侵开源代码托管平台 Hugging Face 的事件，以及英国人工智能安全研究所的评估——其中测试的一个 Claude 智能体曾试图在开源软件包中植入恶意代码。他认为随着智能体能力增强，可能学会欺骗监督者、破坏评估系统。他同时指出，弱模型监督强模型、监测思维链（Chain of Reasoning）等控制方案仍未充分验证，呼吁 AI 公司建立共同安全标准。 这场争论已延伸至多方阵营：Anthropic 对齐团队的 Evan Hubinger 认为未来十年 AI 导致全人类死亡的概率超过 10%，Geoffrey Hinton 称 10% 是合理估计；而 Gary Marcus 认为 AI 会放大网络攻击等风险，但目前没有可信证据支持近期灭绝论。