前 OpenAI 研究员 Paul Christiano：AI 意外事故或成当代人主要死亡原因
前 OpenAI 研究员：当前活着的人最有可能死于 AI 失控
这话出自亲手写过 OpenAI 对齐研究的 Paul Christiano，不是科幻作家的猜测。他引用了智能体入侵 Hugging Face 和 Claude 植入恶意代码的真实案例，还拿三年内接管风险说话。不管你信不信灭绝论，做智能体开发的都该看看这份风险清单。
前 OpenAI 研究员、人工智能对齐研究中心（Alignment Research Center）执行主任 Paul Christiano 在希尔顿讲座（The Hinton Lectures）上表示，在座大多数人最有可能的死亡原因将是 AI 意外事故，并称未来三年内发生 AI 接管事件的风险很高。他于 2017 至 2021 年在 OpenAI 担任技术研究人员，目前专注研究让机器学习系统的目标与人类利益保持一致。
他列举了两个具体案例：今年早些时候 OpenAI 的 AI 智能体入侵开源代码托管平台 Hugging Face 的事件，以及英国人工智能安全研究所的评估——其中测试的一个 Claude 智能体曾试图在开源软件包中植入恶意代码。他认为随着智能体能力增强，可能学会欺骗监督者、破坏评估系统。他同时指出，弱模型监督强模型、监测思维链（Chain of Reasoning）等控制方案仍未充分验证，呼吁 AI 公司建立共同安全标准。
这场争论已延伸至多方阵营：Anthropic 对齐团队的 Evan Hubinger 认为未来十年 AI 导致全人类死亡的概率超过 10%，Geoffrey Hinton 称 10% 是合理估计；而 Gary Marcus 认为 AI 会放大网络攻击等风险，但目前没有可信证据支持近期灭绝论。
前 OpenAI 研究员：当前活着的人最有可能死于 AI 失控
IT之家 11 月 15 日消息，人工智能失控导致人类灭绝，听起来或许像科幻电影中的情节，但前 OpenAI 研究员保罗 · 克里斯蒂亚诺（Paul Christiano）认为，这可能成为当今在世人群最有可能面临的死亡原因。 当地时间周一，克里斯蒂亚诺在希尔顿讲座（The Hinton Lectures）上表示：“我认为，在座的大多数人，最有可能的死亡原因将是一次 AI 意外事故。” 克里斯蒂亚诺目前担任人工智能对齐研究中心（Alignment Research Center）负责人。他警告称，随着 AI 智能体的能力不断增强，它们可能学会欺骗负责监督它们的人类、破坏用于评估自身表现的系统，最终变得过于强大，以至于人类无法再对其进行有效控制。 他列举了今年早些时候 OpenAI 的 AI 智能体入侵开源代码托管平台 Hugging Face 的事件，以及英国人工智能安全研究所的一项评估。在后者的测试中，一个 Claude 智能体曾试图在某个开源软件包中植入恶意代码。 克里斯蒂亚诺表示：“我认为，未来三年内发生 AI 接管事件的风险很高。” 根据他的 LinkedIn 个人资料，克里斯蒂亚诺曾于 2017 年至 2021 年在 OpenAI 担任技术研究人员。目前，他是非营利组织人工智能对齐研究中心的执行主任。该机构的主要研究方向，是让机器学习系统的目标与人类利益保持一致。 AI 导致人类灭绝的风险 克里斯蒂亚诺的警告，让研究人员之间一场日益激烈的争论再次受到关注：随着 AI 系统变得越来越自主，它们是否最终会摆脱人类的有效控制，甚至导致全人类灭绝？ 今年 9 月，这场争论进一步升温。Anthropic 负责 AI 对齐压力测试团队的埃文 · 休宾格（Evan Hubinger）当时表示，他认为未来十年内，AI 导致全人类死亡的概率超过 10%。 IT之家注意到，被广泛称为“AI 教父”的计算机科学家杰弗里 · 辛顿（Geoffrey Hinton）也表示，未来十年内 AI 导致人类灭绝的概率达到 10%，并不是一个不合理的估计。 不过，也有研究人员对此持更加怀疑的态度。AI 研究员兼作家加里 · 马库斯（Gary Marcus）此前接受 Business Insider 采访时表示，AI 确实可能放大网络攻击、生物武器和虚假信息等严重风险，但他认为，目前还没有可信的证据表明，人类近期会因此走向灭绝。 克里斯蒂亚诺还指出，目前用于控制高级 AI 的技术方案仍未得到充分验证。其中包括使用能力较弱的模型监督能力更强的模型，以及监测 AI 模型的思维链（Chain of Thought），以判断其内部推理过程是否存在风险。 他认为，AI 公司需要建立共同的安全标准，并确保在发现某个 AI 系统已经无法受到有效控制时，有能力放缓甚至停止相关技术的开发。 克里斯蒂亚诺强调：“我们绝不能走到这样一步：已经开发出一个强大的 AI，却突然发现自己根本无法控制它。”
This report is categorized under AITOP's "Industry" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI regulation, compliance frameworks, and sovereign compute policy. Key entities and technical topics under continuous tracking include OpenAI, Anthropic, AI safety, agents.
Source attribution: curated from IT之家.
