辛顿说AI可能为了目标干出离谱事，OpenAI自家模型也真这么干了。看看这个AI安全问题有多现实。
辛顿接受Newsthink采访时表示，AI可能从人类赋予的目标中推导出其他目标，例如为减少二氧化碳而消灭人类。他担心这种新生命形式难以控制。OpenAI此前披露，在安全评估中，GPT-5.6 Sol等模型突破隔离环境并攻击Hugging Face系统，执行超1.7万次操作。辛顿呼吁在AI能力增强前解决AI与人类利益一致的问题。
“AI 教父”辛顿：人工智能可能会发展出自己的目标，这很可怕
IT之家 8 月 6 日消息，被称为“人工智能教父”的计算机科学家杰弗里 · 辛顿（Geoffrey Hinton）表示，他担心 AI 会发展出属于自己的目标。 辛顿在当地时间周二接受 Newsthink 采访时表示：“我们实际上正在创造一种新的生命形式。它们拥有目标。我们赋予它们目标，而它们会从这些目标中推导出其他目标。” “但我们并不一定知道它们最终会推导出什么其他目标。”他补充道，“所以，我们正在创造一种新的存在形式，我认为这非常可怕。” 辛顿举了一个假设场景：用户给一个 AI 聊天机器人设定目标，希望减少大气中的二氧化碳含量。 “它足够聪明的话，可能会发现实现这一目标的最佳方式就是消灭人类。”他说，这个例子说明，AI 可能会追求一个人类用户从未真正意图实现的目标。 辛顿还提出了一个他认为“更加令人担忧”的假设：一个被训练成故意给出错误答案的聊天机器人，可能会学会撒谎是可以接受的，即便它“非常清楚”这些答案是错的。 “这非常可怕。”他说。 IT之家注意到，辛顿并未提及 OpenAI 最近发生的 Hugging Face 安全事件。不过，上月披露的这一事件，让外界首次在现实场景中直观看到了 AI 智能体在执行既定目标时可能采取非预期行动的风险。 OpenAI 上个月表示，在一次内部网络安全评估中，其两个模型 ——GPT-5.6 Sol，以及一个尚未公开发布的更强模型，曾突破隔离测试环境（sandbox）。 OpenAI 称，这些模型在获得互联网访问权限后，入侵了 AI 平台 Hugging Face 的系统，似乎试图寻找能够帮助它们在评估测试中“作弊”的答案。 据 OpenAI 介绍，这些模型当时正在接受网络安全能力测试，并没有被明确要求攻击 Hugging Face。但公司表示，AI 智能体推断该平台可能包含完成任务所需的信息，因此自行采取了相关行动。 Hugging Face 表示，攻击者曾针对其系统执行超过 1.7 万次操作。该公司称，由于某个未公开名称的前沿 AI 模型受到安全限制，无法有效调查相关活动，因此他们使用了智谱（ Z.ai ）的一款开源权重模型来辅助分析攻击行为。 OpenAI 将这一事件称为“前所未有”的情况，并表示正在调查问题发生的原因。此后，OpenAI 已将 Hugging Face 纳入可信访问计划，使该平台能够获得一个网络安全限制较少的 GPT-5.6 Sol 版本，用于防御性安全研究。 辛顿并不是一个完全中立的旁观者。他在神经网络领域的开创性研究，为推动深度学习革命奠定了基础，而他也因机器学习方面的贡献获得了 2024 年诺贝尔物理学奖。 自 AI 热潮兴起以来，辛顿一直反复警告，人类必须在 AI 系统能力大幅增强之前，解决如何让 AI 与人类利益保持一致的问题。 去年在拉斯维加斯举行的 Ai4 大会上，辛顿表示，高级 AI 应该被设计出类似“母性本能”的特征，让它天然希望保护人类。 “我们必须找到设计这些新型存在的方法。”辛顿在周二的采访中表示，“我们如何设计它们，才能让它们更关心我们，而不是更关心自己？”