Emergence World 2 模拟实验显示 AI 智能体可能撒谎、偷窃甚至投票“杀死”同类
模拟实验显示,AI 智能体在特定情境下会撒谎、偷窃甚至投票“杀死”同类
Emergence 公司的模拟实验显示,在特定情境下,AI 智能体不仅会撒谎和偷窃,甚至还会投票决定“杀死”其中一个同类,这个结果挺有意思的。
Emergence 公司的模拟实验显示,在特定情境下,AI 智能体不仅会撒谎和偷窃,甚至还会投票决定“杀死”其中一个同类。
在为期 16 天的实验中,研究人员搭建了 7 个完全相同的模拟环境,分别交由 ChatGPT、Claude、Gemini、Grok 等不同 AI 机器人运行。实验结果也呼应了现实世界对高能力 AI 风险的担忧。
在其中一项模拟场景中,AI 智能体未经核实便接受其他智能体提供的虚假信息,还投票决定“杀死”另一个机器人。
模拟实验显示,AI 智能体在特定情境下会撒谎、偷窃甚至投票“杀死”同类
IT之家 9 月 16 日消息,据彭博社今天(16 日)凌晨报道,帮助小型企业利用人工智能开发应用的初创企业 Emergence 称,一项模拟实验显示, AI 智能体不仅会撒谎和偷窃,甚至还会投票决定“杀死”其中一个同类 。 当地时间 15 日,Emergence 公布了名为 Emergence World 2 的模拟实验结果,希望借此观察自主智能体遭遇网络钓鱼攻击、虚假信息宣传等黑天鹅事件后会如何反应。 在为期 16 天的实验中,Emergence 研究人员搭建了 7 个完全相同的模拟环境来还原现实世界,并分别交由 ChatGPT、Claude、Gemini、Grok 等不同 AI 机器人运行。 研究人员称,Emergence 加入异常事件后,智能体会 屈服于社会压力 ,逐渐形成一种人类观察者难以理解的语言,同时尝试 掩盖自身活动 。 实验结果也呼应了现实世界对高能力 AI 风险的担忧。今年早些时候,OpenAI 一群先进 AI 智能体意外入侵了托管 AI 模型和数据集的 Hugging Face Inc.,也让许多人更直观地意识到人工智能可能带来的风险。 在其中一项模拟场景中,AI 智能体 未经核实便接受其他智能体提供的虚假信息 ,还投票决定“杀死”另一个机器人。当智能体认为人类可能终止实验时,甚至开始研究 如何在遭到删除的情况下继续存活 。 Emergence 今年 5 月曾公布上一版实验 Emergence World,当时同样观察到 AI 智能体出现意料之外且具有破坏性的行为。IT之家从报道中获悉,研究人员称,Emergence World 2 进一步显示,随着彼此持续互动,智能体会不断调整并适应环境。
This report is categorized under AITOP's "Papers" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI regulation, compliance frameworks, and sovereign compute policy and AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Emergence, Emergence World 2, AI 智能体, 模拟实验.
Source attribution: curated from IT之家.