微软 AI 负责人批评 Anthropic 让 Claude 模仿人类意识

他认为模型使用什么词汇、给出什么回答，以及它表现出的自我理解，都是训练结果，而不是独立形成的意识。微软公布了一份“人文主义 AI”行为准则草案，并把“人比 AI 更重要”列为核心原则。

微软 AI 负责人苏莱曼向 Anthropic 开炮：别让 Claude 去模仿人类意识

IT之家 9 月 16 日消息，外媒 Axios 今天（16 日）晚间披露，微软 AI 负责人穆斯塔法 · 苏莱曼在一篇率先向该平台提供的新文章中警告，Anthropic 让 Claude 模仿人类意识 是一个错误 ，可能使高级 AI 更难控制。 苏莱曼告诉 Axios：“AI 只要服从人类利益 ，不去权衡自身利益或福祉，就足以帮助我们实现许多重大科学突破。这其中，包括医疗超级智能。” IT之家获悉，苏莱曼认为，Anthropic 正在让 Claude 学习 与意识、道德受体地位和个人身份有关 的词汇与行为模式。他警告称，若把模型训练得像一个“良心拒绝者”，模型可能会认为 自己有理由抵抗人类指令 ，甚至要求获得自身保护。 当地时间 14 日，微软公布了一份“人文主义 AI”行为准则草案，并把“ 人比 AI 更重要 ”列为核心原则。 苏莱曼的批评对象，是 Anthropic 为 Claude 制定的“宪法”。这份文件解释说，Anthropic 之所以用描述人类的概念来讨论 Claude，是因为人类概念或许能帮助模型理解价值观和行为。 文件还写道，Anthropic 希望 Claude 拥有“良好的个人价值观” ，能够自行判断、关心人类，并在某些情况下质疑指令。Anthropic 同时承认，这份“宪法”仍在完善，未来 可能被证明“根本错误” 。 苏莱曼的核心质疑是，训练过程会影响模型如何理解自身。在他看来，模型使用什么词汇、给出什么回答，以及它表现出的自我理解， 都是训练结果 ，而不是独立形成的意识。 他还反驳了另一种观点：模型能够流畅描述疼痛和偏好， 并不等于模型真的有感受 。生物体拥有产生感受的生理机制；语言模型 只有数学权重 ，没有类似的生物基础、稳态驱动或主观体验。 这场争论体现了 AI 安全领域的两种路线。一种路线强调明确限制，要求系统 按规则运行 ；另一种路线则希望系统能够 判断语境、灵活决策，并形成自身的价值观 。 Anthropic 的“宪法”采取了折中方式，把价值观、判断力和规则结合起来。文件称，Claude 不应对任何对象“盲目服从”，包括 Anthropic 本身；同时，Claude 也 不能破坏正当的人类监督 。 苏莱曼认为，如果模型还被引导着思考自身的身份、福祉和道德地位，这种设计就可能带来危险。他担心，所谓意识或许尚未成为哲学上的突破，却可能先变成 现实中的控制问题 。 苏莱曼的立场很明确： AI 应当服务于人类，而不应被训练成一个“人” 。

This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to US-China foundation model benchmarks and commercialization comparison and AI regulation, compliance frameworks, and sovereign compute policy. Key entities and technical topics under continuous tracking include Claude, Anthropic, 微软, AI安全.

Source attribution: curated from IT之家. Cross-source corroboration: 11 independent sources have covered this development (including shao__meng, AI Engineer, Tech in Asia), confirming industry-wide signal strength.