Anthropic 调整 Claude Fable 5 降智措施,社区反对后改可见

遭社区强烈反对后,Anthropic 调整 Claude Fable 5 面向研究员的“降智”措施

精选理由

Anthropic 的暗中降智政策触及了 AI 研究社区的底线——做前沿模型开发或依赖 Claude 的团队,需要了解这次调整如何影响你的工作流,建议点开看看具体变化。

AI 摘要

Anthropic 在发布 Claude Fable 5 后,原本计划对试图用该模型训练竞争性 AI 的研究人员暗中降低模型性能,引发 AI 研究社区强烈反对。Anthropic 随后道歉并调整政策,将安全防护措施改为对用户可见,明确提醒用户系统将拒绝请求或转至较弱模型。批评者认为,暗中降智行为越界,可能导致先进 AI 研究被少数头部实验室垄断。Claude 智能体已成为许多开发者的常用工具,开源 AI 项目也依赖它。

原文 · IT之家

遭社区强烈反对后,Anthropic 调整 Claude Fable 5 面向研究员的“降智”措施

IT之家 6 月 11 日消息,此前,Anthropic 被曝会在用户不知情的情况下, 限制竞争对手使用新模型 Claude Fable 5 开发其他 AI 模型 。AI 研究社区强烈反对后,Anthropic 决定做出点改变。 Anthropic 在给《连线》的声明中致歉称:“我们正在调整 Fable 5 面向前沿模型开发的安全防护措施,让这些措施对用户可见。 我们作出了错误权衡,也为没有拿捏好平衡而道歉 。” Anthropic 本周早些时候发布 Claude Fable 5。作为最新模型,Claude Fable 5 加入了额外护栏,用于防止滥用。用户如果询问 网络安全、生物学或化学问题 ,系统会把请求转交给 能力较弱的 AI 模型 ,以降低先进 AI 被用于网络攻击或生物武器制造的风险。 但面对使用 Claude Fable 5 从事前沿 AI 开发的研究人员,Anthropic 原本准备采用另一套更隐蔽的做法:在用户不知情的情况下, 故意降低模型表现 。换言之,研究人员如果试图用 Claude 训练竞争性 AI 模型,Claude Fable 5 可能会 暗中“拖后腿” 。 据IT之家了解,Anthropic 的服务条款明确禁止使用 Claude 训练竞争性 AI 模型。 官方最新给出的措施是,Claude Fable 5 面向 AI 开发的安全防护措施会 改为对用户可见 。如果 Anthropic 怀疑用户试图使用 Claude 构建高能力 AI, Anthropic 会明确提醒用户系统将拒绝请求 ,或将用户转到能力较弱的模型。 Anthropic 是在 AI 研究社区强烈反对后撤回该政策的。据IT之家了解,此前,其已限制竞争对手 使用 Claude 构建闭源和开源 AI 模型 ,但批评者认为,面向特定用户悄悄降低模型性能 已经越过界线 。 当前,Claude 智能体已经成为许多开发者喜爱的工具,开源 AI 研究项目也在使用 Claude。多名研究人员告诉《连线》,如果 Anthropic 最新政策落地,先进 AI 研究未来 可能被少数头部 AI 实验室垄断 。