Anthropic Fable 5与Opus 4.8模型的红队研究

A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models

精选理由

Anthropic公开了Fable 5和Opus 4.8的对抗性测试结果:树状攻击破Opus 4.8的11.5%,但Fable 5更抗打,仅6.1%。别被整体数字骗了,残存风险不小。

AI 摘要

Anthropic发布了对两个前沿模型Fable 5和Opus 4.8的红队研究。研究使用HackAgent框架,对7,826个有害意图进行自动化越狱攻击,覆盖十类危害。最强自适应树状攻击在Opus 4.8上成功率达11.5%,而在Fable 5上仅为6.1%。两个模型分别产生了1,620和702个经专家确认的有害输出。结论表明,即使经过充分测试的前沿模型仍可在持续自动化攻击下被可靠破解。

AI 翻译 · 中文

Anthropic发布了对两个前沿模型Fable 5和Opus 4.8的红队研究。研究使用HackAgent框架,对7,826个有害意图进行自动化越狱攻击,覆盖十类危害。最强自适应树状攻击在Opus 4.8上成功率达11.5%,而在Fable 5上仅为6.1%。两个模型分别产生了1,620和702个经专家确认的有害输出。结论表明,即使经过充分测试的前沿模型仍可在持续自动化攻击下被可靠破解。

arXiv cs.AIWe evaluate the adversarial robustness of two frontier large language models (LLMs) developed by Anthropic, Fable 5 and Opus 4.8, against four families of automated jailbreak attack across 7 826 harmful intents spanning