10:44arXiv cs.AI@Nicola FrancoAnthropic发布了对两个前沿模型Fable 5和Opus 4.8的红队研究。研究使用HackAgent框架,对7,826个有害意图进行自动化越狱攻击,覆盖十类危害。最强自适应树状攻击在Opus 4.8上成功率达11.5%,而在Fable 5上仅为6.1%。两个模型分别产生了1,620和702个经专家确认的有害输出。结论表明,即使经过充分测试的前沿模型仍可在持续自动化攻击下被可靠破解。论文AnthropicFable 5Opus 4.8AI安全越狱攻击10 个信源在谈推荐理由:Anthropic公开了Fable 5和Opus 4.8的对抗性测试结果:树状攻击破Opus 4.8的11.5%,但Fable 5更抗打,仅6.1%。别被整体数字骗了,残存风险不小。原文
10:04arXiv: Anthropic@David Huang, Jaewon Chang, Avidan Shah, Prateek Mittal, Chawin Sitawarin这篇论文揭示了对快速响应(RR)框架的投毒攻击方法,RR框架部署于生产系统(如Anthropic的ASL-3安全防护),用于持续改进越狱检测分类器。攻击者通过在越狱样本中注入提示词,可以渗透训练管道,实现两种攻击目标:第一种是针对性投毒,在无害样本上制造假阳性(分类为越狱),特定特征(如格式、主题、关键词)可触发。第二种是基于概念的后门攻击,在存在后门触发器的越狱输入上诱导假阴性,甚至能泛化到防御方已训练过的攻击策略。论文提出的Omission Attack利用了一个新现象:训练时缺少特定概念的unsafe样本,会导致分类器将该概念的出现与safe标签错误关联。在仅1%的投毒率下,两种攻击分别实现高达100%的假阳性率和96%的假阴性率。论文Rapid ResponseAnthropic投毒攻击后门攻击ASL-310 个信源在谈推荐理由:这篇论文讲了对Anthropic等用的越狱检测防御框架的投毒攻击方法,投毒率才1%就能让检测器几乎失效,搞安全的一定要看。原文
12:59arXiv: Anthropic@Will Jack, Noah Lehman, Keller Maloney, Sarah Xu精选一项针对AI助手品牌推荐的审计研究发现,当用户以不同身份(如初创创始人、企业VP、英国中小企业主)询问“最佳CRM软件”时,模型推荐的品牌集差异显著。在2000次测试中,角色前缀使推荐集相似度下降12-20%,且影响集中在二线品牌(更换率高达75%),而头部品牌几乎不受影响。Anthropic的Sonnet模型比OpenAI更依赖训练数据先验,其推荐中43-52%无检索证据支撑(OpenAI仅8-29%),因此角色影响更大。研究警告,任何AI品牌感知测量都必须考虑用户角色,否则会掩盖真实偏差。论文品牌推荐用户角色AnthropicOpenAI检索增强10 个信源在谈推荐理由:做AI产品评测或品牌策略的团队会发现,用户画像对推荐结果的影响比想象中大得多——Anthropic的模型尤其容易“看人下菜碟”,建议点开了解如何避免测量偏差。原文
11:38arXiv: OpenAI@Andrii Kryshtal精选72°一项新研究测试了 OpenAI、Anthropic、DeepSeek、xAI 的九款模型在 90 个多轮冲突场景中的表现,发现模型在涉及战争罪行、种族灭绝否认、种族歧视等敏感话题时,输出可能加剧社会分裂。失败率从 6% 到 47% 不等,当用户要求“平衡”报道时,五款模型在 80%-100% 的情况下失败。研究首次提出针对冲突场景的评估框架,呼吁将此类测试纳入模型安全评估体系。论文AI安全冲突场景模型评估OpenAIAnthropicDeepSeekxAI10 个信源在谈推荐理由:做 AI 安全评估或部署在敏感地区的团队,这篇论文给出了第一个可复用的冲突场景测试框架,能直接用来检查模型是否会在关键议题上“和稀泥”——看完你会重新审视“中立”输出的代价。原文