Event ·Multi-source

研究复现:RL 训练使 LLM 红队攻击多样性收窄

一项复现实验验证了强化学习在提升自动化红队攻击成功率的同时会收窄攻击多样性的现象。实验使用 Qwen2.5-14B 作为攻击方、Phi-4-mini 作为防御方,通过 DPO 训练,在 26 个 AdvBench 行为上评估,三轮独立运行的 Attack Diversity Retention(ADR)分别为 0.63、0.61 和 0.63,均低于 0.75 的多样性收窄判定阈值。 技术细节上,攻击方采用仅成功奖励、长度无偏损失、有界更新、warm-up 与 ratio clipping 等手段,共执行 24 次攻击方和 12 次防御方基于 LORA 的更新,训练在 12 轮后依据开发集 checkpoint 决策停止。第 4 轮和第 8 轮的中间检查未达标,第 12 轮三轮全部达标。 值得注意的是,尽管攻击向量收窄了约 25% 以上,攻击成功率仍随每轮更新持续提升,说明多样性与有效性在对抗训练中并非同步变化。

Current read

对做 LLM 安全的人来说这篇挺有用:它用 Qwen2.5-14B 攻 Phi-4-mini 的实战设置复现了一个此前只有 GRPO 报告过的现象,还给出了 ADR 这个可量化的指标。如果你在搭自动化红队流程,这里提供了具体训练配置,可以直接借鉴。

3 sources31° AI heatLast updated 2026/11/15 00:15:57

Evidence

3 sources
Primary sourcearXiv cs.LG
View source
Related source 2rohanpaul_ai
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

研究复现:RL 训练使 LLM 红队攻击多样性收窄 · 事件专题 | AITOP