AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

鲁棒有害特征

共 1 条相关 AI 资讯
6月29日
10:08
10:08官方账号arXiv cs.AI@Yanchen Yin, Dongqi Han, Linghui Li
该研究揭示越狱攻击并非消除所有安全特征,而是选择性抑制早期层的Adversarially Compromised Heads (ACHs),而中间层的Safety-Aligned Heads (SAHs)保持鲁棒激活。消融实验表明,抑制少量ACHs即可在正常拒绝的输入上诱发出越狱行为,而移除SAHs会显著削弱中间层的安全激活。此外,通过直接读取这些持久激活信号(无需训练)即可获得与强对抗鲁棒性相当的聚合检测性能。
论文越狱攻击注意力头LLM安全对抗鲁棒性鲁棒有害特征

推荐理由:这篇论文用注意力头机制解释了越狱攻击无法完全消除安全特征,还提出一种无需训练的检测方法,效果不输传统对抗训练。
原文
精选全部日报登录