10:08arXiv cs.AI@Yanchen Yin, Dongqi Han, Linghui Li该研究揭示越狱攻击并非消除所有安全特征,而是选择性抑制早期层的Adversarially Compromised Heads (ACHs),而中间层的Safety-Aligned Heads (SAHs)保持鲁棒激活。消融实验表明,抑制少量ACHs即可在正常拒绝的输入上诱发出越狱行为,而移除SAHs会显著削弱中间层的安全激活。此外,通过直接读取这些持久激活信号(无需训练)即可获得与强对抗鲁棒性相当的聚合检测性能。论文越狱攻击注意力头LLM安全对抗鲁棒性鲁棒有害特征推荐理由:这篇论文用注意力头机制解释了越狱攻击无法完全消除安全特征,还提出一种无需训练的检测方法,效果不输传统对抗训练。原文
11:13arXiv cs.LG@Rohit Gandikota, David Bau精选论文发现视觉语言模型的LM骨干中存在一组称为gaze heads的注意力头,其注意力会追踪模型当前描述的图像区域。通过仅对top-100个gaze heads(少于全部9%)进行注意力掩码干预,能以83.1%的准确率引导模型描述指定的漫画面板,而随机干预无效。该干预同样适用于自然COCO图像,且机制在2B到32B参数规模及多种VLM架构中复现。该工作展示了通过机制分析实现无需重训的推理时多模态行为操控。论文VLMGaze Heads注意力头多模态模型可解释性推荐理由:操控VLM输出,像翻漫画一样准原文
10:39arXiv cs.AI@Yongzhong Xu精选这篇论文提出了一种通过共激活统计聚类注意力头、再用因果消融验证电路的方法。在Pythia 1B和OLMo 1B两个密集模型上,聚类发现的社区通过了消融测试,表明共激活信号能有效识别电路。但在混合专家模型OLMoE-1B-7B中,路由条件聚类虽能恢复统计信号,但消融后反而改善损失,说明信号无效。作者强调,共激活只是电路提案,消融才是确认电路的关键。研究揭示了注意力头选择性和参与度在训练过程中与功能解耦的现象。论文注意力头电路发现共激活因果消融可解释性推荐理由:做模型可解释性研究的团队会感兴趣——这篇论文把共激活聚类和因果消融结合起来,给出了一个验证注意力头电路的实用方法,建议做电路分析的开发者试试这个闭环流程。原文