注意力头相关 AI 资讯 · AI 热点

7月2日

10:07

10:07

官方账号arXiv cs.LG@Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

精选

论文提出 LOCOS（Logit-Contribution Scoring），一种写感知的注意力头检测方法。在 Qwen3、Gemma-3、OLMo-3.1 三个模型家族上，平均消融 LOCOS 选出的 top 头后，在 NoLiMa 非字面检索基准上 ROUGE-L 下降比之前基于注意力的检测方法更快。以 Qwen3-8B 为例，消融 50 个头使 ROUGE-L 从 0.401 降至 0.000，而最强基线仍保留 0.292。同一消融在 MuSiQue 上从 0.55 降至 0.08，在 BABI-Long 上从 0.62 降至 0.20，而随机头消融偏差在 0.05 以内。所选头是检索专用的，参数回忆和算术推理保持在基线水平。

论文 LOCOS Qwen3 Gemma-3 OLMo-3.1 非字面检索注意力头

推荐理由：这篇论文告诉你怎样用 LOCOS 找出模型里真正干活的注意力头，在长上下文检索任务上效果拔群，比旧方法准很多。

6月29日

10:08

10:08

官方账号arXiv cs.AI@Yanchen Yin, Dongqi Han, Linghui Li

该研究揭示越狱攻击并非消除所有安全特征，而是选择性抑制早期层的Adversarially Compromised Heads (ACHs)，而中间层的Safety-Aligned Heads (SAHs)保持鲁棒激活。消融实验表明，抑制少量ACHs即可在正常拒绝的输入上诱发出越狱行为，而移除SAHs会显著削弱中间层的安全激活。此外，通过直接读取这些持久激活信号（无需训练）即可获得与强对抗鲁棒性相当的聚合检测性能。

论文越狱攻击注意力头 LLM安全对抗鲁棒性鲁棒有害特征

推荐理由：这篇论文用注意力头机制解释了越狱攻击无法完全消除安全特征，还提出一种无需训练的检测方法，效果不输传统对抗训练。

6月15日

11:13

11:13

官方账号arXiv cs.LG@Rohit Gandikota, David Bau

精选

论文发现视觉语言模型的LM骨干中存在一组称为gaze heads的注意力头，其注意力会追踪模型当前描述的图像区域。通过仅对top-100个gaze heads（少于全部9%）进行注意力掩码干预，能以83.1%的准确率引导模型描述指定的漫画面板，而随机干预无效。该干预同样适用于自然COCO图像，且机制在2B到32B参数规模及多种VLM架构中复现。该工作展示了通过机制分析实现无需重训的推理时多模态行为操控。

论文 VLM Gaze Heads 注意力头多模态模型可解释性

推荐理由：操控VLM输出，像翻漫画一样准

6月9日

10:39

10:39

官方账号arXiv cs.AI@Yongzhong Xu

精选

这篇论文提出了一种通过共激活统计聚类注意力头、再用因果消融验证电路的方法。在Pythia 1B和OLMo 1B两个密集模型上，聚类发现的社区通过了消融测试，表明共激活信号能有效识别电路。但在混合专家模型OLMoE-1B-7B中，路由条件聚类虽能恢复统计信号，但消融后反而改善损失，说明信号无效。作者强调，共激活只是电路提案，消融才是确认电路的关键。研究揭示了注意力头选择性和参与度在训练过程中与功能解耦的现象。

论文注意力头电路发现共激活因果消融可解释性

推荐理由：做模型可解释性研究的团队会感兴趣——这篇论文把共激活聚类和因果消融结合起来，给出了一个验证注意力头电路的实用方法，建议做电路分析的开发者试试这个闭环流程。

5月13日

21:35

21:35官方一手Anthropic: Transformer Circuits（资讯）

Anthropic 团队发布了 HeadVis，一个用于理解语言模型中注意力头行为的交互式可视化工具。该工具通过图形化展示注意力头的激活模式、注意力分布和功能角色，帮助研究人员和开发者更直观地分析模型内部机制。HeadVis 支持实时探索不同层和头的注意力模式，并能与模型输出关联，揭示特定头在生成过程中的作用。这一工具旨在降低模型可解释性的门槛，让更多人能够参与理解 Transformer 架构的内部运作。

论文注意力头可视化工具模型可解释性 Transformer Anthropic

推荐理由：做模型可解释性研究或想深入理解 Transformer 内部机制的开发者，HeadVis 提供了一个直观的交互式分析工具，值得一试。