精选理由
这篇论文告诉你怎样用 LOCOS 找出模型里真正干活的注意力头，在长上下文检索任务上效果拔群，比旧方法准很多。
论文提出 LOCOS（Logit-Contribution Scoring），一种写感知的注意力头检测方法。在 Qwen3、Gemma-3、OLMo-3.1 三个模型家族上，平均消融 LOCOS 选出的 top 头后，在 NoLiMa 非字面检索基准上 ROUGE-L 下降比之前基于注意力的检测方法更快。以 Qwen3-8B 为例，消融 50 个头使 ROUGE-L 从 0.401 降至 0.000，而最强基线仍保留 0.292。同一消融在 MuSiQue 上从 0.55 降至 0.08，在 BABI-Long 上从 0.62 降至 0.20，而随机头消融偏差在 0.05 以内。所选头是检索专用的，参数回忆和算术推理保持在基线水平。
AI 翻译 · 中文
论文提出 LOCOS（Logit-Contribution Scoring），一种写感知的注意力头检测方法。在 Qwen3、Gemma-3、OLMo-3.1 三个模型家族上，平均消融 LOCOS 选出的 top 头后，在 NoLiMa 非字面检索基准上 ROUGE-L 下降比之前基于注意力的检测方法更快。以 Qwen3-8B 为例，消融 50 个头使 ROUGE-L 从 0.401 降至 0.000，而最强基线仍保留 0.292。同一消融在 MuSiQue 上从 0.55 降至 0.08，在 BABI-Long 上从 0.62 降至 0.20，而随机头消融偏差在 0.05 以内。所选头是检索专用的，参数回忆和算术推理保持在基线水平。
In long-context use, large language models frequently synthesize answers from the meaning of a relevant context span rather than literally copy-pasting them. Identifying which attention heads perform this synthesis matte…