10:07
官方账号arXiv cs.LG@Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini
精选
推荐理由：这篇论文告诉你怎样用 LOCOS 找出模型里真正干活的注意力头，在长上下文检索任务上效果拔群，比旧方法准很多。
非字面检索
共 1 条相关 AI 资讯
7月2日
10:07
论文提出 LOCOS（Logit-Contribution Scoring），一种写感知的注意力头检测方法。在 Qwen3、Gemma-3、OLMo-3.1 三个模型家族上，平均消融 LOCOS 选出的 top 头后，在 NoLiMa 非字面检索基准上 ROUGE-L 下降比之前基于注意力的检测方法更快。以 Qwen3-8B 为例，消融 50 个头使 ROUGE-L 从 0.401 降至 0.000，而最强基线仍保留 0.292。同一消融在 MuSiQue 上从 0.55 降至 0.08，在 BABI-Long 上从 0.62 降至 0.20，而随机头消融偏差在 0.05 以内。所选头是检索专用的，参数回忆和算术推理保持在基线水平。