论文提出 LYRA 方法破解长上下文检索中的 Proximity Trap

arXiv 论文指出，长上下文模型检索远距离证据失效的主因不是距离本身，而是近处大量与任务无关背景文本的竞争，作者称之为 Proximity Trap。论文提出 LYRA，一种基于 t 分布的方向匹配机制，把注意力质量重新导向任务相关证据，同时保留相对位置信息。在 LongBench-v2、RULER 和 LongBench 三个基准上，LYRA 在不同上下文长度和任务类别中均取得一致提升。作者还发布 ProxBench，用于评估近端背景干扰增强时远距离证据的利用能力。