RULER

product · First seen 2026-05-24 · Last seen 2026-11-18 · 41 mentions

Overview

RULER 是由 NVIDIA 提出的长上下文能力基准测试,通过检索、多跳推理、聚合和问答等合成任务,衡量大语言模型在超长输入下的真实有效上下文长度,而非仅看厂商标称的窗口大小。由于官方榜单成绩常与实际表现脱节,RULER 已成为评估长上下文模型和 KV 缓存压缩技术时最常被引用的基准之一。

RULER 近期进展

近期围绕 RULER 的讨论主要集中在长上下文与 KV 缓存压缩方向:

  • KV 压缩成绩更新:Latent Compaction 方法用测试时训练压缩 KV cache,在 32 倍压缩率下 RULER 准确率达到 96.7%,说明高压缩与长上下文性能可以兼得(Latent Compaction:用测试时训练压缩 KV cache)。
  • 可认证的缓存淘汰:一项针对 KV-Cache 淘汰策略的研究提出按风险目标进行认证,在 Llama 上 SnapKV 认证通过 75% 保留率,为压缩方法的可靠性提供了量化依据(KV-Cache 淘汰策略可按风险目标认证)。
  • 长文本检索的新问题:LYRA 方法提出了长上下文检索中的 Proximity Trap 问题,尝试改进 RULER 类合成任务难以覆盖的检索偏差(论文提出 LYRA 方法破解长上下文检索中的 Proximity Trap)。
  • 超长窗口模型出现:Mirendil 于 2026 年 10 月 27 日发布首个模型 Fern 0.1,上下文窗口达 1000 万 token,这类超长窗口模型的真实能力预计也将被放到 RULER 等基准下检验(Mirendil 发布首个模型 Fern 0.1)。
  • 当前焦点与观察点

    目前围绕 RULER 的争议主要有两点。其一是基准本身的有效性:RULER 采用合成任务,有研究指出这类任务可能掩盖真实长文本检索中的 proximity 偏差,即模型倾向于检索离查询位置更近的内容,LYRA 等工作正是对这一盲区的回应。其二是压缩方法的成绩可比性:不同论文在 32 倍压缩、75% 保留率等不同设置下报告 RULER 分数,缺乏统一评测协议,横向对比存在困难。

    值得关注的观察点包括:小米 MiMo-V3 采用的 HySparse2 稀疏注意力架构面向长程多轮 Agent 推理优化,其 RULER 表现尚未公布;TTR-Compressor 等测试时压缩路线能否在高压缩率下维持稳定分数;以及当 Fern 0.1 这类千万 token 窗口模型出现后,RULER 现有任务长度上限是否需要随之扩展。总体来看,RULER 的地位短期不会动摇,但围绕它的评测方法论正在快速演进。

    Coverage

    10 on file