RULER 是由 NVIDIA 提出的长上下文能力基准测试,通过检索、多跳推理、聚合和问答等合成任务,衡量大语言模型在超长输入下的真实有效上下文长度,而非仅看厂商标称的窗口大小。由于官方榜单成绩常与实际表现脱节,RULER 已成为评估长上下文模型和 KV 缓存压缩技术时最常被引用的基准之一。
RULER 近期进展
近期围绕 RULER 的讨论主要集中在长上下文与 KV 缓存压缩方向:
当前焦点与观察点
目前围绕 RULER 的争议主要有两点。其一是基准本身的有效性:RULER 采用合成任务,有研究指出这类任务可能掩盖真实长文本检索中的 proximity 偏差,即模型倾向于检索离查询位置更近的内容,LYRA 等工作正是对这一盲区的回应。其二是压缩方法的成绩可比性:不同论文在 32 倍压缩、75% 保留率等不同设置下报告 RULER 分数,缺乏统一评测协议,横向对比存在困难。
值得关注的观察点包括:小米 MiMo-V3 采用的 HySparse2 稀疏注意力架构面向长程多轮 Agent 推理优化,其 RULER 表现尚未公布;TTR-Compressor 等测试时压缩路线能否在高压缩率下维持稳定分数;以及当 Fern 0.1 这类千万 token 窗口模型出现后,RULER 现有任务长度上限是否需要随之扩展。总体来看,RULER 的地位短期不会动摇,但围绕它的评测方法论正在快速演进。