长上下文指大语言模型一次性读取和推理超长文本(通常以 token 数衡量,从数十万到百万级)的能力,是当前模型竞争的核心指标之一。围绕它形成了两条路线:一是直接扩窗口,如百度、Anyscale 相继把模型推向 100 万 token;二是压成本,通过注意力结构改造、KV 缓存压缩和量化让长文本推理负担可控。
长上下文模型近期进展
当前焦点与观察点
技术争议集中在“长上下文是否真的需要那么长”。UC San Diego 的研究发现,长文本检索失败的主因是干扰内容而非长度本身(DAIR.AI);另一项研究则提出频繁压缩几乎不损失任务精度(arXiv),两者都在质疑简单堆窗口的价值。
工程侧的焦点是推理成本。EchoKV 提出用迭代查询反馈自我修正 KV 缓存淘汰(arXiv),LoopVQ 则把 Looped Transformer 的 KV Cache 压到亚 1-bit(arXiv),思路都是让百万 token 窗口在实际部署中算得起。
值得观察的是,百度开源 280B 参数、100 万 token 的模型与 Anyscale 的 1M token 基因组训练标志着窗口竞赛进入百万级常态,但学术界的压缩路线可能改变竞争维度——未来比拼的或许不是窗口上限,而是长文本下的检索准确率与单位 token 成本。