1M token 指大语言模型一次可处理约一百万个 token 的超长上下文能力,大致对应数十万字的中文文本或整个中型代码库,是当前大模型竞争中最受关注的技术指标之一。随着长上下文从营销卖点走向编程代理、文档分析等实际场景,能否稳定支持 1M token 已成为衡量模型与推理框架成熟度的标尺。
1M token 近期进展
1M token 的当前焦点与观察点
其一,竞争重心正从输入长度转向输出长度与实际质量。输入侧做到百万级已不罕见,Gemini 4 Argon 主打 1M token 输出说明厂商开始比拼生成侧的极限。其二,工程可用性成为分水岭——超长上下文常伴随"lost in the middle"等注意力衰减问题,vLLM 等推理框架的跟进正是为了解决长上下文在真实部署中的吞吐与成本问题。其三,应用形态随之改变,编程代理需要一次读入整个仓库,这类场景正在定义 1M token 的真正价值。后续值得观察的是超长上下文的定价变化,以及各家模型在长文本召回准确率上的公开评测结果。