long-context（长上下文）指大语言模型在单次输入中处理超长文本序列的能力，涵盖数十万甚至上百万 token 的文档理解、代码库分析和多轮对话等场景，是当前大模型能力竞争的核心维度之一。随着上下文窗口不断拉大，研究重心已从“能否装下”转向“能否用好”，即长文本中的推理质量、信息定位精度和推理成本控制。
long-context 近期进展
当前焦点与观察点
当前 long-context 领域的讨论主要围绕三个问题展开。其一是有效性：窗口长度本身不再稀缺，模型能否真正利用中间位置的信息、避免“大海捞针”式的定位失败，仍是评测和架构研究的重点。其二是成本：超长上下文带来的 KV 缓存与算力开销促使稀疏注意力、缓存分层和投机解码等优化技术快速发展，微软自研芯片向多模态与更大规模扩展的消息也反映出硬件层面对长序列负载的适配需求。其三是训练范式：从零数据推理增强、组校准蒸馏到后训练方法普及化的趋势表明，提升长上下文能力正变得越来越不依赖大规模长文本标注。接下来的观察点在于，记忆与上下文管理类方法能否在真实多轮任务中稳定超越“纯长窗口”基线，以及统一的长上下文评测基准能否形成行业共识。