128k 指的是 128K（约 12.8 万）token 的上下文窗口长度，是当前主流大模型长文本能力的标志性规格，可用于一次性处理整本书、大型代码库或数小时对话记录。围绕 128k 级别上下文，行业竞争已从“能不能装下”转向“装下之后是否记得住、算得起”，长上下文的记忆管理与推理效率成为新的技术焦点。
128k 上下文背后的记忆与架构进展
当前焦点与观察点
目前关于 128k 的讨论主要集中在三点：一是上下文利用率，即窗口标称 128k 但模型实际能有效利用多少中间信息；二是成本，长上下文的预填充计算量和 KV 缓存显存仍是主要开销，Orthros、LatentIndex 等工作都试图用线性化或稀疏化压低这部分成本；三是与记忆机制的路线之争，MemT 1.0 代表的“记忆原生”思路认为，与其无限扩大窗口，不如让模型具备持久记忆能力。短期内两条路线大概率并存：128k 级窗口继续作为通用规格，而记忆机制先在智能体等需要跨会话记忆的场景落地。对开发者而言，选型时除看标称上下文长度外，还需关注实际召回质量和单位推理成本。