上下文窗口 Context Window
上下文窗口是模型单次调用能处理的最大 token 数,决定了它一次能「看见」多少输入与历史。
主流模型从早期的 4K 扩到 128K、1M 甚至更长。长上下文让整库代码、长文档直接进模型成为可能,但注意力在超长输入上仍会稀释(lost in the middle),检索与缓存策略依然重要;prompt 缓存可大幅降低长上下文的重复成本。
相关词条
上下文窗口是模型单次调用能处理的最大 token 数,决定了它一次能「看见」多少输入与历史。
主流模型从早期的 4K 扩到 128K、1M 甚至更长。长上下文让整库代码、长文档直接进模型成为可能,但注意力在超长输入上仍会稀释(lost in the middle),检索与缓存策略依然重要;prompt 缓存可大幅降低长上下文的重复成本。