Prefill

general · First seen 2026-05-25 · Last seen 2026-11-17 · 173 mentions

Overview

Prefill 指大语言模型推理流程中处理输入提示、生成首个 token 之前的计算阶段,负责一次性并行处理整个上下文,其耗时直接决定首 token 延迟与长文本、智能体场景的体验。随着上下文长度和 Agent 应用增长,prefill 已成为与解码同等重要的优化对象,围绕它的注意力内核、缓存与调度创新近期明显增多。

Prefill 与推理内核的近期进展

  • DeepSeek V4.1 Flash 在 GB300 NVL72 上推理速度提升至 1.5 倍:DeepSeek V4.1 Flash 在 NVIDIA GB300 NVL72 上获得 1.5 倍推理加速,表明厂商正通过软硬件协同同时压缩 prefill 与解码延迟。
  • Zyphra 发布 ZYFA:AMD MI355X 上的 FP8 FlashAttention 内核:Zyphra 推出的 ZYFA 将 FP8 精度引入 FlashAttention 内核,在 AMD MI355X 上兼顾速度与精度,为非 NVIDIA 平台的注意力计算提供新选择。
  • RidgeFill:免训练的后期层缓存填充方法加速长文本 prefill:DeepSeek 相关团队提出 RidgeFill,通过免训练的后期层缓存填充加速长文本 prefill,无需改动模型权重即可降低长上下文首 token 延迟。
  • 阿里云 Tair 团队与 SGLang 社区共推 Agentic Cache 调度路线图:阿里云 Tair 与 SGLang 社区围绕 Agentic 场景的缓存调度制定路线图,重点解决多轮对话与智能体工作流中 prefill 缓存复用和 KV 存储调度问题。
  • 当前焦点与观察点

    Prefill 优化目前呈现三条主线。其一是内核层加速,FP8 FlashAttention(如 ZYFA)和 GPU 级系统调优正在把注意力计算推向更低精度、更高吞吐;其二是算法层削减,RidgeFill 等免训练缓存填充与 Visual Token Routing(arXiv:2611.06854)这类 token 裁剪方法,试图在不牺牲质量的前提下减少 prefill 实际计算量;其三是系统层调度,以 SGLang 生态的 Agentic Cache 路线图为代表,关注前缀缓存命中率和多请求间的 KV 复用。

    值得观察的争议点在于:激进压缩 prefill(token 路由、缓存填充)可能在长上下文任务上引入质量回退,速度与准确率的权衡尚缺统一基准;同时 MoE 架构(如 ISER-MoE,arXiv:2611.09008)带来的专家路由开销,使 prefill 与解码的性能瓶颈进一步分化。智能体多轮长上下文场景将成为检验这些 prefill 优化方案是否真正落地的关键战场。

    Coverage

    10 on file