Chamath 详解 AI 计算中的 Prefill 与 Decode

Chamath 在 X 上解释了 AI 推理中的两个关键阶段：Prefill 和 Decode。Prefill 阶段是计算密集型，需要大规模并行 GPU，因此随着上下文增长，Nvidia 占据主导。Decode 阶段则受内存带宽限制，因为每个新 token 的生成都依赖于扫描已生成的内容。这一区分揭示了 AI 计算瓶颈的本质，对理解 GPU 架构和推理优化至关重要。