行业多源确认
Chamath 解释推理两阶段：prefill 吃算力，decode 吃显存带宽
精选理由
Chamath 用两句话讲清了推理时 prefill 和 decode 的区别，想搞懂为什么 Nvidia 在长上下文里占优的可以看看。
Chamath 把 LLM 推理拆成 prefill 和 decode 两个阶段来谈。Prefill 是计算受限，靠大规模并行 GPU 加速，上下文越长越利好 Nvidia。Decode 则是显存带宽受限，因为每生成一个 token 都要扫描已有内容。
原文 · rohanpaul_ai
Chamath on all important “prefill” and “decode.” in AI compute. Prefill is compute-bound; massive parallel GPUs win, so Nvidia dominates as context grows. Decode is memory-bandwidth bound as each next token depends on scanning what’s already generated https://t.co/8ev1DXSeTk
