#decode

1 stories · 0 in 7 days · 0 in 30 days

Nvidia 1 prefill 1 推理优化 1

Stories, products and papers tagged "decode", newest first.

Sep 28

IndustryMulti-source13:52

Chinese contentChamath 解释推理两阶段：prefill 吃算力，decode 吃显存带宽

Chamath 用两句话讲清了推理时 prefill 和 decode 的区别，想搞懂为什么 Nvidia 在长上下文里占优的可以看看。

#Nvidia #prefill #decode #推理优化

rohanpaul_ai@rohanpaul_aiSource