长上下文模型的推理速度在训练前就已定下上限

NVIDIA在AI Model Co-Design系列中发文指出，长上下文模型的推理速度在训练前就已被架构选择决定。随着上下文窗口扩大，注意力机制在推理成本中的占比快速上升，逐渐成为主要负担。文章梳理了4个决定性能上限的架构参数：group size、head dimension、KV-cache size和并行策略。这些选择同时影响系统吞吐量和单个用户的响应速度。