英伟达解析 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍

英伟达 11 月 5 日发布技术解读，称大模型参数、上下文长度和智能体应用让 GPU 显存承压，HBM 供应趋紧。其方案是全栈协同设计：NVFP4 低精度格式压缩权重和 KV 缓存，NVL72 系统将权重分散至最多 72 颗 GPU，Vera CPU 的 LPDDR 内存缓冲暂停上下文，Dynamo 软件把不活跃上下文迁至 CMX 存储。援引 SemiAnalysis AgentX 基准，Vera Rubin NVL72 在每用户每秒 125 token 条件下，相较 GB300 NVL72 每美元智能体吞吐量最高提升 30 倍，而每 GPU 的 HBM 容量仅增加约 3%。