Primary sourcearXiv cs.LG
View sourceEvent ·Single source
Nvidia Hopper GPU 大模型推理时 GPU 利用率分析研究
这篇论文分析了在 Nvidia Hopper 架构上运行大语言模型推理时，GPU 利用率指标可能存在的不准确之处。作者使用 vLLM 和 FlashAttention-3 在 H100 上测试了不同批量和序列长度的场景，并提出了八个基于原始 Nsight Compute 报告的利用率视图，以更精确地反映 GPU 的实际工作情况。
Current read
这个研究很实用，帮你理解为什么你的大模型推理时 GPU 利用率看起来很高，但实际计算效率可能很低。作者用具体的技术（vLLM、FlashAttention-3）和硬件（H100）做了实验，结论很扎实。
2 sources44° AI heatLast updated 2026/9/11 14:49:05
Evidence
2 sourcesRelated source 1宝玉
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.