Event ·Multi-source

NVIDIA 提出自适应 Megakernel 方案,Nemotron 3.5 Transcribe 推理吞吐最高达 6367 倍实时

NVIDIA 发布面向 Nemotron 3.5 Transcribe(Hugging Face Open ASR 开源模型榜第一)的高吞吐推理引擎。在 H100 SXM GPU 上,精度无损的推理吞吐峰值达 4,345 倍实时,为调优后 vLLM 峰值的 1.39 倍;B200 上峰值达 6,367 倍实时,在最高并发下为 vLLM 的 1.64 倍,WER 保持在 1.91-1.93%,与 vLLM 的 1.88-1.93% 基本持平。 技术上,连续批处理会在每次迭代改变工作负载的规模与构成,单一融合粒度无法一直最优。该引擎针对每个 pass 在离线测得的交叉点处选择持久化 megakernel 或融合 kernel 链:128 并发时比始终用 megakernel 高 23% 吞吐,8 并发时比始终用融合 kernel 高 9%;在 400 ms p95 端到端时延预算内可服务的并发请求数是 vLLM 的 8 倍。B200 上还可开启贪心 MoE 层跳过,对离线任务额外提升 13-16% 吞吐,代价是 WER 略升。 对部署语音转写服务的企业与推理工程师,这套 per-pass 切换思路可直接迁移到其他生成式模型的 serving 优化。

Current read

NVIDIA 给自家 Nemotron 3.5 Transcribe 换了个自适应推理引擎,每个 pass 自动在 megakernel 和融合 kernel 之间切换,B200 上跑到 6367 倍实时,比 vLLM 快 64%。做语音转写或推理优化的人都该看看这套 per-pass 切换的思路。

11 sources47° AI heatLast updated 2026/11/15 16:14:14

Evidence

11 sources
Primary sourcearXiv cs.LG
View source
Related source 1NVIDIA AI
View source
Related source 2Artificial Analysis
View source
Related source 3Jerry Liu
View source
Related source 5Tech in Asia
View source
Related source 8Detik Inet
View source
Related source 9LMSYS Org (SGLang)
View source
Related source 10SambaNova
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.