RedHat_AI 为 NVIDIA Nemotron 3.5 Super VL 带来 FP8 与 DSpark 优化
vLLM 官方转发的好东西：RedHat_AI 把 FP8 和 DSpark 一起用到 Nemotron 3.5 Super VL 上，4× H100 实测吞吐和流式速度都涨，checkpoint 还开源了。
RedHat_AI 团队将 FP8 量化和 DSpark 应用于 NVIDIA Nemotron 3.5 Super VL，配合 LLM Compressor、Speculators 和 vLLM 完成部署。在 4× H100 上的基准测试显示，FP8 主要提升高负载下的吞吐量，DSpark 则加快单用户流式输出速度。两项优化叠加后在 HumanEval、数学推理和 RAG 工作负载上的表现均优于单独使用任一方案。两个优化后的 checkpoint 已开放下载，支持 Hopper 架构 GPU。
Great work from @RedHat_AI bringing FP8 + DSpark to NVIDIA Nemotron 3.5 Super VL with LLM Compressor, Speculators, and vLLM! Their benchmarks on 4× H100 show how the optimizations complement each other: FP8 improves throughput under load, while DSpark boosts per-user streaming speed. Together, they outperform either optimization alone across HumanEval, math reasoning, and RAG workloads. Both checkpoints are open and ready to explore on Hopper.
