SGLang × Qwen × NVIDIA 三方合作：用 NVFP4 KV Cache 突破长上下文与 Agentic 推理瓶颈

SGLang、Qwen与NVIDIA合作，将Blackwell架构的NVFP4格式应用于KV Cache，实现4-bit精度下保持推理性能。测试显示，Qwen3.5-397B-A17B大模型在NVFP4下几乎无精度损失，而Qwen3.8-27B在SWE-bench Verified上下降1.6个百分点。在RTX PRO 6000 Blackwell上，NVFP4的decode吞吐量提升26-78%，上下文越长收益越大，1M token时提升近80%。AgentX基准测试表明，并发超过12后，NVFP4相比FP8吞吐量持续上升，缓存命中率显著提高。