SGLang 推出低延迟模式，与 NVIDIA 和 AMD 合作开发

LMSYS 发布 SGLang 低延迟模式，与 NVIDIA 和 AMD 联合优化。在 SemiAnalysis 的 AgentX trace 回放中，DeepSeek-V4.1-Flash 配 DSpark 在 NVIDIA GB300 上 P90 单用户 token 速度提升 1.38 倍（671 到 928 tok/s），在 AMD MI355X 上提升 1.56 倍（332 到 516 tok/s）。技术细节上，NVIDIA 侧通过 kernel 重叠把 decoder 层时间从 96.8 µs 降到 68.4 µs，AMD 侧用每层 2 个 persistent kernel 替代几十个小 kernel。新插件系统支持外部库的自定义 kernel 接入并自动回退，GLM-5.3、K3 和 MiniMax M3 的低延迟 kernel 正在开发中。