SGLang

general · First seen 2026-05-22 · Last seen 2026-11-20 · 404 mentions

Overview

SGLang 是由 LMSYS 团队发起的开源大模型推理服务框架,以高吞吐、低延迟的 serving 能力和对强化学习训练场景的支持著称,目前已是开源推理生态中与 vLLM 并列的主流选择之一。近期它的动向集中在两条线上:一是与模型厂商深度协作做新模型的首发适配,二是向 NVIDIA、AMD 之外的异构硬件加速扩展。

SGLang 近期进展

  • MiniMax 开源 M3.1 Flash,总参数 428B、激活 23B:MiniMax 发布了总参数 428B、每 token 激活 23B 的新开源模型 M3.1 Flash,SGLang 联合 NVIDIA 与 AMD 在发布同期提供了推理与 RL 支持,属于典型的大模型“发布即适配”协作模式。
  • MiniMax M3.1 Flash 搭配 SGLang Omni 打造可打断的语音智能体:双方还基于 SGLang Omni 演示了支持用户随时打断的语音智能体方案,说明该框架正从文本推理向语音等实时多模态场景延伸。
  • SGLang 适配 AWS Trainium,基于 TorchNeuron 推出 Beta 版:借助 TorchNeuron,SGLang 推出了对 AWS Trainium 芯片的 Beta 支持,自研 ASIC 阵营的推理框架又多了一个开源选项。
  • LMSYS 推出 SGLang-TorchTPU 插件,让开发者用 SGLang 在 TPU 上部署模型:配合 Google 与 Meta 联合发布的 PyTorch 原生 TPU 后端 TorchTPU,LMSYS 推出了对应插件,使 SGLang 可以在 TPU 上部署模型。
  • 当前焦点与观察点

    SGLang 当前最受关注的是“一套框架覆盖多种芯片”的策略。在 CUDA 之外同时适配 AMD、AWS Trainium 和 TPU,意味着它试图成为硬件中立推理层的默认选择;但异构后端的成熟度、性能损耗和维护成本,仍是衡量这些适配是否实用的关键。

    生态活动同样密集:SGLang Summit 将邀请 Lilian Weng 讨论递归自我改进话题,社区也在与 Ray Serve、llm-d 1.0 等分布式推理栈形成互补或竞争关系。后续值得观察的点包括:M3.1 Flash 这类 MoE 模型在 SGLang 上的实际吞吐表现、SGLang Omni 在语音智能体场景的落地情况,以及它能否在与 vLLM 的长期竞争中持续扩大采用率。

    Coverage

    10 on file