SGLang 是由 LMSYS 团队发起的开源大模型推理服务框架,以高吞吐、低延迟的 serving 能力和对强化学习训练场景的支持著称,目前已是开源推理生态中与 vLLM 并列的主流选择之一。近期它的动向集中在两条线上:一是与模型厂商深度协作做新模型的首发适配,二是向 NVIDIA、AMD 之外的异构硬件加速扩展。
SGLang 近期进展
当前焦点与观察点
SGLang 当前最受关注的是“一套框架覆盖多种芯片”的策略。在 CUDA 之外同时适配 AMD、AWS Trainium 和 TPU,意味着它试图成为硬件中立推理层的默认选择;但异构后端的成熟度、性能损耗和维护成本,仍是衡量这些适配是否实用的关键。
生态活动同样密集:SGLang Summit 将邀请 Lilian Weng 讨论递归自我改进话题,社区也在与 Ray Serve、llm-d 1.0 等分布式推理栈形成互补或竞争关系。后续值得观察的点包括:M3.1 Flash 这类 MoE 模型在 SGLang 上的实际吞吐表现、SGLang Omni 在语音智能体场景的落地情况,以及它能否在与 vLLM 的长期竞争中持续扩大采用率。