lmsys

general · First seen 2026-06-04 · Last seen 2026-11-19 · 48 mentions

Overview

LMSYS 是一家源自加州大学伯克利分校的大模型研究组织,以开发 Chatbot Arena(大模型竞技场)排行榜和高性能推理框架 SGLang 而闻名,是当前开源大模型生态中兼具评测权威性与工程影响力的重要力量。从近期动态看,LMSYS 的工作重心明显向推理基础设施倾斜,同时继续维持排行榜这一行业基准的地位。其趋势可概括为:推理框架走向生产级与多硬件适配,评测榜单则持续引发方法论讨论。

LMSYS 的 SGLang 推理框架近期进展

SGLang 是 LMSYS 主导的开源推理引擎,近期的更新密集且方向清晰。在生产级能力上,SGLang 优化 DeepSeek 推理,发布生产级 serving 方案,进一步巩固了其在主流开源模型部署中的位置。硬件适配方面,LMSYS 同时做了两手布局:一是 推出 SGLang-TorchTPU 插件,让开发者用 SGLang 在 TPU 上部署模型,二是 推出低延迟模式,与 NVIDIA 和 AMD 合作开发。这意味着 SGLang 正在摆脱对单一 GPU 生态的依赖,向 NVIDIA、AMD、Google TPU 三条硬件路线同时延伸。

SGLang Summit 与社区生态

社区运营方面,LMSYS 在 SF Tech Week 开源 AI 技术栈专场组织了 540 余人参与的活动,聚焦推理与智能体话题。即将举行的 SGLang Summit 议题阵容也值得关注:Lilian Weng 将在会上谈递归自我改进,Decagon 工程师则将分享约 1T 参数模型的智能体推理实践,显示智能体推理负载已成为该框架的下一个竞争点。此外,Meta 发布 Muse Spark Open 时,LMSYS 同步提供了 SGLang 推理支持,新模型发布当天即获 SGLang 支持正逐渐成为开源社区的默认节奏。

Chatbot Arena 的评测争议与现状

在评测侧,Chatbot Arena(现 lmarena.ai)仍是模型排名的重要参考,近期 Qwen3.8-Flash-Next 在榜上排名第 24 位,MiniMax-H3 视频生成则登顶排行榜第三,距第一名 Muse Video 仅 3 分,说明 Arena 的覆盖已从文本扩展到视频等多模态领域。但争议并未平息:一篇论文提出了六维文化回应标准,对 SimpleQA 与 Chatbot Arena 进行审计,质疑现有评测标准在文化多样性维度的不足。

当前焦点与观察点

综合来看,LMSYS 目前呈现出"工程上升、评测承压"的双线格局:SGLang 凭借对 DeepSeek 等热门模型的支持、对 NVIDIA/AMD/TPU 的多硬件覆盖,以及低延迟等生产级特性,正在成为 vLLM 之外最有竞争力的开源推理选择;而 Chatbot Arena 作为行业事实标准,则持续面对评测方法论上的审视。后续值得观察的点包括:SGLang Summit 释放的智能体推理路线图、TPU 生态适配的成熟度,以及 Arena 是否会在审计压力下引入更多元的评测维度。

Coverage

10 on file