精选理由
想跑 Muse Glimmer？SGLang 直接支持，单张 5090 约 230 tok/s，还兼容 Apple Silicon。
SGLang 宣布为 Meta 的 Muse Glimmer 模型提供首发日支持。在单块 RTX 5090 上启用 NVFP4 与 DFlash 后，推理速度约 230 tok/s。该模型也可在 RTX PRO 6000、DGX Spark 上直接运行，并通过 MLX 兼容 Apple Silicon。官方表示这有助于在本地构建智能体应用。
原文 · NVIDIA AI
@AIatMeta https://t.co/eebwQpQMCc
@AIatMeta x.com/sgl_project/st… SGLang @sgl_project SGLang is honored to provide day-0 support for @AIatMeta 's Muse Glimmer. ~230 tok/s on a single RTX 5090 with NVFP4 + DFlash on, and it runs out of the box on @NVIDIAAI RTX PRO 6000, DGX Spark, and Apple Silicon via MLX. Huge thanks to the NVIDIA and Meta teams for the collaboration. Go build your local agent 🚀 🔗 View Quoted Tweet 💬 0 🔄 0 ❤️ 2 👀 753 ⚡