SGLang 首发支持 MiniMax-M3:428B 多模态 MoE 推理模型

🎉 SGLang has Day-0 support for MiniMax-M3 from @Mi…

精选理由

SGLang 第一时间支持 MiniMax-M3,做多模态推理和长上下文应用的团队可以直接上手体验 428B 模型的稀疏注意力加速,编码和智能体任务表现值得一试。

AI 摘要

SGLang 宣布 Day-0 支持 MiniMax-M3,这是 MiniMax 推出的原生多模态 MoE 推理模型,总参数量约 428B(活跃参数约 23B),支持文本、图像和视频的融合处理。M3 采用 MiniMax 稀疏注意力机制,在 1M 上下文下相比 M2 实现 9 倍预填充和 15 倍解码加速,每 token 计算量降至 1/20。该模型在编码和协作任务上达到前沿智能体性能,并原生支持 NVIDIA Blackwell 和 AMD MI350X/MI355X 上的 MXFP8 格式。开发者可通过 SGLang 立即运行该模型。

AI 翻译 · 中文

SGLang 宣布 Day-0 支持 MiniMax-M3,这是 MiniMax 推出的原生多模态 MoE 推理模型,总参数量约 428B(活跃参数约 23B),支持文本、图像和视频的融合处理。M3 采用 MiniMax 稀疏注意力机制,在 1M 上下文下相比 M2 实现 9 倍预填充和 15 倍解码加速,每 token 计算量降至 1/20。该模型在编码和协作任务上达到前沿智能体性能,并原生支持 NVIDIA Blackwell 和 AMD MI350X/MI355X 上的 MXFP8 格式。开发者可通过 SGLang 立即运行该模型。

LMSYS Org (SGLang)🎉 SGLang has Day-0 support for MiniMax-M3 from @MiniMax_AI, a native-multimodal MoE reasoning model of ~428B total params (~23B active), 60 layers, 1M context across text, image & video. ✅ Native multimodality: text-ima
  • vLLM06-12 14:47原文
  • IT之家06-13 03:51原文
  • NVIDIA AI06-12 14:44原文
  • Poe06-12 18:15原文
  • Together AI06-13 02:53原文
  • Tri Dao (FlashAttention)06-12 04:20原文
  • karminski-牙医 (AI工具)06-12 04:31原文
  • Dylan Patel (SemiAnalysis)06-12 04:38原文
  • lmarena.ai06-12 22:40原文
  • rohanpaul_ai06-13 01:55原文