AI模型精选

SGLang 首发支持 DiffusionGemma,文本扩散模型加速生成

🎉 SGLang has Day-0 support for DiffusionGemma, a t…

精选理由

文本扩散模型大幅提升生成效率,适合需要低延迟批量推理的 AI 应用开发者,建议立即在 SGLang 中体验。

AI 摘要

SGLang 宣布 Day-0 支持 Google 的 DiffusionGemma 模型,这是 Gemma 4 的文本扩散变体(26B A4B MoE)。与传统逐 token 解码不同,DiffusionGemma 通过并行去噪 token 块实现极低批处理生成速度。该模型支持离散文本扩散、多模态输入(文本、图像、视频)输出文本、稀疏 MoE 架构(8/128 专家)以及可配置思考模式。开发者现在即可通过 SGLang 运行该模型。

AI 翻译 · 中文

SGLang 宣布 Day-0 支持 Google 的 DiffusionGemma 模型,这是 Gemma 4 的文本扩散变体(26B A4B MoE)。与传统逐 token 解码不同,DiffusionGemma 通过并行去噪 token 块实现极低批处理生成速度。该模型支持离散文本扩散、多模态输入(文本、图像、视频)输出文本、稀疏 MoE 架构(8/128 专家)以及可配置思考模式。开发者现在即可通过 SGLang 运行该模型。

LMSYS Org (SGLang)🎉 SGLang has Day-0 support for DiffusionGemma, a text-diffusion variant of @googlegemma 's Gemma 4 (26B A4B MoE), built for blazing low-batch generation speed! Instead of token-by-token decoding, it denoises blocks of t
  • Sundar Pichai06-10 16:19原文
  • Philipp Schmid06-10 16:24原文
  • vLLM06-12 04:10原文
  • karminski-牙医 (AI工具)06-12 04:31原文
  • SiliconFlowAI06-11 16:24原文
  • rohanpaul_ai06-12 01:59原文
  • arXiv cs.LG06-12 16:45原文