Google 发布 DiffusionGemma:通过扩散生成文本,速度提升 4 倍

Google's new open model DiffusionGemma generates text from noise instead of word by word

精选理由

DiffusionGemma 为文本生成开辟了新路径,追求推理速度的开发者可以尝试这种非自回归方案,尤其适合对实时性要求高的场景。

AI 摘要

Google 发布了 DiffusionGemma,一个 260 亿参数的开源模型。它不采用传统的逐词生成方式,而是通过扩散过程从噪声中生成文本,类似于图像 AI 的工作方式。据 Nvidia 称,该模型在单个 H100 GPU 上每秒可处理约 1000 个 token,速度是同类自回归模型的约 4 倍。但输出质量较低,因此 Google 目前将其定位为面向开发者的实验性工具。

AI 翻译 · 中文

Google 发布了 DiffusionGemma,一个 260 亿参数的开源模型。它不采用传统的逐词生成方式,而是通过扩散过程从噪声中生成文本,类似于图像 AI 的工作方式。据 Nvidia 称,该模型在单个 H100 GPU 上每秒可处理约 1000 个 token,速度是同类自回归模型的约 4 倍。但输出质量较低,因此 Google 目前将其定位为面向开发者的实验性工具。

DecoderGoogle released DiffusionGemma, a 26-billion-parameter model that generates text not token by token but through diffusion, similar to how image AI turns noise into a picture. According to Nvidia, it hits about 1,000 toke