精选理由
DiffusionGemma 为文本生成开辟了新路径,追求推理速度的开发者可以尝试这种非自回归方案,尤其适合对实时性要求高的场景。
Google 发布了 DiffusionGemma,一个 260 亿参数的开源模型。它不采用传统的逐词生成方式,而是通过扩散过程从噪声中生成文本,类似于图像 AI 的工作方式。据 Nvidia 称,该模型在单个 H100 GPU 上每秒可处理约 1000 个 token,速度是同类自回归模型的约 4 倍。但输出质量较低,因此 Google 目前将其定位为面向开发者的实验性工具。
AI 翻译 · 中文
Google 发布了 DiffusionGemma,一个 260 亿参数的开源模型。它不采用传统的逐词生成方式,而是通过扩散过程从噪声中生成文本,类似于图像 AI 的工作方式。据 Nvidia 称,该模型在单个 H100 GPU 上每秒可处理约 1000 个 token,速度是同类自回归模型的约 4 倍。但输出质量较低,因此 Google 目前将其定位为面向开发者的实验性工具。
Google released DiffusionGemma, a 26-billion-parameter model that generates text not token by token but through diffusion, similar to how image AI turns noise into a picture. According to Nvidia, it hits about 1,000 toke…