有人在 DGX Spark 上用自写的 vLLM 补丁跑 DiffusionGemma 和 Jev 对比,vLLM 官方都转发了,想看扩散模型推理性能的可以点进去。
#DiffusionGemma
Google DeepMind把Gemma 4改装成扩散模型DiffusionGemma,训练便宜十倍,生成快,但推理质量比原版差。适合想低成本做扩散模型的人看看。
这个研究用DiffusionGemma做语音识别,并行解码8步就达到6.6%错误率,只训练了0.16%的参数,挺高效的。
Google 团队这篇论文解释 DiffusionGemma 的推理黑箱有多大,发现能用 token 瓶颈把深度压到几乎和 Gemma 4 一样,还发现了扩散模型特有的奇怪推理方式。
本地运行 LLM 的开发者终于有了速度新选择——DiffusionGemma 的 4 倍加速意味着更流畅的交互体验,用 atomic[.]chat 的团队可以直接在单卡上体验,值得一试。
DiffusionGemma 解决了 Transformer 逐词生成速度慢、无法回头修改的痛点,做文本生成或长内容创作的开发者可以直接在消费级显卡上跑,体验 1000+ tokens/s 的生成速度。
做垂直任务微调的开发者值得关注——DiffusionGemma 的双向注意力让数独这类全局约束问题有了新解法,建议试试在自家任务上微调对比效果。
Mac 开发者终于能在本地跑最新大模型了,DiffusionGemma 和 North Mini Code 都支持 Day-0 运行,做本地 AI 实验的可以直接装来玩。
Google 把去年惊艳的扩散模型开源了,做图像/文本生成的开发者可以直接用 NVIDIA 免费 API 体验,速度超 500 tokens/秒,值得立刻上手试。
DiffusionGemma 为文本生成开辟了新路径,追求推理速度的开发者可以尝试这种非自回归方案,尤其适合对实时性要求高的场景。
DiffusionGemma 把文本生成速度推到了新高度,做代码补全、实时编辑的开发者可以直接在消费级 GPU 上体验 4 倍加速,值得一试。
做文本生成或需要快速格式化 Markdown 的开发者,可以试试这个块级生成模型,速度提升明显且能自我纠错,值得关注。
文本扩散模型的研究者终于有了一个强大的开放基线——DiffusionGemma 同时生成整段文本并支持实时纠错,做生成式 AI 研究的团队值得下载权重试试。