AITOP

DiffusionGemma

共 19 条相关 AI 资讯
8月9日
18:25
18:25官方账号Decoder@Jonathan Kemper
Google DeepMind将Gemma 4改造成扩散模型DiffusionGemma，训练成本不到原始预算的10%。该模型一次并行生成256个token，推理速度约每秒1500个token。在基准测试中，DiffusionGemma的质量仍落后于原始自回归模型，尤其在推理任务上差距明显。
AI模型DiffusionGemmaGemma 4Google DeepMind
事件专题
推荐理由：Google DeepMind把Gemma 4改装成扩散模型DiffusionGemma，训练便宜十倍，生成快，但推理质量比原版差。适合想低成本做扩散模型的人看看。
原文
7月15日
11:33
11:33官方账号arXiv cs.AI@Harsha Vardhan Khurdula, Abhinav Kumar Singh, Yoeven D Khemlani, Vineet Agarwal
本文提出用离散扩散语言模型DiffusionGemma（26B MoE）替代自回归解码器进行语音识别。方法冻结Whisper编码器提取声学特征，通过轻量投影器和低秩适配器将音频映射到模型空间，仅训练约42M参数（占0.16%）。研究发现自然训练目标梯度无法有效传递，引入连接主义时序分类（CTC）损失后成功训练。在LibriSpeech test-clean上达到6.6%词错误率，并行解码仅需8步且与语速无关，单适配器训练六种语言（评估了英语、印地语和普通话）。
论文DiffusionGemmaWhisperLibriSpeech
推荐理由：这个研究用DiffusionGemma做语音识别，并行解码8步就达到6.6%错误率，只训练了0.16%的参数，挺高效的。
原文
7月3日
11:32
6月19日
11:41
11:41官方账号arXiv cs.AI@Joshua Engels, Callum McDougall, Bilal Chughtai, Janos Kramar, Senthoran Rajamanoharan, Cindy Wu, Arthur Conmy, Asic Q Chen, Jean Tarbouriech, Min Ma, Brendan O'Donoghue, João Gabriel Lopes de Oliveira, Rohin Shah, Neel Nanda
71°
论文分析 DiffusionGemma 的推理透明度，将其分解为变量透明度和算法透明度。初始发现 DiffusionGemma 的不透明串行深度是自回归 Gemma 4 的 28.6 倍。但通过可解释的 token 瓶颈映射信息流，可将不透明串行深度降至仅 Gemma 4 的 1.1 倍。算法透明度方面，扩散模型因每步所有 token 可变化而更复杂，研究识别了非时间顺序推理、token 与序列涂抹、中间上下文推理等新现象。可监控性测试表明 DiffusionGemma 与 Gemma 4 水平相当。
论文DiffusionGemmaGemma 4可解释性
事件专题
推荐理由：Google 团队这篇论文解释 DiffusionGemma 的推理黑箱有多大，发现能用 token 瓶颈把深度压到几乎和 Gemma 4 一样，还发现了扩散模型特有的奇怪推理方式。
原文
6月15日
11:12
11:12官方账号arXiv cs.LG@Ali Asaria, Tony Salomone, Deep Gandhi
论文对DiffusionGemma 26B（基于Gemma 4的掩码离散扩散MoE模型）进行解码顺序测量，在686-prompt六场景测试中发现其提交令牌既非并行也非块自回归，而是部分从左到右偏置。偏置强度随分析粒度平滑增强，块大小实为测量伪像而非架构属性。模型以大批量同时提交令牌，批量内顺序多数未定义，行为依赖场景：结构化JSON提交顺序任意，数学推理中位置置信度与正确性相关但事实回忆无信号。提交在预算内晚期爆发，任务准确率与自回归Gemma 4相当。核心贡献是方法论：正确测量需处理尾部EOS填充、场景混淆、提交非单调性、块大小敏感性和大批量平局等混淆因素。
论文DiffusionGemmaGemma 4掩码扩散模型
事件专题
推荐理由：解析扩散模型真实解码行为
原文
6月13日
13:31
6月12日
12:04
09:59
09:59rohanpaul_ai@rohanpaul_ai
精选
atomic[.]chat 在单块 H100（FP8）上对比了 DiffusionGemma（扩散文本模型）与 Gemma4 26B A4B（自回归模型）。DiffusionGemma 速度是 Gemma4 的 4 倍，改变了错误分布模式。自回归模型逐 token 生成，速度慢但精度高；扩散模型批量生成 token 再迭代修正，因此响应更快。这一对比展示了扩散模型在本地推理中的速度优势，可能改变未来本地 LLM 的部署选择。
AI模型DiffusionGemmaGemma4本地推理
事件专题
推荐理由：本地运行 LLM 的开发者终于有了速度新选择——DiffusionGemma 的 4 倍加速意味着更流畅的交互体验，用 atomic[.]chat 的团队可以直接在单卡上体验，值得一试。
原文
6月11日
11:25
11:25小互@imxiaohu
78°
Google 开源了 DiffusionGemma，一种基于扩散架构的语言模型，区别于逐词生成的 Transformer，它能一次性生成 256 个 tokens 的整块文本，再通过多轮迭代逐步优化。在 H100 上推理速度可达 1000+ tokens/s，RTX 5090 上 700+ tokens/s，26B 参数模型仅需 18GB 显存。其生成过程类似写草稿后反复修改，能自动修正前文错误，提升输出质量。这一开源模型为需要高吞吐、长文本生成的场景提供了新选择。
AI模型GoogleDiffusionGemma扩散模型
事件专题
推荐理由：DiffusionGemma 解决了 Transformer 逐词生成速度慢、无法回头修改的痛点，做文本生成或长内容创作的开发者可以直接在消费级显卡上跑，体验 1000+ tokens/s 的生成速度。
原文
11:24
09:17
09:17berryxia@berryxia
精选72°
开发者 Prince Canuma 在 Google 发布 DiffusionGemma 和 Cohere North Mini Code 当天，就将这两个模型移植到了 Mac 的 MLX 框架中，实现零等待本地运行。DiffusionGemma 采用新架构，可生成 256 token 整块，支持双向注意力和迭代自纠错，26B MoE 仅激活 3.8B，量化后 18GB 内存即可运行。North Mini Code 30B MoE 只需 3B 激活参数，BF16 下推理速度达 66 tok/s。这得益于与 Google DeepMind 和 Cohere 的深度合作，实现了 Day-0 支持。用户可通过 mlx-vlm v0.6.3 一键安装体验。
AI产品MLXDiffusionGemmaCohere North Mini Code
推荐理由：Mac 开发者终于能在本地跑最新大模型了，DiffusionGemma 和 North Mini Code 都支持 Day-0 运行，做本地 AI 实验的可以直接装来玩。
原文
04:44
04:44官方账号Simon Willison’s Weblog（博客/媒体）
76°
Google 去年曾短暂发布实验性的 Gemini Diffusion 模型，如今以开源形式回归，推出 DiffusionGemma-26B-A4B-it 模型，采用 Apache 2 许可证。该模型在 NVIDIA NIM 云 API 上免费托管，生成速度可达 500+ tokens/秒。作者实测生成 2409 tokens 仅需 4.4 秒，性能出色。这是 Google 在扩散模型领域的重要开源动作，为开发者提供了高性能的生成式 AI 选项。
AI模型GoogleDiffusionGemma开源/仓库
事件专题
推荐理由：Google 把去年惊艳的扩散模型开源了，做图像/文本生成的开发者可以直接用 NVIDIA 免费 API 体验，速度超 500 tokens/秒，值得立刻上手试。
原文
03:39
03:03
03:03Google AI Developers@googleaidevs
72°
Google 发布了 DiffusionGemma，一款基于文本扩散技术的实验性开放模型，采用 Apache 2.0 许可证。该模型通过将瓶颈从内存带宽转移到原始计算，在专用 GPU 上实现高达 4 倍的 token 输出速度。推理时仅激活 3.8B 参数，量化后可在 24GB VRAM 的高端消费级 GPU 上运行。它支持并行 token 生成和自我纠正，特别适合代码填充、内联编辑和非线性结构任务。DiffusionGemma 优先考虑速度而非原始质量，在计算受限的硬件上加速效果最佳，而标准 Gemma 4 仍推荐用于生产环境和内存受限设备。
AI模型文本扩散开放模型Google
推荐理由：DiffusionGemma 把文本生成速度推到了新高度，做代码补全、实时编辑的开发者可以直接在消费级 GPU 上体验 4 倍加速，值得一试。
原文
02:55
02:54
01:33
00:39
00:39官方账号Google DeepMind@GoogleDeepMind
Google DeepMind 推出实验性开放模型 DiffusionGemma，采用块级文本生成技术，不再逐词预测，而是同时生成整段文本。该模型在专用 GPU 上输出速度提升高达 4 倍，并能实时自我修正和格式化复杂 Markdown。这标志着文本生成范式的转变，尤其适合需要快速、高质量输出的场景。
AI模型DiffusionGemma文本生成块级生成
推荐理由：做文本生成或需要快速格式化 Markdown 的开发者，可以试试这个块级生成模型，速度提升明显且能自我纠错，值得关注。
原文
00:33