扩散语言模型相关 AI 资讯

8月5日

12:21

官方账号arXiv cs.AI@Srinivasan Arunachalam, Arkopal Dutt, Hari Krovi, Rik Sengupta

该论文证明低深度量子电路与经典语言模型之间存在无条件分离。作者构造了一个可由QNC^0电路采样的分布，任何常数轮扩散语言模型（DLM）即使允许链式思考（CoT）和输出token重掩码，也无法在常数距离内采样它。论文还给出一个由∧∘QNC^0[log log n]计算的函数，任何常数深度decoder-only transformer计算它时宽度需达到n^{Ω(1)}。

论文 QNC^0 Transformer 扩散语言模型

推荐理由：量子QNC^0能采的分布，扩散LM加CoT也采不出；Transformer要宽度n^Ω(1)才够。

原文

11:08

官方账号arXiv cs.AI@Tong Ling, Hang Lei, Feng Xiao, Changhui Sun, Jiahang Xie, Hao Liu, Lu Liu, Yanlong Du

MDLMPE 将掩码扩散模型中 token 的可见/掩码状态编码为二进制序列，结合高斯权重与余弦基投影生成位置特征，再经轻量 MLP 映射为角度偏移来调制 RoPE 相位。在 LLaDA 和 DREAM 上的实验覆盖监督微调、预训练、零样本评测和块扩散设置，整体优于传统位置编码。消融实验表明，可用性状态、高斯局部性、频谱基与嵌入注入的组合效果最强。

论文 MDLMPE LLaDA DREAM

推荐理由：掩码扩散模型的位置编码一直照搬自回归那套，MDLMPE 第一个把遮盖状态算进去，在 LLaDA 和 DREAM 上效果更好。

原文

7月26日

02:52

elvis@omarsar0

LLaDA 2.2 是首个大规模扩散语言模型，能够作为智能体自主完成规划、工具调用和错误修正。它在长多轮对话轨迹中保持稳定表现，并凭借块并行解码实现更快推理速度。该模型标志着扩散模型从静态生成向主动代理任务的关键跨越。

AI模型 LLaDA 扩散语言模型智能体

推荐理由：可以把扩散模型当成真智能体用，规划工具自己纠错，解码还比自回归快，不试试？

原文

7月17日

10:08

官方账号arXiv cs.AI@Haran Raajesh, Kulin Shah, Adam Klivans, Philipp Krähenbühl

论文提出掩码感知策略梯度方法，解决强化学习应用于掩码扩散语言模型（MDLM）时对数似然估计难的问题。方法将MDLM生成建模为两阶段动作MDP，策略梯度分解为token项和掩码项。联合优化两项后，模型在GSM8K上达87.1%准确率，在MBPP上达53.4%得分，均达到当前最优。

论文 MDLM 扩散语言模型策略梯度

推荐理由：这篇论文给扩散语言模型加了个策略梯度法子，数学推理和编程测试成绩都刷了新高，搞RL训练模型的可以看看。

原文

7月3日

13:27

13:27IT之家（博客/媒体）

76°

英伟达开源了 60B 参数的双塔离散扩散语言模型 Nemotron-Labs-TwoTower，包括 30B 的自回归上下文塔和 30B 的扩散去噪器塔。在 MMLU 上得分为 78.24，ARC-Challenge 上为 92.66，综合基准质量保留 98.7%。实际运行吞吐量相比自回归模型提升 2.42 倍。模型权重已在 Huggingface 发布，采用 NVIDIA Nemotron Open Model License。

AI模型英伟达 TwoTower Nemotron

事件专题

推荐理由：英伟达放出了一个双塔扩散模型，生成速度比普通模型快 2.4 倍，质量只掉了 1.3%，权重和代码都已经开源了。

原文

7月2日

03:52

官方账号NVIDIA AI@NVIDIAAI

78°

NVIDIA Research将30B参数的Nemotron-3-Nano-30B-A3B模型拆分为两半，一半维护上下文，一半生成token。该扩散语言模型仅复用预训练权重而非从头训练，在保持98.7%原始质量的同时实现了2.42倍的生成加速。这种方法将传统的自回归逐token生成改为并行写入，显著提升了推理效率。

AI模型 Nemotron NVIDIA 扩散语言模型

事件专题

推荐理由：NVIDIA把30B模型劈成两半，并行写token，速度翻倍还保质量，不是新训模型是复用预训练，挺聪明的做法。

原文

7月1日

16:15

官方一手marktechpost@Asif Razzaq

NVIDIA 发布了 Nemotron-Labs-TwoTower，一个基于冻结的自回归骨干 Nemotron-3-Nano-30B-A3B 的离散扩散语言模型。该模型以开放权重形式提供，采用 NVIDIA Nemotron 开放模型许可证。其核心设计旨在解决自回归模型逐个 token 解码导致的吞吐量瓶颈。通过扩散过程并行生成，有望显著提升文本生成速度。

AI模型 Nemotron-Labs-TwoTower Nemotron-3-Nano-30B-A3B NVIDIA

事件专题

推荐理由：NVIDIA 把自家 30B 模型改成扩散架构，不再逐个字生成，吞吐量能快很多。开源权重，开发者可以直接拿来用。

原文

6月30日

10:03

官方账号arXiv cs.LG@Gagan Jain

扩散语言模型(DLM)通常在固定上下文结构下训练，限制去噪到预定token子集，这导致训练与推理不匹配（模型需在任意配置下运行，训练网格外表现下降）。提出的Adaptive Block Diffusion (ABD)通过优化前缀窗口配置分布上的去噪风险来消除此不匹配，将配置视为随机变量，无需架构修改即可在全配置空间训练单一模型。实验表明ABD在不同解码尺度下保持结构一致性，避免离网格崩溃，恢复块大小与困惑度之间的单调关系，并在目标尺度上匹配或超越固定块专家。

论文 ABD 扩散语言模型训练-推理不匹配

推荐理由：这篇论文解决了扩散语言模型在训练和推理时配置不一致的痛点，用ABD方法在多种配置下训练一个模型就能通用，不用再为不同解码策略分别训练了。

原文

6月27日

15:54

官方账号Decoder@Maximilian Schreiner

iLLaDA是ByteDance和中国人民大学联合发布的8B参数扩散语言模型，采用与ChatGPT不同的文本生成方式。在基础性能评估中，iLLaDA的基准水平与Qwen2.5持平，但经过微调后表现落后。该模型展示了扩散方法在语言建模中的潜力，但优化后仍需改进。

AI模型 iLLaDA ByteDance Qwen2.5

事件专题

推荐理由：字节跳动发了新模型iLLaDA，8B参数用扩散方式生成文本，基础性能不输Qwen2.5，微调后稍弱，适合想了解非自回归路线的读者。

原文

6月23日

00:23

AK@_akhaliq

PerceptionDLM是一个新提出的多模态扩散语言模型，能够并行地感知图像中的多个区域。该模型结合了扩散模型的生成能力和语言模型的推理能力，支持多区域联合理解。它在一系列视觉定位和区域描述任务上展示了优越性能，但具体基准名称和数值未在原文中提及。

AI模型 PerceptionDLM 多模态扩散语言模型

推荐理由：这是一个新模型，能用多模态扩散语言模型同时理解图片里的多个区域，跟以前的单区域方法不一样。

原文

6月12日

12:10

官方账号vLLM@vllm_project

精选73°

GoogleDeepMind 推出了 DiffusionGemma，这是一个基于 Gemma4 架构的 26B 参数扩散语言模型（dLLM），并成为 vLLM 原生支持的首个扩散语言模型。与传统自回归模型逐个生成 token 不同，DiffusionGemma 能并行去噪 256 个 token 的块，在单张 H200（FP8）上以 batch size 1 实现超过 1200 输出 token/秒的吞吐量。该模型通过 vLLM 的 model runner v2 的 ModelState 和现有推测解码路径实现，对调度器和运行器改动极小。FP8 和 NVFP4 检查点已托管在 RedHat AI 中心，由 GoogleDeepMind、RedHat AI 和 NVIDIA AI 团队合作完成。这一进展标志着扩散模型在高效文本生成领域迈出重要一步。

AI模型扩散语言模型 vLLM GoogleDeepMind

事件专题

推荐理由：DiffusionGemma 用并行去噪替代逐 token 生成，大幅提升推理速度，做大规模文本生成或实时应用的团队可以直接在 vLLM 中体验，值得关注。

原文

6月5日

12:10

官方账号arXiv cs.AI@Paul Jünger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger

精选

离散扩散语言模型通过并行去噪生成文本，每一步会预测掩码位置的候选词，并丢弃低置信度的预测。研究者发现这些丢弃的token实际上包含有用的前瞻信号，能提前揭示关键实体，从而在输出最终确定前检索到更强证据。基于此，他们提出了SARDI（自增强检索扩散语言模型），一种无需训练、与检索器无关的动态RAG框架。在五个多跳问答基准测试中，SARDI以高达8倍的吞吐量超越了当前无需训练的扩散和自回归检索基线。

论文扩散语言模型检索增强生成多跳问答

推荐理由：SARDI巧妙利用了扩散模型去噪过程中的“废料”token，为RAG提供了一种零成本的前瞻信号，做问答系统或检索增强生成的团队值得关注，可以直接集成到现有扩散模型中提升效果。

原文

6月2日

12:00

官方账号arXiv cs.AI@Junxia Cui, Haotian Ye, Runchu Tian, Hongcan Guo, Jinya Jiang, Haoru Li, Chaojie Ren, Yiming Huang, Kaijie Zhu, Zhongkai Yu, Kun Zhou, Jingbo Shang

精选

扩散大语言模型（dLLMs）作为自回归（AR）模型的替代方案，通过并行或块解码实现更快推理，但其掩码语言建模公式与标准token级推测解码不兼容。AR模型利用因果掩码实现单次前向验证多个草稿token，而dLLMs依赖掩码token和双向注意力，导致有效上下文随去噪步骤变化，无法直接进行token级推测验证。为此，研究者提出SimSD，一种简单有效的推测解码算法，采用即插即用的掩码策略，为dLLMs提供时间上有效的token级上下文。该方法显式引入草稿模型的参考token，并设计注意力掩码调节其与当前步骤token的交互，使dLLMs能在单次前向前向计算草稿token的有效logits，恢复AR模型的验证能力同时保持dLLMs的并行解码优势。SimSD无需训练，可灵活集成KV缓存和块解码等加速技术，在四个基准测试中实现高达7.46倍的解码吞吐量提升，同时保持甚至改善平均生成质量。

论文推测解码扩散语言模型推理加速

推荐理由：扩散语言模型终于有了实用的推测解码方案，做模型推理加速的团队可以直接集成SimSD，无需额外训练就能获得数倍吞吐提升，值得关注。

原文

09:37

官方账号arXiv cs.AI@Longxuan Yu, Yunshu Wu, Yu Fu, Siheng Xiong, Rob Brekelmans, Hui Liu, Yue Dong, Greg Ver Steeg

72°

离散掩码扩散语言模型在少步解码时面临长度与质量的权衡：固定步数下，要么生成短而高质量的输出，要么生成长但重复的文本。连续去噪通过在嵌入空间联合演化所有位置来规避此问题，但大规模从头构建此类模型仍是难题。本文证明，预训练的掩码DLM可轻量适配以支持连续嵌入空间去噪：从LLaDA-8B-Instruct出发，仅用1000步继续预训练（离散随机定位DSL），将二元掩码替换为连续逐token高斯噪声作为软掩码。适配后的模型支持连续推理，在嵌入空间联合演化所有位置，并在最后一步才做出硬token承诺。在低步数（≤16次前向传播）的零样本摘要任务中，DSL-LLaDA-SDE在所有四个基准上取得最佳ROUGE-1，并大幅避免了迭代去掩码的提前终止/重复权衡。该适配还带来选择性噪声状态鲁棒性：模型能纠正被破坏的token，同时保留干净的token。对照实验表明，使用相同计算量的标准掩码扩散训练无法产生这两种行为。

论文扩散语言模型连续去噪 LLaDA

推荐理由：这项研究解决了扩散语言模型在少步解码时的质量-长度权衡问题，做文本生成或摘要的开发者可以直接用DSL-LLaDA获得更好的零样本效果，值得关注。

原文

5月19日

11:07

官方账号arXiv cs.LG@Junyi Wu, Tianchen Zhao, Shaoqiu Zhang, Linfeng Zhang, Guohao Dai, Yu Wang

精选

扩散语言模型（dLLM）通过联合去噪一批[MASK]令牌实现并行解码，但大块掩码令牌导致大量计算冗余。研究发现，许多计算花费在重复处理前文上下文和特征表示相同的[MASK]令牌上。为此，提出位置保持的[MASK]令牌压缩和终端感知增强方法，通过压缩冗余计算加速解码，并自然扩展到长上下文场景。在LLaDA-8B-Instruct和LLaDA-1.5等全序列dLLM上验证了效果，对LLaDA2.0-mini等块dLLM，通过保护终端[MASK]令牌增强上下文，以极小开销提升生成质量。

论文扩散语言模型上下文压缩并行解码

推荐理由：扩散LLM的并行解码效率一直是痛点，这篇工作直接戳中计算冗余的核心，做模型推理加速或长上下文应用的开发者值得关注，压缩方法可以直接集成到现有dLLM中。

原文

5月17日

01:23

berryxia@berryxia

精选

Duke大学团队提出REPR-ALIGN方法，通过将扩散语言模型（DLM）的隐藏状态对齐到预训练自回归语言模型（AR LM）的表示空间，避免从零训练DLM的高成本。该方法仅修改注意力掩码，不增加适配器或改变架构，在低数据场景下效果显著，训练速度最高提升4倍。论文指出DLM只需学习解码路径，无需重新学习语言表示。相关论文和代码已开源。

论文扩散语言模型 DLM REPR-ALIGN

推荐理由：做扩散模型或生成式AI的团队，终于不用从零训DLM了——对齐预训练AR模型就能省4倍训练成本，低数据场景尤其划算，建议直接看论文和代码。

原文