Diffusion Language Models(扩散语言模型)是一类用逐步去噪方式生成文本的大语言模型,与主流的自回归模型逐 token 顺序生成不同,它可以在多个位置并行地“填空”式生成内容,因此被视为打破文本生成速度瓶颈的重要技术路线。随着 NVIDIA、Apple 等机构相继发布相关研究和工程方案,这一方向正从学术探索走向实用性验证。
扩散语言模型的近期进展
NVIDIA 在 Hugging Face 发布了 Towards Speed-of-Light Text Generation with Nemotron-Labs Diffusion Language Models,目标直指“光速级”文本生成,展示了扩散范式在推理吞吐上的工程潜力,是该方向最受关注的落地尝试之一。
Apple 研究团队提出 DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models,解决扩散模型在强化学习训练中“去噪步骤难以分配信用”的核心难题,把 RLHF 式后训练方法适配到扩散范式。
架构与效率优化也在密集推进:dQwen3.5: Hybrid-Attention Diffusion Language Models 探索混合注意力设计,ITC-MoE: Importance-guided Token-aware Compression for MoE Diffusion Language Models 将 MoE 稀疏架构与 token 压缩结合,SimSD: Simple Speculative Decoding in Diffusion Language Models 则把投机解码引入扩散生成以降低推理成本。
训练方法方面,CanvasAnneal: Curriculum Reinforcement Learning for Diffusion Language Models 采用课程式强化学习提升模型能力,ALoDLM: Adaptively Looped Diffusion Language Models 提出自适应循环的去噪机制;此外 Self-Augmenting Retrieval for Diffusion Language Models 还将自增强检索能力扩展到了扩散范式上。
当前焦点与观察点
目前扩散语言模型的研究焦点集中在三个层面:一是推理效率,包括投机解码、token 压缩等加速手段,这是其相对自回归模型的核心卖点;二是后训练方法,即如何让强化学习在多步去噪过程中有效分配奖励;三是架构设计,如混合注意力与 MoE 的结合。值得观察的是,尽管相关论文数量快速增长,扩散语言模型在通用基准上能否稳定追平同规模自回归模型,以及生态工具链能否跟上,仍是决定其能否成为主流路线的关键。短期内,更可能的格局是扩散与自回归范式的混合共存,而非完全替代。