#扩散语言模型

arXiv 上这篇论文教扩散语言模型同时建模 token 和粗粒度聚类表示，H-CoBit 在 LM1B 上 GenPPL 比基线低 24.2 分，代码也放出来了。

只拿 200 道题微调，就让 LLaDA-8B-Instruct 的数学和代码成绩跑赢 SFT 和扩散 RL，方法还挺省算力，做扩散模型训练的可以看看。

清华团队提出ITC-MoE框架，能压缩MoE扩散模型30%参数同时保持96%准确率，速度提升7倍。

量子QNC^0能采的分布，扩散LM加CoT也采不出；Transformer要宽度n^Ω(1)才够。

掩码扩散模型的位置编码一直照搬自回归那套，MDLMPE 第一个把遮盖状态算进去，在 LLaDA 和 DREAM 上效果更好。

这篇论文给扩散语言模型加了个策略梯度法子，数学推理和编程测试成绩都刷了新高，搞RL训练模型的可以看看。

NVIDIA把30B模型劈成两半，并行写token，速度翻倍还保质量，不是新训模型是复用预训练，挺聪明的做法。

官方账号NVIDIA AI@NVIDIAAI8 个信源在谈原文

这篇论文解决了扩散语言模型在训练和推理时配置不一致的痛点，用ABD方法在多种配置下训练一个模型就能通用，不用再为不同解码策略分别训练了。

这是一个新模型，能用多模态扩散语言模型同时理解图片里的多个区域，跟以前的单区域方法不一样。

AK@_akhaliq原文

这项研究解决了扩散语言模型在少步解码时的质量-长度权衡问题，做文本生成或摘要的开发者可以直接用DSL-LLaDA获得更好的零样本效果，值得关注。