扩散模型(diffusion models)持续在多模态生成与语言模型领域演进,近期研究聚焦于架构优化、推理加速以及与强化学习的结合。
在图像生成方面,Stable Diffusion 系列出现品牌调整迹象,有报道称其英文名称可能被 Seedance 2.0 取代(Stable Diffusion 缩写被 Seedance 2.0 取代?),反映了社区对模型命名与演进的关注。同时,Uniform Diffusion Models 被重新审视,提出 Leave-One-Out 去噪器与吸收态重构方法,试图统一不同扩散框架(Uniform Diffusion Models 重访...)。
在语言模型领域,扩散模型的应用取得显著进展。连续潜在扩散语言模型论文发布,探索将扩散过程应用于文本生成(连续潜在扩散语言模型论文发布)。此外,Masked Diffusion Language Models 的效率通过循环层得到提升(LoopMDM:循环层提升掩码扩散语言模型效率与性能),而 FLDD 则提出可学习加噪过程的离散扩散模型,实现少步生成(FLDD:可学习加噪过程的离散扩散模型)。
推理加速方面,Dual-Rate Diffusion 通过交错轻重网络加速扩散模型推理(Dual-Rate Diffusion:交错轻重网络加速扩散模型推理)。同时,针对扩散语言模型的对齐方法出现,无需重训练即可提升速度(Don’t Retrain, Align:训练Diffusion LLM速度提升4倍)。在强化学习融合上,MARBLE 提出多面奖励平衡方法,优化扩散模型的强化学习训练(MARBLE:多面奖励平衡提升扩散模型RL)。
当前焦点:扩散模型正从图像生成向语言模型、多模态及强化学习等方向扩展。核心挑战仍在于如何提升采样效率、降低计算成本,同时保持生成质量。未来值得观察:1)扩散语言模型能否成为主流架构的补充;2)可学习加噪过程等新机制的实际效果;3)与强化学习结合后的控制能力提升。