10:58arXiv cs.LG@Grigory Bartosh, Teodora Pandeva, Sushrut Karmalkar, Javier Zazo精选离散扩散模型在多个领域表现优异,但传统方法使用固定马尔可夫加噪链,导致生成过程需要大量采样步骤,计算成本高。本文提出 Forward-Learned Discrete Diffusion (FLDD),引入可学习的非马尔可夫加噪过程,使生成过程在保持因子化分布的同时,能更高效地匹配目标分布。通过端到端训练所有参数,FLDD 在相同采样步数下生成质量显著优于传统离散扩散模型。实验表明,该方法在图像、文本等基准上均能实现少步高质量生成,有望加速离散扩散模型的实际应用。论文离散扩散模型少步生成可学习加噪生成模型FLDD推荐理由:离散扩散模型终于有了加速方案——FLDD 用可学习加噪替代固定链,做生成模型的研究者可以直接在少步采样场景下替换传统方法,效果提升明显。原文
11:42arXiv cs.LG(学术论文)本研究提出 Normalizing Trajectory Models (NTM),一种新型生成模型框架。传统扩散模型假设多步高斯去噪,在少步采样时失效;现有少步方法依赖蒸馏、一致性训练或对抗目标,但放弃了似然框架。NTM 将每个逆向步骤建模为条件标准化流,并用深层并行预测器连接整个轨迹。该模型可通过预训练流匹配模型初始化,利用精确轨迹似然进行自蒸馏,仅需四步即可生成高质量文本到图像样本。在基准测试中,NTM 在四步内匹配或超越了强基线模型,同时保留了可计算的似然。论文标准化流扩散模型少步生成文本到图像似然训练推荐理由:NTM 通过将标准化流与轨迹建模结合,在少步生成和无似然性能间取得平衡,为扩散模型加速提供了新思路。对需要快速推理且关注可解释性的应用(如实时图像生成)具有实际意义。原文