AITOP

离散扩散模型

共 3 条相关 AI 资讯
7月7日
11:37
11:37官方账号arXiv cs.AI@Rodrigo Casado Noguerales, Bernhard Schölkopf, Thomas Hofmann, Aran Raoufi
论文严格推导了连续时间马尔可夫链(CTMC)的ELBO，证明负ELBO恰好等于数据熵加上从Oracle逆过程到学习过程的路径KL散度。Oracle Distance定理指出，唯一最优解是给定当前噪声状态下真实逆跳转率的条件期望，而不可约成本是前向过程Z_t破坏关于干净数据Z_0信息的速率-d/dt I(Z_0; Z_t)。对于token-factorizing噪声，优化器有去噪器、桥接预测器和分数三种精确坐标，且存在封闭转换公式。该框架统一解释了MDM、UDM、SEDD和GIDD等方法的损失函数含义，并证明了去噪器参数化会在初始化时使均匀扩散ELBO发散，而桥接预测器保持有限。所有恒等式在精确可解模型上得到数值验证。
论文离散扩散模型Oracle Distance定理CTMC ELBO去噪器桥接预测器
推荐理由：这篇论文把离散扩散模型的理论基础讲透了，用Oracle Distance定理统一了多种损失函数，还揭示了去噪器和桥接预测器在初始化时的差异。想搞懂扩散模型原理的人别错过。
原文
5月27日
10:49
10:49官方账号arXiv cs.LG@Yuchen Liang, Ness Shroff, Yingbin Liang
精选
离散扩散模型在文本和符号领域表现优异，但均匀率模型生成样本时通常需要大量步骤。现有加速方法要么需要额外训练，要么混合速度慢。本文提出Gibbs加速离散扩散（GADD），利用具体分数函数结构直接构建Gibbs后验似然，无需额外训练。GADD实现了O(polylog(ε^{-1}))的采样复杂度，是均匀率离散扩散模型的首个此类理论保证。实验表明，GADD在合成数据、零样本文本生成和条件音乐生成中，显著提升了样本质量和计算效率，优于标准基线方法。
论文离散扩散模型Gibbs校正器采样加速文本生成音乐生成
推荐理由：离散扩散模型加速一直是个难题，GADD用Gibbs校正器实现了理论最优采样复杂度，做生成模型的研究者可以直接参考其方法。
原文
5月19日
10:58
10:58官方账号arXiv cs.LG@Grigory Bartosh, Teodora Pandeva, Sushrut Karmalkar, Javier Zazo
精选
离散扩散模型在多个领域表现优异，但传统方法使用固定马尔可夫加噪链，导致生成过程需要大量采样步骤，计算成本高。本文提出 Forward-Learned Discrete Diffusion (FLDD)，引入可学习的非马尔可夫加噪过程，使生成过程在保持因子化分布的同时，能更高效地匹配目标分布。通过端到端训练所有参数，FLDD 在相同采样步数下生成质量显著优于传统离散扩散模型。实验表明，该方法在图像、文本等基准上均能实现少步高质量生成，有望加速离散扩散模型的实际应用。
论文离散扩散模型少步生成可学习加噪生成模型FLDD
推荐理由：离散扩散模型终于有了加速方案——FLDD 用可学习加噪替代固定链，做生成模型的研究者可以直接在少步采样场景下替换传统方法，效果提升明显。
原文