AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：离散扩散模型×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月27日
10:49
10:49arXiv cs.LG@Yuchen Liang, Ness Shroff, Yingbin Liang
精选
离散扩散模型在文本和符号领域表现优异，但均匀率模型生成样本时通常需要大量步骤。现有加速方法要么需要额外训练，要么混合速度慢。本文提出Gibbs加速离散扩散（GADD），利用具体分数函数结构直接构建Gibbs后验似然，无需额外训练。GADD实现了O(polylog(ε^{-1}))的采样复杂度，是均匀率离散扩散模型的首个此类理论保证。实验表明，GADD在合成数据、零样本文本生成和条件音乐生成中，显著提升了样本质量和计算效率，优于标准基线方法。
论文离散扩散模型Gibbs校正器采样加速文本生成音乐生成
推荐理由：离散扩散模型加速一直是个难题，GADD用Gibbs校正器实现了理论最优采样复杂度，做生成模型的研究者可以直接参考其方法。
原文
5月19日
10:58
10:58arXiv cs.LG@Grigory Bartosh, Teodora Pandeva, Sushrut Karmalkar, Javier Zazo
精选
离散扩散模型在多个领域表现优异，但传统方法使用固定马尔可夫加噪链，导致生成过程需要大量采样步骤，计算成本高。本文提出 Forward-Learned Discrete Diffusion (FLDD)，引入可学习的非马尔可夫加噪过程，使生成过程在保持因子化分布的同时，能更高效地匹配目标分布。通过端到端训练所有参数，FLDD 在相同采样步数下生成质量显著优于传统离散扩散模型。实验表明，该方法在图像、文本等基准上均能实现少步高质量生成，有望加速离散扩散模型的实际应用。
论文离散扩散模型少步生成可学习加噪生成模型FLDD
推荐理由：离散扩散模型终于有了加速方案——FLDD 用可学习加噪替代固定链，做生成模型的研究者可以直接在少步采样场景下替换传统方法，效果提升明显。
原文