精选理由
离散扩散模型加速一直是个难题，GADD用Gibbs校正器实现了理论最优采样复杂度，做生成模型的研究者可以直接参考其方法。
离散扩散模型在文本和符号领域表现优异，但均匀率模型生成样本时通常需要大量步骤。现有加速方法要么需要额外训练，要么混合速度慢。本文提出Gibbs加速离散扩散（GADD），利用具体分数函数结构直接构建Gibbs后验似然，无需额外训练。GADD实现了O(polylog(ε^{-1}))的采样复杂度，是均匀率离散扩散模型的首个此类理论保证。实验表明，GADD在合成数据、零样本文本生成和条件音乐生成中，显著提升了样本质量和计算效率，优于标准基线方法。
AI 翻译 · 中文
离散扩散模型在文本和符号领域表现优异，但均匀率模型生成样本时通常需要大量步骤。现有加速方法要么需要额外训练，要么混合速度慢。本文提出Gibbs加速离散扩散（GADD），利用具体分数函数结构直接构建Gibbs后验似然，无需额外训练。GADD实现了O(polylog(ε^{-1}))的采样复杂度，是均匀率离散扩散模型的首个此类理论保证。实验表明，GADD在合成数据、零样本文本生成和条件音乐生成中，显著提升了样本质量和计算效率，优于标准基线方法。
Discrete diffusion models have achieved strong empirical performance in text and other symbolic domains, but, especially for uniform-rate models, they often require many steps to generate a single sample. Existing accele…