去噪器相关 AI 资讯 · AI 热点

8月25日

11:26

11:26

官方账号arXiv cs.LG@Daniil Dmitriev, Zhihan Huang, Yuting Wei

精选

离散扩散模型提供了一种并行更新的替代方案，但其采样效率取决于前向过程和采样器的选择。本文提出了一种基于留一法去噪器的第一阶采样器，适用于均匀和重遮蔽过程，其坐标更新可并行进行。通过建立自适应采样保证，证明了在满足误差要求的情况下，所需的离散化步骤数量与目标分布的内禀依赖结构相关，而非环境维度。实验验证了这一理论预测的行为。

论文离散扩散模型采样器去噪器

推荐理由：这篇论文提出了一个新的采样器，提高了离散扩散模型的采样效率，对于想要了解最新采样技术的人来说是个好资源。

7月7日

11:37

11:37

官方账号arXiv cs.AI@Rodrigo Casado Noguerales, Bernhard Schölkopf, Thomas Hofmann, Aran Raoufi

论文严格推导了连续时间马尔可夫链(CTMC)的ELBO，证明负ELBO恰好等于数据熵加上从Oracle逆过程到学习过程的路径KL散度。Oracle Distance定理指出，唯一最优解是给定当前噪声状态下真实逆跳转率的条件期望，而不可约成本是前向过程Z_t破坏关于干净数据Z_0信息的速率-d/dt I(Z_0; Z_t)。对于token-factorizing噪声，优化器有去噪器、桥接预测器和分数三种精确坐标，且存在封闭转换公式。该框架统一解释了MDM、UDM、SEDD和GIDD等方法的损失函数含义，并证明了去噪器参数化会在初始化时使均匀扩散ELBO发散，而桥接预测器保持有限。所有恒等式在精确可解模型上得到数值验证。

论文离散扩散模型 Oracle Distance定理 CTMC ELBO

推荐理由：这篇论文把离散扩散模型的理论基础讲透了，用Oracle Distance定理统一了多种损失函数，还揭示了去噪器和桥接预测器在初始化时的差异。想搞懂扩散模型原理的人别错过。