11:37
官方账号arXiv cs.AI@Rodrigo Casado Noguerales, Bernhard Schölkopf, Thomas Hofmann, Aran Raoufi
推荐理由：这篇论文把离散扩散模型的理论基础讲透了，用Oracle Distance定理统一了多种损失函数，还揭示了去噪器和桥接预测器在初始化时的差异。想搞懂扩散模型原理的人别错过。
去噪器
共 1 条相关 AI 资讯
7月7日
11:37
论文严格推导了连续时间马尔可夫链(CTMC)的ELBO，证明负ELBO恰好等于数据熵加上从Oracle逆过程到学习过程的路径KL散度。Oracle Distance定理指出，唯一最优解是给定当前噪声状态下真实逆跳转率的条件期望，而不可约成本是前向过程Z_t破坏关于干净数据Z_0信息的速率-d/dt I(Z_0; Z_t)。对于token-factorizing噪声，优化器有去噪器、桥接预测器和分数三种精确坐标，且存在封闭转换公式。该框架统一解释了MDM、UDM、SEDD和GIDD等方法的损失函数含义，并证明了去噪器参数化会在初始化时使均匀扩散ELBO发散，而桥接预测器保持有限。所有恒等式在精确可解模型上得到数值验证。