PTL-Diffusion:用周期终端分布改进流形感知扩散

PTL-Diffusion: Manifold-Aware Diffusion with Periodic Terminal Laws

精选理由

做生成模型的研究者会发现,PTL-Diffusion 用周期终端分布解决了流形结构丢失的痛点,在低维流形数据上效果明显,值得在点云或人脸生成任务上试试。

AI 摘要

标准扩散模型通常使用单一高斯分布作为终端参考分布,这难以捕捉数据在低维流形上的结构。PTL-Diffusion 提出一种新的前向噪声过程,其终端分布不再是单一不变分布,而是一族周期性的高斯分布,从而将相位结构直接嵌入前向动力学。该方法推导了封闭形式的前向边缘分布、周期高斯终端族和显式高斯反向后验,并引入不变平均正则化项来耦合相位条件反向动力学。在环面、圆柱点云和 Olivetti 人脸数据集上的实验表明,PTL-Diffusion 在流形级别的分布匹配上优于标准 DDPM,减少了相位条件误差、特征空间协方差误差和最近邻流形距离。这项工作为结构化终端参考分布提供了有前景的方向。

AI 翻译 · 中文

标准扩散模型通常使用单一高斯分布作为终端参考分布,这难以捕捉数据在低维流形上的结构。PTL-Diffusion 提出一种新的前向噪声过程,其终端分布不再是单一不变分布,而是一族周期性的高斯分布,从而将相位结构直接嵌入前向动力学。该方法推导了封闭形式的前向边缘分布、周期高斯终端族和显式高斯反向后验,并引入不变平均正则化项来耦合相位条件反向动力学。在环面、圆柱点云和 Olivetti 人脸数据集上的实验表明,PTL-Diffusion 在流形级别的分布匹配上优于标准 DDPM,减少了相位条件误差、特征空间协方差误差和最近邻流形距离。这项工作为结构化终端参考分布提供了有前景的方向。

arXiv cs.AIStandard diffusion models typically use a single time-homogeneous Gaussian terminal distribution as the reference law for generation. While this choice is analytically convenient and empirically powerful, it provides lit