精选理由
这篇论文改进了扩散模型的抗污染能力,用f-散度加权去噪在CIFAR-10上30%污染时FID从93降到77,比常用鲁棒损失好用。
研究者提出用f-散度诱导的非线性变换替换扩散模型的标准MSE去噪损失,在CIFAR-10数据集30%污染条件下,负指数散度(NED)将FID从93.0(KL散度)降至77.5。该方法基于局部散度构造,利用DDPM高斯反向核结构将每步条件f-散度简化为去噪误差的一维函数。Hellinger散度产生显式指数权重,连接至稳健M估计框架。实验显示NED优于Huber损失和截断MSE等常见鲁棒损失。
AI 翻译 · 中文
研究者提出用f-散度诱导的非线性变换替换扩散模型的标准MSE去噪损失,在CIFAR-10数据集30%污染条件下,负指数散度(NED)将FID从93.0(KL散度)降至77.5。该方法基于局部散度构造,利用DDPM高斯反向核结构将每步条件f-散度简化为去噪误差的一维函数。Hellinger散度产生显式指数权重,连接至稳健M估计框架。实验显示NED优于Huber损失和截断MSE等常见鲁棒损失。
We show that replacing the standard MSE denoising loss in diffusion models with a nonlinear transformation induced by an f-divergence yields a simple robust training surrogate that empirically improves performance under …