f-散度加权去噪提升扩散模型稳健性

Robust Diffusion Models via Divergence-Induced Weighted Denoising

精选理由

这篇论文改进了扩散模型的抗污染能力,用f-散度加权去噪在CIFAR-10上30%污染时FID从93降到77,比常用鲁棒损失好用。

AI 摘要

研究者提出用f-散度诱导的非线性变换替换扩散模型的标准MSE去噪损失,在CIFAR-10数据集30%污染条件下,负指数散度(NED)将FID从93.0(KL散度)降至77.5。该方法基于局部散度构造,利用DDPM高斯反向核结构将每步条件f-散度简化为去噪误差的一维函数。Hellinger散度产生显式指数权重,连接至稳健M估计框架。实验显示NED优于Huber损失和截断MSE等常见鲁棒损失。

AI 翻译 · 中文

研究者提出用f-散度诱导的非线性变换替换扩散模型的标准MSE去噪损失,在CIFAR-10数据集30%污染条件下,负指数散度(NED)将FID从93.0(KL散度)降至77.5。该方法基于局部散度构造,利用DDPM高斯反向核结构将每步条件f-散度简化为去噪误差的一维函数。Hellinger散度产生显式指数权重,连接至稳健M估计框架。实验显示NED优于Huber损失和截断MSE等常见鲁棒损失。

arXiv cs.LGWe show that replacing the standard MSE denoising loss in diffusion models with a nonlinear transformation induced by an f-divergence yields a simple robust training surrogate that empirically improves performance under