论文精选

SKILD:统一生成与连续超分辨率的尺度不变扩散模型

Everything at Every Scale: Scale-Invariant Diffusion with Continuous Super-Resolution

精选理由

SKILD 用一个模型同时搞定生成和超分,省去了为不同尺度重复训练的麻烦,做图像生成或物理模拟的团队值得关注,直接省掉条件分支和重训练。

AI 摘要

SKILD 是一种新型扩散模型,通过利用图像和物理系统的尺度不变性,将图像生成和连续超分辨率统一在一个无条件的框架中。其前向过程从粗到细衰减图像内容并注入匹配频谱的高斯噪声,使尺度成为扩散的显式坐标。训练后的反向过程仅通过改变起始时间步即可同时执行生成和任意倍数的超分辨率,无需任务特定架构、条件分支或无分类器引导。在 CIFAR-10 上达到 FID 2.65 和 Inception Score 9.63,在 ImageNet 上实现 2 倍到 8 倍超分辨率,性能超越条件模型,并能重建关键伊辛模型的相关函数。

AI 翻译 · 中文

SKILD 是一种新型扩散模型,通过利用图像和物理系统的尺度不变性,将图像生成和连续超分辨率统一在一个无条件的框架中。其前向过程从粗到细衰减图像内容并注入匹配频谱的高斯噪声,使尺度成为扩散的显式坐标。训练后的反向过程仅通过改变起始时间步即可同时执行生成和任意倍数的超分辨率,无需任务特定架构、条件分支或无分类器引导。在 CIFAR-10 上达到 FID 2.65 和 Inception Score 9.63,在 ImageNet 上实现 2 倍到 8 倍超分辨率,性能超越条件模型,并能重建关键伊辛模型的相关函数。

arXiv cs.AICreating images from noise is image generation; reconstructing fine details from coarse inputs is super-resolution. Despite their practical differences, both can be understood as reversing information loss across scales.