Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks 论文

Safe Autoregressive Image Generation with Iterative Self-Improving Codebooks

精选理由

这篇论文给自回归图像生成的安全问题提供了一个不需要人工标注的自我改进方案,用模型自己判断不安全图片然后修复码本,很实用。

AI 摘要

该论文针对自回归统一多模态模型在文本到图像生成中的安全性问题,提出迭代自我改进码本方法。方法利用模型自身理解与判断能力识别不安全生成图像,无需人工标注。通过构建有害空间并更新码本消除有害映射,再在无害空间内自适应微调码本以保持生成质量。实验表明,该方法在不依赖外部反馈情况下迭代提升模型安全性。

AI 翻译 · 中文

该论文针对自回归统一多模态模型在文本到图像生成中的安全性问题,提出迭代自我改进码本方法。方法利用模型自身理解与判断能力识别不安全生成图像,无需人工标注。通过构建有害空间并更新码本消除有害映射,再在无害空间内自适应微调码本以保持生成质量。实验表明,该方法在不依赖外部反馈情况下迭代提升模型安全性。

arXiv cs.AIUnlike diffusion-based models that operate in continuous latent spaces, autoregressive unified multimodal models produce images by sequentially predicting discretized visual tokens. These tokens are derived from a codebo