精选理由
这个框架不用重训模型，就能在图片和视频生成时自动修语义错，比之前的免训练方法更靠谱。
自回归视觉模型（AVM）基于下一尺度预测进行图像和视频合成，但语义错误易累积。现有免训练方法忽略中间生成状态，导致错误未被诊断。Gazer框架引入多模态大语言模型反馈，在AVM采样循环中通过反思诊断和语义修正两个阶段实时纠正错误。在组合图像和视频基准测试中，Gazer提升了多个AVM的语义对齐和组合准确性，无需额外训练。
AI 翻译 · 中文
自回归视觉模型（AVM）基于下一尺度预测进行图像和视频合成，但语义错误易累积。现有免训练方法忽略中间生成状态，导致错误未被诊断。Gazer框架引入多模态大语言模型反馈，在AVM采样循环中通过反思诊断和语义修正两个阶段实时纠正错误。在组合图像和视频基准测试中，Gazer提升了多个AVM的语义对齐和组合准确性，无需额外训练。
Autoregressive visual models (AVMs) based on next-scale prediction have emerged as a prominent paradigm for image and video synthesis. However, decomposing the generation process into discrete scales with varying granula…