SearchGen-Bench揭示视觉生成模型世界知识瓶颈,协同训练框架提效

Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

精选理由

想了解视觉生成模型为什么画不出新角色或近期事件?这篇论文用具体数据告诉你差距在哪,还给了个可复现的协作搜索方案。

AI 摘要

本文提出SearchGen-20K数据集和SearchGen-Bench基准,包含20,839条提示,覆盖12类失败模式和22个领域。在SearchGen-Bench上,前沿开放视觉生成模型得分仅21-28分(满分100),比现有基准低40分。作者发现朴素搜索无效,会引入噪声,并识别出生成器特有的知识边界,提出"先教后搜"协同训练框架,即使最小版本也带来单调改进。

AI 翻译 · 中文

本文提出SearchGen-20K数据集和SearchGen-Bench基准,包含20,839条提示,覆盖12类失败模式和22个领域。在SearchGen-Bench上,前沿开放视觉生成模型得分仅21-28分(满分100),比现有基准低40分。作者发现朴素搜索无效,会引入噪声,并识别出生成器特有的知识边界,提出"先教后搜"协同训练框架,即使最小版本也带来单调改进。

arXiv cs.AIVisual generators excel at rendering, but they confidently fabricate what they do not know. User requests are unbounded, evolving, and deeply long-tailed: new characters, trending entities, post-cutoff events, and more.