精选理由
这篇论文把VLM做图像编辑时定位不准的老问题挖到底了——原来不是模型不行，是提取信号的方式错了。他们用了个'代理分析'的巧招，把隐藏的定位信号给揪了出来，搞编辑管线的值得一看。
本文研究VLM在扩散图像编辑管线中作为条件编码器时的定位能力下降问题。作者提出Analysis-by-Proxy框架，训练轻量级代理模型在VLM中间表示上执行辅助定位任务。实验发现，在单次前向传递约束下，定位信号未可靠传播到预设条件层配置，而是隐藏在随输入提示变化的中间表示中。该框架揭示了现有编辑管线条件提取策略的根本失败，为设计更合理的条件架构提供了方向。
AI 翻译 · 中文
本文研究VLM在扩散图像编辑管线中作为条件编码器时的定位能力下降问题。作者提出Analysis-by-Proxy框架，训练轻量级代理模型在VLM中间表示上执行辅助定位任务。实验发现，在单次前向传递约束下，定位信号未可靠传播到预设条件层配置，而是隐藏在随输入提示变化的中间表示中。该框架揭示了现有编辑管线条件提取策略的根本失败，为设计更合理的条件架构提供了方向。
Vision-Language Models (VLMs) are increasingly utilized as the conditioning backbone for diffusion-based image editing due to their remarkable multimodal reasoning capabilities. While standalone VLMs demonstrate strong l…