AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：文本到图像×
6月23日
13:17
13:17arXiv cs.AI@Sara Dorfman, Maya Vishnevsky, Omer Dahary, Or Patashnik, Daniel Cohen-Or
该论文提出一种名为Semantic Browsing的方法，解决文本到图像模型生成样本多样性不足的问题。传统方法依赖随机噪声产生无意义变化，而Semantic Browsing通过Vision Language Model（VLM）在文本层面施加结构化语义变异。用户可沿可解释的语义轴（如物体属性、场景布局）导航图像集，每个变体对应一个具体可理解的语义决策。实验表明该方法能生成多样且可浏览的设计空间。
论文Semantic Browsing文本到图像Vision Language Model图像生成多样性
推荐理由：想要生成同一主题下不同设计的图像？这篇论文教你用VLM在文本层面控制多样性，比随机抽噪声靠谱多了。
原文
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月2日
12:00
12:00arXiv cs.LG@Zhou Jiang, Yandong Wen, Zhen Liu
精选
一步式文本到图像生成器（如SD-Turbo）因单次前向传播即可生成图像而备受关注，但其偏好微调面临挑战。现有方法依赖策略似然、去噪轨迹或可微奖励梯度，难以直接应用。研究者提出Drifting Preference Optimization (DrPO)，一种在线偏好微调方法，通过从当前生成器采样候选图像，用目标奖励排序，并合成特征空间更新方向（非参数偶极偏好场加参考漂移），实现无需奖励梯度的训练。DrPO在SD-Turbo和SDXL-Turbo上评估，使用HPSv3和GenEval等基准，相比无奖励梯度的一步偏好基线提升了对齐效果，并在匹配有效批次设置下将HPSv3训练计算量降低3.51倍。该方法支持大型、黑箱或不可微奖励，且推理时仍保持单次生成调用。
论文一步生成模型偏好优化文本到图像SD-Turbo奖励函数
推荐理由：DrPO 解决了单步生成模型偏好微调的核心痛点——无需可微奖励或复杂去噪轨迹，做文本到图像生成的团队可以直接用黑箱奖励提升模型对齐度，训练效率还提升了3倍多，值得关注。
原文
5月26日
11:45
11:45arXiv cs.AI@Wei Song, Tianhang Wang, Yitong Chen, Tong Zhang, Zuxuan Wu, Ming Li, Jiaqi Wang, Kaicheng Yu
精选
本文提出通道级向量量化（CVQ），一种全新的图像标记化范式，将传统基于空间分块的标记方式改为对特征图每个通道进行量化。基于CVQ，作者构建了通道级自回归（CAR）模型，采用“下一通道预测”策略，模拟人类艺术家先画轮廓再细化细节的创作流程。实验表明，CVQ在16K+码本大小下实现100%码本利用率，显著提升重建质量；CAR在DPG和GenEval指标上分别达到86.7和0.79，在文本到图像生成任务中表现强劲。这一工作为视觉自回归模型提供了新思路，有望推动图像生成效率与质量的双重提升。
论文图像生成向量量化自回归模型文本到图像视觉细节
推荐理由：CVQ解决了传统VQ码本利用率低、细节丢失的痛点，做图像生成和视觉自回归研究的开发者值得关注——它让模型像人类一样先画轮廓再细化，生成质量更高。
原文
5月13日
19:12
19:12arXiv cs.AI@Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao
精选70°
AlphaGRPO 是一个将 GRPO 强化学习方法应用于统一多模态模型（UMMs）的新框架，无需冷启动阶段即可增强多模态生成能力。它让模型能够执行推理式文本到图像生成（主动推断用户隐含意图）和自反思优化（自主诊断并修正生成结果中的偏差）。为解决真实场景多模态生成的稳定监督问题，论文提出分解可验证奖励（DVReward），利用 LLM 将复杂请求拆解为原子化、可验证的语义与质量子问题，再由通用 MLLM 评估并提供可解释反馈。实验表明，AlphaGRPO 在 GenEval、TIIF-Bench、DPG-Bench 和 WISE 等基准上取得稳健提升，并在未训练编辑任务的情况下在 GEdit 上获得显著改进。
论文多模态生成强化学习/GRPO自反思分解奖励文本到图像
推荐理由：做多模态生成或强化学习对齐的团队值得关注——AlphaGRPO 用分解奖励解决了复杂指令的监督难题，让模型能自我反思修正，直接提升图像生成质量。
原文
5月11日
11:42
11:42arXiv cs.LG（学术论文）
本研究提出 Normalizing Trajectory Models (NTM)，一种新型生成模型框架。传统扩散模型假设多步高斯去噪，在少步采样时失效；现有少步方法依赖蒸馏、一致性训练或对抗目标，但放弃了似然框架。NTM 将每个逆向步骤建模为条件标准化流，并用深层并行预测器连接整个轨迹。该模型可通过预训练流匹配模型初始化，利用精确轨迹似然进行自蒸馏，仅需四步即可生成高质量文本到图像样本。在基准测试中，NTM 在四步内匹配或超越了强基线模型，同时保留了可计算的似然。
论文标准化流扩散模型少步生成文本到图像似然训练
推荐理由：NTM 通过将标准化流与轨迹建模结合，在少步生成和无似然性能间取得平衡，为扩散模型加速提供了新思路。对需要快速推理且关注可解释性的应用（如实时图像生成）具有实际意义。
原文