AITOP

文本到图像

共 9 条相关 AI 资讯
6月26日
03:54
6月23日
14:06
13:17
13:17官方账号arXiv cs.AI@Sara Dorfman, Maya Vishnevsky, Omer Dahary, Or Patashnik, Daniel Cohen-Or
该论文提出一种名为Semantic Browsing的方法，解决文本到图像模型生成样本多样性不足的问题。传统方法依赖随机噪声产生无意义变化，而Semantic Browsing通过Vision Language Model（VLM）在文本层面施加结构化语义变异。用户可沿可解释的语义轴（如物体属性、场景布局）导航图像集，每个变体对应一个具体可理解的语义决策。实验表明该方法能生成多样且可浏览的设计空间。
论文Semantic Browsing文本到图像Vision Language Model
推荐理由：想要生成同一主题下不同设计的图像？这篇论文教你用VLM在文本层面控制多样性，比随机抽噪声靠谱多了。
原文
6月4日
03:00
03:00官方账号Decoder@Matthias Bastian
78°
Ideogram 发布了其文本到图像模型 4.0 版本，作为开源权重模型，支持原生 2K 分辨率、边界框控制和改进的文本渲染。在 DesignArena 排行榜上，它在所有开源模型中排名第一，仅落后于 OpenAI 和 Google 的闭源系统。商业使用需要付费许可。
AI模型Ideogram文本到图像开源模型
事件专题
推荐理由：对于需要高质量图像生成且注重文本准确性的创作者和开发者，Ideogram 4.0 的开源权重版本提供了顶级性能，值得尝试。
原文
6月2日
12:00
12:00官方账号arXiv cs.LG@Zhou Jiang, Yandong Wen, Zhen Liu
精选
一步式文本到图像生成器（如SD-Turbo）因单次前向传播即可生成图像而备受关注，但其偏好微调面临挑战。现有方法依赖策略似然、去噪轨迹或可微奖励梯度，难以直接应用。研究者提出Drifting Preference Optimization (DrPO)，一种在线偏好微调方法，通过从当前生成器采样候选图像，用目标奖励排序，并合成特征空间更新方向（非参数偶极偏好场加参考漂移），实现无需奖励梯度的训练。DrPO在SD-Turbo和SDXL-Turbo上评估，使用HPSv3和GenEval等基准，相比无奖励梯度的一步偏好基线提升了对齐效果，并在匹配有效批次设置下将HPSv3训练计算量降低3.51倍。该方法支持大型、黑箱或不可微奖励，且推理时仍保持单次生成调用。
论文一步生成模型偏好优化文本到图像
推荐理由：DrPO 解决了单步生成模型偏好微调的核心痛点——无需可微奖励或复杂去噪轨迹，做文本到图像生成的团队可以直接用黑箱奖励提升模型对齐度，训练效率还提升了3倍多，值得关注。
原文
5月26日
11:45
11:45官方账号arXiv cs.AI@Wei Song, Tianhang Wang, Yitong Chen, Tong Zhang, Zuxuan Wu, Ming Li, Jiaqi Wang, Kaicheng Yu
精选
本文提出通道级向量量化（CVQ），一种全新的图像标记化范式，将传统基于空间分块的标记方式改为对特征图每个通道进行量化。基于CVQ，作者构建了通道级自回归（CAR）模型，采用“下一通道预测”策略，模拟人类艺术家先画轮廓再细化细节的创作流程。实验表明，CVQ在16K+码本大小下实现100%码本利用率，显著提升重建质量；CAR在DPG和GenEval指标上分别达到86.7和0.79，在文本到图像生成任务中表现强劲。这一工作为视觉自回归模型提供了新思路，有望推动图像生成效率与质量的双重提升。
论文图像生成向量量化自回归模型
推荐理由：CVQ解决了传统VQ码本利用率低、细节丢失的痛点，做图像生成和视觉自回归研究的开发者值得关注——它让模型像人类一样先画轮廓再细化，生成质量更高。
原文
5月13日
19:12
19:12官方账号arXiv cs.AI@Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao
精选70°
AlphaGRPO 是一个将 GRPO 强化学习方法应用于统一多模态模型（UMMs）的新框架，无需冷启动阶段即可增强多模态生成能力。它让模型能够执行推理式文本到图像生成（主动推断用户隐含意图）和自反思优化（自主诊断并修正生成结果中的偏差）。为解决真实场景多模态生成的稳定监督问题，论文提出分解可验证奖励（DVReward），利用 LLM 将复杂请求拆解为原子化、可验证的语义与质量子问题，再由通用 MLLM 评估并提供可解释反馈。实验表明，AlphaGRPO 在 GenEval、TIIF-Bench、DPG-Bench 和 WISE 等基准上取得稳健提升，并在未训练编辑任务的情况下在 GEdit 上获得显著改进。
论文多模态生成强化学习/GRPO自反思
推荐理由：做多模态生成或强化学习对齐的团队值得关注——AlphaGRPO 用分解奖励解决了复杂指令的监督难题，让模型能自我反思修正，直接提升图像生成质量。
原文
08:42
08:42官方账号阶跃星辰 Stepfun@StepFun_ai
Stepfun 发布了 Step Image Edit 2，一个 3.5B 参数的图像模型，在指令式图像编辑基准 KRIS-Bench 上排名第一，涵盖总体、事实和概念类别。其性能超越参数规模 5-6 倍的模型，支持文本到图像生成、指令编辑、双语文字渲染和风格迁移。推理速度快，文本到图像仅需 0.7 秒，每次编辑 1.6 秒，每张图像成本仅 $0.003。该模型已在 Stepfun 开放平台上线，模型 ID 为 step-image-edit-2。
AI模型图像编辑文本到图像多模态
推荐理由：该模型以极小参数量在图像编辑基准上取得领先，推理速度快且成本低，为图像编辑和生成任务提供了高效的新选择。
原文
5月11日
11:42
11:42官方账号arXiv cs.LG（学术论文）
本研究提出 Normalizing Trajectory Models (NTM)，一种新型生成模型框架。传统扩散模型假设多步高斯去噪，在少步采样时失效；现有少步方法依赖蒸馏、一致性训练或对抗目标，但放弃了似然框架。NTM 将每个逆向步骤建模为条件标准化流，并用深层并行预测器连接整个轨迹。该模型可通过预训练流匹配模型初始化，利用精确轨迹似然进行自蒸馏，仅需四步即可生成高质量文本到图像样本。在基准测试中，NTM 在四步内匹配或超越了强基线模型，同时保留了可计算的似然。
论文标准化流扩散模型少步生成
推荐理由：NTM 通过将标准化流与轨迹建模结合，在少步生成和无似然性能间取得平衡，为扩散模型加速提供了新思路。对需要快速推理且关注可解释性的应用（如实时图像生成）具有实际意义。
原文