全部 AI 动态 · AI 热点

arXiv cs.AI@Keshigeyan Chandrasegaran, Kyle Sargent, Suchir Agarwal, Michael Jang, Michael Poli, Juan Carlos Niebles, Justin Johnson, Jiajun Wu, Li Fei-Fei

精选72°

斯坦福大学发布GPIC（Giant Permissive Image Corpus），一个包含约28万亿像素、1亿训练样本的开放许可图像数据集。所有图像均采用宽松许可，可自由用于研究和商业用途，并经过安全过滤和去重处理。数据集托管在Hugging Face上，附带基准测试协议和像素空间流匹配的参考基线。这为视觉生成模型的可扩展研究提供了稳定、大规模且合规的数据基础。

论文视觉生成数据集开放许可图像生成斯坦福

推荐理由：做视觉生成模型训练的研究者终于有了一个大规模、开放许可、可直接商用的数据集，不用再为版权和合规问题头疼。建议做图像生成、扩散模型或流匹配的团队直接下载使用。

原文

5月19日

14:28

arXiv cs.AI@Songsong Yu, Yuxin Chen, Ying Shan, Yanwei Li

精选

统一多模态模型（UMMs）试图在单一架构中整合视觉理解与视觉生成，但现有训练范式将两者解耦，导致表征空间错位。本文首次系统研究生成式后训练，发现高层语义任务（如图像分割）可作为最优代理，通过提供结构语义来增强视觉感知和生成布局保真度。作者提出语义生成调优（SGT）范式，利用分割作为生成代理对齐多模态能力。机制分析表明SGT改善了特征线性可分性和视觉-文本注意力分配。实验证明SGT在主流基准上持续提升多模态理解和生成保真度。

论文统一多模态模型生成式后训练图像分割视觉理解视觉生成

推荐理由：做多模态模型训练的团队终于有了一个能同时提升理解和生成的后训练方法——SGT用分割任务对齐表征空间，比解耦训练更高效，做视觉AI的开发者可以直接参考代码实现。

原文