扩散Transformer 相关 AI 资讯

7月28日

11:49

官方账号arXiv cs.LG@Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li

MMOE (ModernMOE) 是一种对SiT风格扩散Transformer的现代化改造，系统性地集成了路由专家、共享与轻量专家、门控残差路由及注意力残差信息复用。所有实验在单个8卡H100节点上以batch size 256训练40万步。在相同预算下，MMOE在每个记录检查点都达到更低的FID，即每训练步收敛更快，且优于密集和中等稀疏专家基线。路由分析显示专家在深度上稳定专业化，轻量路由被大量使用，去噪过程中步骤间的路由变化适度。这表明AIGC基础模型可以跟随LLM的平衡扩展路径，而不是简单地增加总参数量和稀疏比。

事件专题

推荐理由：这篇论文把LLM里高效扩展的思路用到了扩散Transformer上，MMOE在单机8卡H100就跑出了更低的FID，比加参数更实用。

原文

7月3日

11:32

官方账号arXiv cs.AI@Donghyun Lee, Jitesh Chavan, Duy Nguyen, Sam Huang, Liming Jiang, Priyadarshini Panda, Timo Mertens, Saurabh Shukla

OrbitQuant提出一种数据无关的权重量化方案，通过随机置换块Hadamard（RPBH）旋转将激活值变换到归一化旋转基，使各坐标分布固定无需重新拟合校准数据。在FLUX.1、Z-Image-Turbo、Wan 2.1、CogVideoX四个模型上，该方法在多个低位宽设定下达到后训练量化（PTQ）最佳效果，并将图像扩散Transformer的PTQ推进到W2A4可用质量。同一量化器可直接从图像迁移到视频，无需针对每种模态调整。

AI模型 OrbitQuant 扩散Transformer 量化

推荐理由：想给图像或视频扩散模型做低位量化？OrbitQuant不需要每换一个模型或任务就重跑校准，FLUX.1、Wan 2.1上表现都很能打，W2A4也有可用效果。

原文

6月12日

09:25

官方账号arXiv cs.AI@Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

OmniDirector 提出了一种通用相机运动表示方法，将相机参数编码为网格运动视频，从而支持多镜头视频生成。该框架在百万级相机网格-视频对上训练，能够协调角色、动作和相机，提供导演级别的控制。它设计了一种分层提示扩展代理，通过理解信号关系系统描述相机运动和视觉内容，实现不同控制信号的和谐集成。实验表明，OmniDirector 在复杂相机运动克隆任务上表现优异，解决了现有方法依赖配对数据且性能不佳的问题。

论文相机运动克隆视频生成多镜头

推荐理由：做视频生成和相机运动控制的团队终于有了一个无需配对数据就能克隆多镜头相机运动的方案——OmniDirector 用网格运动视频统一了相机表示，直接在百万级数据上训练，效果比依赖合成配对数据的方法好很多，做视频编辑和影视制作的开发者值得关注。

原文

6月9日

13:07

官方账号arXiv cs.AI@Jisong Cai, Long Ling, Shiwei Chu, Zhongshan Liu, Jiayue Kang, Zhixuan Liang, Wenjie Xu, Yinan Mao, Weinan Zhang, Xiaokang Yang, Ru Ying, Ran Zheng, Yao Mu

AHA-WAM是一种基于双扩散Transformer（DiT）架构的异步世界-动作模型，用于机器人操控。它通过将世界预测和动作执行解耦到不同时间分辨率，解决了传统模型在近端帧建模上的冗余问题。视频DiT作为低频世界规划器，维护滚动键值记忆并编码长期场景演化；动作DiT作为高频执行器，通过层间联合注意力查询世界上下文。实验在RoboTwin和真实世界任务中达到92.80%和78.3%的成功率，闭环控制频率达24.17 Hz，速度提升4.59倍，且无需机器人数据预训练。

论文机器人操控世界模型扩散Transformer

推荐理由：机器人操控研究者终于有了一个能高效解耦世界建模与动作执行的方案——AHA-WAM在速度和成功率上双赢，做具身智能的团队可以直接参考其异步架构设计。

原文