DiTs

general · First seen 2026-05-22 · Last seen 2026-10-16 · 15 mentions

Overview

DiTs(Diffusion Transformers,扩散Transformer)是一类将 Transformer 架构引入扩散模型、以注意力机制替代传统 U-Net 作为骨干网络的生成模型架构,目前已成为文本生成图像、视频生成等视觉生成领域的主流技术底座。自 DiT 被提出并经 Stable Diffusion 3、Sora 等模型推广后,围绕 DiTs 的研究重心正从架构验证转向训练效率与推理成本的优化。

DiTs 的近期研究进展

近期公开研究集中在三条主线上:训练加速、推理加速和量化压缩。

  • CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization 提出分块动量正交化方法,旨在同时提升 DiT 训练的速度与稳定性,属于训练侧优化路线。
  • ChebBooster:基于切比雪夫多项式的训练免费扩散Transformer推理加速框架 利用切比雪夫多项式逼近,在不重新训练的情况下加速 DiT 推理,反映了“training-free”加速方向的热度。
  • 缓存与量化是降低推理成本的另一重点。Rethinking What to Cache in Few-Step Diffusion Transformers: Solver-Aware Target Selection 针对少步采样场景重新思考缓存对象的选择;KroQuant 与 OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers 则分别通过 Kronecker 结构块变换和数据无关量化,把 DiT 压缩到更适合部署的精度。
  • 此外,研究开始向 DiT 内部机理和衍生应用延伸:Learning to Read the Contextual Tokens in Diffusion Transformers 分析模型如何读取上下文 token,DiT-Reward 则将 DiT 的生成表征用于文本生成图像的奖励建模,Designing Transformers for Continuous Diffusion Language Models 显示扩散式生成正在向连续语言模型方向扩展。
  • DiTs 的当前焦点与观察点

    综合近期工作可以看到三个值得关注的趋势。第一,效率优先:由于 DiT 中全局注意力开销大,训练优化、缓存策略、training-free 加速与后训练量化构成了一套完整的降本组合,未来可能被整合进统一的推理框架。第二,机理研究升温:对 token 作用机制的分析表明社区不再满足于堆参数,而是试图理解 DiT 为何有效,这可能反过来指导架构设计。第三,应用外溢:从图像、视频到奖励建模和连续扩散语言模型,DiTs 正在被当作通用生成骨架复用。其争议点主要在于——缓存与量化在大幅提速的同时是否会造成生成质量的隐性损失,目前尚缺乏统一评测标准,实际部署时需要针对具体模型和采样步数做权衡验证。

    Coverage

    8 on file