AITOPAI热报

Diffusion Transformers

concept · First seen 2026-06-15 · Last seen 2026-10-06 · 12 mentions

Overview

Diffusion Transformers（DiT，扩散 Transformer）是将 Transformer 架构引入扩散模型的一类生成模型骨干网络，用自注意力替代传统 U-Net 卷积结构，已成为当前图像与视频生成领域的主流技术路线。Sora、Stable Diffusion 3、FLUX 等代表性模型均基于这一架构，围绕它的研究近期集中在推理效率、训练稳定性和任务拓展三个方向。

Diffusion Transformers 近期进展

  • MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers：注意力稀疏化是 DiT 推理加速的热门手段，该工作系统拆解了稠密注意力与稀疏注意力之间的性能差距来源，试图在保持生成质量的前提下缩小这一差距。
  • Rethinking What to Cache in Few-Step Diffusion Transformers: Solver-Aware Target Selection：针对少步数采样场景，提出感知求解器的缓存目标选择策略，重新思考在推理过程中哪些计算结果值得缓存复用，属于典型的免训练加速思路。
  • ChebBooster: A Training-Free Approach for Efficient Diffusion Transformer Inference via Chebyshev-Inspired Extrapolation：利用切比雪夫多项式外推实现免训练推理加速，与缓存、量化等方法共同构成 DiT 推理优化的工具箱。
  • KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers：提出基于 Kronecker 结构块变换的训练后量化方法，面向大参数量 DiT 模型的部署压缩需求。
  • Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation：Marigold 系列更新至 V2，将 Diffusion Transformers 架构迁移到单目深度估计任务，显示 DiT 的应用边界正从纯生成向判别式视觉任务扩展。
  • CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization：从训练侧入手，通过分块动量正交化加速并稳定 DiT 训练，反映了优化器层面的改进也在跟进这一架构。

    • 当前焦点与观察点

    现阶段围绕 Diffusion Transformers 的讨论大致可以归纳为三条线。其一是推理效率：由于自注意力对 token 数量的平方复杂度，稀疏注意力、缓存复用、切比雪夫外推、训练后量化等免训练或低成本的加速方案密集出现，MC-Sparse 等工作试图论证这些近似手段能逼近稠密计算的精度上限。其二是训练与优化：CMuon 等方法表明 DiT 的训练稳定性问题仍未彻底解决，优化器改进是活跃的切入点。其三是任务泛化：Marigold V2 将架构用于深度估计，加上 Embedding Prediction Helps Image Generation、Level-of-Token Diffusion 等对模型内部机制的研究，说明社区正在探索 DiT 除文生图、文生视频之外的能力边界。

    值得关注的是，加速类工作的共同前提是默认 DiT 的计算开销大部分是冗余的——这一假设能否在大规模部署中被持续验证，将决定稀疏化与量化方案能否成为行业标准配置，而非论文层面的技巧。

    Coverage

    9 on file