TunerDiT:无需训练的多事件视频生成渐进引导方法

TunerDiT: Training-free Progressive Steering of Diffusion Transformer for Multi-Event Video Generation

精选理由

做视频生成的研究者或开发者,如果被长视频多事件生成的一致性困扰,TunerDiT 的零训练方案直接可用,值得关注其事件边界控制与提示融合的设计。

AI 摘要

TunerDiT 提出了一种无需额外训练的多事件视频生成方法,通过分析扩散变换器(DiT)的去噪轨迹,发现文本条件从全局布局到细节的转变点。该方法包含两个关键组件:事件分区掩码(强制事件边界并允许过渡带)和跨事件提示融合(注入相邻事件语义进行后期细化)。在自建的多事件基准测试 Meve 上,TunerDiT 在 8 个指标上达到最优,并能在视频一致性和事件分离之间进行可调权衡。随着事件数量增加,文本对齐性能提升,显示出扩展潜力。

AI 翻译 · 中文

TunerDiT 提出了一种无需额外训练的多事件视频生成方法,通过分析扩散变换器(DiT)的去噪轨迹,发现文本条件从全局布局到细节的转变点。该方法包含两个关键组件:事件分区掩码(强制事件边界并允许过渡带)和跨事件提示融合(注入相邻事件语义进行后期细化)。在自建的多事件基准测试 Meve 上,TunerDiT 在 8 个指标上达到最优,并能在视频一致性和事件分离之间进行可调权衡。随着事件数量增加,文本对齐性能提升,显示出扩展潜力。

arXiv cs.AIText-to-video (T2V) generation faces challenging questions when generating videos with long horizons containing multiple events. Inspired by the intrinsics of the diffusion process, we probe video diffusion transformers