11:05arXiv cs.AI@Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag精选VideoMLA首次将多头潜注意力(MLA)应用于视频扩散模型,通过共享低秩内容潜变量和分离的3D-RoPE位置键,将每个token的KV缓存内存减少92.7%。研究发现,尽管视频注意力并非低秩(99%能量有效秩远超实际潜变量维度),但MLA瓶颈决定了有效秩,而非预训练频谱,从而在压缩比下保持质量。在VBench基准上,VideoMLA在短时视频扩散中匹配基线,在长时任务中取得最佳综合得分,并在单块B200上实现1.23倍吞吐量提升。该工作解决了长序列视频生成中KV缓存内存和延迟瓶颈,为分钟级视频扩散提供了高效方案。论文视频扩散KV缓存低秩注意力MLA长序列生成推荐理由:视频生成团队终于有了解决长序列KV缓存内存爆炸的方案——VideoMLA将内存减少92.7%且不牺牲质量,做长视频扩散的开发者可以直接在B200上试,吞吐量提升1.23倍。原文