AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：MLA×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月2日
12:05
12:05arXiv: DeepSeek@Bole Ma, Jan Eitzinger, Harald Köstler, Gerhard Wellein
72°
本文研究跨 GPU 实例的注意力机制优化问题。传统方法在查询需要访问其他 GPU 上的 KV 缓存块时，会移动缓存块到查询所在 GPU，但多查询注意力（MLA）将每个 token 的键和值压缩为窄向量，使得路由查询（约 1KB）比移动缓存块更便宜。作者在真实多节点 H100 集群上测量了跨实例 MLA 注意力，提出了拓扑感知成本模型和路由/获取/本地决策谓词，发现解码时路由查询可将缓存移动的约 3 毫秒开销降低到几十微秒。该模型不限于 MLA，可推广到 DeepSeek-V3.2、V4 和 GLM-5.1 等架构。
论文注意力机制MLA跨实例推理GPU 集群成本模型
推荐理由：做大规模 LLM 推理部署的团队，这篇论文给出了跨 GPU 注意力优化的新思路——路由查询而非移动缓存，实测能大幅降低延迟。建议关注其成本模型和决策谓词，可直接用于优化自家推理系统。
原文
5月29日
11:05
11:05arXiv cs.AI@Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag
精选
VideoMLA首次将多头潜注意力（MLA）应用于视频扩散模型，通过共享低秩内容潜变量和分离的3D-RoPE位置键，将每个token的KV缓存内存减少92.7%。研究发现，尽管视频注意力并非低秩（99%能量有效秩远超实际潜变量维度），但MLA瓶颈决定了有效秩，而非预训练频谱，从而在压缩比下保持质量。在VBench基准上，VideoMLA在短时视频扩散中匹配基线，在长时任务中取得最佳综合得分，并在单块B200上实现1.23倍吞吐量提升。该工作解决了长序列视频生成中KV缓存内存和延迟瓶颈，为分钟级视频扩散提供了高效方案。
论文视频扩散KV缓存低秩注意力MLA长序列生成
推荐理由：视频生成团队终于有了解决长序列KV缓存内存爆炸的方案——VideoMLA将内存减少92.7%且不牺牲质量，做长视频扩散的开发者可以直接在B200上试，吞吐量提升1.23倍。
原文