#稀疏注意力
一篇实用论文：MC-Sparse 不用训练就能把视频和 3D 生成的去噪提速 1.8 到 2.3 倍，还指出了以往稀疏注意力掉质量的三个原因。
小米把 MiMo-V3 的注意力架构拆开讲了：KV Cache 提前生成、Prefill 少跑一半层数，跑 Agent 时长上下文检索更省更准，细节都在官方这篇说明里。
小米 LLM-Core 团队搞了个 HySparse2 稀疏注意力，1M token 预填充计算量降约 5 倍，做长上下文的可以看看。
一篇新论文 CompKV，重新设计了稀疏注意力里的 token 选择逻辑，长上下文推理自注意力最高快 6.85 倍，做推理优化的可以看看。
把 token 当粒子建模，还拿 Kimi-K3 和 DeepSeek-V4-Flash 实测验证，讲清稀疏注意力为啥省算力还不丢效果。
这篇论文把稀疏和低秩两种思路拧在一起，解决Transformer的长序列瓶颈。不用算完整的注意力矩阵，就能同时抓住局部和全局信息。
这论文用维度诅咒的视角，搞了个LiteTopK算子，比DeepSeek的DSA更快更省内存，GLM 5.2预填充直接快1.2倍。
MiniMax搞了个M3内核，KV-stationary让稀疏注意力在B200上跑到980 TFLOP/s，每个块只读一次，长上下文推理加速神器。
美团开源了1.6T参数的LongCat-2.0，激活参数480亿，原生支持100万token上下文，国内ASIC集群跑出来的，值得关注。
M3 的 1M 上下文和稀疏注意力架构解决了长文档和复杂智能体任务的性能瓶颈，做 RAG、代码分析和自动化工作流的团队可以直接在 vLLM 上部署试用。
做长上下文推理或 agent 工作流的开发者，终于有了一个能直接部署的稀疏注意力方案——MSA 在 109B 模型上实现 28 倍计算缩减，且内核已开源，值得立刻试跑。
LSA 解决了超长上下文推理的 GPU 内存瓶颈，做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案，显著降低部署成本。
长文本推理的延迟痛点终于有了低成本解法——Stem 用 25% 算力实现近无损精度，做 LLM 推理优化的团队可以直接用开源代码实测，128K 上下文下首字延迟降低 3.6 倍的效果值得关注。
稀疏注意力是长上下文 LLM 服务的关键瓶颈，Vortex 让 AI Agent 和研究者能快速实验新算法，做 LLM 推理优化的团队可以直接用它提升吞吐量，值得关注。
长上下文推理的瓶颈被 MSA 大幅缓解，做 RAG、长文档分析或大上下文应用的团队值得立即体验，速度提升意味着更低的成本和更好的用户体验。
M3 的稀疏注意力解决了长上下文推理的成本痛点，做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%，意味着更长的任务链也能跑得动。
做视频理解或多模态应用的开发者，终于有了一个长上下文和深度理解兼得的开源模型，建议直接去 Hugging Face 下载试试。
MiniMax M3 把长上下文、稀疏注意力和多模态融合做到了一个模型里，而且计算效率大幅提升，做 Agent 开发、多模态应用或长文档处理的团队可以直接用 API 试试，价格也很友好。
稀疏注意力是当前大模型效率优化的关键方向，MiniMax 的 9.7 倍提速对做长文本推理的开发者是直接利好，值得关注其技术细节和开源计划。
MiniMax M3用动态稀疏注意力把1M上下文的算力成本打下来了，做长上下文Agent的开发者可以直接关注，这可能是让百万token任务真正落地的关键突破。
长上下文 LLM 的推理成本一直是痛点，DashAttention 用可微分稀疏注意力在保持精度的同时大幅提速，做长文本推理和模型优化的研究者值得关注。