小米公开 MiMo-V3 核心架构 HySparse2，优化长程多轮 Agent 推理效率

小米 MiMo 公布面向 MiMo-V3 的核心注意力架构 HySparse2，在 HySparse 基础上引入两级 KV 共享（KV Bridging 与 KV Reuse）和 token 级稀疏选择。新架构强制选中最近 128 个 token 局部窗口，再从窗口外选 1,024 个全局 token，稀疏层不再需要独立 SWA 分支。在 49 层模型中，Prefill 只需执行前 25 层 Self-Decoder，所需模型权重存储接近减半。团队在 80B-A3B MoE 模型上用相同数据与训练流程对比 Hybrid SWA、HySparse 和 HySparse2，token 级选择在 RULER-v2、MRCR-v2 和 GraphWalks 上均有提升。