小米 MiMo 团队发布 HySparse2 注意力架构

小米 MiMo 团队宣布 MiMo-V3 将采用新注意力架构 HySparse2。该架构通过 KV Bridging 和 KV Reuse 两级 KV 共享，在 80B-A3B 的 MoE 模型上，1M tokens 时 prefill FLOPs 降至上一代 Hybrid SWA 的 1/5.02，KV cache 从 12.09 GB 降到 2.69 GB。架构上采用 token 级选择取代 64-token 块级选择，RULER-v2 提升 6.6、MRCR-v2 提升 8.1。由于 cross-decoder 的 KV 全部源自前 25 层 self-decoder，prefill 可提前退出，后 24 层整段跳过。论文已发布在 arXiv。