Xiaomi MiMo-V3 to Adopt New Architecture with HySparse 2
罗福莉官宣小米 MiMo-V3 采用全新架构，核心 HySparse 2 今日发布
The architecture targets agentic workloads, where each turn appends long observations and prefill cost, cache size and retrieval accuracy sit on the critical path simultaneously. Switching from block-level to token-level selection and folding SWA into a forced recent window gives local and global tokens one shared KV cache. Developers building long-context agents should watch MiMo-V3's release, especially against open-source alternatives like DeepSeek and Qwen in the same weight class.
Luo Fuli, head of Xiaomi's MiMo large model team, announced on 23 Sep 2026 that MiMo-V3 will use a new architecture centred on HySparse 2, released the same day. At 1M-token context lengths, prefill FLOPs drop 5.02x and KV cache size shrinks 4.5x. HySparse 2 scores higher on MRCRv2 and RULER-v2 while achieving lower AgentPPL and LongPPL. The design introduces KV Bridging, following the YOCO approach, and KV Reuse, where sparse layers reuse the previous full-attention layer's KV cache and selection indices. The paper is available on arXiv at 2609.26368.
罗福莉官宣小米 MiMo-V3 采用全新架构，核心 HySparse 2 今日发布
IT之家 9 月 23 日消息，小米 MiMo 大模型负责人罗福莉今日发文，宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 今日发布，带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。 在 1M（100 万）Token 长度下，预填充计算量（FLOPs）降低 5.02 倍 在 1M Token 长度下，KV 缓存缩小 4.5 倍 具有更高的 MRCRv2 和 RULER-v2 评分，同时 AgentPPL 和 LongPPL 更低 罗福莉表示，智能体（Agentic）推理是一种截然不同的工作负载。每一轮交互，一个简短的动作可能会返回需要进行预填充的长文本观察结果，同时上下文还在不断增长。这使得预填充成本、KV 缓存大小和检索准确率同时处于关键路径上。 KV 桥接（KV Bridging）： 遵循 YOCO 思路，交叉解码器（cross-decoder）中的全注意力层利用自解码器（self-decoder）的隐藏状态构建其 K/V。 KV 重用（KV Reuse）： 在每个混合块内，稀疏层复用前一层全注意力层的 KV 缓存和选择索引。 另外还有两项改进：采用 Token 级别的选择来替代块（block）级别的选择，并用近期 Token 的强制窗口来替代独立的 SWA 分支，从而让本地和全局 Token 共享同一个 KV 缓存。由于所有的交叉解码器 KV 缓存现在都来自自解码器，因此预填充在自解码器完成时即可停止。 值得一提的是，昨日凌晨， 小米刚刚发布并开源了全新的 Xiaomi MiMo-V2.6 系列 ，包含 Pro 与 Flash 两个原生全模态模型。小米称这是其探索 RSI（递归自我改进）路径的关键一步，通过规模化扩展强化学习算力，让模型在持续的探索与反馈中拓展智能边界。 IT之家附论文地址如下： https://arxiv.org/pdf/2609.26368
