小米 MiMo 团队发布 HySparse2 注意力架构
小米 MiMo 团队搞了个新注意力架构，1M 上下文时 prefill 计算量和 KV cache 都砍到原来的几分之一，长文检索分数还涨了，做长上下文部署的可以看看论文。
#HySparse2
共 2 条 · 7 天 2 条 · 30 天 2 条
信息流里打上「HySparse2」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月24日
小米发布 HySparse2：两级 KV 共享让 MiMo-V3 长上下文预填充计算量降约 5 倍
小米 LLM-Core 团队搞了个 HySparse2 稀疏注意力，1M token 预填充计算量降约 5 倍，做长上下文的可以看看。