23:33
marktechpost@Asif Razzaq
marktechpost@Asif Razzaq精选
推荐理由：MiniMax 搞了个新稀疏注意力 MSA，1M 上下文计算量降 28 倍，准度却一点没掉，适合长文本场景。
全部 AI 动态
AI 相关资讯全量信息流
6月17日
23:33
MiniMax 发布 Sparse Attention (MSA) 机制，基于 Grouped Query Attention (GQA) 架构。MSA 包含一个轻量级索引分支，为每个查询和 GQA 组选择 Top-k 键值块；主分支仅关注这些块。在 1M 上下文长度下，每个 token 的注意力计算量减少 28.4 倍。该机制训练在 109B 参数的 MoE 模型上，使用 3T token 预算，下游基准测试中与 GQA 性能相当。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月5日
20:42
20:42IT之家（博客/媒体）
72°
推荐理由：长文本推理的延迟痛点终于有了低成本解法——Stem 用 25% 算力实现近无损精度，做 LLM 推理优化的团队可以直接用开源代码实测，128K 上下文下首字延迟降低 3.6 倍的效果值得关注。
5月28日
15:39
15:39
pandaily@contact@pandaily.com (Pandaily)
精选
推荐理由：稀疏注意力是当前大模型效率优化的关键方向，MiniMax 的 9.7 倍提速对做长文本推理的开发者是直接利好，值得关注其技术细节和开源计划。