23:33
marktechpost@Asif Razzaq
marktechpost@Asif Razzaq精选
推荐理由：MiniMax 搞了个新稀疏注意力 MSA，1M 上下文计算量降 28 倍，准度却一点没掉，适合长文本场景。
精选
过去 24 小时，从 1002 条中筛出 58 条
6月17日
23:33
MiniMax 发布 Sparse Attention (MSA) 机制，基于 Grouped Query Attention (GQA) 架构。MSA 包含一个轻量级索引分支，为每个查询和 GQA 组选择 Top-k 键值块；主分支仅关注这些块。在 1M 上下文长度下，每个 token 的注意力计算量减少 28.4 倍。该机制训练在 109B 参数的 MoE 模型上，使用 3T token 预算，下游基准测试中与 GQA 性能相当。
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月1日
00:09
AITOP6月1日 00:09
