09:14
官方一手arXiv: DeepSeek@Ziqi Yin, Jianyang Gao, Peiqi Yin, Jiangneng Li, Gao Cong
推荐理由：这论文用维度诅咒的视角，搞了个LiteTopK算子，比DeepSeek的DSA更快更省内存，GLM 5.2预填充直接快1.2倍。
LiteTopK
共 1 条相关 AI 资讯
7月15日
09:14
本文针对长上下文稀疏注意力中的Indexer-TopK操作，指出现有GPU内核如DeepSeek Sparse Attention（DSA）存在全局内存开销大、同步成本高问题。作者利用高维空间中向量距离分布集中的特性，提出LiteTopK内核：通过采样小部分数据估计查询-数据分数范围，在线分桶，维持紧近似阈值并回写有潜力候选。实验在GLM 5.2的预填充阶段实现1.2倍加速，同时降低内存开销，且保持精确Top-k结果。