Models12:10
Chinese contentLongCat稀疏注意力：流式感知分层跨层索引DeepSeek稀疏注意力有个瓶颈，LongCat这套新方案用流式感知和跨层索引把它治了，跑长文本不慢，还开源了个69B模型，可以试试。
#DeepSeek Sparse Attention
2 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "DeepSeek Sparse Attention", newest first.
Aug 4
Jul 15
Papers09:14
Chinese contentLiteTopK：利用维度灾难优化稀疏注意力融合Indexer-TopK内核这论文用维度诅咒的视角，搞了个LiteTopK算子，比DeepSeek的DSA更快更省内存，GLM 5.2预填充直接快1.2倍。