#DeepSeek Sparse Attention

DeepSeek稀疏注意力有个瓶颈，LongCat这套新方案用流式感知和跨层索引把它治了，跑长文本不慢，还开源了个69B模型，可以试试。

这论文用维度诅咒的视角，搞了个LiteTopK算子，比DeepSeek的DSA更快更省内存，GLM 5.2预填充直接快1.2倍。