12:33
官方一手arXiv: DeepSeek@Hong Liu, Yuan Cheng, Lin Niu, Yi Su, Yufei Xue, Anmin Liu, Guanghua Yu, Jianchen Zhu
推荐理由：PIVOT用共享前缀扫描替代逐查询扫描，加速4倍，端到端延迟降1.6倍，效果不打折。适合长上下文推理场景。
PIVOT
共 1 条相关 AI 资讯
7月28日
12:33
DeepSeek稀疏注意力（DSA）在生成式系统中实现令牌级稀疏注意力，但索引器仍需对所有前序token打分，复杂度为O(L²)。PIVOT利用附近查询的token重叠性和索引器得分长尾分布，通过共享前缀扫描加速。PIVOT将一组查询聚合成一个代理查询，进行一次全前缀扫描得到候选集，再为每个查询选择top-k。两个变体：PIVOT-Reuse共享代理top-k，PIVOT-Refine重新评分候选集。在DeepSeek-V3.2和GLM-5.1上，在LongBench和RULER基准上，PIVOT匹配精度，索引器加速4倍，端到端延迟降低1.6倍。