Papers12:33
Chinese contentPIVOT：令牌级稀疏注意力的高效查询组索引方法PIVOT用共享前缀扫描替代逐查询扫描，加速4倍，端到端延迟降1.6倍，效果不打折。适合长上下文推理场景。
#PIVOT
1 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "PIVOT", newest first.
Jul 28
PIVOT用共享前缀扫描替代逐查询扫描，加速4倍，端到端延迟降1.6倍，效果不打折。适合长上下文推理场景。