12:19
官方账号arXiv cs.AI@Anna Cordoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesus Olivera
推荐理由：长上下文推理内存瓶颈有救了！DepthWeave-KV用跨层分解加自适应压缩，8.3倍KV缓存缩减，速度72.8 tokens/s，比其他方法效果更好。
DepthWeave-KV
共 1 条相关 AI 资讯
7月8日
12:19
DepthWeave-KV是一种跨层键值缓存压缩方法，通过共享低秩通道基分解相邻层状态，保留令牌特定残差。它使用令牌条件深度路由器为指令型和检索关键令牌分配更高重构秩，并通过注意力输出探头在线追踪误差自适应压缩。在LongBench等基准上，DepthWeave-KV实现近满缓存任务质量，压缩比达8.3倍，64K上下文速度72.8 tokens/s。