论文12:19
DepthWeave-KV: 面向长上下文的KV缓存压缩方法长上下文推理内存瓶颈有救了！DepthWeave-KV用跨层分解加自适应压缩，8.3倍KV缓存缩减，速度72.8 tokens/s，比其他方法效果更好。
#DepthWeave-KV
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「DepthWeave-KV」标签的资讯、产品与论文，按刊登时间排，新的在上。
7月8日
长上下文推理内存瓶颈有救了！DepthWeave-KV用跨层分解加自适应压缩，8.3倍KV缓存缩减，速度72.8 tokens/s，比其他方法效果更好。