10:17
arXiv: DeepSeek@Jushi Kai, Zhuiri Xiao, Alexandra Birch, Zhouhan Lin
推荐理由：这篇论文提出了InfoKV，用信息熵改进KV缓存压缩，在Llama-3.1和DeepSeek-R1上比传统注意力方法效果更好，适合关注长推理效率的人。
全部 AI 动态
AI 相关资讯全量信息流
6月26日
10:17
论文提出InfoKV，一种熵感知的KV缓存压缩框架，通过结合token级预测不确定性与层表示演化来估计重要性。在Llama-3.1、Llama-3.2和DeepSeek-R1上的长上下文推理基准实验中，InfoKV在预填充和解码阶段持续优于现有基于注意力的压缩方法。该方法引入Forward Influence度量，发现高不确定性token对远距离上下文影响更大。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07