精选理由
这篇论文提出了InfoKV，用信息熵改进KV缓存压缩，在Llama-3.1和DeepSeek-R1上比传统注意力方法效果更好，适合关注长推理效率的人。
论文提出InfoKV，一种熵感知的KV缓存压缩框架，通过结合token级预测不确定性与层表示演化来估计重要性。在Llama-3.1、Llama-3.2和DeepSeek-R1上的长上下文推理基准实验中，InfoKV在预填充和解码阶段持续优于现有基于注意力的压缩方法。该方法引入Forward Influence度量，发现高不确定性token对远距离上下文影响更大。
AI 翻译 · 中文
论文提出InfoKV，一种熵感知的KV缓存压缩框架，通过结合token级预测不确定性与层表示演化来估计重要性。在Llama-3.1、Llama-3.2和DeepSeek-R1上的长上下文推理基准实验中，InfoKV在预填充和解码阶段持续优于现有基于注意力的压缩方法。该方法引入Forward Influence度量，发现高不确定性token对远距离上下文影响更大。
Reasoning capability has advanced rapidly in large language models (LLMs), leading to an increasing size of key-value (KV) cache in both prefilling and decoding stages. Existing KV cache compression methods mainly rely o…