09:43
官方一手arXiv: DeepSeek@Fengfeng Liang, Yuechen Zhang, Jiaya Jia
精选
推荐理由：这篇论文用RoPE感知的位分配方案，在KV缓存量化上显著提升长上下文检索和推理，效果逼平fp16，值得研究量化的朋友细读。
KV缓存量化
共 1 条相关 AI 资讯
6月24日
09:43
Block-GTQ是一种针对RoPE注意力机制的KV缓存量化位分配方法，基于TurboQuant-MSE构建。它在每个层和注意力头上计算RoPE块的能量得分，通过贪心分配整数位宽。在2和3比特每维度仅量化键的实验中，Block-GTQ在10个模型上使每层平均绝对误差降低32-80%，并赢得全部367个层比较。在Llama-3.1-8B-Instruct上以K2V2配置，NIAH六任务平均从70.6提升至97.4，LongBench英文平均从36.87提升至53.31。在DeepSeek-R1-Distill-Qwen-7B上以K3V2配置，AIME 2024/2025得分51.7/37.5，接近fp16的54.2/37.9，而均匀量化降为0.0/0.0。在H800上对Qwen2.5-3B-Instruct实现3.24倍压缩，128K上下文比fp16 FlashAttention2快1.34倍，峰值内存从56.31GB降至19.85GB。