残差量化相关 AI 资讯 · AI 热点

7月2日

11:14

11:14

官方账号arXiv cs.LG@Soosung Kim, Minjae Park, Eui-Young Chung, Jaeyong Chung

GSRQ提出Gain-Shape K-means (GSKM)替代传统K-means，解决高维中欧氏质心收缩导致的方向偏差问题。在LLaMA-3-8B上，1-bit量化时LongBench平均准确率从11.34提升至33.54，比VQLLM提高22.20个百分点。该方法在保持向量方向的同时实现子1-bit压缩。

AI模型 GSRQ Gain-Shape Residual Quantization KV缓存残差量化 LLaMA-3-8B

推荐理由：这篇论文搞了个GSRQ新量化方法，1-bit下比VQLLM准22个点，专门解决KV缓存压缩时的方向丢失问题。