09:43
官方账号arXiv cs.LG@Wenhao Li, Jinhao Dong, Hailin Zhang, Wenhang Shi, Wei Lu, Xiaoyong Du
推荐理由：RaBitQCache用旋转二进制量化KV缓存，比现有稀疏注意力方法更快更省内存，还能自适应调整预算。
RaBitQCache
共 1 条相关 AI 资讯
7月1日
09:43
RaBitQCache利用随机旋转二进制量化和二进制INT4算术高效估计注意力权重。该方法的代理分数是无偏估计量且具有可证误差界，支持自适应Top-p检索动态调整令牌预算。硬件感知系统通过异步流水线和惰性更新隐藏开销。实验表明，相比现有基线，RaBitQCache显著加速推理并减少内存I/O，同时保持生成质量。代码已在GitHub开源。