11:55
官方账号arXiv cs.AI@Chao Fang, Jun Yin, Man Shi, Marian Verhelst
推荐理由：这篇论文提出HiKV，用两阶段KV缓存压缩加专用硬件，7.95倍加速、90%省电，精度几乎不掉。做长上下文LLM推理加速的可以看看。
HiKV
共 1 条相关 AI 资讯
7月27日
11:55
HiKV是一种算法-硬件协同设计的KV缓存压缩方法，通过两阶段重要性感知实现高压缩率：第一阶段在固定预算内驱逐不重要的token，第二阶段对每个保留token仅加载显著元素。基于可重构重要性排序器的专用加速器统一两阶段的数据通路，仅增加8%系统面积。在代表性LLM上，HiKV实现高达7.95倍加速和90%能耗降低，精度损失小于1%。在等精度约束下，相比其它重要性方法额外减少1.82~4.87倍外部内存访问。