论文09:38随机化设计为KV-Cache驱逐提供可证明误差证书一篇论文证明了随机化KV-Cache驱逐能提供误差证书,覆盖率达97%。如果你关心推理加速中的精度损失量化,这方法很实用。#KV-Cache#驱逐策略#误差证书#随机化aarXiv cs.AI@Peng Xie原文稍后读已读值得跟进有用关注 KV-Cache