10:21
官方账号arXiv cs.LG@Yash Kulkarni, Shubham Harkare, Arvind Suresh Yogesh Babu
推荐理由：研究人员用CLEVER框架测试了7种缓存淘汰策略，发现LFU在大多数情况下表现最好，而其他策略效果差距不大。他们还发现，实际可用的缓存命中率远低于理论值，因为很多命中答案不可替换。这个研究对优化LLM缓存很有参考价值。
淘汰策略
共 1 条相关 AI 资讯
8月21日
10:21
该研究使用CLEVER框架，在三个查询语料库、三种缓存容量和两种编码器上，评估了FIFO、LRU、LFU、ARC、GDSF、SISO和语义冗余等七种缓存淘汰策略。在18种设置中，没有任何策略的命中率能超过LFU超过0.041个百分点。在容量紧张时，FIFO和流式SISO的命中率比LFU低最多8.67和8.55个百分点。研究指出，在精确查找和插入缺失项的协议下，新插入的条目无法在其命中半径内有驻留邻居，因此几何感知的淘汰规则收到的冗余信号很少。审计发现，在MiniLM的中位最近邻阈值下，只有2.1-3.9%的命中被认为是答案可替换的，将原始51-60%的命中率降至质量调整后的1.1-2.2%。跨编码器研究还表明，阈值在不同嵌入模型之间无法转移。LFU是该协议下最强大的简单默认选择。