#LLM

共 791 条 · 7 天 48 条 · 30 天 186 条
8月31日
8月30日
8月29日
8月28日
8月27日
8月26日
8月25日
8月24日
8月23日
8月22日
8月21日
论文10:21
LLM缓存淘汰策略研究:LFU表现最佳

研究人员用CLEVER框架测试了7种缓存淘汰策略,发现LFU在大多数情况下表现最好,而其他策略效果差距不大。他们还发现,实际可用的缓存命中率远低于理论值,因为很多命中答案不可替换。这个研究对优化LLM缓存很有参考价值。

arXiv cs.LG@Yash Kulkarni 等 3 人原文
8月20日
8月19日
8月18日