PReCache：免训练的 KV Cache 共享框架，多 LoRA 智能体 TTFT 提速最高 3.1 倍
多智能体跑长任务时每个 LoRA 都重算一遍上下文，这篇论文给了一套免训练的共享方案，提速最高 3.1 倍，做 agent 服务的值得看看实现思路。
#PReCache
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「PReCache」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月29日
多智能体跑长任务时每个 LoRA 都重算一遍上下文，这篇论文给了一套免训练的共享方案，提速最高 3.1 倍，做 agent 服务的值得看看实现思路。