Chinese content清华开源 AKV：基于 SGLang 的智能体 KV 缓存管理服务器
清华开源的 AKV 挺有意思，跑在 SGLang 上，不摘要历史而是直接搬 KV cache，4 个智能体基准上平均省 27.7% 成本。
#AKV
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "AKV", newest first.
Oct 26
清华开源的 AKV 挺有意思，跑在 SGLang 上，不摘要历史而是直接搬 KV cache，4 个智能体基准上平均省 27.7% 成本。
