ModelsOfficial
清华开源 AKV：基于 SGLang 的智能体 KV 缓存管理服务器
Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang
Why we picked it
清华开源的 AKV 挺有意思，跑在 SGLang 上，不摘要历史而是直接搬 KV cache，4 个智能体基准上平均省 27.7% 成本。
清华大学团队开源了 AKV，一个基于 SGLang 的缓存工程服务系统。它不再让 LLM 智能体对历史内容做摘要，而是直接丢弃和重新放置 KV cache。在 4 个智能体基准测试上，该方法将平均成本降低了 27.7%。
Original · marktechpost
Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang
Tsinghua researchers released AKV, an SGLang-based serving system for cache engineering. LLM agents drop and reposition KV cache instead of summarizing history, cutting average cost 27.7% across 4 agent benchmarks. The post Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang appeared first on MarkTechPost .
