事件专题 · 官方一手

缓存预热有意义:面向智能体工作负载的保活经济学

前沿大模型提供商(如Anthropic、OpenAI、Google、DeepSeek)缓存已处理的提示前缀,后续相同前缀请求仅需支付约10%输入价格并跳过大部分预填充延迟。然而智能体工作流因工具调用或等待常间隔数分钟,导致缓存被清除而需全额重新预填充。本文提出客户端保活机制,在空闲期间定时重放前缀以保持缓存热度,在Anthropic的5分钟TTL下最优为4分钟间隔,可将后续请求成本降低最多12.5倍。盈亏平衡分析显示,对于Anthropic,若空闲超过约46分钟则保活不再优于重新预填充。

当前结论

智能体程序调用API因中间等待导致缓存失效重复收费?这篇论文给出简单解法:每隔4分钟发个ping请求保持缓存,能省12倍成本,很实用。

11 个信源65° AI 热度最后更新 2026/7/21 15:45:47

证据链

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。

查看资讯详情