AITOP

缓存

共 10 条相关 AI 资讯
8月19日
01:33
8月17日
15:08
15:08shao__meng@shao__meng
71°
Claude Code 成本由模型、输入输出类型和提示词缓存决定，其中输出 token 价格约为输入的 5 倍，thinking token 占输出大头。缓存读取仅 0.1× 价格，但切换 /model、/effort 或开启 Fast mode 会击穿缓存，导致全价重新 prefill。会话中读过的文件和命令输出会在每轮重复计费，第 40 轮需重读前 39 轮，长会话成本超直觉。建议任务间用 /clear、@提及文件省去 Read 调用、给命令加静默参数，并在缓存 1 小时过期前用 /compact 压缩。
技巧Claude CodeSubagent编程助手
推荐理由：这篇把 Claude Code 的省钱门道讲透了：缓存怎么省、什么时候切模型便宜、哪些命令输出是隐形开销。适合天天用 Claude Code 写代码的人照着调。
原文
8月11日
14:34
7月22日
11:21
11:21官方一手arXiv: Anthropic@Maxim Khailo
前沿大模型提供商（如Anthropic、OpenAI、Google、DeepSeek）缓存已处理的提示前缀，后续相同前缀请求仅需支付约10%输入价格并跳过大部分预填充延迟。然而智能体工作流因工具调用或等待常间隔数分钟，导致缓存被清除而需全额重新预填充。本文提出客户端保活机制，在空闲期间定时重放前缀以保持缓存热度，在Anthropic的5分钟TTL下最优为4分钟间隔，可将后续请求成本降低最多12.5倍。盈亏平衡分析显示，对于Anthropic，若空闲超过约46分钟则保活不再优于重新预填充。
论文AnthropicOpenAIDeepSeek
事件专题
推荐理由：智能体程序调用API因中间等待导致缓存失效重复收费？这篇论文给出简单解法：每隔4分钟发个ping请求保持缓存，能省12倍成本，很实用。
原文
7月9日
11:40
6月29日
00:01
00:01官方账号Clement Delangue@ClementDelangue
Brian Armstrong在推文中分享了Coinbase控制AI成本的实践。他提到，通过将默认模型切换到开源模型如GLM 5.2和Kimi 2.7，91%的员工从未触及使用上限。通过改进缓存，LibreChat的缓存命中率从5%提升到60%。这些措施使AI支出减少近一半，同时token用量仍在增长。他还强调路由优化和精简上下文的重要性。
技巧Hugging FaceGLM 5.2Kimi 2.7
推荐理由：Coinbase创始人Brian Armstrong分享了一套实际操作方案：用更便宜的默认模型、优化缓存和路由，能把AI成本砍半。开源模型GLM 5.2和Kimi 2.7是主角，缓存命中率从5%跳到60%。
原文
6月27日
12:17
6月24日
22:46
22:46官方账号LangChain@LangChainAI
精选
Jeff Barg在Interrupt会议上透露，Clay每月运行3.5亿个GTM智能体。他指出，缓存可将LLM调用成本降低高达70%。限制工具调用范围不仅能节省成本，还能提升输出质量。在多租户负载下，引入公平队列机制至关重要。
技巧ClayGTM agentsLLM成本
推荐理由：做AI智能体上线的小伙伴必看，Clay的AI负责人亲自讲了怎么降本70%和优化队列，干货12分钟。
原文
5月29日
08:17
5月24日
15:34