OpenAI 改进 GPT-6 API 提示词缓存，缓存命中折扣最高 90%
We’ve improved prompt caching in the API for GPT-6, helping agents run faster and cost less. Higher...
精选理由
OpenAI 给 GPT-6 的 API 上线了更好的提示词缓存，默认命中率更高，缓存输入最高打一折，跑智能体的成本和延迟都能降下来。
OpenAI 在 API 中为 GPT-6 改进了提示词缓存，默认情况下缓存命中率更高，意味着更多输入 token 可以按缓存输入计费，折扣最高可达 90%。对跑长上下文或多轮对话的智能体来说，这能同时降低延迟和成本。缓存命中部分按缓存价计费，未命中部分仍按正常输入价计费。
原文 · @OpenAIDevs
We’ve improved prompt caching in the API for GPT-6, helping agents run faster and cost less. Higher...
We’ve improved prompt caching in the API for GPT-6, helping agents run faster and cost less. Higher cache-hit rates by default mean more input tokens benefit from cached-input discounts of up to 90%. Your browser does not support the video tag. 🔗 View on Twitter 💬 3 🔄 4 ❤️ 109 👀 5796 📊 16 ⚡
