Coinbase分享AI成本优化策略:默认模型、路由、缓存

> Better Caching – Cache misses are the easiest way to drive your cost up. All of our requests ar...

精选理由

Coinbase用缓存和默认模型省了一半钱,还让token随便用,想省成本的团队可以照抄作业。

AI 摘要

Coinbase CEO Brian Armstrong在推文中介绍了公司通过更优默认设置、智能路由和缓存来控制AI支出增长。他们默认使用开源模型如GLM 5.2和Kimi 2.7,使91%员工未触发使用上限。缓存命中率在LibreChat中从5%提升至60%。这些措施使AI支出降低近一半,同时token使用量持续增长。

AI 翻译 · 中文

Coinbase CEO Brian Armstrong在推文中介绍了公司通过更优默认设置、智能路由和缓存来控制AI支出增长。他们默认使用开源模型如GLM 5.2和Kimi 2.7,使91%员工未触发使用上限。缓存命中率在LibreChat中从5%提升至60%。这些措施使AI支出降低近一半,同时token使用量持续增长。

Harrison Chase> Better Caching – Cache misses are the easiest way to drive your cost up. All of our requests are cache aware, so we’re reusing a warm cache wherever possible. We do this for you in Deep Agents - see our blog on it h