精选理由
做 AI 应用或负责成本优化的团队,这条关于模型路由的洞察直接关系到你的预算和架构选择——Coinbase 已经验证了在 token 使用暴增时成本可控的路径,值得参考。
Coinbase CEO Brian Armstrong 在 X 上分享了对模型路由趋势的看法,认为对智能的需求近乎无限,但未来 12-18 个月内,80% 的工作负载将运行在便宜 99% 的模型上,仅 20% 需要最新高端模型。他类比高端 MacBook 或游戏 PC 的配置比例,指出价格下降速度远超摩尔定律,因此瓶颈将是能源和算力而非模型本身。Coinbase 正积极将提示路由到更便宜的模型,在 token 使用量指数增长的同时保持成本基本持平。
AI 翻译 · 中文
Coinbase CEO Brian Armstrong 在 X 上分享了对模型路由趋势的看法,认为对智能的需求近乎无限,但未来 12-18 个月内,80% 的工作负载将运行在便宜 99% 的模型上,仅 20% 需要最新高端模型。他类比高端 MacBook 或游戏 PC 的配置比例,指出价格下降速度远超摩尔定律,因此瓶颈将是能源和算力而非模型本身。Coinbase 正积极将提示路由到更便宜的模型,在 token 使用量指数增长的同时保持成本基本持平。
Model routing is growing a lot these days Brian Armstrong @brian_armstrong Good take My guess is - demand for intelligence is near infinite - but 80% of workloads will be running on 99% cheaper models within 12-18 months…