AI产品精选

Fireworks 推出 Serverless 2.0:无需预留 GPU,三种服务路径

Reliability shouldn't require reserving GPUs. Serverless 2.0 is live on Fireworks: one API, 3 servi...

精选理由

做 AI 推理部署的团队终于不用为可靠性提前锁死 GPU 了——Fireworks 的三种路径按需选,Kimi K2.6 和 GLM 5.1 还能跑 100+ tok/s,值得试试。

AI 摘要

Fireworks AI 发布了 Serverless 2.0,提供三种服务路径:Standard(弹性默认)、Priority(拥堵时最后降级,价格约 1.5 倍)和 Fast(Kimi K2.6 和 GLM 5.1 上超 100 tok/s)。该方案解决了传统 AI 推理中需要预留 GPU 才能保证可靠性的痛点,让开发者按需使用、灵活选择性能与成本。用户无需提前锁定资源即可获得高吞吐和低延迟,降低了 AI 部署的门槛。

AI 翻译 · 中文

Fireworks AI 发布了 Serverless 2.0,提供三种服务路径:Standard(弹性默认)、Priority(拥堵时最后降级,价格约 1.5 倍)和 Fast(Kimi K2.6 和 GLM 5.1 上超 100 tok/s)。该方案解决了传统 AI 推理中需要预留 GPU 才能保证可靠性的痛点,让开发者按需使用、灵活选择性能与成本。用户无需提前锁定资源即可获得高吞吐和低延迟,降低了 AI 部署的门槛。

Fireworks AIReliability shouldn't require reserving GPUs. Serverless 2.0 is live on Fireworks: one API, 3 serving paths. → Standard: elastic default → Priority: sheds last under congestion, pricing ~1.5x standard → Fast: >100