精选理由
OpenAI 把 GPT-5.6 Sol 放到 Cerebras 上跑,推理速度飙到 750 tokens/s,比常规部署快很多,适合追求低延迟的场景。
OpenAI 宣布其大型模型 GPT-5.6 Sol 将在 Cerebras 硬件上提供推理服务,速度高达 750 tokens 每秒。官方表示该版本与原始模型“相同”,但可能在上下文窗口大小等参数上有调整。该部署预计显著提升推理效率,适用于高吞吐场景。
AI 翻译 · 中文
OpenAI 宣布其大型模型 GPT-5.6 Sol 将在 Cerebras 硬件上提供推理服务,速度高达 750 tokens 每秒。官方表示该版本与原始模型“相同”,但可能在上下文窗口大小等参数上有调整。该部署预计显著提升推理效率,适用于高吞吐场景。
GPT-5.6 Sol (the big model) will be served on Cerebras hardware at up to 750 tokens per second (very fast!). OpenAI say the Cerebras serving will be the "SAME" model, but there could be custard in context size etc. https…