精选理由
Bleys 算了一笔账:GPT-5.6 Sol 参数 2-4 万亿、跑在 Cerebras 晶圆上、速度 750 token/s,但价格可能翻倍。想了解下一代超大规模模型怎么造?看这个。
Bleys 根据公开信息估算,OpenAI 的 GPT-5.6 Sol 模型总参数在 2-4 万亿之间,采用 MoE 架构,每任务激活约 1500 亿参数。模型被分布在 70-100 个 Cerebras 晶圆上,每晶圆是一个巨型芯片,全模型约 70-90 层,最多每晶圆一层以避免瓶颈。由于专为 Cerebras 芯片设计,推理速度可达 750 tokens/s,但使用成本可能比现有模型高出数倍。
AI 翻译 · 中文
Bleys 根据公开信息估算,OpenAI 的 GPT-5.6 Sol 模型总参数在 2-4 万亿之间,采用 MoE 架构,每任务激活约 1500 亿参数。模型被分布在 70-100 个 Cerebras 晶圆上,每晶圆是一个巨型芯片,全模型约 70-90 层,最多每晶圆一层以避免瓶颈。由于专为 Cerebras 芯片设计,推理速度可达 750 tokens/s,但使用成本可能比现有模型高出数倍。
Bleys estimates GPT-5.6 Sol is somewhere between 2-4 trillion parameters total. He calculates they're splitting it across 70-100 Cerebras wafers (each wafer is one giant chip). The model likely has around 70-90 layers. A…