Bleys 估计 GPT-5.6 Sol 参数达 2-4 万亿,推理速度 750 tokens/s

Bleys estimates GPT-5.6 Sol is somewhere between 2…

精选理由

Bleys 算了一笔账:GPT-5.6 Sol 参数 2-4 万亿、跑在 Cerebras 晶圆上、速度 750 token/s,但价格可能翻倍。想了解下一代超大规模模型怎么造?看这个。

AI 摘要

Bleys 根据公开信息估算,OpenAI 的 GPT-5.6 Sol 模型总参数在 2-4 万亿之间,采用 MoE 架构,每任务激活约 1500 亿参数。模型被分布在 70-100 个 Cerebras 晶圆上,每晶圆是一个巨型芯片,全模型约 70-90 层,最多每晶圆一层以避免瓶颈。由于专为 Cerebras 芯片设计,推理速度可达 750 tokens/s,但使用成本可能比现有模型高出数倍。

AI 翻译 · 中文

Bleys 根据公开信息估算,OpenAI 的 GPT-5.6 Sol 模型总参数在 2-4 万亿之间,采用 MoE 架构,每任务激活约 1500 亿参数。模型被分布在 70-100 个 Cerebras 晶圆上,每晶圆是一个巨型芯片,全模型约 70-90 层,最多每晶圆一层以避免瓶颈。由于专为 Cerebras 芯片设计,推理速度可达 750 tokens/s,但使用成本可能比现有模型高出数倍。

@koltregaskesBleys estimates GPT-5.6 Sol is somewhere between 2-4 trillion parameters total. He calculates they're splitting it across 70-100 Cerebras wafers (each wafer is one giant chip). The model likely has around 70-90 layers. A
Bleys 估计 GPT-5.6 Sol 参数达 2-4 万亿,推理速度 750 tokens/s · AI 热点