Event ·Multi-source

EXO Labs 与 Thinking Machines 让 Inkling 2 Mini 本地跑出 210 tok/s,速度比 Claude Sonnet 5.5 快 1.8 倍

EXO Labs 与 Thinking Machines 合作,把 Inkling 2 Mini 优化到可在 Mac 上高效本地运行:在 96GB M5 Ultra Mac Studio 上解码速度达 210 tok/s、prefill 达 3620 tok/s;在 48GB M5 Max MacBook Pro 上也达到 125 tok/s 解码、1750 tok/s prefill。 实测中,它在一台 M5 Ultra Mac Studio 上构建原生天气应用的速度比 Claude Sonnet 5.5 快 1.8 倍,按 API 定价计算便宜 11 倍。关键在于其 looping 架构:循环复用模型层可以在不增加模型体积的情况下提升推理时算力,因此更适合内存受限的本地设备。 这一结果表明开源模型加上本地推理优化,已在编码任务上对云端闭源模型形成速度与成本的双重优势,对需要在 MacBook 上离线跑模型的开发者是直接可用的方案。

Current read

如果你想在 MacBook 上不联网跑代码模型,这条值得看:Inkling 2 Mini 在 M5 Ultra 上每秒 210 token,做编码任务比 Claude Sonnet 5.5 快 1.8 倍还便宜 11 倍。 looping 架构让小模型本地也能堆推理算力,独立开发者直接受益。

11 sources68° AI heatLast updated 2026/11/21 11:17:46

Evidence

11 sources
Primary sourceJulien Chaumond
View source
Related source 2Clement Delangue
View source
Related source 3Artificial Analysis
View source
Related source 4kimmonismus
View source
Related source 5lmarena.ai
View source
Related source 6marktechpost
View source
Related source 7Merve Noyan
View source
Related source 8Thinking Machines Lab
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.