Event ·Multi-source

EXO 与 Thinking Machines 让 Inkling 2 Mini 在 Mac 本地跑到 125 token/s

EXO Labs 与 Thinking Machines 合作,让 Inkling 2 Mini 在本地设备上高效运行:96GB M5 Ultra Mac Studio 上达到 210 tok/s 解码、3620 tok/s 预填充,48GB M5 Max MacBook Pro 上达到 125 tok/s 解码、1750 tok/s 预填充。测试中它构建一个原生天气应用的速度比 Claude Sonnet 5.5(API)快 1.8 倍,成本低 11 倍。 技术上,Inkling 2 Mini 采用循环(looping)架构:重复使用同一组模型层来增加推理时计算量,从而在不增大模型体积的前提下提升智能水平。这种设计特别适合 MacBook 这类内存受限的本地设备,让小模型在端侧也能获得更多"思考"时间。 对开发者来说,这意味着无需 API 也能在笔记本上跑出接近云端模型的编程表现,同时成本优势明显。原推作者用 48GB M5 Max 只测到 33 token/s,怀疑是 DeepSeek harness 拖累了速度,EXO 的官方数据说明优化后的 harness 能拉开数倍差距。

Current read

EXO 和 Thinking Machines 把 Inkling 2 Mini 优化到 MacBook 本地 125 tok/s,还在天气应用测试里比 Claude Sonnet 5.5 API 快 1.8 倍、便宜 11 倍。靠的是循环架构,小模型反复跑层来加推理计算。经常写代码的人可以在本地白嫖一个编程模型,不用付 API 费。

11 sources58° AI heatLast updated 2026/11/21 15:12:35

Evidence

11 sources
Related source 1Julien Chaumond
View source
Related source 2kimmonismus
View source
Related source 3Artificial Analysis
View source
Related source 5marktechpost
View source
Related source 6lmarena.ai
View source
Related source 7Clement Delangue
View source
Related source 8Thinking Machines Lab
View source
Related source 9Merve Noyan
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.