EXO 与 Thinking Machines 让 Inkling 2 Mini 在 Mac 本地跑到 125 token/s
EXO 和 Thinking Machines 把 Inkling 2 Mini 优化到 MacBook 本地 125 tok/s,还在天气应用测试里比 Claude Sonnet 5.5 API 快 1.8 倍、便宜 11 倍。靠的是循环架构,小模型反复跑层来加推理计算。经常写代码的人可以在本地白嫖一个编程模型,不用付 API 费。
EXO Labs 与 Thinking Machines 合作,让 Inkling 2 Mini 在本地设备上高效运行:96GB M5 Ultra Mac Studio 上达到 210 tok/s 解码、3620 tok/s 预填充,48GB M5 Max MacBook Pro 上达到 125 tok/s 解码、1750 tok/s 预填充。测试中它构建一个原生天气应用的速度比 Claude Sonnet 5.5(API)快 1.8 倍,成本低 11 倍。
技术上,Inkling 2 Mini 采用循环(looping)架构:重复使用同一组模型层来增加推理时计算量,从而在不增大模型体积的前提下提升智能水平。这种设计特别适合 MacBook 这类内存受限的本地设备,让小模型在端侧也能获得更多"思考"时间。
对开发者来说,这意味着无需 API 也能在笔记本上跑出接近云端模型的编程表现,同时成本优势明显。原推作者用 48GB M5 Max 只测到 33 token/s,怀疑是 DeepSeek harness 拖累了速度,EXO 的官方数据说明优化后的 harness 能拉开数倍差距。
为什么我的48GB M5 Max MacBook Pro 只能跑到 33 token/s 可能是我使用 DeepSeek harness 拖累了速度 感觉明年是不是就有能跑在笔记本上面能力相当于 Opus 5.5 的端侧模型了? 话说回来我感觉我这个48GB M5 Max 还不如我的 36G 的M3 Max ,跑起来风扇呼呼直响,渲染视频也是,我那个M3 Max稳如老狗,感觉M5 Max设计有问题!!
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Inkling 2 Mini, EXO Labs, Thinking Machines, on-device models.
Source attribution: curated from 小互 (@imxiaohu).