Models

EXO 与 Thinking Machines 让 Inkling 2 Mini 在 Mac 本地跑到 125 token/s

Why we picked it

EXO 和 Thinking Machines 把 Inkling 2 Mini 优化到 MacBook 本地 125 tok/s,还在天气应用测试里比 Claude Sonnet 5.5 API 快 1.8 倍、便宜 11 倍。靠的是循环架构,小模型反复跑层来加推理计算。经常写代码的人可以在本地白嫖一个编程模型,不用付 API 费。

EXO Labs 与 Thinking Machines 合作,让 Inkling 2 Mini 在本地设备上高效运行:96GB M5 Ultra Mac Studio 上达到 210 tok/s 解码、3620 tok/s 预填充,48GB M5 Max MacBook Pro 上达到 125 tok/s 解码、1750 tok/s 预填充。测试中它构建一个原生天气应用的速度比 Claude Sonnet 5.5(API)快 1.8 倍,成本低 11 倍。

Image · 小互
Body

技术上,Inkling 2 Mini 采用循环(looping)架构:重复使用同一组模型层来增加推理时计算量,从而在不增大模型体积的前提下提升智能水平。这种设计特别适合 MacBook 这类内存受限的本地设备,让小模型在端侧也能获得更多"思考"时间。

对开发者来说,这意味着无需 API 也能在笔记本上跑出接近云端模型的编程表现,同时成本优势明显。原推作者用 48GB M5 Max 只测到 33 token/s,怀疑是 DeepSeek harness 拖累了速度,EXO 的官方数据说明优化后的 harness 能拉开数倍差距。

Original · 小互

为什么我的48GB M5 Max MacBook Pro 只能跑到 33 token/s 可能是我使用 DeepSeek harness 拖累了速度 感觉明年是不是就有能跑在笔记本上面能力相当于 Opus 5.5 的端侧模型了? 话说回来我感觉我这个48GB M5 Max 还不如我的 36G 的M3 Max ,跑起来风扇呼呼直响,渲染视频也是,我那个M3 Max稳如老狗,感觉M5 Max设计有问题!!

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Inkling 2 Mini, EXO Labs, Thinking Machines, on-device models.

Source attribution: curated from 小互 (@imxiaohu).