伯克利与MIT开源推理引擎 FreeToken：个人电脑可跑数千亿参数 MoE
伯克利和 MIT 出的开源引擎，专治本地跑不动 MoE 大模型的问题：一台 RTX 5090 加 192GB 内存就能跑 DeepSeek 284B，每秒 20 多个 token。它把 CPU、GPU 和 PCIe 当整体调度，还能直接接 Claude Code 当后端。自己有硬件想跑大模型的开发者可以上手试试。
伯克利、MIT 等机构发布了开源推理引擎 FreeToken，让消费级硬件也能运行数千亿参数的 MoE 模型。实测 RTX 5090（32GB 显存 + 192GB 内存）运行 DeepSeek 284B 达到 22–25 tok/s，RTX 4060 Laptop 8GB 运行 Qwen3.6 35B 达到 39.3 tok/s，RTX PRO 6000 运行 GLM 753B 达到 14.9 tok/s，解码吞吐量比现有本地推理引擎快约 1.3–2.1 倍。
FreeToken 的核心思路是把 GPU、CPU、系统内存和 PCIe 带宽当作一个整体资源池，利用 MoE 专家稀疏激活的特性做优化。它根据 CPU 内存带宽和 PCIe 传输带宽，动态决定缓存未命中的专家由 CPU 直接计算还是传输到 GPU 执行，并在 Prefill 阶段用全层双缓冲预取让权重传输与 GPU 计算重叠。针对 Coding Agent 的工作负载，它还实现了语义感知缓存，在上下文局部变化时只重算受影响的后续内容，并通过全局 LRU 专家缓存减少权重反复加载。
兼容性方面，FreeToken 提供 OpenAI 和 Anthropic 兼容 API，可接入 Claude Code、Codex、OpenCode 等编程助手作为本地推理后端。在 RTX 5090 的 Agent 工作负载测试中，FreeToken 各场景最差首 Token 延迟均低于 44 秒，对照引擎部分场景超过 150 秒。过去本地部署超大模型主要靠量化和权重卸载，FreeToken 展示了一条 CPU、GPU、内存和 PCIe 协同计算的替代路线。
伯克利、MIT等搞了一个开源推理引擎：FreeToken，让个人电脑也能运行数千亿参数的MoE，RTX 5090实测DeepSeek 284B达到22–25tok/s
在消费级硬件测试中，解码吞吐量比现有本地推理引擎快约1.3-2.1倍
能接入Claude Code等Coding Agent，让本地开源模型做它们的推理后端
过去想在本地跑几千亿参数的MoE大模型，不仅显存装不下，即使把权重放到系统内存，也容易受到内存带宽和 PCIe传输速度的限制
比如一个290B模型，即使采用4-bit量化，光权重理论上就需要约145GB存储空间，普通RTX 4060、5090的显存根本装不下
FreeToken的核心思路是把GPU、CPU、系统内存和PCIe带宽作为一个整体，针对MoE专家的稀疏激活特性，优化计算分配、数据传输和缓存管理
结果： RTX 4060 Laptop 8GB+32GB内存：Qwen3.6 35B，39.3 tok/s RTX 5090 32GB+192GB内存：DeepSeek 284B，22–25 tok/s RTX PRO 6000 96GB+512GB内存：GLM 753B，14.9 tok/s
它主要从这四个方面提升本地推理效率： 1、带宽自适应CPU-GPU协同推理 根据CPU内存带宽和PCIe传输带宽，动态决定未命中GPU 缓存的MoE专家中，哪些由CPU直接计算，哪些传输到GPU执行
在Prefill阶段，还通过全层双缓冲预取，让下一层专家权重的传输与当前层GPU计算尽可能重叠，减少等待时间
2、面向Agent的语义感知缓存+全局专家缓存 针对Coding Agent频繁调用工具、修改上下文、删除旧Thinking Block等情况，在语义边界保存可复用的计算状态
当上下文发生局部变化时，尽可能只重新计算受影响的后续内容，减少长上下文重复计算的成本
解码阶段还通过全局LRU专家缓存，把频繁访问的专家尽可能保留在GPU中，减少反复加载权重的开销
3、弹性显存管理 推理过程中，可以动态调整显存在专家缓存和KV Cache之间的分配，不需要重启引擎重新加载模型
4、兼容现有Coding Agent 提供OpenAI、Anthropic兼容API，可接入Claude Code、Codex、OpenCode、OpenClaw等
在RTX 5090的相关Agent工作负载测试中，FreeToken各工作负载的最差首Token延迟均低于44秒，对照引擎在部分场景超过150秒
虽然44秒不算快，但对于需要频繁调用工具、修改上下文的Coding Agent来说，这种延迟改善有实际价值
以前本地部署超大模型，主要关注量化、权重卸载，但模型能装下，不代表推理速度能用，FreeToken给展示了另一条路线，让CPU、GPU、内存和 PCIe协同工作，把有限的硬件资源利用得更充分
这或可是本地AI Agent基础设施值得关注的一条技术路线
#FreeToken #本地部署AI #LocalAI
This report is categorized under AITOP's "Products" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include FreeToken, DeepSeek, Claude Code, MoE.
Source attribution: curated from AIGCLINK (@aigclink). Cross-source corroboration: 11 independent sources have covered this development (including lmarena.ai, berryxia, shao__meng), confirming industry-wide signal strength.
