Chinese content伯克利与MIT开源推理引擎 FreeToken：个人电脑可跑数千亿参数 MoE
伯克利和 MIT 出的开源引擎，专治本地跑不动 MoE 大模型的问题：一台 RTX 5090 加 192GB 内存就能跑 DeepSeek 284B，每秒 20 多个 token。它把 CPU、GPU 和 PCIe 当整体调度，还能直接接 Claude Code 当后端。自己有硬件想跑大模型的开发者可以上手试试。
#FreeToken
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "FreeToken", newest first.
Nov 16
