Edge0开源推理引擎：2.5GB内存本地运行35B MoE模型
把35B MoE模型权重放硬盘、用路由模块预测激活的3B提前预读，16GB内存电脑和iPhone都能跑，M5上每秒25个token。做本地部署或端侧推理的开发者可以直接看下GitHub实现。
Edge0-AI 团队开源 edge0-infer 推理引擎，让 16GB 内存的 Mac、iPhone 17 Pro Max、安卓手机和普通 Windows 电脑流畅运行 35B 参数的 MoE 模型，运行时内存占用稳定在 2.5GB 到 3.4GB。核心做法是把模型权重放在固态硬盘里，用一个预训练的路由模块预测下一步要激活的专家模块，在计算当前内容的同时把所需数据从硬盘预读进内存。
这个方案利用了 MoE 架构的特点：35B 模型每个 token 实际只激活约 3B 参数，只要提前预测并加载这 3B 对应的模块，就不必把全部权重放进内存。性能上，M5 芯片每秒生成约 25 个 token，手机上达到每秒 11 到 13 个 token，接近可用的交互速度。
对在边缘设备做本地推理的开发者来说，这套硬盘预读加专家预测的思路意味着不需要大内存设备也能跑大参数 MoE 模型，GitHub 已开源。
Edge0：只用2.5GB内存，在电脑和手机本地运行35B MoE模型
Edge0-AI团队开源edge0-infer推理引擎，平时把模型文件存放在固态硬盘里，通过预先训练好的路由模块提前预测下一步要调用的模块，在计算当前内容的同时后台提前把所需数据从硬盘读进内存。
这个方法太巧妙了，因为35B的MoE模型实际激活只有3B，所以提前预测要激活的3B，把对应的模块放到内存即可。
16GB内存的Mac电脑、iPhone17 Pro Max手机、安卓手机以及普通Windows电脑都能流畅运行35B的MoE模型。运行时设备内存占用稳定在2.5GB到3.4GB左右，在苹果M5芯片上每秒能生成约25个token，在手机上每秒也能输出11到13个token。
GitHub：https://t.co/mxtrfK0pxw
This report is categorized under AITOP's "Models" desk. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include edge0-infer, MoE, 本地推理, 开源模型.
Source attribution: curated from Gorden Sun (@Gorden_Sun).
