#edge0-infer

1 stories · 1 in 7 days · 1 in 30 days

MoE 1 开源模型 1 推理引擎 1 本地推理 1

Stories, products and papers tagged "edge0-infer", newest first.

Nov 12

Models Builders12:15

Chinese contentEdge0开源推理引擎：2.5GB内存本地运行35B MoE模型

把35B MoE模型权重放硬盘、用路由模块预测激活的3B提前预读，16GB内存电脑和iPhone都能跑，M5上每秒25个token。做本地部署或端侧推理的开发者可以直接看下GitHub实现。

#edge0-infer #MoE #本地推理 #开源模型

Gorden Sun@Gorden_SunSource