14:26IT之家（博客/媒体）
精选
推荐理由：DeepGrove 新模型 iPhone 上跑 127 tokens/s，比 Bonsai 27B 快约 13 倍，亮点是三值权重方案。
DeepGrove
共 1 条相关 AI 资讯
8月6日
14:26
DeepGrove 发布轻量模型 Maple-Preview-20B-A1B，采用混合专家架构，总参数量 202 亿，激活参数量 14.9 亿。官方称在 iPhone 上运行速度达 127 tokens/s，是 Bonsai 27B（9.6 tokens/s）的约 13 倍。该模型使用三值权重方案，将权重约束为 {-1,0,1}，包含 24 层、256 个专家（8 个活跃）。在 MacBook Pro（M5 Pro）上完成 IMO 2024 P1，结果为 7/7，运行速度 281.5 tokens/s。处理 131,000 tokens 上下文时，内存占用约 7.69GB。