淘宝 MNN 团队开源 0.3B 手机模型，iPhone 18 Pro 离线跑出 350 token/s

淘宝 MNN 团队发布并开源约 3 亿参数的手机端模型 MNN-Pocket-0.3B，目标为峰值内存低于 300MB、解码吞吐高于 200 token/s。在 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行，平均解码速度约 350 token/s，INT4 部署文件仅 173MB。对比 Qwen3-0.6B，部署体积减少约 49%，峰值内存增量减少约 47%，iPad Pro M5 上解码吞吐达 466 token/s，约为 Qwen3-0.6B 的 1.63 倍。能力方面，英文 IFEval 得分 73.20、中文 IFEval-zh 得分 74.59，在 11 项评测中平均得分 50.00，高于 MiniCPM4-0.5B 和 Qwen3-0.6B。团队同步开源 Base、SFT、W4A16 QAT 部署版和 DFlash2 投机解码草稿模型等多个版本。