AITOPAI热报

Bonsai

general · First seen 2026-05-26 · Last seen 2026-10-16 · 53 mentions

Overview

Bonsai 是 PrismML 推出的一系列面向端侧部署的极低比特压缩大语言模型，通过三元权重、1-bit 量化等技术把数十亿参数的模型压缩到手机可本地运行的体积，被视为“大模型上手机”赛道里的代表性方案之一。

Bonsai 2 近期进展

  • PrismML 发布 Ternary Bonsai 2 系列，2B 模型在 iPhone 18 Pro Max 上每秒输出 120 词元： ternary 版本主打端侧推理速度，2B 规模在 iPhone 18 Pro Max 上达到每秒 120 词元的生成速率，适合日常本地助手场景。
  • PrismML 发布 Bonsai 2 27B，以 1/9 内存占用实现 Qwen3.8 98.2% 性能： 27B 模型经压缩后仅占原模型约九分之一的内存，评测中保留了 Qwen3.8 约 98.2% 的性能，说明低比特压缩对能力的损耗已相当有限。
  • 智谱发布 Ternary Bonsai 2 27B，压缩后仅 5.9GB 但保留 98.2% 性能： 三元权重版把 27B 模型压到 5.9GB，性能保持率同样是 98.2%，使旗舰手机本地运行大模型成为现实。
  • Bonsai 2 27B 配 9.7 MB 适配器可去审查并保持 MMLU 成绩： 社区用仅 9.7MB 的适配器对模型做了行为微调，MMLU 成绩基本不变，反映出这类小体积模型的可定制性。

    • 生态与硬件适配

  • 高通联合 PrismML 在骁龙 AR1 Gen 1 上跑通 1-bit Bonsai 视觉模型： 1-bit 方案已扩展到视觉模型，并在高通骁龙 AR1 Gen 1 平台上完成适配，向可穿戴和 IoT 设备延伸。
  • PrismML 将 Qwen3.5 压缩 7 倍，9B 模型仅 2.42 GB 可本地运行： 压缩流水线开始服务第三方模型，9B 的 Qwen3.5 压缩 7 倍后仅 2.42GB，说明 Bonsai 正从单一模型走向通用压缩技术。
  • 用 PrismML llama.cpp 部署 1 位 Bonsai-27B 模型及本地推理工作流： 通过 llama.cpp 和 OpenAI 兼容接口即可部署 1-bit 27B 模型，本地推理工具链已基本成熟。

    • 当前焦点与观察点

    Bonsai 路线的核心争议在于：极致量化（1-bit、三元权重）换来的体积与速度优势，是否会牺牲复杂推理与长文本能力。目前公布的 98.2% 性能保持率来自基准测试，真实使用中的差距仍需观察。

    另一个趋势是竞争加剧：DeepGrove 的 Maple-Preview-20B-A1B 在 iPhone 上达到 127 tokens/s，与 Bonsai 系列正面竞争；同时苹果 iPhone 18 Pro 本地运行 270 亿参数模型、速度较上一代翻倍的硬件进步，也在降低对压缩技术的依赖。端侧模型最终的比拼，将集中在压缩率、速度与质量三者的平衡上。

    Coverage

    10 on file
    Bonsai · AI 话题观测｜AI热报