PrismML搞了个Bonsai 27B，在手机上就能跑27B多模态模型，压缩到3.9GB性能还能保留90%，挺牛的，还开源了，可以试试。
PrismML发布Bonsai 27B，这是首个能在手机上本地运行的27B级多模态模型。该模型通过端到端低比特技术，1-bit版本仅3.9GB，可在iPhone 17 Pro上运行；Ternary版本5.9GB，适合笔记本。其智能密度达0.53 per GB，比全精度基线高约10倍，比现有最佳低比特方案高2.7倍。在15个基准测试中，Ternary版平均保留95%性能，1-bit版保留90%，数学、编码和工具调用能力接近原版Qwen3.6 27B。模型已开源（Apache 2.0），支持GGUF格式，提供一键运行Demo和免费开发者预览API。
兄弟们，这个笔记本电脑多模态模型有点东西！ PrismML 今天正式发布了 Bonsai 27B，…
兄弟们，这个笔记本电脑多模态模型有点东西！
PrismML 今天正式发布了 Bonsai 27B，这是目前全球首个能在手机上本地运行的 27B 级大模型。
传统 27B 模型在 FP16 下需要约 54GB 内存，即使激进量化到 4-bit 也仍有 18GB 左右，手机和大多数笔记本根本无法承载。
而 Bonsai 27B 通过端到端极致低比特技术，成功将模型压缩到：
- 1-bit 版本：仅 3.9GB，可直接在 iPhone 17 Pro 上运行 - Ternary 版本：5.9GB，适合笔记本高性能使用
两者均为多模态模型，内置 4-bit 视觉塔，支持图片、截图、文档等输入，同时保留 262K 超长上下文和投机解码加速能力。
更惊人的是其智能密度达到了 0.53 per GB，比全精度基线高出约 10 倍，比现有最佳低比特方案高出 2.7 倍。
性能保留方面，在 15 个基准测试（thinking mode）中，Ternary 版平均保留 95%，1-bit 版保留 90%，数学、编码和工具调用能力尤为接近原版 Qwen3.6 27B。
这带来的最大价值在于真正实现了设备原生 Agentic AI。
用户可以在手机或笔记本上本地跑多步推理、结构化工具调用、长期 agentic 工作流，完全离线且数据不离开设备。
无论是处理私人文档、持续研究任务，还是构建隐私优先的智能体，都不再依赖云端。
目前模型已全部开源（Apache 2.0 协议），开发者可直接在 Hugging Face 下载 GGUF 格式模型，并通过官方提供的 Bonsai-demo 一键运行（支持 llama.cpp 和 MLX）。
官网也开放了限时免费开发者预览 API 供快速测试。
从云端大模型到口袋里的 27B 智能，Bonsai 27B 真正把智能密度推向了新的高度，也为本地 Agent 和混合部署打开了全新的可能性。
官网：https://t.co/ATmjtAHRIi 模型集合：https://t.co/Va7XG1rcV5 一键 Demo：https://t.co/WfhxMcKcyJ