PrismML 是一家专注于大模型压缩与端侧部署的 AI 公司,通过极端量化技术(如 1-bit、三值权重)把原本需要数据中心级别硬件的 LLM 压缩到手机、眼镜等消费设备上直接运行,是端侧 AI 领域最受关注的新兴玩家之一。其核心 Bonsai 系列模型以极小的内存占用换取接近原版模型的性能,试图改变普通用户获取 AI 的方式——不再依赖云端调用,而是本地推理。
PrismML 的近期进展
当前焦点与观察点
PrismML 的路线代表了端侧 AI 的核心争论:小体积量化模型能否真正替代云端大模型。支持者认为,当 27B 推理模型能在手机上以 4GB 内存运行并保留约 98% 性能时,本地推理在隐私、延迟和成本上优势明显;质疑者则担心极端量化对长上下文和复杂推理任务的影响。
生态合作是另一条主线。除了与高通在骁龙平台上的持续适配,社区也出现了基于 llama.cpp 的 1-bit Bonsai-27B 本地部署教程,显示其方案在开源工具链中具备可用性。而古尔曼消息称苹果与 PrismML 合作 AI 量化技术的可能性较低,这从侧面说明苹果在该领域仍在自研与外采之间权衡。
值得关注的是三点:一是 Bonsai 系列与各大开源模型(如 Qwen 系)的性能差距是否持续收窄;二是智能眼镜等可穿戴设备能否成为端侧模型的规模化落地场景;三是商业上 PrismML 会走授权路线还是继续开放权重——这将决定它在端侧 AI 技术栈中扮演基础层还是应用层角色。