PrismML

general · First seen 2026-05-26 · Last seen 2026-10-16 · 46 mentions

Overview

PrismML 是一家专注于大模型压缩与端侧部署的 AI 公司,通过极端量化技术(如 1-bit、三值权重)把原本需要数据中心级别硬件的 LLM 压缩到手机、眼镜等消费设备上直接运行,是端侧 AI 领域最受关注的新兴玩家之一。其核心 Bonsai 系列模型以极小的内存占用换取接近原版模型的性能,试图改变普通用户获取 AI 的方式——不再依赖云端调用,而是本地推理。

PrismML 的近期进展

  • PrismML 发布 Bonsai 2 27B,以 1/9 内存占用实现 Qwen3.8 98.2% 性能:这是 PrismML 压缩能力的代表性展示——27B 参数的推理模型被压到约 4GB,可在 iPhone 上运行,性能保留率高达 98.2%,说明极端量化对推理能力的损耗比业界普遍预期要小得多。
  • PrismML 发布 Ternary Bonsai 2 系列,2B 模型在 iPhone 18 Pro Max 上每秒输出 120 词元:三值(ternary)量化路线在小模型上的效果,2B 模型在旗舰手机上的生成速度达到每秒 120 词元,已接近日常使用的流畅度门槛。
  • PrismML 将 Qwen3.5 压缩 7 倍,9B 模型仅 2.42 GB 可本地运行:第三方生态的验证性案例,对开源主流模型 Qwen3.5 实现 7 倍压缩,9B 模型体积仅 2.42 GB,说明其压缩方案不局限于自有模型。
  • PrismML 将小型 LLM 移植到 Qualcomm 智能眼镜上:与高通的合作延伸到可穿戴场景,此前双方已在骁龙 AR1 Gen 1 上跑通 1-bit Bonsai 视觉模型。资源最受限的 AR 眼镜成为其技术落地的试金石。
  • 当前焦点与观察点

    PrismML 的路线代表了端侧 AI 的核心争论:小体积量化模型能否真正替代云端大模型。支持者认为,当 27B 推理模型能在手机上以 4GB 内存运行并保留约 98% 性能时,本地推理在隐私、延迟和成本上优势明显;质疑者则担心极端量化对长上下文和复杂推理任务的影响。

    生态合作是另一条主线。除了与高通在骁龙平台上的持续适配,社区也出现了基于 llama.cpp 的 1-bit Bonsai-27B 本地部署教程,显示其方案在开源工具链中具备可用性。而古尔曼消息称苹果与 PrismML 合作 AI 量化技术的可能性较低,这从侧面说明苹果在该领域仍在自研与外采之间权衡。

    值得关注的是三点:一是 Bonsai 系列与各大开源模型(如 Qwen 系)的性能差距是否持续收窄;二是智能眼镜等可穿戴设备能否成为端侧模型的规模化落地场景;三是商业上 PrismML 会走授权路线还是继续开放权重——这将决定它在端侧 AI 技术栈中扮演基础层还是应用层角色。

    Coverage

    10 on file
    PrismML · AI 话题观测|AI热报