PrismML 这技术能把 27B 模型塞进 iPhone，内存从 54G 砍到 4G 不到，苹果都在看，手机跑大模型要成真了。
PrismML 的原生 1-bit 模型压缩技术可将模型体积压缩至全精度的 1/14，内存占用降低超 90%。基于该技术的 Bonsai 27B 模型（基于 Qwen 3.6 27B）从约 54GB 缩减至不足 4GB，可在 12GB 内存的 iPhone 15 及后续机型上原生运行。推理速度提升最高 8 倍，能耗降低 75%-80%，精度在 1-bit 下保留 90% 基准得分。苹果公司正在评估 PrismML 技术，会谈可能涉及授权或收购。
内存占用 54 GB → 3.9GB！苹果正评估 PrismML 量化 AI 技术，让 iPhone 15 及后续机型运行 27B 模型
IT之家 7 月 15 日消息，昨日（7 月 14 日）在接受 CNBC 采访时，PrismML 首席执行官巴博克 · 哈西（Babak Hassibi）表示， 其公司确实和苹果公司接洽，并透露苹果公司正在评估其相关 AI 量化技术。 在采访中，哈西表示：“他们 [指苹果公司] 目前正在认真评估我们的技术”，但他并未透露会谈的具体内容，只表示会谈尚处于早期阶段，但“进展顺利”。 该媒体认为谈判的范围涵盖简单地通过授权使用 PrismML 技术，甚至不排除苹果直接收购 PrismML 的可能。 PrismML 是加州理工衍生出来的 AI 初创公司，核心突破为原生 1-bit 模型压缩技术，模型体积可压缩至全精度版本的 1/14 左右，内存占用降低超 90%。 原生 1-bit 模型压缩技术权重仅用 {-1, +1} 表示，配合分组缩放因子，非传统量化，声称无“高精度逃生通道”，宣称在保持接近 FP16 模型精度的同时，推理速度提升最高 8 倍，能耗降低 75%-80%。 IT之家今天报道，PrismML 公司今天宣布推出 Bonsai 27B 模型，基于 Qwen 3.6 27B 模型微调，在保留 90% 智能水平的情况下，可以在 12GB 内存的 iPhone 上原生运行。 该公司表示，已将该模型从约 54 GB 缩减至不足 4 GB，让能在 iPhone 15 以及后续机型上运行完整 27B 参数模型。 在采访中，哈西表示这种量化技术必然需要牺牲部分性能，相比较完整体积版本，量化后的模型性能保留了 95%（3-bit）/90%（1-bit）的基准测试得分，在处理事实推理、数学和编程方面也明显较弱。 相关阅读： 《 已在 iPhone 17 Pro 上完整运行 Qwen 3.6，消息称 PrismML 模型 AI 压缩技术被苹果看中 》 《 手机 AI 的 DeepSeek 时刻：Bonsai 27B 模型登场，苹果 iPhone 17 Pro 可运行 》