PrismML 将 Qwen3.6-27B 压到 3.9GB 在 iPhone 上运行,保留 90% 性能

PrismML 将 27B 模型塞进你的 iPhone 里 而且智商几乎没怎么缩水 PrismML公司基于Qwen3.6-27B模型,将约 54GB 的 27B 模型压到约 3.9–5.9GB 使...

精选理由

PrismML 把 27B 大模型压到几 GB 还能在手机上跑,性能几乎没缩水,iPhone 用户也能本地跑大模型了。

AI 摘要

PrismML 基于 Qwen3.6-27B 模型,将原本 54GB 的 27B 参数模型压缩至 3.9–5.9GB,使其能在 iPhone 上运行。在 15 项测试中,5.9GB 的 Ternary 版本保留原版 95% 性能,3.9GB 的 1-bit 版本保留 90% 性能。在 RTX 5090 上推理速度达 163 token/s,在苹果 M5 Max 上达 87 token/s。

图片来源 · 小互
原文 · 小互

PrismML 将 27B 模型塞进你的 iPhone 里 而且智商几乎没怎么缩水 PrismML公司基于Qwen3.6-27B模型,将约 54GB 的 27B 模型压到约 3.9–5.9GB 使...

PrismML 将 27B 模型塞进你的 iPhone 里 而且智商几乎没怎么缩水 PrismML公司基于Qwen3.6-27B模型,将约 54GB 的 27B 模型压到约 3.9–5.9GB 使其能在手机上运行 在「高强度思考模式」下用 15 项测试对比原版: Ternary 版本(5.9GB 电脑版):保留了原版 95% 的战斗力! 1-bit 版本(3.9GB 手机版):也保留了 90% 的战斗力! 在电脑(RTX 5090)上最快能达到每秒 163 个字;在苹果 M5 Max 芯片上也能达到每秒 87 个字。 Your browser does not support the video tag. 🔗 View on Twitter 💬 2 🔄 0 ❤️ 3 👀 1082 📊 2 ⚡