精选理由
27B的模型在手机上跑，内存不到5GB，PrismML的Bonsai做到了。以后手机AI不连网也能用大模型了。
PrismML推出Bonsai 27B模型，可在iPhone 17 Pro上直接运行，内存占用低于5GB。这是首个在手机端运行的27B参数级模型。演示视频显示实时响应且可用。通过量化技术将内存压缩至极致，同时保持模型可用性。该模型表明27B规模的大模型开始走进个人设备。
原文 · berryxia
卧槽！iPhone 可以跑27B大模型了啊！ 一个27B的模型现在能在iPhone 17 Pro上…
卧槽！iPhone 可以跑27B大模型了啊！
一个27B的模型现在能在iPhone 17 Pro上直接跑了，而且内存占用不到5GB。
PrismML的Bonsai 27B据称是第一个能在手机上运行的27B级模型。
视频里它实时响应，表现已经相当可用。
这意味着过去只有云端才能扛得动的参数规模，开始真正进入个人设备。
以前大家觉得手机AI只能跑小模型，现在一个接近顶级开源模型规模的东西已经在掌上跑起来了。
量化技术把内存压到极致，同时保留了可用性。
这不是单纯的工程优化， 是把“强大AI必须连云”这个假设又往前推了一大步。
当模型够大、够聪明、却能在本地低资源运行时，隐私、延迟、离线能力都会发生根本变化。
开源地址：https://t.co/WfhxMcKcyJ
- IT之家07-14 23:03原文