精选理由
想自己搭本地AI玩？这篇告诉你M5 Macbook Pro够不够用、Qwen 35b和9b差多远，别花冤枉钱。
作者分享在homelab运行本地AI模型的体验：消费级硬件（如M5 Macbook Pro 32/48GB、DGX Spark）可运行30-100B参数的量化模型（如Qwen 35b），但与1万亿参数的前沿云模型差距约18年。9B模型效果差、速度慢，需30-50 tok/s才能可用。本地模型适合简单查询，不适合编程。作者使用2台DGX Spark和5090 eGPU，建议公司配发MBP时选大内存。
AI 翻译 · 中文
作者分享在homelab运行本地AI模型的体验：消费级硬件（如M5 Macbook Pro 32/48GB、DGX Spark）可运行30-100B参数的量化模型（如Qwen 35b），但与1万亿参数的前沿云模型差距约18年。9B模型效果差、速度慢，需30-50 tok/s才能可用。本地模型适合简单查询，不适合编程。作者使用2台DGX Spark和5090 eGPU，建议公司配发MBP时选大内存。
some of you know that i've been tinkering with local AI models on my homelab setup. It's fun but here's the reality today: - nothing you can run on consumer hardware is even close to what you can buy with a m…