本地部署大模型何时爆发?作者判断在 2029 年前后
作者用 Qwen3.8-27B 的部署成本算了笔账,结论是本地模型风口不在明年,得等硬件降价,讲得挺实在。
作者认为 Qwen3.8-27B 等开源模型的量化版已能在普通显卡上运行,能力接近在线模型。但跑 1T 级别模型目前硬件成本过高,一套能跑 27B 的机器价格相当于充值多年 GPT 会员。他提出两个前置条件:前沿模型撞上成本墙从而推动模型进芯片,以及显卡价格下降。综合判断本地部署的风口要到 2029 年前后。
本地部署大模型,明年会像今年的 Agent 一样爆吗?
我的判断是:会火,但不是明年
Qwen3.8-27B 确实强,已经追上在线模型的尾巴了 量化版一出,普通显卡也能跑
但真干起活来,本地小模型还是差口气
现在想在本地跑 1T 级别的大模型,就现在这硬件价格太贵了 就算光买一套能跑 27B 的机器,钱都够充好几年 GPT 会员了
所以我觉得还得等两个条件:
第一个是条件是前沿模型撞上成本墙 到时候模型迭代慢下来,才有人敢把模型直接做进芯片
第二个是显卡这些硬件价格降下来 普通人才买得起跑大模型的机器
综合分析,2029 年前后,才是本地部署的风口