35GB 是当前消费级和入门工作站硬件运行开源大模型的一个关键体量节点：约 700 亿参数的大模型经过 int4 量化后，权重文件通常压缩到 35GB 左右，刚好落在单张 48GB 显卡或大内存 AI 笔电可承载的范围内，因此常被社区当作“本地能跑多大模型”的参考基准。
35GB 级模型的近期进展
当前焦点与观察点
围绕 35GB 这个体量，讨论主要集中在三方面。其一是量化质量的取舍：int4 量化虽把 70B 模型压到约 35GB，但精度损失程度、哪些层不适宜量化，仍是社区反复验证的议题。其二是硬件分界线：显存 24GB、48GB 与统一内存 Mac 之间的能力差异，决定了用户实际能驾驭的模型规模，35GB 左右的量化模型常被视为分水岭。其三是端侧系统模型的膨胀：苹果等厂商的内置 AI 功能占用已达 30GB 以上，普通设备留给用户自部署模型的存储余量正在被压缩。整体来看，“35GB 级模型能否流畅运行”已成为衡量消费级硬件 AI 能力的一个直观标尺。