smolmaxxing：让1G内存的旧电视盒子和iPad也能本地跑大模型

一项名为 smolmaxxing 的改造项目基于 llama.cpp，让只有 1GB 可用内存的老旧设备也能在本地运行 AI 大模型。核心手段有三：针对老旧芯片重写底层计算代码、从模型中删掉平时用不到的生僻词汇以节省空间、以及像翻书一样把暂时用不到的模型数据放在硬盘里，读取时预判并提前加载下一批数据。 实测成绩方面，第三代小米电视盒子 S 运行 2B 规模的 Qwen3.5 时每秒生成 7.7 个 token，还能以每秒 5.1 个 token 的速度跑 16B 规模的 Ling-mini-2.0。2013 年的第一代 iPad Air 运行 1.7B 规模的 Bonsai 模型时达到每秒 24 到 26 个 token，同样也能跑起 16B 的大模型。 这项工作说明大模型推理的门槛不只取决于买新硬件，优化内存调度和词表裁剪也能把闲置旧设备变成可用的本地推理终端，对想低成本折腾本地部署的开发者有直接参考价值。