smolmaxxing：让1G内存的旧电视盒子和iPad也能本地跑大模型
家里吃灰的电视盒子、旧iPad现在真能跑本地大模型了，1G内存都行，实测token速度都贴出来了。用的还是Qwen3.5、Ling-mini-2.0这些模型，源码在GitHub上，想白嫖旧硬件玩本地推理的可以照着改。
一项名为 smolmaxxing 的改造项目基于 llama.cpp，让只有 1GB 可用内存的老旧设备也能在本地运行 AI 大模型。核心手段有三：针对老旧芯片重写底层计算代码、从模型中删掉平时用不到的生僻词汇以节省空间、以及像翻书一样把暂时用不到的模型数据放在硬盘里，读取时预判并提前加载下一批数据。
实测成绩方面，第三代小米电视盒子 S 运行 2B 规模的 Qwen3.5 时每秒生成 7.7 个 token，还能以每秒 5.1 个 token 的速度跑 16B 规模的 Ling-mini-2.0。2013 年的第一代 iPad Air 运行 1.7B 规模的 Bonsai 模型时达到每秒 24 到 26 个 token，同样也能跑起 16B 的大模型。
这项工作说明大模型推理的门槛不只取决于买新硬件，优化内存调度和词表裁剪也能把闲置旧设备变成可用的本地推理终端，对想低成本折腾本地部署的开发者有直接参考价值。
把家里的破烂设备用起来。
smolmaxxing：让老旧电视盒子和旧iPad也能在本地运行AI大模型
基于llama.cpp，专门针对老旧芯片重写了底层计算代码，删掉了模型里平时用不到的生僻词汇以节省空间，还让设备像翻书一样，把暂时用不到的模型数据存在硬盘里，需要时再快速读取，并提前预判加载下一步要用的数据。
改造完成后，两款只有1G可用内存的老设备都成功跑起了AI对话。第三代小米电视盒子S运行2B规模的Qwen3.5时，每秒能生成7.7个token，甚至能以每秒5.1个token的速度运行16B规模的Ling-mini-2.0。2013年的第一代iPad Air在运行1.7B规模的Bonsai模型时，每秒生成速度达到了24到26个token，同样也能跑起16B的大模型。
Github：https://t.co/Y1StMcr71G
This report is categorized under AITOP's "How-to" desk, focusing on China's AI industry and domestic foundation model ecosystem. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include smolmaxxing, llama.cpp, Qwen3.5, local deployment.
Source attribution: curated from Gorden Sun (@Gorden_Sun). Cross-source corroboration: 8 independent sources have covered this development (including Thomas Wolf, Hugging Face: Blog, Julien Chaumond), confirming industry-wide signal strength.
