有人半夜不看剧，就爱用烂显卡硬跑百亿参数模型，这画面太真实了，玩本地部署的朋友会心一笑。
作者分享了一种深夜消遣方式：用性能普通的显卡（作者自称“垃圾显卡”）在本地跑百亿参数规模的大语言模型。帖子以调侃口吻描述了低配置硬件跑大模型的画面感，没有给出具体模型名、显卡型号或跑分数据。正文只有两句话，属于个人经验的分享。
老男人深夜睡不着，看什么刺激的视频好呢？
肯定是垃圾显卡跑百亿参数大模型呀🤓
1.2GB 的小模型在 MacBook 上离线跑完 Anthropic 415 页 S-1 文件，每页才 4 秒，数据全留本机，适合关心隐私文档处理的人看看。
OpenBMB 的 MiniCPM-OCR 1.0 才 1.2GB，在 Mac 上 4 秒一页读完了 Anthropic 415 页的 S-1，全程离线，本地文档识别可以试试。
Bindu Reddy 提了个有意思的方向：以后每人训一个几十亿参数的本地小模型，专门懂你，复杂活儿再找大模型搭把手。
Sentient 发了个开源的 Sentient OS，能读你本地文件然后替你操作电脑，学的东西都存成明文随便改，前 1000 人终身免费。
一位开发者在喜马拉雅山没网的情况下，用 Ollama 跑 Qwen 加 OpenCode 搭了个本地编程智能体，步骤都写出来了。
Opera 搞了个叫 WebAI 的新标准，AI 模型能直接在浏览器里本地跑，数据不出设备，还兼容多家模型，开发者值得关注。
