本地部署指将大语言模型或其他 AI 模型直接运行在个人设备（Mac、PC、浏览器）上，而非依赖云端 API 的使用方式。随着小模型能力快速提升和开源生态成熟，它正从极客玩法走向普通用户可用的日常方案，核心吸引力在于数据不出设备、无需 API Key、可离线运行。
本地部署的近期进展
模型小型化是本地部署最直接的推动力。OpenBMB 演示了 1.2GB 的 MiniCPM-OCR 1.0 在 MacBook 本地处理 415 页文档，同一模型还被用于 完整读取 Anthropic 415 页 S-1 文件，说明极小体积的模型已能胜任真实的文档处理任务。在硬件门槛的另一端，Lxfater 分享了 深夜用垃圾显卡跑百亿参数大模型是什么体验，显示低配设备通过量化等技术也在逐步加入本地部署行列。
工具链方面，Latent Space 的 swyx 发表了 用 OpenCode、Ollama 和 Qwen 搭建离线编程智能体 的实践，证明断网状态下本地模型也能支撑代码工作流。@atomic_chat_hq 则复测了 本地 Qwen3.8-Flash-Next 千次运行未写出 URL，关注本地模型在可靠性上的表现。此外，TestingCatalog 报道 Sentient 发布了 开源模型 Sentient OS，可操作本地电脑完成任务，@atomic_chat_hq 还演示了 Microduck 机器人在 Mac 上实现可中断的任务规划。
平台层面，TechCrunch 报道 Opera 推出 WebAI 网页标准，允许用户在浏览器中本地部署 AI 模型，若被其他浏览器采纳，本地部署的门槛可能进一步降低到"打开网页即可"的程度。
本地部署的当前焦点与观察点
争议集中在"小模型够不够用"。Bindu Reddy 认为 小模型进化将催生个人专属 LLM，即每个人拥有在本地运行、了解自身数据的模型。但反对者指出，本地模型在复杂推理、长上下文和事实准确性上与云端旗舰模型仍有明显差距——上述千次 URL 测试正是社区试图量化这种差距的尝试。
值得继续观察的方向有三：一是 1-5GB 级别小模型的任务边界（OCR、文档问答已被验证，代码与智能体仍在探索）；二是浏览器端推理标准能否形成跨厂商共识；三是本地与云端混合的使用模式——敏感数据留本地、重任务交云端，可能比"全面替代云"更接近现实落点。对普通用户而言，一台 MacBook 加 Ollama 已经足以体验本地部署，真正的门槛正从硬件转向使用意愿。