本地大语言模型运行体验：Gemma 4 等模型表现突出

作者在 2022 年 M2 Mac（64GB RAM）上测试 Mistral 7B、Gemma 3、OpenAI OSS-20B、Qwen 3 MOE 等多种模型，使用 llama.cpp、Ollama、LM Studio 等工具。她发现自从 GPT-OSS 发布后，本地模型在编程任务上已足够好用，尤其 Google 的 Gemma 4 系列（如 gemma-4-26b-a4b 和 gemma-4-12b-qat）在 Python 代码重构、类型提示修复、写单元测试等 agentic 任务中准确率和速度约为前沿模型的 75%。她分享了本地 agentic 设置：用 Pi 作 agent 框架、LM Studio 作推理服务器，所有操作放在 Docker 容器中以限制权限。本地模型仍有推理速度慢、上下文窗口受硬件限制等问题，但隐私友好、可自由调整参数。