技巧精选76°

本地大语言模型运行体验:Gemma 4 等模型表现突出

2026 06 17 HackerNews

精选理由

想试本地模型?这篇有 M2 Mac 上跑 Gemma 4 的详细配置,还有 Pi+LM Studio 的 agentic 设置,比云端省心。

AI 摘要

作者在 2022 年 M2 Mac(64GB RAM)上测试 Mistral 7B、Gemma 3、OpenAI OSS-20B、Qwen 3 MOE 等多种模型,使用 llama.cpp、Ollama、LM Studio 等工具。她发现自从 GPT-OSS 发布后,本地模型在编程任务上已足够好用,尤其 Google 的 Gemma 4 系列(如 gemma-4-26b-a4b 和 gemma-4-12b-qat)在 Python 代码重构、类型提示修复、写单元测试等 agentic 任务中准确率和速度约为前沿模型的 75%。她分享了本地 agentic 设置:用 Pi 作 agent 框架、LM Studio 作推理服务器,所有操作放在 Docker 容器中以限制权限。本地模型仍有推理速度慢、上下文窗口受硬件限制等问题,但隐私友好、可自由调整参数。

AI 翻译 · 中文

作者在 2022 年 M2 Mac(64GB RAM)上测试 Mistral 7B、Gemma 3、OpenAI OSS-20B、Qwen 3 MOE 等多种模型,使用 llama.cpp、Ollama、LM Studio 等工具。她发现自从 GPT-OSS 发布后,本地模型在编程任务上已足够好用,尤其 Google 的 Gemma 4 系列(如 gemma-4-26b-a4b 和 gemma-4-12b-qat)在 Python 代码重构、类型提示修复、写单元测试等 agentic 任务中准确率和速度约为前沿模型的 75%。她分享了本地 agentic 设置:用 Pi 作 agent 框架、LM Studio 作推理服务器,所有操作放在 Docker 容器中以限制权限。本地模型仍有推理速度慢、上下文窗口受硬件限制等问题,但隐私友好、可自由调整参数。

SuperTechFans2026-06-17 Hacker News Top Stories # 虚假 LinkedIn 招聘信息通过诱导开发者运行 npm install 触发后门,实现远程代码执行。 本地大语言模型(如 Gemma 4)在编程任务中表现已足够好用,作者推荐大力发展本地模型生态。 John Carmack 称赞 Fabrice Bellard 是更全面的程序员,后者在 30 年间默默编写了 QEMU、FFmpeg 等关键基础软件。 Space