Mac 本地跑模型试试这个 Zig 写的 MLX-Serve，免 Python 还带菜单栏，配 Qwen 3 跑 Pagoda 测试比之前都强。
MLX-Serve 是一个用 Zig 编写的原生 Apple Silicon LLM 推理服务器，兼容 OpenAI、Anthropic 和 Ollama API。它可以加载 MLX 与 GGUF 格式模型，且无需 Python 环境，并附带 macOS 菜单栏应用。开发者 David Dalcu 在 Qwen 3 8B/27B 的 MLX-Serve 4bit 模型上跑 Pagoda 测试，称获得目前最佳结果。他用 @pidotdev 作为编码智能体，以 MLX-Serve 作为后端完成推理。
我对他使用的软件感兴趣，一个用 Zig 写的原生 Apple Silicon LLM 推理服务器，支持 MLX 与 GGUF 模型、OpenAI/Anthropic/Ollama 兼容 API，无需 ...
我对他使用的软件感兴趣，一个用 Zig 写的原生 Apple Silicon LLM 推理服务器，支持 MLX 与 GGUF 模型、OpenAI/Anthropic/Ollama 兼容 API，无需 Python，附带 macOS 菜单栏应用。 github.com/ddalcu/mlx-ser… David Dalcu @ddalcu Qwen 3.8 - 27B MLX-Serve 4bit model, made the best version of the famous Pagoda test so far for me. Using @pidotdev as the coding agent, and MLX-Serve as the backend. Your browser does not support the video tag. 🔗 View on Twitter 🔗 View Quoted Tweet 💬 1 🔄 0 ❤️ 0 👀 68 📊 1 ⚡