MLX-Serve：用 Zig 写的 Apple Silicon 原生 LLM 推理服务器

MLX-Serve 是一个用 Zig 编写的原生 Apple Silicon LLM 推理服务器，兼容 OpenAI、Anthropic 和 Ollama API。它可以加载 MLX 与 GGUF 格式模型，且无需 Python 环境，并附带 macOS 菜单栏应用。开发者 David Dalcu 在 Qwen 3 8B/27B 的 MLX-Serve 4bit 模型上跑 Pagoda 测试，称获得目前最佳结果。他用 @pidotdev 作为编码智能体，以 MLX-Serve 作为后端完成推理。