MLX-Serve 相关 AI 资讯 · AI 热点

8月15日

14:23

14:23

Geek@geekbb

精选

MLX-Serve 是一个用 Zig 编写的原生 Apple Silicon LLM 推理服务器，兼容 OpenAI、Anthropic 和 Ollama API。它可以加载 MLX 与 GGUF 格式模型，且无需 Python 环境，并附带 macOS 菜单栏应用。开发者 David Dalcu 在 Qwen 3 8B/27B 的 MLX-Serve 4bit 模型上跑 Pagoda 测试，称获得目前最佳结果。他用 @pidotdev 作为编码智能体，以 MLX-Serve 作为后端完成推理。

AI产品 MLX-Serve Zig Qwen

推荐理由：Mac 本地跑模型试试这个 Zig 写的 MLX-Serve，免 Python 还带菜单栏，配 Qwen 3 跑 Pagoda 测试比之前都强。