精选理由
想在Mac上本地跑大模型、不用联网？这个工具能从Hugging Face下模型，用MLX推理，还直接开个OpenAI API，当本地服务使。
介绍了一个工具，可在Apple Silicon Mac上通过MLX框架本地运行大语言模型。用户能从Hugging Face搜索并下载模型，用MLX进行离线推理，并启动一个OpenAI兼容的API服务。这样就能用curl或OpenAI客户端库调用本地模型。
AI 翻译 · 中文
介绍了一个工具，可在Apple Silicon Mac上通过MLX框架本地运行大语言模型。用户能从Hugging Face搜索并下载模型，用MLX进行离线推理，并启动一个OpenAI兼容的API服务。这样就能用curl或OpenAI客户端库调用本地模型。
在 Apple Silicon Mac 上本地跑 LLM，从 Hugging Face 搜模型、下载，用 MLX 离线推理，还能开一个 OpenAI 兼容的 API。 github.com/mahiatlinux/ae… 💬 0 🔄 1 ❤️ 5 👀 1475 📊 2 ⚡ Powered by xgo.ing