13:28Geek@geekbb精选介绍了一个工具,可在Apple Silicon Mac上通过MLX框架本地运行大语言模型。用户能从Hugging Face搜索并下载模型,用MLX进行离线推理,并启动一个OpenAI兼容的API服务。这样就能用curl或OpenAI客户端库调用本地模型。技巧MLXHugging FaceOpenAI兼容API本地推理教程3 个信源在谈推荐理由:想在Mac上本地跑大模型、不用联网?这个工具能从Hugging Face下模型,用MLX推理,还直接开个OpenAI API,当本地服务使。原文