AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

Metal

共 2 条相关 AI 资讯
7月30日
10:33
10:33SuperTechFans(博客/媒体)
精选
TurboFieldfare 是一个采用 Swift 和 Metal 编写的开源推理运行时,专为 Apple Silicon Mac 设计。它通过 SSD 流式加载专家权重,使 Gemma 4 26B-A4B 模型仅需约 2GB 内存即可运行,无需加载完整的 14.3GB 模型。实测在 8GB M2 MacBook Air 上达到 5.1-6.3 tok/s,在 24GB M5 Pro 上达到 31-35 tok/s。项目提供本地 Mac 应用、CLI 和 OpenAI 兼容服务器,要求 macOS 26、Metal 4 和 Xcode 26。
AI模型TurboFieldfareGemma 4Apple Silicon
事件专题

推荐理由:想在老 Mac 上跑大模型?这个开源引擎让 Gemma 4 26B 只需 2GB 内存就能跑起来,M2 上还有 5-6 tok/s,挺实用的。
原文
6月9日
19:58
19:58Julien Chaumond@julien_c
精选
safetensors v0.8.0 在 Apple Silicon 上支持将张量直接加载到 Metal 的 MTLBuffer 中。通过 DLPack 协议,可无缝传递给 PyTorch 等框架。相比之前版本,跳过了不必要的内存拷贝,提升了推理效率。该更新适用于所有使用 safetensors 的 Apple Silicon 用户。
AI产品safetensorsMetalApple Silicon

推荐理由:Apple 用户加载模型更快
原文
精选全部日报登录