AI产品精选72°

苹果 CoreAI 端侧架构测试:M4 Mac 上 Qwen3 0.6B 解码速度是 MLX 的 2.47 倍

苹果 CoreAI 端侧 AI 架构测试:M4 Mac 上 Qwen3 0.6B 解码速度是 MLX 的 2.47 倍

精选理由

苹果端侧 AI 架构迎来重大更新,CoreAI 在小模型推理上显著提速,做本地 AI 应用或模型部署的开发者值得关注,尤其是 M4 Mac 用户可以直接感受到更快的响应。

AI 摘要

苹果在 WWDC 上推出 CoreAI 引擎,接替服役 9 年的 CoreML,主打端侧大模型推理。首批基准测试显示,在 M4 Mac 上运行 Qwen3 0.6B 小模型时,CoreAI 解码速度是 MLX 的 2.47 倍,iPhone 17 Pro 上为 1.6 倍。但在 80 亿参数模型上,CoreAI 仅比 MLX 快 5%,优势随模型规模增大而收窄。持续负载测试中,CoreML 配合神经引擎在温控降频场景下性能保持率反超 GPU 路线。横向对比,谷歌 LiteRT-LM 运行 Gemma 时内存占用仅为苹果 MLX 的 1/4.5,显示针对特定模型优化的重要性。

AI 翻译 · 中文

苹果在 WWDC 上推出 CoreAI 引擎,接替服役 9 年的 CoreML,主打端侧大模型推理。首批基准测试显示,在 M4 Mac 上运行 Qwen3 0.6B 小模型时,CoreAI 解码速度是 MLX 的 2.47 倍,iPhone 17 Pro 上为 1.6 倍。但在 80 亿参数模型上,CoreAI 仅比 MLX 快 5%,优势随模型规模增大而收窄。持续负载测试中,CoreML 配合神经引擎在温控降频场景下性能保持率反超 GPU 路线。横向对比,谷歌 LiteRT-LM 运行 Gemma 时内存占用仅为苹果 MLX 的 1/4.5,显示针对特定模型优化的重要性。

IT之家IT之家 6 月 11 日消息,科技媒体 Wccftech 昨日(6 月 10 日)发布博文,报道称在 2026 年全球开发者大会(WWDC)上,苹果推出 CoreAI 引擎, 接替 2017 年推出的 CoreML 框架,主打端侧大模型推理。 IT之家援引博文介绍,CoreML 框架已服役 9 年,主要面向图像分类等小型静态任务;而最新接棒的 CoreAI 主要面向端侧本地推理和边缘 AI 场景,重点优化设备端大语言模型推理,重点支持