AITOP

端侧推理

共 2 条相关 AI 资讯
7月1日
12:51
6月11日
14:06
14:06IT之家（博客/媒体）
精选72°
苹果在 WWDC 上推出 CoreAI 引擎，接替服役 9 年的 CoreML，主打端侧大模型推理。首批基准测试显示，在 M4 Mac 上运行 Qwen3 0.6B 小模型时，CoreAI 解码速度是 MLX 的 2.47 倍，iPhone 17 Pro 上为 1.6 倍。但在 80 亿参数模型上，CoreAI 仅比 MLX 快 5%，优势随模型规模增大而收窄。持续负载测试中，CoreML 配合神经引擎在温控降频场景下性能保持率反超 GPU 路线。横向对比，谷歌 LiteRT-LM 运行 Gemma 时内存占用仅为苹果 MLX 的 1/4.5，显示针对特定模型优化的重要性。
AI产品苹果CoreAI端侧推理MLXQwen3
推荐理由：苹果端侧 AI 架构迎来重大更新，CoreAI 在小模型推理上显著提速，做本地 AI 应用或模型部署的开发者值得关注，尤其是 M4 Mac 用户可以直接感受到更快的响应。
原文