端侧推理相关 AI 资讯 · AI 热点

7月15日

08:40

08:40

berryxia@berryxia

73°

PrismML推出Bonsai 27B模型，可在iPhone 17 Pro上直接运行，内存占用低于5GB。这是首个在手机端运行的27B参数级模型。演示视频显示实时响应且可用。通过量化技术将内存压缩至极致，同时保持模型可用性。该模型表明27B规模的大模型开始走进个人设备。

AI模型 PrismML Bonsai 27B iPhone 17 Pro

推荐理由：27B的模型在手机上跑，内存不到5GB，PrismML的Bonsai做到了。以后手机AI不连网也能用大模型了。

7月1日

12:51

12:51

量子位@量子位的朋友们

Om AI联汇发布了VLX模型，这是全球首个面向物理世界的端侧流式多模态模型。VLX支持实时视频流分析，能够在边缘设备上运行。它适用于机器人、自动驾驶、智能家居等场景，实现了低延迟的物理世界交互。模型采用了创新的流式架构，兼顾了性能和效率。

AI模型 VLX Om AI 多模态

推荐理由：Om AI联汇发布的VLX模型，能在手机上实时看懂视频流，适合做机器人或智能硬件的AI大脑，跟云端模型比延迟低得多。

6月11日

14:06

14:06IT之家（博客/媒体）

精选72°

苹果在 WWDC 上推出 CoreAI 引擎，接替服役 9 年的 CoreML，主打端侧大模型推理。首批基准测试显示，在 M4 Mac 上运行 Qwen3 0.6B 小模型时，CoreAI 解码速度是 MLX 的 2.47 倍，iPhone 17 Pro 上为 1.6 倍。但在 80 亿参数模型上，CoreAI 仅比 MLX 快 5%，优势随模型规模增大而收窄。持续负载测试中，CoreML 配合神经引擎在温控降频场景下性能保持率反超 GPU 路线。横向对比，谷歌 LiteRT-LM 运行 Gemma 时内存占用仅为苹果 MLX 的 1/4.5，显示针对特定模型优化的重要性。

AI产品苹果 CoreAI 端侧推理

推荐理由：苹果端侧 AI 架构迎来重大更新，CoreAI 在小模型推理上显著提速，做本地 AI 应用或模型部署的开发者值得关注，尤其是 M4 Mac 用户可以直接感受到更快的响应。