围绕Apple Silicon(苹果自研芯片)和MLX(苹果机器学习框架)的本地AI生态正在迅速壮大。近期,多个项目验证了Mac设备在本地运行视觉语言模型(VLM)的可行性,同时存储厂商也开始针对AI负载优化SSD。
- 主要进展
- Mac本地运行视觉模型:Step 3.7 Flash 模型加入 mlx-vlm,Mac 本地跑通视觉理解 使得Mac用户无需联网即可运行多模态模型,进一步降低了端侧AI门槛。
- SSD针对AI负载优化:慧荣发布AI负载优化SSD主控SM2524XT:14GB/s,DRAM-less 通过提升顺序读写速度并降低功耗,迎合本地AI模型加载和数据吞吐需求。
- 开源启动器与框架迭代:开源 macOS 菜单栏 AI 启动器,Swift 构建,本地运行 MLX 模型 让用户通过菜单栏快速调用MLX模型;MLX CUDA后端全部测试通过 则意味着MLX在CUDA设备上也能运行,迈出跨平台关键一步;oMLX 0.3.9.dev2 更新 提升了苹果端侧AI的速度与集成度。
当前焦点:HuggingFace CEO 发起讨论“Apple Silicon是否本地AI之王”,反映出业界对苹果统一内存架构在AI推理中的效率优势的认可。此外,Anthropic Claude被用来辅助发现macOS提权漏洞,体现了AI在安全领域的应用潜力。
未来观察点:MLX向CUDA等平台的扩展是否会影响其性能优势?苹果是否会进一步开放M系列芯片的AI能力?随着SSD等硬件针对AI优化,本地AI体验将更加流畅。