端侧

general · First seen 2026-05-28 · Last seen 2026-11-18 · 739 mentions

Overview

端侧(on-device AI)指在手机、汽车、机器人、可穿戴等本地设备上直接运行 AI 模型推理的技术路线,与云端计算相对应。它的核心价值在于低延迟、隐私保护和离线可用,近两年随着小型化模型与专用芯片的成熟,正从概念走向规模化落地,成为 AI 产业竞争的新焦点。

端侧模型与基准的近期进展

  • iFLYTEK 发布 Spark X2.6,全国产算力训练,并开源端侧 4B 模型:讯飞在星火 X2.6 发布中同时开源了端侧 4B 模型,主模型采用 293B-A30B 的 MoE 架构且基于全国产算力训练,为端云协同提供了可本地部署的小模型选项(IT之家报道)。
  • OpenBMB 发布 EC²-Bench:研究边缘-云端协作执行智能体任务:该基准聚焦边缘与云端如何分工执行智能体任务,试图为端侧与云端协作的效率、成本权衡提供可量化评估。
  • Cactus Whistle 对比 Whisper Base:16.9 MB 语音模型在 CPU 上的实测教程:仅 16.9 MB 的语音识别模型可在纯 CPU 上运行,显示出极小参数量模型在端侧场景的实用化潜力。
  • 端侧硬件与行业落地

  • 美光预告 2028 年推出垂直堆叠 HBM 与边缘推理内存 vEIM:美光计划在 2028 年推出面向边缘推理的专用内存 vEIM,说明存储厂商已把端侧推理视为独立的硬件赛道。
  • 小鹏 IRON 人形机器人升级:每 0.2 秒重新推理,可预测 6 秒内动作:人形机器人要求高频实时推理,是端侧计算对延迟要求最苛刻的应用之一。
  • 王腾创业首款产品 ISHO Ring 智能戒指配置曝光,全球首发 Apollo 330B 芯片:可穿戴设备也在引入端侧 AI 芯片,反映小模型正向更低功耗的终端渗透。
  • 当前焦点与观察点

    端侧目前的核心争议集中在三个层面:一是模型能力与设备算力的权衡,4B 级开源模型和 16.9 MB 级语音模型代表了两种不同体量的路线;二是端云分工如何设计,EC²-Bench 等基准的出现说明行业还在探索协作范式而非简单替代;三是专用硬件的成熟节奏,vEIM 等边缘推理内存要到 2028 年才落地,短期内端侧仍依赖现有 SoC 与小模型优化。观察点包括端侧模型开源生态的活跃度、汽车座舱等场景的份额变化,以及存储与芯片厂商对边缘推理的持续投入。

    Coverage

    10 on file