端侧(on-device AI)指在手机、汽车、机器人、可穿戴等本地设备上直接运行 AI 模型推理的技术路线,与云端计算相对应。它的核心价值在于低延迟、隐私保护和离线可用,近两年随着小型化模型与专用芯片的成熟,正从概念走向规模化落地,成为 AI 产业竞争的新焦点。
端侧模型与基准的近期进展
端侧硬件与行业落地
当前焦点与观察点
端侧目前的核心争议集中在三个层面:一是模型能力与设备算力的权衡,4B 级开源模型和 16.9 MB 级语音模型代表了两种不同体量的路线;二是端云分工如何设计,EC²-Bench 等基准的出现说明行业还在探索协作范式而非简单替代;三是专用硬件的成熟节奏,vEIM 等边缘推理内存要到 2028 年才落地,短期内端侧仍依赖现有 SoC 与小模型优化。观察点包括端侧模型开源生态的活跃度、汽车座舱等场景的份额变化,以及存储与芯片厂商对边缘推理的持续投入。