On-Device AI（端侧人工智能）指将模型推理直接运行在手机、PC 等终端设备本地，而非依赖云端服务器的技术路线。它的核心卖点是隐私、低延迟和离线可用，近两年随着终端芯片算力提升和小模型能力增强，正从概念验证走向消费级产品的常规配置。
On-Device AI 近期进展
当前焦点与观察点
端侧 AI 目前的核心争议是“本地模型够不够强”。Bonsai 27B 这类能跑在手机上的推理模型，以及社区讨论中出现的 4B 级开源 agentic 系统说明小模型能力在快速逼近可用线，但与云端大模型的差距仍然存在，混合架构（本地处理简单任务、云端兜底复杂任务）短期内仍是主流。
第二个观察点是隐私叙事的商业化。Google 的 local-first 笔记产品和 Underdog 的“最私密”定位表明，隐私正从合规要求变成营销武器。不过“本地运行”不等于“完全隐私”，模型更新、遥测数据等灰色地带仍需用户甄别。
最后值得跟踪的是硬件层面：小米 O3 量产、O100/D100 指向 2027 年，说明芯片厂商已经在为两三年后的端侧负载提前布局。芯片、模型、应用三层同时推进，端侧 AI 的临界点可能在开源模型质量和终端 NPU 算力的交叉处到来。