10:16
arXiv cs.AI@Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhoseini OpenJarvis 是一种新的个人AI系统架构,旨在解决现有AI堆栈(如OpenClaw、Hermes Agent)严重依赖云端模型的问题。当前,将本地模型直接替换云端模型会导致准确率下降25-39个百分点。OpenJarvis 将个人AI系统分解为五个可独立优化的原语(智能、引擎、智能体、工具与记忆、学习),并引入LLM引导的规范搜索,让云端模型在搜索时提出编辑建议,但只接受不降低性能的修改,最终推理完全在设备上运行。实验表明,OpenJarvis 在8个基准测试中的4个上匹配或超越云端准确率,平均仅落后3.2个百分点,同时将API成本降低约800倍,端到端延迟降低4倍。
推荐理由:做本地AI部署或隐私敏感应用的开发者,OpenJarvis 提供了一种不牺牲性能就能在设备上运行个人AI的方案,值得深入研究其架构和优化方法。