精选理由
做本地AI部署或隐私敏感应用的开发者，OpenJarvis 提供了一种不牺牲性能就能在设备上运行个人AI的方案，值得深入研究其架构和优化方法。
OpenJarvis 是一种新的个人AI系统架构，旨在解决现有AI堆栈（如OpenClaw、Hermes Agent）严重依赖云端模型的问题。当前，将本地模型直接替换云端模型会导致准确率下降25-39个百分点。OpenJarvis 将个人AI系统分解为五个可独立优化的原语（智能、引擎、智能体、工具与记忆、学习），并引入LLM引导的规范搜索，让云端模型在搜索时提出编辑建议，但只接受不降低性能的修改，最终推理完全在设备上运行。实验表明，OpenJarvis 在8个基准测试中的4个上匹配或超越云端准确率，平均仅落后3.2个百分点，同时将API成本降低约800倍，端到端延迟降低4倍。
AI 翻译 · 中文
OpenJarvis 是一种新的个人AI系统架构，旨在解决现有AI堆栈（如OpenClaw、Hermes Agent）严重依赖云端模型的问题。当前，将本地模型直接替换云端模型会导致准确率下降25-39个百分点。OpenJarvis 将个人AI系统分解为五个可独立优化的原语（智能、引擎、智能体、工具与记忆、学习），并引入LLM引导的规范搜索，让云端模型在搜索时提出编辑建议，但只接受不降低性能的修改，最终推理完全在设备上运行。实验表明，OpenJarvis 在8个基准测试中的4个上匹配或超越云端准确率，平均仅落后3.2个百分点，同时将API成本降低约800倍，端到端延迟降低4倍。
Personal AI stacks, like OpenClaw and Hermes Agent, are becoming central to daily work, yet they route nearly every query (often over sensitive local data) to cloud-hosted frontier models. Replacing frontier models with …
- shao__meng05-17 00:48原文