AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：本地部署×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月10日
09:08
09:08arXiv: DeepSeek@Wenxin Wang, Yule Hou, Yu Ji, Peng Qu, Youhui Zhang
精选72°
本地部署大型混合专家模型（MoE）在服务质量上远不及云端环境，即使低并发场景也存在四大差距：依赖降级模型、无法满足长预填充的30秒TTFT、解码吞吐量低于20 tokens/s、混合负载下并发能力差。本文提出CPU-GPU混合系统，通过流式加载预填充（SLP）将预填充吞吐提升至1200 tokens/s，支持32K提示词在30秒内完成；分布式SLP（DSLP）结合SmallEP专家并行，在双RTX 5090上达到1800 tokens/s和45K提示词；以及零拷贝共享权重的节点内预填充-解码分离、AVX-512优化的FP8 GEMV内核等技术。该系统在消费级CPU-GPU平台上实现了旗舰MoE模型的云级服务质量，无需数据中心基础设施即可获得高质量、低成本的本地推理。
论文MoE模型CPU-GPU混合推理优化本地部署SLO
推荐理由：本地跑MoE大模型终于能追上云端的服务质量了——做本地部署的开发者可以直接参考这套CPU-GPU混合方案，不用再忍受降级模型和低吞吐。
原文
5月19日
10:16
10:16arXiv cs.AI@Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhoseini
精选72°
OpenJarvis 是一种新的个人AI系统架构，旨在解决现有AI堆栈（如OpenClaw、Hermes Agent）严重依赖云端模型的问题。当前，将本地模型直接替换云端模型会导致准确率下降25-39个百分点。OpenJarvis 将个人AI系统分解为五个可独立优化的原语（智能、引擎、智能体、工具与记忆、学习），并引入LLM引导的规范搜索，让云端模型在搜索时提出编辑建议，但只接受不降低性能的修改，最终推理完全在设备上运行。实验表明，OpenJarvis 在8个基准测试中的4个上匹配或超越云端准确率，平均仅落后3.2个百分点，同时将API成本降低约800倍，端到端延迟降低4倍。
论文个人AI本地部署OpenJarvisLLM引导搜索隐私保护
推荐理由：做本地AI部署或隐私敏感应用的开发者，OpenJarvis 提供了一种不牺牲性能就能在设备上运行个人AI的方案，值得深入研究其架构和优化方法。
原文