AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
精选
过去 24 小时,从 1007 条中筛出 58 条
全部模型产品行业论文技巧
标签:本地部署×
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
6月10日
09:08
09:08arXiv: DeepSeek@Wenxin Wang, Yule Hou, Yu Ji, Peng Qu, Youhui Zhang
精选72°
本地部署大型混合专家模型(MoE)在服务质量上远不及云端环境,即使低并发场景也存在四大差距:依赖降级模型、无法满足长预填充的30秒TTFT、解码吞吐量低于20 tokens/s、混合负载下并发能力差。本文提出CPU-GPU混合系统,通过流式加载预填充(SLP)将预填充吞吐提升至1200 tokens/s,支持32K提示词在30秒内完成;分布式SLP(DSLP)结合SmallEP专家并行,在双RTX 5090上达到1800 tokens/s和45K提示词;以及零拷贝共享权重的节点内预填充-解码分离、AVX-512优化的FP8 GEMV内核等技术。该系统在消费级CPU-GPU平台上实现了旗舰MoE模型的云级服务质量,无需数据中心基础设施即可获得高质量、低成本的本地推理。
论文MoE模型CPU-GPU混合推理优化本地部署SLO

推荐理由:本地跑MoE大模型终于能追上云端的服务质量了——做本地部署的开发者可以直接参考这套CPU-GPU混合方案,不用再忍受降级模型和低吞吐。
原文
6月5日
09:36
09:36ollama@ollama
精选
Google 的 Gemma 4 12B 模型已更新至 Ollama,支持所有平台运行。该模型是统一的无编码器多模态模型,专为笔记本电脑设计,在边缘效率与高级推理之间取得平衡,并采用 Apache 2.0 许可。用户可通过 Ollama 在 Claude Code、Hermes Agent、OpenClaw、Codex 等工具中直接调用。
AI模型Gemma 4Ollama多模态模型本地部署开源/仓库

推荐理由:本地运行多模态模型的门槛又降低了——Gemma 4 12B 在 Ollama 上即开即用,做本地 AI 应用或边缘推理的开发者可以直接上手试。
原文
6月4日
00:45
00:45a16z@a16z
精选72°
Ideogram 4.0 正式发布,并宣布开源权重。该模型被官方称为“世界上最好的开源图像模型”,支持用户下载权重、在自有数据上微调,并可在本地硬件上运行。目前已在所有 Ideogram 套餐和 API 上可用。这一举措将推动图像生成领域的开源生态发展,为开发者和创作者提供更多自主权和灵活性。
AI模型开源/仓库图像生成Ideogram 4.0模型权重本地部署

推荐理由:图像生成领域终于有了一个真正能打的开源模型——Ideogram 4.0 权重可下载、可微调、可本地跑,做 AI 图像应用或研究的团队可以直接上手试试。
原文
6月1日
00:09
AITOP6月1日 00:09
OpenAI 发起“Codex for Open Source”:免费赠送 6 个月 Pro 订阅,开源维护者能否迎来 AI 变革?
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布:编程助手的“静默时刻”,是解放开发者,还是新门槛?🔥Anthropic 把 AI 编程的“确认键”彻底删掉了!Claude Code 搭载全新 Opus 4.8 模型,长时间任务不跑偏、不废话、不中断,像一个资深工程师一样默默干活,从功能开发到漏洞清扫全包圆,你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”,现在它直接交完整交付物……自主编程的最后一层窗户纸,被捅破了。做自动化开发和代码审查的团队,这个模型建议直接上手,效率差距肉眼可见……Opus 4.8发布:编程助手的“静默时刻”,是解放开发者,还是新门槛?
5月24日
03:37
03:37marktechpost@Michal Sutter
精选72°
腾讯开源了 TencentDB Agent Memory,一个完全本地的 AI 智能体记忆系统,采用 MIT 许可证。该系统结合了符号短期记忆(将冗长的工具日志压缩为紧凑的 Mermaid 任务画布)和四层长期记忆金字塔(L0 对话 → L1 原子 → L2 场景 → L3 人格)。它作为 OpenClaw 插件和 Hermes Docker 镜像提供,默认在本地 SQLite + sqlite-vec 上运行,并使用混合 BM25 + 向量检索与 RRF 融合。腾讯自己的基准测试显示,在 WideSearch 上使用 OpenClaw 时,令牌减少 61.38%,相对通过率提升 51.52%,PersonaMem 准确率从 48% 提升到 76%。
AI产品智能体记忆系统开源/仓库腾讯本地部署

推荐理由:腾讯开源的四层本地记忆管线解决了智能体长期记忆的痛点,做本地 AI 应用或智能体开发的团队可以直接集成,建议试试这个 MIT 许可的方案。
原文
5月19日
10:16
10:16arXiv cs.AI@Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhoseini
精选72°
OpenJarvis 是一种新的个人AI系统架构,旨在解决现有AI堆栈(如OpenClaw、Hermes Agent)严重依赖云端模型的问题。当前,将本地模型直接替换云端模型会导致准确率下降25-39个百分点。OpenJarvis 将个人AI系统分解为五个可独立优化的原语(智能、引擎、智能体、工具与记忆、学习),并引入LLM引导的规范搜索,让云端模型在搜索时提出编辑建议,但只接受不降低性能的修改,最终推理完全在设备上运行。实验表明,OpenJarvis 在8个基准测试中的4个上匹配或超越云端准确率,平均仅落后3.2个百分点,同时将API成本降低约800倍,端到端延迟降低4倍。
论文个人AI本地部署OpenJarvisLLM引导搜索隐私保护

推荐理由:做本地AI部署或隐私敏感应用的开发者,OpenJarvis 提供了一种不牺牲性能就能在设备上运行个人AI的方案,值得深入研究其架构和优化方法。
原文
精选全部日报登录