本地模型相关 AI 资讯

8月18日

15:30

官方账号阿里通义 Qwen@Alibaba_Qwen

精选73°

Qwen3.8-27B在Artificial Analysis Intelligence Index上达到DeepSeek V4-Pro和GPT 5.6 Luna的性能水平，成为首个获得前沿模型能力的本地模型。该模型仅27B参数，却实现了与大型前沿模型相当的表现。Qwen团队表示，这一进展速度超出预期，未来将应用于更多领域。

事件专题

推荐理由：Qwen的27B本地模型跑出了DeepSeek V4-Pro和GPT 5.6 Luna的水平，本地模型也能打前沿了，值得看看。

原文

8月12日

16:00

ollama@ollama

精选

Ollama 现已可作为 GitHub Copilot for JetBrains 的提供方使用。开发者可以在 JetBrains IDE 中通过 Ollama 连接本地模型，替代默认的云端模型。该功能支持在 GitHub Copilot 的配置中选择 Ollama 作为模型提供方。Ollama 支持多种开源模型，如 Llama 3.1 和 Mistral。此更新为开发者提供了更多模型选择，并增强了本地化开发体验。

AI产品 Ollama GitHub Copilot JetBrains

推荐理由：Ollama 现在能接进 JetBrains 的 Copilot 了，本地跑模型不用切窗口，试试看。

原文

8月11日

10:32

官方账号Simon Willison@simonw

精选

Simon Willison 在一条获得 19 个喜欢的推文中感叹，视觉 LLM 描述照片细节的能力令人惊叹。他提到部分这类模型可以在自己的笔记本电脑上运行，这条推文目前有 2 条回复。截至现在，推文已有 1865 次浏览和 4 次分享。

AI模型视觉LLM 多模态本地模型

推荐理由：Simon Willison 发推说视觉 LLM 能看清照片细节，还能跑在笔记本上，看完想试试。

原文

8月7日

11:05

AI Engineer@aiDotEngineer

AI Engineer World's Fair 2026 的 Local AI Track 已开始直播，由 NVIDIA 赞助，主题是“前沿智能正变成你拥有的东西”。首场 State of the Union 由 Joseph O'Fowa、Alex Ochema、Ahmad Osman 和 Matthew Berman 主讲。Osmantic 团队在 Desktop Frontier 环节讨论桌面端 AI，Local Models 环节由 Vincent Weisser 等探讨本地模型。Compression at the Edge 环节由 Daniel Han Chen 等讲解边缘压缩，Model Routing 环节由 Walden Yan 等讨论模型路由。全程可在这条推文附带的 YouTube 链接观看。

行业 AI Engineer World's Fair 2026 NVIDIA 本地模型

事件专题

推荐理由：AI Engineer 大会的 Local AI 专场正在直播，讲桌面端、本地模型、边缘压缩和模型路由，想围观最新方向就看这个。

原文

8月4日

01:05

官方账号NVIDIA AI@NVIDIAAI

Teknium宣布Hermes Agent集成NVIDIA NeMo Relay，重点优化小型/本地模型性能。基于25万条对话记录的分析，优化涵盖工具执行时间、内存、任务回合数、schema上下文负载以及token效率。更新已推送，完整版本明天发布。

AI产品 Hermes Agent NeMo Relay NVIDIA

事件专题

推荐理由：本地模型跑Agent总嫌慢？Hermes Agent这次用上NeMo Relay，省token还少绕路，更新试试就知道。

原文

7月30日

15:21

AI Will@FinanceYF5

该教程介绍如何在16GB内存的笔记本上通过Ollama本地运行Google的Gemma 4模型，无需订阅或API密钥。第一步安装Ollama（支持Mac、Windows、Linux），第二步运行gemma4:e4b（约9.6GB下载），若内存不足可改用gemma4:e2b。可选步骤可增加上下文至8192 tokens，并设置本地模式禁用Ollama云功能。本地运行后无每次提示的API费用，仅消耗硬件电力。

技巧 Gemma 4 Ollama 本地模型

事件专题

推荐理由：手把手教你在16GB笔记本上免费跑Gemma 4，无需云端、完全离线，连API费都省了。

原文

7月21日

22:57

22:57官方账号Simon Willison’s Weblog（博客/媒体）

Nativ 是一款基于 MLX 的 macOS 桌面应用，由 Prince Canuma 开发。它提供聊天界面和 localhost API 服务器，功能类似 LM Studio。应用能自动识别用户 Hugging Face 缓存目录中已有的 MLX 模型。用户可通过 Nativ 在 Mac 上本地运行视觉大语言模型等 AI 模型。

AI产品 Nativ MLX Prince Canuma

事件专题

推荐理由：Prince Canuma 做了个 Mac 版 LM Studio，用 MLX 跑本地模型，还能自动加载你下载过的模型。

原文

7月16日

08:39

berryxia@berryxia

宝玉老师推出BaoCut本地模型，可直接在MacMini上运行，用于英文视频素材的翻译和剪辑。用户可自由切换不同本地模型，无需依赖云端服务。该工具旨在简化英文内容创作流程，提升效率。

AI产品 BaoCut 宝玉老师本地模型

推荐理由：宝玉老师搞了个BaoCut，用本地模型就能直接翻译和剪辑英文素材，不用来回切换工具，装MacMini上随时用，挺方便的。

原文

7月9日

03:14

Ethan Mollick@emollick

Pinokio是一款用于下载和运行本地开源AI工具/模型的工具，它能将本地模型无缝暴露给Code和Codex等编码助手。在一次使用中，GPT-5.6自动发现了用户本地的视频模型和图像模型，并将它们作为廉价替代方案调用，绕开了付费API。这个案例展示了通过Pinokio集成本地模型与AI编码工具的实际工作流。

技巧 Pinokio Codex GPT-5.6

推荐理由：如果你用本地模型又嫌API贵，试试Pinokio，GPT-5.6能自动找到你的模型当免费API用。

原文

7月7日

23:18

Martin Fowler@martinfowler

Birgitta Böckeler在martinfowler.com发表文章，分享了她使用本地LLM完成编程任务的实践。文章探讨了影响本地LLM可行性的因素，包括模型大小（如7B、13B参数）、硬件要求（如GPU内存）、任务类型（如代码生成、调试）。她对比了本地LLM与云端模型（如GPT-4）在延迟、隐私和准确率方面的差异。结论是，对于简单编程任务，本地LLM（如Code Llama 7B）足够使用，但复杂任务仍需云端模型。

技巧 LLM 编程助手本地模型

推荐理由：想知道本地跑LLM写代码靠不靠谱？看看这篇实测，从模型选型到硬件门槛都说了，还有和GPT-4的对比。

原文

12:20

AI Will@FinanceYF5

根据r/LocalLLaMA的一张图表，有人计算了从云端顶尖模型发布到普通笔记本能运行同等能力水平的平均时间差为24.8个月。GPT-3用了37个月才被追上，GPT-3.5是17个月，GPT-4大约24个月。按此节奏推算，Fable/Mythos 5级别的能力预计在2028年7月可运行于高端消费级电脑。

行业 GPT-3 GPT-3.5 GPT-4

推荐理由：有人拿LocalLLaMA的数据算了一笔账：顶级云端模型大概两年后就能在普通笔记本上跑，GPT-3.5只用了17个月，这个时间差挺有意思。

原文

6月30日

22:21

官方账号Clement Delangue@ClementDelangue

斯坦福大学研究显示，71.3% 的ChatGPT查询可由本地模型准确回答。Hugging Face CEO Clement Delangue指出，企业AI工作负载可免费本地运行，避免高昂API成本及模型被收回风险。Hugging Face新增按本地硬件（如M5 24GB）过滤800k+公共模型的功能，支持通过llamacpp轻松使用。

AI产品 Hugging Face ChatGPT 本地模型

推荐理由：你可以根据自己电脑配置在Hugging Face上筛选能跑的模型，省下API钱，还能自己掌控模型，很实用。

原文

14:52

Paul Couvert@itsPaulAi

精选

技巧 Qwen3.6-27B Gemma 4 Parakeet

事件专题

推荐理由：Paul整理了5款能塞进笔记本的本地模型，从编程到语音全覆盖，帮你省掉高价工作站的钱。

原文

6月29日

06:45

官方账号Clement Delangue@ClementDelangue

DeepSeek 推出加速模型集合，其中 Gemma-4-12B 可能包含视觉能力。该模型在其 12B 参数量级别中，本地运行性能显著优于同类竞品。该集合未包含 Qwen 3.5，推测因 DeepSeek 未采用线性注意力机制。

AI模型 DeepSeek Gemma-4-12B 加速模型

推荐理由：DeepSeek 把 Gemma-4-12B 加速了，还带视觉，本地跑起来应该是同尺寸里最强的之一。

原文

6月24日

05:23

GitHub@github

GitHub Copilot 应用现在支持扩展的模型集合。用户可自带 provider key 连接自己选择的模型，也可使用本地模型或订阅内已包含的模型。每个 agent 会话都可以单独选择不同的模型。这一更新赋予了开发者更大的模型选择灵活性。

AI产品 GitHub Copilot 模型选择自带provider key

推荐理由：GitHub Copilot 现在让你自己挑模型了，带个key或用本地模型都行，每个会话还能换着用，挺自由的。

原文

6月20日

01:56

Ate-a-Pi@svpino

该博主从4月起在Mac Studio上运行gemma-4:26b处理私密文档，目前六成查询都使用该模型。它速度快且能力强，但复杂编程任务仍需专用模型。适合日常使用并避免向大型AI实验室上传数据。

AI模型 gemma-4:26b 本地模型隐私文档

推荐理由：gemma-4:26b 本地跑很香，处理私密文档不用传云端，日常六成查询够用。但写代码别指望它。

原文

6月18日

13:08

@atomic_chat_hq@atomic_chat_hq

Atomic Chat 宣布集成 Exa AI Search，让本地运行的语言模型能够实时搜索网络并获取最新信息。Exa AI Search 由 Exa Labs 提供，已被超过 40 万开发者使用，且完全免费开源。该功能打破了本地模型离线运作的限制，使其能访问实时网页数据。用户现在可以在 Atomic Chat 中直接调用联网搜索，无需外部 API 或复杂配置。

AI产品 Exa AI Search Atomic Chat Exa Labs

推荐理由：Atomic Chat 现在内置 Exa AI Search，本地模型也能实时联网搜东西了，免费开源，开发者和 AI 玩家都能直接上手试。

原文

13:03

@atomic_chat_hq@atomic_chat_hq

Atomic Chat 正式在 Hugging Face 上线，成为该平台上的 Local App。用户可以直接在本地设备运行 Hugging Face 上的 200,000+ 个开放权重模型，所有处理都在设备端完成，保障隐私。该应用完全开源，无需联网即可使用多种模型。

AI产品 Atomic Chat Hugging Face 本地模型

推荐理由：Atomic Chat 现在能在本地跑 Hugging Face 上 20 多万个模型，完全离线私密，还开源，搞 AI 的可以试试看。

原文

12:57

@atomic_chat_hq@atomic_chat_hq

Atomic 宣布与开源 AI Agent Goose 合作。用户可以在本地设备上通过 Atomic 运行 Goose，使用本地模型完成代码编辑、功能构建和自动化工作流。全程数据保留在本地，无需联网。

AI产品 Atomic Goose 本地模型

推荐理由：Atomic 和 Goose 合作了，你可以在自己电脑上本地跑 Agent 处理代码和自动化任务，数据不离开设备。

原文

6月17日

23:30

Philipp Schmid@_philschmid

精选

Phil Schmid 在推文中引用 Vicki Boykis 的教程，指出 Google 最新 Gemma 4 系列模型能在本地运行 agentic coding 循环，准确率和速度达到前沿模型的约 75%。该教程演示了如何使用本地模型进行编码任务。此前本地模型难以高效完成 agentic 工作流，Gemma 4 将这一差距缩小。

技巧 Gemma 4 Google 智能体

事件专题

推荐理由：Vicki Boykis 教你用 Google Gemma 4 在本地跑 agentic coding，速度能到主流模型的 75%，不用联网也能用智能体写代码了。

原文

08:59

08:59SuperTechFans（博客/媒体）

精选76°

作者在 2022 年 M2 Mac（64GB RAM）上测试 Mistral 7B、Gemma 3、OpenAI OSS-20B、Qwen 3 MOE 等多种模型，使用 llama.cpp、Ollama、LM Studio 等工具。她发现自从 GPT-OSS 发布后，本地模型在编程任务上已足够好用，尤其 Google 的 Gemma 4 系列（如 gemma-4-26b-a4b 和 gemma-4-12b-qat）在 Python 代码重构、类型提示修复、写单元测试等 agentic 任务中准确率和速度约为前沿模型的 75%。她分享了本地 agentic 设置：用 Pi 作 agent 框架、LM Studio 作推理服务器，所有操作放在 Docker 容器中以限制权限。本地模型仍有推理速度慢、上下文窗口受硬件限制等问题，但隐私友好、可自由调整参数。

技巧 M2 Mac Gemma 4 Pi

事件专题

推荐理由：想试本地模型？这篇有 M2 Mac 上跑 Gemma 4 的详细配置，还有 Pi+LM Studio 的 agentic 设置，比云端省心。

原文

00:25

00:25官方账号Simon Willison’s Weblog（博客/媒体）

Georgi Gerganov 在 Hacker News 评论中分享，过去一个半月他几乎每天都用 Qwen3.6-27B 模型处理编码任务，运行在 M2 Ultra 或 RTX 5090 上。他使用轻量级 pi agent（pi -nc --offline）搭配简短系统提示来适配个人编程风格。虽然主要用于 ggml-org 的琐碎维护任务，但认为该模型是高效的辅助工具。

技巧 Qwen3.6-27B Georgi Gerganov pi

推荐理由：Georgi Gerganov 亲测 Qwen3.6-27B 配合 pi agent，日常编程完全够用，本地运行无压力。

原文

6月16日

15:57

Geek@geekbb

OCR Extractor 是一款 Obsidian 插件，现已支持本地 OCR 模型，无需联网即可运行。它能够从 PDF、图片等附件中提取文本，并自动保存为可搜索的 Markdown 文件。本地模型保障用户数据隐私，同时提升 Obsidian 中的文档管理效率。该插件已在 GitHub 上开源。

AI产品 Obsidian OCR OCR Extractor

推荐理由：Obsidian 用户快看，OCR Extractor 现在支持本地模型了，不用联网就能把 PDF 和图片里的文字提取出来变成可搜索的笔记，隐私更好还免费。

原文

09:03

berryxia@berryxia

精选

12B参数的Gemma 4 12B Coder GGUF模型基于Google的gemma-4-12B-it微调，专门针对代码生成和复杂推理。训练数据使用了Composer 2.5的真实通过案例，并由Fable 5辅助补全困难case，确保推理步骤导向可运行代码。模型采用GGUF格式，可在12GB显存的显卡甚至CPU上离线运行。下载量已突破6000，社区反馈在本地代码调试、补全、算法生成等场景表现出色。

AI模型 Gemma 4 12B Coder GGUF Fable 5 代码生成

事件专题

推荐理由：Gemma 4 12B Coder 把 Fable 5 的推理链蒸馏到本地，12GB 显卡就能跑顶级代码生成，再也不用担心 API 费用和限制

原文

6月14日

02:22

Paul Couvert@itsPaulAi

PaulAI在推文中强调AI不应被封闭组织垄断，建议使用闭源模型创建技能、工具、数据集和工作流，以改进本地模型。他指出本地AI模型现在易于使用且能力远超预期，可连接Codex、Claude Code等工具实现自动化。用户可根据需要微调这些模型。

技巧开源模型本地模型 Codex

推荐理由：教你用闭源模型养本地模型

原文

6月12日

13:39

MiniMax_AI@MiniMax_AI

MiniMax 在 AiOS 聚会上与多位开发者及专家共同探讨了本地模型这一热门话题。活动邀请了 @rudrank、@RayFernando1337、@ronaldmannak 等嘉宾，以及 @awnihannun 和 @peterfriese 参与讨论。本地模型成为现场最受关注的议题之一。MiniMax 表示很高兴能支持 iOS 开发者社区。该活动与 WWDC26 相关，聚焦 iOS 和 AI 开发。

行业本地模型 iOS 开发者社区

推荐理由：本地模型是 iOS 开发者当前最关注的方向之一，MiniMax 的参与说明其正在积极布局移动端 AI。做 iOS AI 应用开发的团队可以关注其后续动作，或许会有新的工具或模型支持。

原文

12:42

官方账号Sebastian Raschka@rasbt

精选

Sebastian Raschka 分享了4个新加入开源权重、可在消费级硬件上运行的本地LLM模型。这些模型扩展了本地AI生态，让普通用户无需高端GPU即可运行大语言模型。具体模型包括一些轻量级但性能不错的选项，适合个人开发者和小团队。这一进展降低了AI应用的门槛，推动了去中心化AI的发展。

AI模型开源/仓库本地模型消费级硬件

推荐理由：本地LLM生态又壮大了，做个人AI项目或隐私敏感应用的开发者可以直接关注，这些模型让消费级硬件跑大模型更现实了。

原文

6月9日

01:40

官方账号Clement Delangue@ClementDelangue

精选

斯坦福大学研究显示，本地模型在真实世界聊天和推理查询中的准确率从2023年的23.2%提升至71.3%。该研究对比了本地模型与前沿API的成本和能耗，发现本地模型以极低代价实现了大部分任务。研究指出，多数工作负载无需依赖前沿模型，未来将是本地、开源、较小模型的天下。

论文 Stanford 本地模型前沿API

推荐理由：本地模型性价比超高

原文

6月8日

08:46

berryxia@berryxia

76°

CJ Zafir 团队推出 Mac-1，一个仅 6.6B 参数的小模型，能在 Mac 本地以 7GB 内存运行，速度达 65 tok/s。它直接集成了 487 个 Mac 原生工具，支持链式调用、自动推理，可自动发邮件、订会议等。该模型挑战了“模型越大越强”的行业共识，将 Agent 能力从云端拉回本地，且 UI 保持纯 Mac 风格，用户体验流畅。这标志着本地小模型+原生工具的组合可能终结云端 SaaS Agent 时代。

AI产品 Mac-1 Agent 本地模型

推荐理由：Mac 用户和 Agent 开发者注意了——这个 6.6B 的本地模型用 7GB 内存就实现了云端大模型的 Agent 能力，还自带 487 个原生工具，建议直接下载试试，看能否替代你现在的 Siri 或云端方案。

原文

6月7日

05:42

Aravind Srinivas@AravSrinivas

Perplexity CEO Arav Srinivas 宣布与 Intel 合作，将本地模型和混合推理带到 Intel Ultra Series 3 笔记本电脑上。Intel CEO Lip-Bu Tan 在 Computex 2026 主题演讲中阐述了从硅到系统到软件的愿景，涵盖 PC、边缘设备、数据中心和智能中心。该合作旨在提升个人电脑的 AI 能力，实现更高效的本地推理。这是 Intel 转型过程中的重要一步，也标志着 AI 与 PC 的深度融合。

AI产品 Perplexity Intel 本地模型

推荐理由：本地 AI 推理终于要走进主流笔记本了——Perplexity 与 Intel 的合作让 Ultra 3 用户无需联网也能跑模型，做 AI 应用或本地推理的开发者值得关注。

原文

6月6日

03:13

AI Breakfast@AiBreakfast

AI 领域最被低估的趋势是“足够好”的本地智能已经实现。Gemma 4 12B 模型可以在 16GB 内存的笔记本电脑上运行，覆盖普通用户的所有需求。它无限使用、永久免费且完全离线，无需联网或付费。这标志着本地 AI 的实用化里程碑，对隐私敏感或网络受限的用户尤其重要。

AI模型 Gemma 4 本地模型开源/仓库

事件专题

推荐理由：本地 AI 终于不再是玩具——Gemma 4 12B 在普通笔记本上就能跑，日常查询、写作、编程辅助都能搞定，隐私敏感或想省钱的用户可以直接上手试试。

原文

6月5日

13:51

13:51IT之家（博客/媒体）

76°

谷歌 Magenta 团队发布 Magenta RealTime 2（MRT2），一款可在本地实时运行的 AI 音乐模型，支持与用户即兴合奏。MRT2 推出两种规模：24 亿参数的高质量模型 mrt2_base 和 2.3 亿参数的高速模型 mrt2_small，后者针对苹果 Apple Silicon 优化，可在 M1 及以上芯片的 Mac 上实时运行。相比前代，MRT2 将控制延迟从约 3 秒降至约 200 毫秒（降低至 1/15），采用逐帧生成（每帧 40 毫秒），更接近真实乐器演奏体验。模型支持文本、音频风格提示以及 MIDI 控制，并免费提供 Jam 应用和 DAW 插件。

AI产品实时音乐生成 Magenta RealTime 2 本地模型

推荐理由：音乐创作者和 AI 爱好者终于有了能实时合奏的本地模型——延迟从 3 秒降到 200 毫秒，用 MacBook 就能跑，建议玩电子乐或编曲的人直接下载 Jam 试试。

原文

07:19

07:19IT之家（博客/媒体）

LM Studio 在 Mac 版应用中新增 LM Link 功能，允许 iPhone 等设备直接调用 Mac 上本地运行的大语言模型。用户需创建并登录同一账号，启用后设备间建立端到端加密的安全连接，请求由 Mac 处理并返回结果。该功能基于 Tailscale 网状 VPN，确保隐私安全，支持任意本地模型，包括 Apple Intelligence 基础模型。目前预览免费，未来将推出付费方案。这解决了移动设备无法直接使用本地大模型的痛点，尤其适合注重隐私的用户。

AI产品 LM Studio 本地模型跨设备

事件专题

推荐理由：对于想在手机上体验本地 AI 又不想牺牲隐私的 Mac 用户，LM Link 直接打通了跨设备调用——不用联网、数据不出设备，建议有 Mac 和 iPhone 的开发者或隐私敏感用户试试。

原文

6月4日

12:14

小互@imxiaohu

83°

Google 将 AI Edge Gallery 从手机端扩展到 macOS 桌面，用户下载安装后即可本地运行 Gemma 4 12B 模型。该应用内置沙盒 Python 环境，支持在聊天中编写代码并执行画图等操作。此外，Eloquent 功能支持语音交互，用户可以直接对着电脑说话。这降低了本地运行大模型的门槛，适合开发者和 AI 爱好者快速体验。

AI产品 Google AI Edge Gallery Gemma 4

事件专题

推荐理由：本地跑大模型终于不用折腾环境了，做原型验证或离线使用的开发者直接下载就能用，还带 Python 沙盒和语音交互，值得一试。

原文

11:16

11:16IT之家（博客/媒体）

精选

谷歌 AI Edge Gallery 实验性应用现已登陆 macOS，让苹果 Mac 用户能在本地离线运行 Gemma AI 模型，无需联网即可进行聊天、图像处理和语义理解。该应用仅提供 5 个谷歌自家模型，其中最受关注的是 Gemma 4 12B，可在 16GB 内存 Mac 上处理文本、视觉和音频，并具备代码能力，适合设备端数据分析和信息提取。同时，谷歌还推出了 Mac 版 AI Edge Eloquent 听写应用，支持离线语音转文字和轻度润色。

AI产品谷歌 AI Edge Gallery Gemma 4

事件专题

推荐理由：Mac 用户终于有了谷歌官方的本地 AI 工具，16GB 内存就能跑多模态模型，做本地数据分析和隐私敏感任务的开发者可以直接试试。

原文

01:18

Geek@geekbb

Google 发布了 Gemma 4 12B 模型，这是一款统一的无编码器多模态模型，专为在笔记本电脑上高效运行而设计，采用 Apache 2.0 许可证。该模型在边缘效率与高级推理之间取得了平衡，适合本地部署。对于 Mac mini 用户来说，这可能是一个理想的本地 AI 模型选择，因为其轻量级设计和高性能推理能力。

AI模型 Gemma 4 12B 本地模型多模态

事件专题

推荐理由：Mac mini 用户终于有了一个高性能的本地多模态模型选择——Gemma 4 12B 在笔记本上就能跑，做本地 AI 开发或隐私敏感应用的团队可以直接试试。

原文

6月3日

14:17

ollama@ollama

Nous Research 发布了 Hermes Desktop，这是 Hermes Agent 的桌面原生版本，首次在 Jensen 的 GTC 主题演讲中演示，现已公开预览。该工具允许用户通过 Ollama 使用本地或云端模型，实现智能体功能。这意味着开发者可以在自己的机器上运行 Hermes，无需依赖远程服务器，降低了使用门槛。对于希望探索本地 AI 智能体的用户来说，这是一个值得关注的新选择。

AI产品智能体 Hermes Desktop Ollama

事件专题

推荐理由：Hermes Desktop 让本地 AI 智能体落地更简单，做自动化或智能体开发的团队可以直接通过 Ollama 体验，无需复杂配置。

原文

08:42

Aravind Srinivas@AravSrinivas

Perplexity 宣布其 AI 计算机 Perplexity Computer 将支持本地模型运行，实现混合智能推理。该功能允许任务在本地硬件与云端前沿模型之间智能拆分，既保护隐私数据又提升 token 效率。当需要更强算力时，系统可自动调用服务器端 GPU 上的前沿模型。该功能即将登陆 Windows 笔记本，具体上线时间待公布。

AI产品 Perplexity 混合推理本地模型

推荐理由：混合推理架构解决了隐私与性能的平衡难题，做本地 AI 部署或关注数据安全的开发者值得关注，Windows 用户很快就能直接体验。

原文

5月31日

05:10

rohanpaul_ai@rohanpaul_ai

精选72°

atomic.chat 在 MacBook Pro M5 Max 64GB 上对比了本地 AI 智能体的工具调用能力。Liquid 的 LFM2.5-8B-A1B 模型（8B 参数，MoE 架构）在规划旅行任务中，成功完成所有 7 次外部工具调用（天气查询、货币转换、邮件和提醒），而 gpt-oss-20b 仅完成 3/7 次。LFM2.5-8B-A1B 运行速度达 266 tok/s，内存占用仅 4.8GB，而 gpt-oss-20b 为 146 tok/s 和 11GB。这表明工具调用本质上是控制问题而非语言问题，更小但训练更聚焦的模型可以胜过更大但泛化的模型。

AI模型本地模型工具调用智能体

事件专题

推荐理由：做本地 AI 智能体或工具调用开发的团队，这个对比直接告诉你：模型大小不是关键，控制能力才是。LFM2.5-8B-A1B 的性价比碾压，值得在本地部署试试。

原文

5月23日

10:38

Ate-a-Pi@svpino

精选

开发者 Santiago 分享了一个名为 llm-checker 的 npm 工具，可以自动检测电脑硬件并推荐适合本地运行的 AI 模型。用户只需安装后运行 hw-detect 命令，再通过 recommend 命令指定类别（如 coding）即可获得推荐。该工具解决了本地部署模型时硬件兼容性不明确的痛点，让开发者快速找到适合自己设备的模型。

AI产品 llm-checker 本地模型硬件检测

推荐理由：本地跑模型最烦的就是不知道哪款能跑得动——llm-checker 直接帮你检测硬件并推荐，省去试错时间。做本地 AI 开发或想玩开源模型的建议装一个试试。

原文