#本地推理

微软把 llama.cpp 和 GGUF 模型直接接进了 Win11 的 Windows ML，以后从 Hugging Face 下个模型就能在本地跑，还配了文本生成和语音识别 API。

微软发布会上直接演示 llama.cpp 跑本地 AI，Nadella 和黄仁勋同台，本地推理这次是真上台面了。

官方账号Clement Delangue@ClementDelangue4 个信源在谈原文

博主在本地跑 125b 模型，速度是云端的 3 倍，还敢跟 Claude Opus4.6 Max 比智商，喜欢折腾本地部署的可以看看。

Lxfater@lxfater原文

NVIDIA 出了台 1 PetaFLOP 的桌面机，64GB 内存，两台还能组 128GB 集群，想在家微调模型的开发者可以看看。

官方一手marktechpost@Jean-marc Mommessin11 个信源在谈原文

Perplexity Windows app 新增 Portable Computer 功能，支持本地推理，需 NVIDIA RTX 显卡 24GB 显存或更高。该功能允许用户在本地运行模型，无需云端连接。

官方账号Perplexity@perplexity_ai3 个信源在谈原文

Perplexity 为 Mac 开发了专用推理引擎 Lily，比 MLX-LM 快 23%-35%，专为 Qwen3.6-35B-A3B 和 Apple Silicon 优化。

shao__meng@shao__meng3 个信源在谈原文

Perplexity开源了专为Apple芯片优化的Lily推理引擎，解决Qwen3.6-35B-A3B的本地计算瓶颈问题。

官方账号Perplexity@perplexity_ai原文

HuggingFace出了份开放模型夏季报告，告诉你哪些小模型最常用，Qwen和Gemma谁跑得靠前，搞本地部署前先看看。

官方账号Hugging Face@huggingface原文

NAS 用户看过来，威联通 Qsirch 升级了，本地跑 VLM 和 LLM，搜文件视频不用传云端，隐私和速度都照顾到。

想本地跑Bonsai-27B？用PrismML的llama.cpp加上1位量化，速度起飞，还能直接用OpenAI API调用。

官方一手marktechpost@Sana Hassan原文

教你用Qdrant EDGE和Google LiteRT搭一个完全离线的RAG系统，文档问答、个人助理全在本地跑，再也不用担心隐私和联网了。

Qdrant@qdrant_engine原文

本地 AI 推理终于有了速度突破——DiffusionGemma 让低带宽设备也能高效运行，做边缘部署或本地应用的开发者可以直接从 Hugging Face 下载试试。

多模态模型终于能跑在普通笔记本上了，做本地 AI 应用或边缘计算的开发者可以直接下载试试，性能还接近两倍大的模型。

官方账号Decoder@Matthias Bastian11 个信源在谈原文

无编码器架构让多模态模型更轻量、更高效，做本地 AI 应用或智能体开发的团队可以直接在笔记本上跑，值得一试。

Google AI Developers@googleaidevs11 个信源在谈原文

Perplexity 的混合 AI 系统解决了本地与云端资源分配难题，做 AI 应用开发或关注隐私与效率平衡的团队值得关注，可以直接尝试优化工作流。

官方账号Decoder@Jonathan Kemper原文

本地跑大模型或做 AI 渲染的团队，这台 128GB 内存的迷你工作站比同配置笔记本便宜不少，接口也够全，值得关注。

Ollama 与 NVIDIA 联手，让本地 AI 推理性能跃升到 petaflop 级别，做本地模型部署的开发者可以直接在 RTX Spark 上跑模型，值得关注。

ollama@ollama11 个信源在谈原文

雷神把本地大模型推理的门槛打下来了——M7000用SSD扩展显存跑120B模型，做AI开发或本地部署的团队可以直接考虑，性价比比传统工作站高出一截。

迷你主机终于能塞进桌面级显卡和处理器了，做本地 AI 推理或轻量渲染的开发者可以直接考虑，3.46L 体积放桌面不占地方。

AMD 用 3999 美元硬件替代每月 750 美元云租金的算盘很实在，做本地 AI 推理或模型微调的开发者值得算一笔账——6 个月回本，之后就是纯赚。

Hugging Face 把 DNA 分析从黑盒 API 拉到了本地，做生物信息学或个性化健康研究的开发者可以直接在笔记本上跑基因组模型，值得试试。

官方账号Clement Delangue@ClementDelangue原文