13:28Geek@geekbb精选介绍了一个工具,可在Apple Silicon Mac上通过MLX框架本地运行大语言模型。用户能从Hugging Face搜索并下载模型,用MLX进行离线推理,并启动一个OpenAI兼容的API服务。这样就能用curl或OpenAI客户端库调用本地模型。技巧MLXHugging FaceOpenAI兼容API本地推理教程3 个信源在谈推荐理由:想在Mac上本地跑大模型、不用联网?这个工具能从Hugging Face下模型,用MLX推理,还直接开个OpenAI API,当本地服务使。原文
09:59rohanpaul_ai@rohanpaul_ai精选atomic[.]chat 在单块 H100(FP8)上对比了 DiffusionGemma(扩散文本模型)与 Gemma4 26B A4B(自回归模型)。DiffusionGemma 速度是 Gemma4 的 4 倍,改变了错误分布模式。自回归模型逐 token 生成,速度慢但精度高;扩散模型批量生成 token 再迭代修正,因此响应更快。这一对比展示了扩散模型在本地推理中的速度优势,可能改变未来本地 LLM 的部署选择。AI模型DiffusionGemmaGemma4本地推理扩散模型速度对比10 个信源在谈推荐理由:本地运行 LLM 的开发者终于有了速度新选择——DiffusionGemma 的 4 倍加速意味着更流畅的交互体验,用 atomic[.]chat 的团队可以直接在单卡上体验,值得一试。原文
09:17berryxia@berryxia精选72°开发者 Prince Canuma 在 Google 发布 DiffusionGemma 和 Cohere North Mini Code 当天,就将这两个模型移植到了 Mac 的 MLX 框架中,实现零等待本地运行。DiffusionGemma 采用新架构,可生成 256 token 整块,支持双向注意力和迭代自纠错,26B MoE 仅激活 3.8B,量化后 18GB 内存即可运行。North Mini Code 30B MoE 只需 3B 激活参数,BF16 下推理速度达 66 tok/s。这得益于与 Google DeepMind 和 Cohere 的深度合作,实现了 Day-0 支持。用户可通过 mlx-vlm v0.6.3 一键安装体验。AI产品MLXDiffusionGemmaCohere North Mini Code本地推理开源/仓库推荐理由:Mac 开发者终于能在本地跑最新大模型了,DiffusionGemma 和 North Mini Code 都支持 Day-0 运行,做本地 AI 实验的可以直接装来玩。原文
10:33官方一手arXiv: DeepSeek@Kuanlin Chen, Cheng-En Ou精选该研究提出了一种基于语料库特征扩散(CGFD)的低资源微调流程,用于自动生成繁体中文个别化教育计划(IEP)。通过25个专家标注的高分种子转录本提取特征,并注入LLM提示以驱动扩散,最终获得567个有效扩散样本,结合15个专家金种子构建582样本训练集,微调Breeze-7B模型。实验发现,在繁体中文token预算下,语法约束解码(GCD)反而降低效率,无GCD路径在55样本压力测试中实现100%模式通过率且延迟降低34%。在10样本正式测试中,无GCD路径的BERTScore F1达0.779,超越GPT-5.4等零样本基线,且完全本地化、气隙推理。该系统填补了繁体中文特殊教育NLP的空白,提供了隐私保护的工业级解决方案。论文低资源微调特征扩散繁体中文NLP特殊教育本地推理推荐理由:做特殊教育NLP或低资源语言模型微调的团队,这篇论文提供了一个可复现的CGFD流程,直接解决了繁体中文IEP生成的数据稀缺和隐私问题,值得点开看具体实现。原文
09:02rohanpaul_ai@rohanpaul_ai精选在本地运行LLM的桌面应用atomic[.]chat上,Nemotron 3 Ultra与GPT-5.5进行了对比测试。在构建带真实物理效果的HTML5 Canvas任务中,Nemotron 3 Ultra以11.3k tokens、0.051美元的成本,给出了与GPT-5.5(11.0k tokens、0.57美元)几乎相同的结果,成本仅为后者的十分之一。Nemotron 3 Ultra是一个混合专家模型,拥有5500亿总参数,但每个token仅激活55亿参数,因此效率极高。这一对比展示了Nemotron 3 Ultra在性价比上的显著优势,尤其适合需要高推理质量但预算有限的场景。AI模型Nemotron 3 UltraGPT-5.5混合专家模型成本对比本地推理10 个信源在谈推荐理由:做AI应用或本地推理的开发者,这个测试直接告诉你Nemotron 3 Ultra能以十分之一成本达到GPT-5.5级别的效果,值得在项目里试试。原文
08:57IT之家(博客/媒体)精选微软 Surface RTX Spark Dev Box 是一款面向本地 AI 开发的紧凑型桌面设备,专为模型微调、本地推理和智能体工作流设计。该设备搭载 NVIDIA Grace CPU 和 Blackwell RTX GPU,拥有 128GB 统一内存,AI 算力高达 1 Petaflop,可本地运行 120B 参数模型。其铝制外壳覆盖约 1000 个散热孔,兼顾散热与结构设计,整机功耗仅 100W。系统预装开发者优化版 Windows 11 Pro,并配置了 VS Code、GitHub Copilot、WSL 2 等开发工具,旨在减少环境搭建时间。该设备将于今年晚些时候发售。AI产品微软Surface RTX Spark Dev BoxAI 开发机本地推理NVIDIA10 个信源在谈推荐理由:本地跑 120B 模型终于有正经硬件了——Surface RTX Spark Dev Box 把 AI 开发环境打包成 100W 的桌面盒子,做模型微调或智能体开发的团队可以直接关注,省去搭服务器和配环境的麻烦。原文
06:49官方账号Clement Delangue@ClementDelangue精选llama.cpp 新增 MTP(Multi-Token Prediction)支持,使本地模型推理速度大幅提升。在 A10G 上测试 Qwen3.6-27B 模型,生成速度从 25 tok/s 提升至 45 tok/s,增幅达 78%。这一优化让本地模型具备了作为日常驱动力的实用性,对本地部署和隐私敏感场景意义重大。开发者可直接在 llama.cpp 中启用 MTP 功能,体验更流畅的本地推理。AI模型llama.cppMTP/多令牌预测本地推理Qwen3.6-27B推理优化推荐理由:本地模型速度翻倍,做本地部署的开发者终于可以告别卡顿,建议直接试试 MTP 支持。原文
09:05IT之家(博客/媒体)精选AMD 官方确认将于今年三季度推出基于锐龙 AI Max PRO 400 处理器的下一代锐龙 AI Halo 开发者迷你主机。该系列是全球首款能本地运行 300B 参数模型的 x86 客户端处理器,最大统一内存扩展至 192GB(160GB 可分配为显存)。新系列包含 PRO+ 495、PRO 490、PRO 485 三个型号,内存速度支持 8533MT/s。OEM 合作伙伴预计今年起推出搭载该系列处理器的开发者平台。这标志着本地大模型推理能力在 x86 平台上的重大突破。AI产品AMD锐龙 AI Max PRO 400AI Halo本地推理x86 处理器推荐理由:本地跑 300B 参数模型不再是梦,做 AI 推理和开发的团队可以直接关注这款 x86 平台,比依赖云端更灵活。原文