精选理由
做本地 AI 智能体或工具调用开发的团队,这个对比直接告诉你:模型大小不是关键,控制能力才是。LFM2.5-8B-A1B 的性价比碾压,值得在本地部署试试。
atomic.chat 在 MacBook Pro M5 Max 64GB 上对比了本地 AI 智能体的工具调用能力。Liquid 的 LFM2.5-8B-A1B 模型(8B 参数,MoE 架构)在规划旅行任务中,成功完成所有 7 次外部工具调用(天气查询、货币转换、邮件和提醒),而 gpt-oss-20b 仅完成 3/7 次。LFM2.5-8B-A1B 运行速度达 266 tok/s,内存占用仅 4.8GB,而 gpt-oss-20b 为 146 tok/s 和 11GB。这表明工具调用本质上是控制问题而非语言问题,更小但训练更聚焦的模型可以胜过更大但泛化的模型。
AI 翻译 · 中文
atomic.chat 在 MacBook Pro M5 Max 64GB 上对比了本地 AI 智能体的工具调用能力。Liquid 的 LFM2.5-8B-A1B 模型(8B 参数,MoE 架构)在规划旅行任务中,成功完成所有 7 次外部工具调用(天气查询、货币转换、邮件和提醒),而 gpt-oss-20b 仅完成 3/7 次。LFM2.5-8B-A1B 运行速度达 266 tok/s,内存占用仅 4.8GB,而 gpt-oss-20b 为 146 tok/s 和 11GB。这表明工具调用本质上是控制问题而非语言问题,更小但训练更聚焦的模型可以胜过更大但泛化的模型。
atomic[.]chat (a desktop app that runs LLMs locally) ran a very revealing comparison for local AI agents, on a MacBook Pro M5 Max, 64GB. Liquid’s much smaller LFM2.5-8B-A1B beat gpt-oss-20b by finishing every required to…
- berryxia05-29 17:17原文