设备端推理相关 AI 资讯 · AI 热点

8月5日

20:32

20:32

techcrunch@Ivan Mehta

MacPaw与Liquid AI达成合作，将其AI助手Eney的本地版本基于Liquid AI模型构建。合作面向为MacPaw应用商店开发应用的开发者，提供设备端推理能力。开发者无需将用户数据上传至云端即可运行AI功能。MacPaw强调这一方案可在本地完成推理，兼顾响应速度与隐私保护。

行业 MacPaw Liquid AI 设备端推理

推荐理由：MacPaw跟Liquid AI合作，给自家商店的开发者提供本地跑AI的能力，数据不用上传云端，做隐私敏感应用挺合适。

6月28日

13:01

13:01

官方一手marktechpost@Asif Razzaq

精选

Liquid AI 发布了 LFM2.5-230M，这是其最小的 230M 参数开源权重模型。该模型在 Galaxy S25 Ultra 上达到 213 tok/s，在 Raspberry Pi 5 上为 42 tok/s。基于 LFM2 架构，它专注于工具使用和数据提取，在指令遵循上击败了 Qwen3.5-0.8B 和 Gemma 3 1B 等更大模型。模型支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX 框架。

AI模型 LFM2.5-230M Liquid AI 开源模型

推荐理由：Liquid AI 出了个超小模型 LFM2.5-230M，手机跑 213 tokens 每秒，树莓派也能跑 42，指令遵循还比 Qwen3.5-0.8B 和 Gemma 3 1B 强。

5月14日

13:27

13:27

官方一手arXiv: OpenAI@Anuj Sadani, Deepak Kumar

精选

本文提出一种完全在设备端运行的 PII 替换流水线，使用 1.5B MoE 分类器检测实体、1-bit Bonsai-1.7B 小语言模型生成上下文相关的假名，以及规则生成器处理模式化字段。研究发现，小模型在少样本提示下会逐字复读演示输出，而非根据输入生成。通过引入基于语言环境的旋转演示池和 MD5 哈希采样，成功消除了 482/482 次调用中的复读现象。尽管生成的假名更自然，但在下游 NER 任务中，规则生成的多样性优于小模型的自然性，这是一个诚实的负面发现。

论文小语言模型 PII替换少样本提示

推荐理由：做设备端隐私处理或小模型应用的团队，这篇论文揭示了少样本提示中一个容易被忽视的陷阱——模型会复读演示而非推理，并给出了一个简单有效的修复方案，值得点开看看。