13:01marktechpost@Asif Razzaq精选Liquid AI 发布了 LFM2.5-230M,这是其最小的 230M 参数开源权重模型。该模型在 Galaxy S25 Ultra 上达到 213 tok/s,在 Raspberry Pi 5 上为 42 tok/s。基于 LFM2 架构,它专注于工具使用和数据提取,在指令遵循上击败了 Qwen3.5-0.8B 和 Gemma 3 1B 等更大模型。模型支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX 框架。AI模型LFM2.5-230MLiquid AI开源模型设备端推理推理框架1 个信源在谈推荐理由:Liquid AI 出了个超小模型 LFM2.5-230M,手机跑 213 tokens 每秒,树莓派也能跑 42,指令遵循还比 Qwen3.5-0.8B 和 Gemma 3 1B 强。原文
13:27arXiv: OpenAI@Anuj Sadani, Deepak Kumar精选本文提出一种完全在设备端运行的 PII 替换流水线,使用 1.5B MoE 分类器检测实体、1-bit Bonsai-1.7B 小语言模型生成上下文相关的假名,以及规则生成器处理模式化字段。研究发现,小模型在少样本提示下会逐字复读演示输出,而非根据输入生成。通过引入基于语言环境的旋转演示池和 MD5 哈希采样,成功消除了 482/482 次调用中的复读现象。尽管生成的假名更自然,但在下游 NER 任务中,规则生成的多样性优于小模型的自然性,这是一个诚实的负面发现。论文小语言模型PII替换少样本提示设备端推理隐私保护推荐理由:做设备端隐私处理或小模型应用的团队,这篇论文揭示了少样本提示中一个容易被忽视的陷阱——模型会复读演示而非推理,并给出了一个简单有效的修复方案,值得点开看看。原文