Liquid AI 把决策模型做小做快了,d1-3B 单次判断 8 毫秒,d1-omni-600M 还能听语音,权重已放出可自己微调部署。
#Liquid AI
Liquid AI开源了两款小尺寸决策模型,最小只有600M还支持多模态,在边缘设备上几十毫秒就能出结果,做端侧Agent的可以试试。
Liquid AI 把 d1-3B 和 d1-omni-600M 做成了 GGUF 量化包,最小 256 MB,笔记本就能跑,量化版还能保住 97.1% 的精度,本地部署决策模型可以试试。
Liquid AI 的 d1 3B 单卡跑 Snake,8ms 决策吃了 86 个苹果,OpenAI API 345ms 才吃 3 个,对比很直观。
Liquid AI 开源了两款不吐文字只给结构化判断的小模型,3B 版读图文、600M 版还能读音频,一次前向就出结果,适合做实时决策。
Liquid AI 出了个 DSpark 加速器,16GB 的 Mac 就能跑 LFM2.5-VL-3B,M5 芯片上解码快最多 3.13 倍,输出还不变。
想了解 iPhone 17 Pro 上 AI 模型的性能表现?看这篇,详细分析了 8GB 以内模型的跑分情况。
Liquid AI发布了Pipette,这是一个开源的基准测试套件,可以综合评估设备模型、量化、运行时和硬件,对于想要了解模型在边缘设备上表现的人来说是个好工具。
Liquid AI给LFM2.5模型加了三个drafters,解码速度能快3.18倍,但输出结果和原来一模一样,不用改现有应用就能用。
Liquid AI 新出的两个双向编码器,230M 在 CPU 上跑 8K 上下文只要 28 秒,350M 在 GLUE 等基准排第四,适合做嵌入和分类任务。
Liquid AI 出了个超小模型 LFM2.5-230M,手机跑 213 tokens 每秒,树莓派也能跑 42,指令遵循还比 Qwen3.5-0.8B 和 Gemma 3 1B 强。
vLLM 第一时间给 Liquid AI 的 LFM2.5 小模型做了适配,230M 参数跑 agent 任务,手机、机器人上都能用。
Liquid AI出了两个轻量模型,350M参数就能做11种语言的搜索,还能装到手机等边缘设备上跑。
本地 Agent 开发者终于不用等大模型了——1.5B 活跃参数就能跑出接近 4 倍参数模型的效果,笔记本就能部署,隐私和延迟都解决了,做本地自动化的建议直接试。
端侧部署大模型一直受限于算力和内存,LFM2.5-8B-A1B 用 1.5B 激活参数实现 128K 上下文和工具调用,做移动端 AI 应用或边缘推理的开发者可以直接评估其性能。