Liquid AI 发布 d1 系列 GGUF 量化模型,可本地运行
Liquid AI 把 d1-3B 和 d1-omni-600M 做成了 GGUF 量化包,最小 256 MB,笔记本就能跑,量化版还能保住 97.1% 的精度,本地部署决策模型可以试试。
Liquid AI 在 Hugging Face 上放出 d1-3B 和 d1-omni-600M 的 GGUF 量化版本,体积从 256 MB 到 5.4 GB。其中 1.66 GB 的 d1-3B AD-Q4_K_M 量化版在 top-1% 上保留 97.1% 的成绩,与 BF16 原版相比损失很小。这些模型可在本地设备上运行,适合做决策类任务。
Run Liquid AI's d1 decision models locally ⚖️
We dropped GGUF quants of d1-3B and d1-omni-600M on Hugging Face, from 256 MB to 5.4 GB
The sweet spot is our 1.66 GB d1-3B AD-Q4_K_M and it's top-1% is 97.1% compared to BF16
GGUFs: https://t.co/c1gC7gfm3o https://t.co/p2etsENXZp