#4-bit量化

有人在 6GB 显存的笔记本上，用土耳其语 109 页报告实测了五款 7B-8B 开源模型，还顺手证明花哨检索方案打不过 TF-IDF，做 RAG 的可以看看。

CACHE-UK给量化小模型做连续记忆编辑，在4-bit下比现有方法少掉11-17%的知识，泛化率还高6个点。

做视频生成或AI基础设施的开发者终于有了一个能跑长视频的4-bit开源方案，NVIDIA把训练到推理的整套加速打法打包好了，建议直接试代码。

berryxia@berryxia3 个信源在谈原文