#模型量化

共 6 条 · 7 天 1 条 · 30 天 3 条

信息流里打上「模型量化」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月7日

vLLM 0.31.0 出了 preload 守护进程和 CRIU 引擎快照，重启服务不用重新加载量化权重，打算升级生产的可以先看看破坏性变更清单。

官方账号vLLM@vllm_project原文

9月28日

一篇把 LLM 做日志异常检测的选型问题拆开讲的论文：哪类适配策略有效、量化掉不掉点、噪声下稳不稳，做运维或 AIOps 的可以看看。

arXiv cs.LG@Bin Li 等 3 人原文

9月22日

想在 Jetson 上把机器人 VLA 模型压到 4-bit 还不掉成功率？GR00T 和 π0.5 的实测数据都有。

arXiv cs.AI@Hung T. Ho 等 8 人原文

8月7日

论文精选11:38

BaKron用Kronecker曲率做量化，速度和GPTQ同级，能换量化器和Hessian估计器。

arXiv cs.AI@Johann Birnick, Rayan Saab原文

6月4日

vLLM 是目前最主流的 LLM 推理框架之一，这门课直接教你量化、部署和基准测试，做模型部署或推理优化的工程师值得花时间学。

DeepLearning.AI@DeepLearningAI原文

5月11日

GGUF模型数量的快速增长反映了本地AI部署的实际需求和技术成熟度的提升。对于开发者和企业，这意味着更丰富的开源模型选择和更便捷的本地推理实践，推动AI应用向边缘设备转移。

官方账号Clement Delangue@ClementDelangue原文