#GPTQ

共 4 条 · 7 天 0 条 · 30 天 1 条

信息流里打上「GPTQ」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月28日

量化小模型的人可以看看：一个一行搜索就能让输出头 W4 量化的 KL 误差降七成的方法，还附 10.8% 延迟实测。

arXiv cs.LG@Asim Kadav 等 8 人原文

8月7日

论文精选11:38

BaKron用Kronecker曲率做量化，速度和GPTQ同级，能换量化器和Hessian估计器。

arXiv cs.AI@Johann Birnick, Rayan Saab原文

7月30日

论文精选09:25

这篇论文给了个新方法 GPTQ-2D，把矩阵两侧舍入的计算时间从 O(n⁴) 砍到 O(n³)，适合大规模机器学习模型量化。

arXiv cs.LG@Jiale Chen 等 3 人原文

5月14日

论文精选13:27

做LLM量化的开发者终于有了理论指导——水填充法比均匀分配更优，GPTQ加随机旋转就能接近极限，建议做权重量化的团队点开看看具体实现。

arXiv cs.AI@Or Ordentlich, Yury Polyanskiy原文