GPTQ 相关 AI 资讯 · AI 热点

8月7日

11:38

11:38

官方账号arXiv cs.AI@Johann Birnick, Rayan Saab

精选

BaKron 是一种新的神经网络量化求解器，利用 Kronecker 分解的 Hessian 信息做自适应取整。它在 m×n 权重矩阵上把顺序步骤数降到 O(m+n)，总工作量从 O(m²n²) 降到 O(mn(m+n))，与 GPTQ 的立方复杂度同级。BaKron 基于 BoA 和 YAQA 的两侧自适应取整框架，并兼容不同基础量化器和 Hessian 估计器。论文给出了多种 Hessian 估计器下的量化效果评测。

论文 BaKron GPTQ 模型量化

推荐理由：BaKron用Kronecker曲率做量化，速度和GPTQ同级，能换量化器和Hessian估计器。

7月30日

09:25

09:25

官方账号arXiv cs.LG@Jiale Chen, Torsten Hoefler, Dan Alistarh

精选

GPTQ-2D 是一种新的两侧自适应舍入方法，扩展了 GPTQ 和 Babai 最近平面算法。它将两侧舍入的目标转化为 Kronecker 积的二次度量，原本需要矩阵维度的四次方时间。GPTQ-2D 逐反对角线进行舍入，同一反对角线上的条目可并行处理，将复杂度降至三次方时间。该方法在保持舍入质量的同时实现了显著加速。

论文 GPTQ-2D GPTQ Babai's nearest plane algorithm

推荐理由：这篇论文给了个新方法 GPTQ-2D，把矩阵两侧舍入的计算时间从 O(n⁴) 砍到 O(n³)，适合大规模机器学习模型量化。

5月14日

13:27

13:27

官方账号arXiv cs.AI@Or Ordentlich, Yury Polyanskiy

精选

本文是量化矩阵乘法研究的第二部分，探讨在第二因子列协方差矩阵已知时的量化策略，该场景常见于大语言模型的权重量化后训练。作者展示了经典的水填充法（waterfilling）如何改进现有LLM量化算法（如GPTQ），后者目前均匀分配比特率。分析表明，仅使用标量INT量化器的WaterSIC方案在高率下性能与信息论极限相差仅0.25比特/条目，且不受随机旋转影响。而GPTQ在随机旋转下与WaterSIC差距在0.1比特以内，表明其在高率下也接近最优。

论文量化 LLM 水填充法

推荐理由：做LLM量化的开发者终于有了理论指导——水填充法比均匀分配更优，GPTQ加随机旋转就能接近极限，建议做权重量化的团队点开看看具体实现。