09:25
官方账号arXiv cs.LG@Jiale Chen, Torsten Hoefler, Dan Alistarh
精选
推荐理由：这篇论文给了个新方法 GPTQ-2D，把矩阵两侧舍入的计算时间从 O(n⁴) 砍到 O(n³)，适合大规模机器学习模型量化。
GPTQ-2D
共 1 条相关 AI 资讯
7月30日
09:25
GPTQ-2D 是一种新的两侧自适应舍入方法，扩展了 GPTQ 和 Babai 最近平面算法。它将两侧舍入的目标转化为 Kronecker 积的二次度量，原本需要矩阵维度的四次方时间。GPTQ-2D 逐反对角线进行舍入，同一反对角线上的条目可并行处理，将复杂度降至三次方时间。该方法在保持舍入质量的同时实现了显著加速。