18:10
官方账号arXiv cs.LG@He-Yen Hsieh, H. T. Kung
推荐理由：如果你在做低比特量化，ReRound用扩散模型解决RTN的中点模糊，3/4比特下比RTN更准，还不用校准数据，值得看看。
RTN
共 1 条相关 AI 资讯
8月12日
18:10
ReRound是一种后训练量化方法，针对标准RTN在量化接近区间中点的权重时固有的中点模糊性问题。它训练一个条件扩散模型生成低比特权重的连续重建，作为确定舍入方向的引导信号。ReRound引入容差度量，对中点附近权重用扩散重建，对边界附近权重用RTN，并通过扫描容差参数选择与原始全精度权重奇异值最匹配的候选。在3比特和4比特量化下，ReRound在小型LLM上持续优于RTN，且精度超过多种无校准方法，与依赖校准的方法相当，推理时无额外开销。该方法适用于LLM之外的AI模型，论文聚焦于小型LLM。