精选理由
这篇论文用新指标发现，量化后的模型即使分数不变，行为也可能跑偏，搞模型部署的同学建议看看。
该论文提出了正确性一致性（correctness agreement）指标，用于衡量基础模型与量化变体在正确预测上的重叠程度。在8-bit至2-bit的多种量化方案下，发现即使任务性能看似保持，中等量化也会导致行为分歧。分析表明查询和键投影的敏感性高于值和输出投影，揭示了低比特宽度的非线性断点。这些发现指出仅依赖准确率和困惑度会掩盖量化的真实影响。
AI 翻译 · 中文
该论文提出了正确性一致性（correctness agreement）指标，用于衡量基础模型与量化变体在正确预测上的重叠程度。在8-bit至2-bit的多种量化方案下，发现即使任务性能看似保持，中等量化也会导致行为分歧。分析表明查询和键投影的敏感性高于值和输出投影，揭示了低比特宽度的非线性断点。这些发现指出仅依赖准确率和困惑度会掩盖量化的真实影响。
Post-training quantization is widely used to deploy large language models in resource-constrained settings, yet its evaluation relies almost exclusively on accuracy and perplexity. We show that these metrics fail to capt…