Chinese contentTempQuant:为量化模型自适应调节温度与 top-p 采样参数
如果你在跑量化模型还照抄全精度的温度设置,这篇论文会改变你的做法。3-bit Qwen3-4B 只调采样参数就把 MATH 从 34% 提到 51%,不用标注数据。做低精度部署和端侧推理的工程师值得实际测一下。
如果你在跑量化模型还照抄全精度的温度设置,这篇论文会改变你的做法。3-bit Qwen3-4B 只调采样参数就把 MATH 从 34% 提到 51%,不用标注数据。做低精度部署和端侧推理的工程师值得实际测一下。