arXiv 论文：小模型按步动态升精度解码，Qwen3-0.6B 在 GSM8K 上验证

一篇 arXiv 论文（2611.14418）提出在本地解码时不再全程固定权重精度：权重以 8-bit 存储，平时只用前 4-bit 计算，当低精度输出分布不确定（熵超阈值或 top-two 差距很小）时才回退到 8-bit 重算该步。实验在 Qwen3-0.6B 上以 GSM8K 为基准，成本按每 token 读取的权重字节数计算。 在 36724 个回放步骤上，低精度 pass 的熵预测 argmax 翻转的 AUC 达 0.93；15% 升级预算下，熵门控捕获 78% 的翻转，margin 门控捕获 94%，而同预算随机门控的期望仅为 15%。150 道实机题中，全高精度得分 64.0%，全低精度 55.3%（McNemar p=0.053）；16% 升级率的熵门控得 62.7%，只消耗全高精度 0.87 的字节数。 作者坦承局限：其实测配对差异为 -1.3（-8.0 到 +5.3）点对全高精度、+7.3（+0.0 到 +14.7）点对全低精度（p=0.080），实机数据未能与两端统计显著区分；同成本模型下经验证的推测解码可达到零 KL。未做实机随机对照、thinking 模式相位规则、第二模型和实机 KL 实验。