11:21
官方一手arXiv: DeepSeek@El Hassane Ettifouri, Ayoub Belfatmi, Mahaman Sanoussi Yahaya Alassan, Walid Dahhane
推荐理由：这篇论文告诉你为什么监控量化的DeepSeek小模型不能用token概率，还给出了一个更靠谱的校准方法，真正提升了准确率。
解码监控
共 1 条相关 AI 资讯
7月14日
11:21
论文指出低比特量化使得小推理模型如DeepSeek-R1-Distill-Qwen-1.5B成本降低但可能削弱推理链，传统使用token对数概率增量作为解码监控指标是无效的，因其在模型自身采样下是均值为零的鞅，无法反映轨迹健康度。作者提出一种训练无关的解码控制器，结合退化感知报警分数和校准的e-process时序检测器。在GSM8K上测试FP16和INT4版本，原始监控触发93-95%生成，校准后变成选择性检测失败轨迹（φ≈0.3，精度约0.6，基准0.38）。INT4准确率从63%提升至69%（配对McNemar p=0.18，n=100），代价为28% token预算。