自回归语言模型中局部与全局置信信号不一致的研究

研究自回归语言模型中两种置信度读数（局部置信度基于贪婪选择的答案标记概率，全局置信度基于重复采样下的众数答案频率）在MMLU和ARC Challenge基准上的相关性。结果显示两者相关性较弱且与正确率关联不同：全局置信度与正确率中度相关，而局部置信度关联性小。进一步发现ARC上置信度差距与采样不稳定性的关联（如答案熵高、采样答案区分度大、众数答案集中度低）比MMLU上更显著，这表明两种置信读数在评估模型可靠性时不可互换。