精选理由
这篇论文提出了一种新方法，可以在模型回答之前就预测它的置信度，比传统方法更准更省计算成本。
该论文从时间维度研究大语言模型（LLM）的置信度估计，比较了预解答的Feeling-of-Knowing（FOK）和后解答的Judgement-of-Learning（JOL）在不同的前沿和开源LLM上的表现。实验表明，后解答置信度校准更好、判别力更强，而基于隐藏表示的线性探针能提取比模型显式表达更丰富的置信度信息。作者提出未来置信度蒸馏方法，使用后解答正确性探针作为教师，训练仅基于预解答隐藏表示的预测器。该预测器在仅用预解答信息的情况下恢复了后解答置信度的大部分校准改进，且样本效率高、在同类数据集间可迁移。
AI 翻译 · 中文
该论文从时间维度研究大语言模型（LLM）的置信度估计，比较了预解答的Feeling-of-Knowing（FOK）和后解答的Judgement-of-Learning（JOL）在不同的前沿和开源LLM上的表现。实验表明，后解答置信度校准更好、判别力更强，而基于隐藏表示的线性探针能提取比模型显式表达更丰富的置信度信息。作者提出未来置信度蒸馏方法，使用后解答正确性探针作为教师，训练仅基于预解答隐藏表示的预测器。该预测器在仅用预解答信息的情况下恢复了后解答置信度的大部分校准改进，且样本效率高、在同类数据集间可迁移。
Reliable confidence estimation is essential for deploying large language models (LLMs) in confidence-aware systems, where downstream decisions such as retrieval, tool use, and adaptive computation depend on accurately es…