Calibration(校准)指机器学习模型输出的置信度与其实际正确率之间的匹配程度,是衡量大语言模型可靠性的核心指标之一。当前 Calibration 研究正从传统的概率校准扩展到大模型时代的新场景:LLM 的过度自信、Agent 决策、蒸馏教师缺陷以及人机信任关系等,成为连接模型能力与实际部署安全的关键议题。
Calibration 近期进展
当前焦点与观察点
校准研究正沿两条线索深化。其一是技术路线:从后处理式的温度缩放,转向模型内部干预,如 ST-OPSD 用激活转向修复思维模型自蒸馏中的教师缺陷、MARI 通过能量校准的多适配器表示干预提升对齐性能,以及面向具身推理的 VeriFine 随策略共同进化的验证框架,均把校准与训练或推理过程绑定。
其二是人机交互与治理层面:Salesforce AI Research 的 Jury Duty 研究关注校准与定位失效问题,而《Who Is Sycophantic to Whom?》则揭示了高置信度 LLM 与人类过度依赖之间信任校准的崩塌风险。后续值得观察的方向包括:声明级校准能否成为评测标配、Agent 场景的校准基准如何统一,以及过度自信与谄媚行为之间的内在关联是否会催生联合干预方法。