Calibration

general · First seen 2026-05-22 · Last seen 2026-11-18 · 121 mentions

Overview

Calibration(校准)指机器学习模型输出的置信度与其实际正确率之间的匹配程度,是衡量大语言模型可靠性的核心指标之一。当前 Calibration 研究正从传统的概率校准扩展到大模型时代的新场景:LLM 的过度自信、Agent 决策、蒸馏教师缺陷以及人机信任关系等,成为连接模型能力与实际部署安全的关键议题。

Calibration 近期进展

  • 逻辑一致性给出无标签校准下界的锐利证明:该工作利用模型输出的逻辑一致性,在不依赖标签数据的情况下给出校准误差的下界证明,为无标注场景下的校准评估提供了理论工具。
  • CoCHI:从模型内部纠正 LLM 过度自信错误的新框架:针对 LLM 过度自信这一典型校准失衡问题,CoCHI 提出从模型内部机制入手进行纠错,属于内部干预式校准路线。
  • Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models:DeepSeek 相关工作将校准粒度从整句回答细化到单个声明(claim)层面,使置信度评估能支撑更可靠的下游决策。
  • ArXiv 新论文提出 Agent 校准框架:跨模型、跨司法辖区保持能力:把校准问题引入 Agent 场景,关注置信度估计在不同模型和合规环境下的一致性。
  • 当前焦点与观察点

    校准研究正沿两条线索深化。其一是技术路线:从后处理式的温度缩放,转向模型内部干预,如 ST-OPSD 用激活转向修复思维模型自蒸馏中的教师缺陷、MARI 通过能量校准的多适配器表示干预提升对齐性能,以及面向具身推理的 VeriFine 随策略共同进化的验证框架,均把校准与训练或推理过程绑定。

    其二是人机交互与治理层面:Salesforce AI Research 的 Jury Duty 研究关注校准与定位失效问题,而《Who Is Sycophantic to Whom?》则揭示了高置信度 LLM 与人类过度依赖之间信任校准的崩塌风险。后续值得观察的方向包括:声明级校准能否成为评测标配、Agent 场景的校准基准如何统一,以及过度自信与谄媚行为之间的内在关联是否会催生联合干预方法。

    Coverage

    10 on file