AITOPAI热报

coverage guarantees

concept · First seen 2026-07-01 · Last seen 2026-10-20 · 3 mentions

Overview

Coverage guarantees(覆盖率保证)指机器学习预测方法在统计上保证真实结果被预测区间或预测集以预设概率(如 90%)覆盖的性质。它是不确定性量化的核心指标，而目前提供有限样本严格保证的主流框架是共形预测(conformal prediction),近年随着大模型评估、医疗等高风险场景的需求，这一方向的研究热度持续上升。

Coverage Guarantees 的近期进展

  • Tilted Mondrian: Triage and Mitigation of Fine-grained Disparities in Conformal Prediction:共形预测的覆盖率保证通常是边际意义上的,即整体平均达标,但在子群体上可能失衡。该工作提出对细粒度子群体的覆盖差异进行分诊与缓解，回应了公平性与条件覆盖的争议。
  • Conformal Prediction Sets Quantify Information Gain: A Theoretical Perspective:从理论角度论证预测集的大小可以刻画信息增益，说明 coverage guarantees 之外,预测集宽度本身也具有可解释的信息论含义。
  • Robust Conformal Consensus: Multi-Agent LLM-as-a-Judge Interval Evaluation with Conformal Prediction:将共形方法用于多智能体 LLM 评审的区间评估，显示 coverage guarantees 正被引入大模型评测这一新场景。
  • On Optimal Data Splitting for Split Conformal Prediction:研究 split conformal prediction 中校准/训练数据划分的最优策略，关注如何在有限数据下同时保住覆盖保证与预测效率。

    • 当前焦点与观察点

    当前 coverage guarantees 研究的张力主要集中在三点:一是边际覆盖与条件覆盖的差距，即总体达标但个别子群体覆盖不足,这直接关系算法公平;二是覆盖保证与预测集大小的效率权衡,过大的预测集虽覆盖充分但信息量低;三是保证的前提假设,如数据可交换性在分布漂移场景下难以满足,催生了稳健化与自适应方法。观察点包括:LLM 评测、多智能体系统等新场景对共形方法的采纳速度,以及子群体覆盖诊断工具是否会成为高风险部署前的标准检查项。

    Coverage

    4 on file