AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：排行榜×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月29日
12:13
12:13arXiv cs.LG@Anany Kotawala
该论文指出，在 Open LLM Leaderboard v1 和 MMLU-Pro 等公开排行榜中，许多配对排名在常规配对检验分辨率目标下未达标。具体而言，40 个 Open LLM Leaderboard v1 配对比较中有 11 个、9 个 MMLU-Pro 相邻排名对中有 4 个在显著性水平 0.05、检验功效 0.8 下无法分辨。MMLU-Pro 在真实主题级聚类下问题更严重，9 个中有 6 个不达标。研究将配对 LLM 评估视为假设检验问题，提出分辨率比 q = N/N* 作为核心诊断指标。同时发现，广泛使用的非配对 Cohen-h 加 (1-rho) 简化方法在接近比较场景下会低估所需样本量约两倍，导致多个主流计算工具（Cohen 1988、G*Power、R pwr）继承这一缺陷。即使采用多重校正和时序检验，不达标模式依然存在。
论文LLM评估统计检验排行榜配对比较样本量计算
推荐理由：这篇论文戳破了 LLM 排行榜的统计幻觉——很多排名差异其实不显著，做模型评估的团队和关注排行榜的开发者看完会重新审视自己的比较方法。建议点开，避免被虚假的排名差异误导。
原文
5月20日
10:13
10:13arXiv cs.AI@Yuxuan Gao, Megan Wang, Yi Ling Yu
精选
该研究将分裂共形预测和自适应共形推断（ACI）应用于连续AI智能体评估，提供无分布假设的覆盖保证。在24小时预测窗口内，共形区间在所有名义水平上的校准误差低于0.02，ACI在智能体发布后正确将区间扩大35%后重新收敛。研究还开发了多智能体管道的组合不确定性界限、成对排名的共形弃权规则（控制假排名率）以及排行榜级多重检验的FDR校正弃权。通过每小时收集18个实时信号评估50个智能体，发现每个智能体的条件覆盖集中在名义水平附近（均值80.4%，90%的智能体在[72%,90%]内），跨来源情感分歧可预测排名不稳定性（r=0.64, p<0.01）。代码和数据已以CC BY 4.0协议发布。
论文AI智能体评估不确定性量化共形预测排行榜统计方法
推荐理由：做AI智能体评估或排行榜的团队终于有了统计严谨的不确定性量化工具——无需分布假设即可保证覆盖，还能处理多智能体管道和排名稳定性问题，建议做评估基准的开发者直接看论文和代码。
原文