02:26
lmarena.ai@lmarena_ai
lmarena.ai@lmarena_ai精选
推荐理由：斯坦福Carrie的新框架，用历史任务校准合成数据，不需要真实标签，Agent Arena也在用，能解决模型和时间带来的偏差。
Bradley-Terry
共 3 条相关 AI 资讯
8月4日
02:26
斯坦福博士生与Arena研究员@carrieeeeet提出一套框架，在历史任务上校准合成数据，避免依赖当前任务的真实标签。该方法覆盖社会科学调查、AI评估和Agent Arena排行榜早期信号，处理源于模型、时间和环境变化的系统偏差。核心通过任务可交换性（Task Exchangeability）从相邻任务学习，World Cup案例用于解释原理。案例还包括Bradley-Terry/AutoRater评分和Agent Leaderboard上的可操控性分数。
6月23日
03:55
03:55lmarena.ai@lmarena_ai
lmarena.ai@lmarena_ai精选
推荐理由：想了解AI模型评测怎么运作的？Arena团队亲自拆解从内测到上线的完整评估流程，还讲了Bradley-Terry分数如何保证公平，干货满满。
5月15日
10:56
10:56
官方账号arXiv cs.AI@Shang Zhou, Wenhao Chai, Kaiyuan Liu, Huanzhi Mao, Qiuyang Mang, Jingbo Shang
精选
推荐理由：OpenDeepThink 用 Bradley-Terry 聚合解决了并行推理的候选选择难题，做推理扩展的开发者可以直接复现，效果显著且无需调参。