11:02
官方账号arXiv cs.AI@Zhi Chen, Zhensu Sun, Yuling Shi, David Lo, Lingxiao Jiang
推荐理由：这篇论文告诉你那些牛逼的编程智能体排行榜可能不靠谱——参考补丁在不同机器上结果都不一样，排名还受评分规则摆布。做相关研究的人必读。
GSO
共 1 条相关 AI 资讯
7月2日
11:02
该研究审查了GSO、SWE-Perf和SWE-fficiency三个代码优化基准，发现740个任务中参考补丁在不同Google Cloud机器上重复满足有效性规则的比例分别仅为39/102、11/140和411/498。SWE-Perf尤其脆弱，许多参考补丁产生接近零的运行时间变化。在8个公开提交中，9/28对提交的官方排名不一致，SWE-fficiency的评分规则将最差10个任务的权重提高到58.5%-82.8%。在450个可重复任务中，85.3%的任务至少有1个公开提交匹配或超越参考补丁，99.8%的任务优于未优化基线。该研究揭示了聚合排名掩盖的剩余性能差距。