11:29官方账号arXiv cs.AI@Zhaokai Wang, Tianlin Gui, Jiayuan Rao, Shangzhe Di, Yihong Tang, Dingli LiangWorldCupArena是一个动态基准,用于评估语言模型和深度研究代理在足球预测上的表现。它首次基于2026年FIFA世界杯的104场比赛和13个系统进行评测,模型需预测结果、比分、球员和事件等。基准报告结果准确率、精确比分准确率和比分线得分,其中比分线得分在预测接近时给予部分分数。最佳系统相比博彩市场和球迷基线在结果和精确比分准确率上仅小幅提升,但在比分线得分上表现更优。代码、提示、预测和评估脚本已在GitHub开源。论文WorldCupArena语言模型深度研究代理推荐理由:如果你想看语言模型在世界杯预测上的硬核评测,这个基准用104场真实比赛对比了13个系统,结果比博彩市场强得有限,但细节预测有亮点。原文稍后读已读值得跟进有用关注 WorldCupArena