6月5日
6月4日
11:32
11:32官方账号arXiv cs.LG@Luca Thale-Bombien, Jan Ewald, Ralf König, Aaron Klein
精选
BBOmix 是首个针对真实生物数据的无监督表示学习超参数优化(HPO)开源表格基准。它包含来自 TCGA 和 SCHC 数据集的 105,000 次评估,涵盖四种自编码器架构和七种多组学模态。该基准量化了重建损失与下游任务性能之间的相关性,并评估了多种 HPO 方法,为无监督生物表示学习研究建立了严格基线。
推荐理由:做生物信息学或组学数据降维的团队,终于有了一个标准化的 HPO 测试场——BBOmix 帮你省去从头调参的试错成本,做自编码器研究的可以直接用它验证方法。
10:35
10:35官方账号arXiv cs.AI@Zhangchen Xu, Junda Chen, Yue Huang, Dongfu Jiang, Jiefeng Chen, Hang Hua, Zijian Wu, Zheyuan Liu, Zexue He, Lichi Li, Shizhe Diao, Jiaxin Pei, Jinsung Yoon, Hao Zhang, Mengdi Wang, Radha Poovendran, Misha Sra, Alex Pentland, Zichen Chen
精选76°
AutoLab 是一个新基准,用于评估 AI 模型在超长周期闭环优化任务中的表现,涵盖系统优化、谜题挑战、模型开发和 CUDA 内核优化四个领域。每个任务从次优基线开始,要求智能体在严格时间预算内通过反复实验和反馈改进。测试 17 个前沿模型后发现,成功的关键不是初始尝试的质量,而是持续迭代和利用经验反馈的能力。Claude Opus 4.6 表现突出,但多数模型过早终止或进展有限。该基准开源,旨在推动长周期自主智能体的研究。
推荐理由:AutoLab 填补了现有基准只测短周期任务的空白,做 AI 智能体研究和开发的团队可以直接用它来测试模型的持久迭代能力,值得关注。
08:15
08:15Stanford AI Lab@StanfordAILab
精选
斯坦福 AI 实验室发布了一段与 John Yang (@jyangballin) 的对话,讨论 ProgramBench 及其在 AI 编程基准测试发展中的位置。Yang 回顾了 AI 编程领域已取得的进展,并展望了未来可能的方向。该对话适合对 AI 编程能力评估感兴趣的开发者和研究者。
推荐理由:想了解 AI 编程基准测试的来龙去脉和未来趋势?John Yang 的分享能帮你理清 ProgramBench 在其中的位置,做 AI 评估或编程工具的团队值得一听。
6月3日
22:07
22:07官方账号LangChain@LangChainAI
Harvey 推出 LAB 基准,模拟人类验证方式,每个任务包含 50 多条通过标准,每条标准由独立法官调用评估。LangChain Labs 与 Harvey 合作,探索如何在大规模场景下提升效率。该基准可审计性强,但成本较高,合作旨在优化这一过程。

推荐理由:法律 AI 团队终于有了可审计的验证基准——每个任务 50+ 标准像人类一样逐条检查,做法律智能体开发的可以直接参考。
10:16
10:16官方账号arXiv cs.AI@Eric Cho, Shawn Huang, Alice Lu, Andy Lyu
精选
Hedge-Bench 1.0 是一个针对金融推理的 AI 智能体基准测试,包含 102 个来自对冲基金分析师实际工作中的真实任务。与现有依赖模型评判的基准不同,它基于专家推理轨迹进行确定性评分,避免了噪声和循环论证。测试结果显示,前沿模型和智能体在该基准上的得分低于 16%,说明当前 AI 在复杂金融推理上仍有巨大差距。该数据集和评估工具已在 GitHub 开源。
推荐理由:金融 AI 终于有了硬核的推理基准——不是算公式或查文档,而是真正考验分析师级别的开放式问题。做量化、金融 NLP 或智能体评估的团队值得关注,可以直接用这个 benchmark 检验自家模型。
6月2日
12:05
12:05官方一手arXiv: DeepSeek@Nahyun Lee, Dongkeun Yoon, Guijin Son, Geewook Kim, Dayoon Ko, Jeonghun Park, Haneul Yoo, Jaewon Cho, Junghun Park, Changyoon Lee, Kyochul Jang, Jaeyeon Kim, Eunsu Kim, Woojin Cho, Seungone Kim
K-BrowseComp 是一个专门针对韩语环境的网页浏览智能体基准测试,包含 400 个问题。其中 300 个问题由韩语母语者手工构建和验证,前沿模型如 GPT-5.5、DeepSeek-V4-Pro 和 GLM-5.1 在该子集上仅达到 30.00-45.67% 的准确率,远低于 BrowseComp 的表现。韩国本土大模型表现更差,仅 0.00-10.33%。研究还构建了 100 个合成问题作为压力测试,最强模型仅达 26.00%。该基准填补了韩语智能体评估的空白,揭示了当前模型在非英语环境下的显著短板。
事件专题

推荐理由:做多语言智能体或网页浏览任务的团队会立刻意识到差距——韩语场景下最强模型准确率不到一半,说明现有评估严重偏向英语。做韩语 NLP 或本地化产品的开发者可以直接用这个基准测试自己的模型。
12:03
12:03官方账号arXiv cs.AI@Wenhao Wang, Peizhi Niu, Gongyi Zou, Xiyuan Yang, Jingxing Wang, Haoting Shi, Yaxin Du, Jingyi Chai, Xianghe Pang, Shuo Tang, Yanfeng Wang, Siheng Chen
精选72°
MCP-Persona 是首个专门评估 LLM 智能体在真实个人化 MCP 工具上表现的基准。它覆盖了 Reddit、小红书、飞书、Slack 等主流社交和协作平台,测试智能体与个人账户和本地数据库交互的能力。实验发现,当前最先进的智能体在处理个人化工具时表现挣扎,凸显了该基准在识别和解决这些局限性的关键作用。该基准已开源,可供开发者直接使用。
事件专题

推荐理由:MCP-Persona 填补了现有基准忽视个人化工具交互的空白,做智能体开发和 MCP 工具集成的团队可以直接用它来测试和优化自己的模型。
5月31日
22:54
22:54Viking@vikingmute
DeepSWE 对 Opus 4.8 的评分显示,该模型在性能上优于 Opus 4.7,且成本更低、效率更高,但相比 GPT5.5 仍有明显差距。作者表示尚未深度使用 4.8,仍在使用更便宜的 4.6 版本,并指出对基准测试已逐渐祛魅,更看重推特上的真实用户评价。目前普遍认为 GPT5.5 仍是大多数用户的最强模型。
事件专题

推荐理由:如果你在纠结是否升级到 Opus 4.8,这篇推文帮你省了试错成本——作者用真实体验告诉你,4.8 性价比提升但远不及 GPT5.5,做模型选型的开发者建议看看推文下的真实讨论。
5月30日
16:46
16:46Stanford AI Lab@StanfordAILab
斯坦福AI实验室(SAIL)发布了新基准Theory of Space,旨在测试基础模型是否能够通过主动探索来构建、修正和利用空间信念(即心智地图),而不仅仅是被动处理给定的观察数据。该基准挑战AI在未知环境中主动导航、推理空间关系并更新认知模型的能力。这一研究对于推动AI在机器人、自动驾驶等需要空间理解领域的自主性具有重要意义。
推荐理由:做机器人或空间AI的开发者值得关注——这个基准直接测试模型能否像人类一样主动探索并建立空间认知,而不是被动接收数据,看完会对当前模型的局限性有更清晰的认识。
5月29日
11:06
11:06官方账号arXiv cs.AI@Chunru Lin, Hongxin Zhang, Fenghao Yu, Zhehuan Chen, Thomas L. Griffiths, Yejin Choi, David Held, Chuang Gan
RoboWits 是一个双手机器人基准测试,旨在系统评估机器人在意外条件下的认知推理、创造性工具使用和鲁棒性。研究团队提出了一个多智能体协作框架,自动生成包含几何、材料和装配推理的 30 个种子任务和 208 个变异任务。测试发现,预训练的视觉-语言-动作模型(VLA)在种子任务上表现尚可,但在变异任务上表现脆弱,无法应对需要推理和策略适应的操作场景。这表明当前机器人策略在创造性问题解决方面存在显著差距。
推荐理由:机器人研究者终于有了一个专门测试认知推理和意外应对的基准——RoboWits 揭示了 VLA 模型在变异任务上的脆弱性,做机器人操作和具身智能的团队值得关注这个评估框架。
5月28日