AITOP

基准测试

共 430 条相关 AI 资讯
6月23日
12:35
12:35官方一手arXiv: OpenAI@Mostapha Benhenda
Finance Agent v2仅处理上市公司定期报告（SEC 10-K/10-Q），不适用于IPO尽职调查。新基准IPO Finance Agent扩展了任务领域和检索架构，采用上下文检索处理长文档，如SpaceX的S-1文件。该基准包含1000个IPO尽职调查问题，公开70个SpaceX问题，并引入自动生成评估标准管道。最佳模型Alibaba Qwen 3.7 Max准确率79.4%，成本$0.30/查询；最经济模型Xiaomi MiMo-2.5 Pro准确率76.8%，成本$0.05/查询，均超越Finance Agent v2领先者Google Gemini 3.5 Flash（57.9%，$2.51/查询）。
论文IPO Finance AgentSpaceXQwen 3.7
事件专题
推荐理由：想测模型做IPO分析的功力？这篇论文搞了新基准，Qwen 3.7最强但贵，小米MiMo性价比炸裂，值得看。
原文
03:55
6月19日
22:18
22:18官方账号Decoder@Maximilian Schreiner
一项新基准测试评估了AI处理真实知识工作的能力。即使是最先进的AI模型，也仅能完全解决3%的任务。这一结果凸显了当前AI在处理复杂、多步骤的知识工作方面仍存在巨大短板。
AI模型基准测试知识工作AI性能
推荐理由：这个新基准狠狠打了AI的脸——最强模型也只完成3%的真实知识工作，别看平时吹得厉害。
原文
18:27
18:27官方账号Decoder@Maximilian Schreiner
OpenAI研究者发现，通过强化学习对诚实性、可修正性等理想行为特质进行训练，模型在跨领域表现提升。在健康数据上训练后，欺骗检测能力也增强，模型在53个基准中的44个上得分更高。该方法与Anthropic的基于宪法的对齐方法不同。研究显示少量特质训练即可带来广泛安全改善。
论文OpenAIAI安全强化学习
事件专题
推荐理由：OpenAI发现，只给模型一点点“诚实”训练，它就在53个测试里赢了44个，连健康领域的骗术都能识破。和Anthropic的路数不一样，挺有意思。
原文
11:31
11:31官方账号arXiv cs.AI@Maria Ivanova, Pavel Zadorozhny, Rodion Levichev, Ivan Petrov, Adamenko Pavel, Ivan Lopatin, Alexey Kutalev, Dmitrii Babaev
LiveCodeBench (LCB) 是广泛采用的代码生成基准，但仅限Python。新基准Multi-LCB将LCB任务转化为12种编程语言，包括Python、C++、Java等，保持原始污染控制和评估协议。研究者在Multi-LCB上评估了24个LLM，发现模型存在Python过拟合、语言特定污染和跨语言性能差异。Multi-LCB为多语言代码评估提供了严格的新基准，直接暴露了当前LLM在Python之外的短板。
AI模型Multi-LCBLiveCodeBench代码生成
推荐理由：想测AI写代码的真本事？别只看Python了。Multi-LCB覆盖12种语言，一测就知道模型是不是只会Python，结果可能让你意外。
原文
10:07
09:55
09:55官方账号arXiv cs.LG@Tristan Tomilin, Mourad Boustani, Mickey Beurskens, Thiago D. Simão
CRAX基于MuJoCo XLA（MJX）物理引擎，利用JAX的向量化操作和硬件加速，在安全强化学习基准测试中实现约100倍于CPU版本的速度提升。该基准包含六套环境和三类智能体任务，每类任务设三个难度级别。研究者在六个主流安全RL方法上的评估表明，没有一种方法在所有任务中占优，揭示了性能与安全之间的权衡。实验还发现，跨难度级别的课程学习与安全迁移在困难设置下比直接训练效果更好。
AI模型CRAXMuJoCoJAX
推荐理由：想快速测试安全RL算法？CRAX用JAX把基准跑快100倍，还自带六个环境和三级难度，帮你一眼看出哪个方法在安全与性能上最均衡。
原文
09:36
09:36官方一手arXiv: OpenAI@Ahmad Salimi, Wentao Ma, Yuzhi Tang, Dongming Shen, Mu Li, Alex Smola
IHBench评估语音助手在10个企业领域中断后的恢复能力，包含6种中断类型。27个音频语言模型配置来自OpenAI、Google和开源社区。闭源模型在任务完成度上显著优于开源模型，长对话中性能下降慢约3.3倍，且无音频-文本模态差距。人类研究验证了LLM评判的可靠性，交叉分析显示恢复质量是独立能力维度。
论文IHBenchOpenAIGoogle
事件专题
推荐理由：想测语音助手被用户打断后能不能接好活？IHBench专门看这个，比谁恢复得自然、不错步骤。闭源模型比开源稳太多了。
原文
6月18日
13:00
10:35
09:37
09:37官方一手arXiv: Google DeepMind@Tim Rädsch, Yuki M Asano, Hilde Kuehne, Stefan Bauer, Priyank Jaini, Robert Geirhos, Carsten T. Lüth
该研究系统审计了Physics-IQ视频物理理解基准，发现其提示质量和真实标注存在缺陷。作者提出三项改进措施，包括优化提示与真值、引入样本级评分系统，并应用六种图像到视频生成模型验证。新版Physics-IQ Verified改进了57.6%的样本和34.8%的提示，模型排名变化中度显著（Kendall's τ=0.46）。
论文Physics-IQ视频生成模型基准测试
推荐理由：DeepMind发布了Physics-IQ验证版，专门评测视频模型对物理世界的理解。现有基准有缺陷，他们修正后让模型排名更可信了。
原文
05:23
05:23官方账号OpenAI@OpenAI
OpenAI推出LifeSciBench，这是一个专门用于评估AI在生命科学领域表现的基础基准。该基准旨在通过更现实的测试场景，帮助研究者衡量进展、识别差距。LifeSciBench强调与生命科学社区的持续合作，以共同改进AI。具体评估指标和测试集细节尚待公开。
AI模型LifeSciBenchOpenAI基准测试
事件专题
推荐理由：OpenAI搞了个LifeSciBench，专门测AI在生命科学上的表现，比以前的评估更贴近真实场景，想了解差距的可以看看。
原文
04:41
02:39
00:36
6月17日
23:18
10:43
10:43官方账号arXiv cs.AI@Md Tawkat Islam Khondaker, Raymond Li, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Issam H. Laradji
DRFLOW 是一个用于评估智能体从异构来源预测个性化工作流的新型基准，包含 100 个任务、5 个领域、1,246 个参考步骤，并基于 3,900 多个来源构建。它定义了 7 项诊断指标，涵盖事实基础、步骤恢复、结构排序、条件解析和个性化。作者还提出了 DRFLOW-Agent (DRFA) 作为参考代理，其在平均 F1 分数上比强基线代理提升最多 10.02%，但仍有较大改进空间。
AI模型DRFLOW工作流预测基准测试
推荐理由：想测测你家智能体能不能给出真正可执行的步骤？DRFLOW 用 100 个企业任务逼真考核，DRFA 也才比普通基线高 10%，挑战不小。
原文
10:30
10:30官方一手arXiv: DeepSeek@Jasmine Brazilek, Oliver Tulio, Joel Christoph, Miles Tidmarsh, Carol Kline, Arturs Kanepajs
新基准TAC（Travel Agent Compassion）测试AI代理在12个旅行预订场景中是否避免动物剥削选项，涵盖6类动物剥削，扩展至48个样本以控制价格、评分和位置干扰。7个前沿模型得分均低于64%的随机水平，最佳Claude Opus 4.7为53%。在系统提示中加入一句福利意识语句后，Claude和GPT-5.5提升47-63个百分点，GPT-5.2提升26个百分点，DeepSeek和Gemini提升不到12个百分点。对前两名模型的288条基底记录审计未发现评估意识，表明低分并非因识别出测试。
论文TAC动物福利AI Agent
事件专题
推荐理由：动物福利问题有了AI专属的代理基准TAC，实测Claude Opus 4.7刚过一半，加个提示词能暴增60%，暴露了模型在实际行动中的盲区。
原文
06:57
06:57官方账号Jim Fan@jimfan
在一项无法在物理世界中被攻破的基准测试中，OpenAI Codex 的表现超越 Anthropic Claude，而 Claude 又优于月之暗面 Kimi。该基准由 @DrJimFan 参与的论文提出，专注于物理世界的真实场景评估。结果显示了各模型在复杂物理任务上的相对排名。
AI模型CodexClaudeKimi
事件专题
推荐理由：英伟达科学家发推说他们论文里 Codex 把 Claude 和 Kimi 都干掉了，还是物理世界实测，看看你家模型排第几。
原文
04:49
03:35
03:28
03:28lmarena.ai@lmarena_ai
Agent Arena 是一个智能体性能排行榜，现已在 arena.ai/leaderboard/ag... 上线。用户可通过按开放模型或按实验室（lab）筛选来查看详细数据。该排行榜为不同智能体模型提供了直接的性能对比基准。
AI模型Agent Arena智能体排行榜
推荐理由：想比对比不同智能体模型？去Agent Arena排行榜，能按开放模型或实验室筛选，帮你找到合适的。
原文
6月16日
19:46
19:46官方账号Decoder@Jonathan Kemper
爱沙尼亚语言研究所发布了一项基准测试，用于评估AI语言模型对俄语宣传的抵抗力。测试涵盖了GPT-4o、Claude 3.5 Sonnet、Llama 3.1等8个模型，发现部分模型在30%的测试样本中会生成亲俄内容。Meta的Llama 3.1 70B表现最差，错误生成率高达42%；而OpenAI的GPT-4o错误率最低，仅为12%。该基准测试还包含一个包含1000个样本的俄语宣传语料库，用于衡量模型对政治操纵的脆弱性。
AI模型GPT-4oClaude 3.5 SonnetLlama 3.1
事件专题
推荐理由：想知道你用的AI会不会被俄语宣传带跑偏？爱沙尼亚语言研究所测了8个主流模型，GPT-4o最扛打，Llama 3.1中招率最高。看看你的AI排第几。
原文
13:55
11:40
11:40官方账号arXiv cs.AI@Alexandra Neagu, Jeffrey T. H. Wong, Marcus Messer, Rhodri Nelson, Peter B. Johnson
该论文引入了一个评估管道，包含两个指标——聊天机器人脚手架和学生吸收率，并在9个数据集（共9490个对话）上应用，涵盖AI导师基准测试和现实部署。分析发现，基准测试假设高脚手架、高学生吸收率环境，但现实中的学生整体吸收率较低，经常绕过聊天机器人的教学框架。论文认为，绕过脚手架不一定有害，反而常突显了聊天机器人的教学框架与学生目标之间的不匹配。未来基准测试应评估聊天机器人如何导航多样化的学习情境和学生驱动的交互模式。
论文LLM辅导员脚手架学生吸收率
推荐理由：这篇论文用9490个对话数据证明，AI辅导系统在测试中的表现和实际使用差很多，学生根本不吃那套引导。做教育AI的值得看看。
原文
11:15
11:15官方账号arXiv cs.AI@Markus Bujotzek, Dimitrios Bounias, Stefan Denner, Ralf Floca, Maximilian Fischer, Peter Neher, Klaus Maier-Hein
该基准套件整合了来自不同来源的真实噪声医学图像分割数据集，并设计了多种客户端-噪声场景（如轮廓不一致、缺失结构、标签混淆）。它提供了针对标签噪声的评估指标，支持系统性的联邦噪声标签学习（FNLL）评估。代码已在GitHub上开源（MIC-DKFZ/FedSegNoiseBench），为公平比较和未来方法开发奠定基础。
论文Federated LearningMedical Image SegmentationNoisy Label Learning
推荐理由：医学图像分割里标签噪声很头疼，这个基准套件专门测联邦学习下的真实场景，帮你挑最靠谱的去噪方法。
原文
10:57
10:57官方账号arXiv cs.LG@Yahya Aalaila, Sumantrak Mukherjee, Gerrit Großmann, Sebastian Vollmer
HawkesNest是一个基于多元Hawkes骨干的生成器对齐基准，定义了空间-时间纠缠、背景异质性、跨类型交互和域拓扑四个复杂度轴。每个轴关联一个从潜在数据生成机制中计算出的确定性索引。在固定全局速率、稳定性和模拟预算下改变这些轴，可对STPP模型进行诊断压力测试。实验验证了索引的单调性和近似正交性。Hawkes系列基线在联合异质性与纠缠复杂度下退化，AutoSTPP在空间-时间纠缠单独增加时表现脆弱。
论文HawkesNestSTPP时空点过程
推荐理由：想检验你的时空点过程模型？HawkesNest提供了四个可控复杂度轴，能精准发现模型在空间-时间纠缠等场景下的弱点。
原文
10:26
10:26官方账号arXiv cs.LG@Marios Koulakis, Constantin Seibold
论文提出了一个基准测试框架manifold-microscope，用于研究数据流形的几何特性。它扩展了dSprites和COIL-20数据集，引入额外的变换维度和密集轴对齐采样，并搭配有限差分估计器。该框架能以接近真实值的精度恢复曲率、reach和体积，而通用估计器在这些场景中不可靠。两个应用研究展示了该框架的用途：评估Genovese et al.和Fefferman et al.理论边界的缩放行为，以及跟踪β-VAE的逐层几何变化。
论文dSpritesCOIL-20β-VAE
推荐理由：这篇论文给了一个实用的基准测试工具，帮你检验数据流形几何估计方法的准确性，还能用来验证理论假设。
原文
10:07
10:07Gary Marcus@GaryMarcus
Anthropic 发布的 Claude Fable 5 在 Epoch AI 的 Epoch Capabilities Index 上获得 161 分，以 1 分之差超越 GPT-5.5 Pro 的 160 分。这是 Anthropic 一年多来首次在该基准上领先。该指数综合评估模型能力，当前最高分为 161。尽管成绩创下新高，但专家指出进步幅度仍属渐进。
AI模型Claude Fable 5GPT-5.5 ProAnthropic
事件专题
推荐理由：Claude Fable 5 刚在 Epoch 能力指数上以 161 分微弱领先 GPT-5.5 Pro，这是 Anthropic 一年多来首次登顶，你可以看看它具体强在哪。
原文
09:50
09:50官方账号arXiv cs.LG@Zongfang Liu, Jinghui Zhang, Zijian Ma, Guangyi Chen, Xin Yuan
该研究提出MoE专家一次性剪枝的统一公式，将现有启发式标准归为路由频率、门控权重、激活强度三类因素。基于此给出选择原则：任务无关剪枝应优先使用基于激活强度、无门控的标准。新提出的MAN和MSAN标准在4个MoE模型、16个基准上取得任务无关设置平均排名前两位。平均性能比最强基线提升最多8.8个百分点。
论文MoE专家剪枝语言模型
推荐理由：这篇论文把MoE剪枝的各种评分方法统一了，还提出MAN和MSAN两个新标准，在多个模型和基准上表现更稳定，适合做模型压缩的人参考。
原文
6月15日
11:11
6月14日
06:09
6月13日
12:58
11:00
6月12日
15:09
15:09官方账号Artificial Analysis@ArtificialAnlys
73°
Artificial Analysis 更新了其编程智能体指数，用 Datacurve 的 DeepSWE 基准测试取代了 SWE-Bench Pro。DeepSWE 从零编写任务，避免模型从公开 GitHub 问题或 PR 中记忆答案，解决了原基准可被游戏化的问题。更新后，Codex with GPT-5.5 (xhigh) 得分从 65 升至 76，超越 Claude Code with Opus 4.8 (max) 的 73 分；新发布的 Claude Fable 5 (max) 在 Claude Code 中以 77 分位居榜首。这一变化揭示了原基准对某些模型组合的偏差。
AI产品编程智能体基准测试Claude Fable 5
事件专题
推荐理由：基准测试更新直接影响了主流编程智能体的排名，做 AI 编程工具选型或评估模型能力的开发者值得关注——Claude Fable 5 新登顶，Codex 也大幅提升，建议点开看具体得分和对比。
原文
14:45
14:43
14:43Philipp Schmid@_philschmid
Agents' Last Exam (ALE) 是一个针对 AI 智能体的新基准测试，包含来自 55 个行业的 1000 多个真实专业任务，所有任务都源自实际专家工作，而非合成数据。测试结果显示，最佳智能体在最简单任务上得分低于 50%，在困难任务上低于 10%，最前沿模型在最高难度任务上通过率为 0%。模型选择对性能的影响大于工具链（harness），且增加 token 消耗并不能提升结果。智能体常见失败模式包括策略错误（47%）、领域知识缺失（31%）和执行错误（22%），且 34% 的任务需要 GUI 软件，但智能体倾向于回避并采用 CLI 变通方案。
AI模型智能体基准测试ALE
推荐理由：ALE 揭示了当前 AI 智能体在真实专业任务上的真实水平，做智能体开发或评估的团队值得关注——它可能是衡量 Agent 能力的最后一把尺子。
原文
13:48
13:48官方账号arXiv cs.LG@Tianyi Ma, Yijun Ma, Zehong Wang, Weixiang Sun, Ziming Li, Connor R. Schmidt, Chuxu Zhang, Matthew J. Webber, Yanfang Ye
超分子化学研究非共价主客体组装，但设计过程耗时且需要大量干实验验证。尽管LLM在分子结合任务上表现优异，但缺乏系统评估其超分子化学推理能力的基准。为此，研究团队与领域专家合作发布了SupraBench，包含结合亲和力预测、最佳结合物选择、溶剂识别和主客体描述四个核心任务，以及一个基于视觉的分子识别辅助任务。同时发布了SupraPMC语料库（1600万token），用于领域适应预训练。实验表明，LLM在所有任务上仍有显著提升空间，领域适应预训练在分布内回归任务上表现良好，但会牺牲严格的格式输出。
论文基准测试超分子化学LLM评估
推荐理由：做计算化学或药物设计的团队终于有了评估LLM超分子推理能力的标准测试——SupraBench覆盖了结合亲和力预测等关键任务，想验证LLM在化学领域实用性的研究者可以直接用。
原文
13:31
13:31swyx (AI Engineer)@swyx
73°
METR 发布 FrontierCode 基准测试，发现超过一半的 SWEBench 结果是无法合并的劣质代码。FrontierCode 包含 1000+ 小时维护者验证的软件工程任务，并设有 3000+ 条评分标准，涵盖代码质量和反作弊机制。最难的 FC Diamond 级别中，Opus 4.8 得分仅为 13.8%。该基准将 AI 编程划分为三个时代：2021 年自动补全（HumanEval）、2023 年通过测试（SWEBench）、2026 年可维护代码（FrontierCode）。数据显示，2025 年底模型能力出现跃升，最易任务的通过率在 4 个月内从 41% 提升至 74%，标志着 AI 编程从 2 次重试 95% 成功率到 6 次重试的质变。
AI产品基准测试代码质量SWEBench
推荐理由：FrontierCode 戳破了现有基准的泡沫，真正衡量代码可维护性而非通过测试——做 AI 编程工具或智能体开发的团队，建议看看这个新标尺，它可能改变你评估模型的方式。
原文
12:49
12:49官方账号Artificial Analysis@ArtificialAnlys
88°
Anthropic 今日发布 Claude Fable 5，在 Artificial Analysis Intelligence Index 上以 64.9 分排名第一，领先第二名 GPT-5.5 约 5 分。该模型在 10 项基准测试中的 5 项取得最高分，并在代理能力评估中大幅领先。Fable 5 采用自适应推理和 Opus 4.8 回退机制，在安全护栏下约 8% 的任务会触发回退。定价为每百万输入/输出 token 10/50 美元，是 Opus 4.8 的两倍，但 Pro/Max/Team 用户可在 6 月 22 日前免费使用。
AI模型Claude Fable 5Anthropic推理模型
事件专题
推荐理由：Claude Fable 5 在多项智能和代理基准上碾压竞品，做 AI 应用开发或模型选型的团队值得关注——它可能是目前最强的通用推理和工具调用模型。
原文