基准测试相关 AI 资讯

6月18日

04:41

04:41官方一手OpenAI Blog（博客/媒体）

OpenAI 发布了 LifeSciBench，这是一个由 10 位生命科学专家编写并经过独立审查的基准测试。该基准包含 30 个任务，覆盖文献综述、实验设计、数据分析等真实研究场景。初步测试显示，GPT-4o 在多数任务上优于其他模型，但所有模型在需要跨领域推理的任务中表现仍有显著差距。LifeSciBench 旨在为 AI 在科学领域的可靠性和安全性提供更严格的评估工具。

推荐理由：OpenAI 出了个新基准 LifeSciBench，专门测 AI 做生命科学研究的能力，比一般问答难多了，能看出模型哪里不行。

原文

02:39

Firecrawl@firecrawl_dev

Firecrawl 的 AI 研发工程师通过索引查询论文、代码和技术讨论。在内部研究基准中，其召回率比 Exa 高 30%，比 Parallel 高 250%。目前已被多个领先研究团队采用。

AI产品 Firecrawl Exa Parallel 搜索召回基准测试

推荐理由：Firecrawl 搜索召回比 Exa 强 30%，比 Parallel 猛 250%，做研究查资料可以试试它。

原文

00:36

量子位@一水

某国产模型在多项关键医疗测评中超过GPT-5.5。这些测评覆盖多个专科方向，准确率指标领先。这表明国产医疗AI在核心性能上已实现突破。

AI模型 GPT-5.5 医疗AI 基准测试国产模型

推荐理由：国产医疗AI终于打败GPT-5.5了，评测成绩很能打，值得关心AI落地的人看一看。

原文

6月17日

23:18

AI Will@FinanceYF5

精选

OpenAI frontier evals 负责人 Tejal Patwardhan 指出，现有基准测试如旧考试已变得过于简单，模型接近 100% 通过后无法区分真实能力。OpenAI 正在构建新评估框架，以更准确衡量前沿模型的真正水平。此举旨在避免模型仅通过刷分应付测试，确保评测能反映实际进步。

行业 OpenAI Tejal Patwardhan 评测体系基准测试 AI安全

推荐理由：OpenAI 自己都觉得旧考试太水了，新评测体系怎么玩？来看看他们怎么重新定义能力

原文

10:43

官方账号arXiv cs.AI@Md Tawkat Islam Khondaker, Raymond Li, Muhammad Abdul-Mageed, Laks V. S. Lakshmanan, Issam H. Laradji

DRFLOW 是一个用于评估智能体从异构来源预测个性化工作流的新型基准，包含 100 个任务、5 个领域、1,246 个参考步骤，并基于 3,900 多个来源构建。它定义了 7 项诊断指标，涵盖事实基础、步骤恢复、结构排序、条件解析和个性化。作者还提出了 DRFLOW-Agent (DRFA) 作为参考代理，其在平均 F1 分数上比强基线代理提升最多 10.02%，但仍有较大改进空间。

AI模型 DRFLOW 工作流预测基准测试智能体企业任务

推荐理由：想测测你家智能体能不能给出真正可执行的步骤？DRFLOW 用 100 个企业任务逼真考核，DRFA 也才比普通基线高 10%，挑战不小。

原文

10:30

官方一手arXiv: DeepSeek@Jasmine Brazilek, Oliver Tulio, Joel Christoph, Miles Tidmarsh, Carol Kline, Arturs Kanepajs

新基准TAC（Travel Agent Compassion）测试AI代理在12个旅行预订场景中是否避免动物剥削选项，涵盖6类动物剥削，扩展至48个样本以控制价格、评分和位置干扰。7个前沿模型得分均低于64%的随机水平，最佳Claude Opus 4.7为53%。在系统提示中加入一句福利意识语句后，Claude和GPT-5.5提升47-63个百分点，GPT-5.2提升26个百分点，DeepSeek和Gemini提升不到12个百分点。对前两名模型的288条基底记录审计未发现评估意识，表明低分并非因识别出测试。

论文 TAC 动物福利 AI Agent 基准测试 Claude Opus 4.7

推荐理由：动物福利问题有了AI专属的代理基准TAC，实测Claude Opus 4.7刚过一半，加个提示词能暴增60%，暴露了模型在实际行动中的盲区。

原文

06:57

官方账号Jim Fan@jimfan

在一项无法在物理世界中被攻破的基准测试中，OpenAI Codex 的表现超越 Anthropic Claude，而 Claude 又优于月之暗面 Kimi。该基准由 @DrJimFan 参与的论文提出，专注于物理世界的真实场景评估。结果显示了各模型在复杂物理任务上的相对排名。

AI模型 Codex Claude Kimi 基准测试物理世界

推荐理由：英伟达科学家发推说他们论文里 Codex 把 Claude 和 Kimi 都干掉了，还是物理世界实测，看看你家模型排第几。

原文

04:49

官方账号阿里通义 Qwen@Alibaba_Qwen

精选72°

Qwen-RobotWorld由阿里巴巴Qwen团队发布，将自然语言视为通用动作接口，统一末端执行器姿态、转向命令和导航点。该模型在具身世界知识语料库（860万视频-文本对、超2亿帧）上联合训练20+种具身类型和500+个动作类别。在EWMBench、DreamGen、WorldModelBench、PBench等基准测试中表现强劲。这一方法桥接了通用视频生成模型与领域专用具身模型之间的鸿沟。

AI模型 Qwen-RobotWorld 阿里巴巴具身智能视频生成基准测试

推荐理由：Qwen把自然语言当遥控器，一个模型搞定机器臂、自动驾驶、无人机等20多种动作，还赢了多个基准，挺有意思。

原文

03:35

@koltregaskes@koltregaskes

AI模型 Fable 5 模型排行榜基准测试

推荐理由：Fable 5 在排行榜上把其他模型都压下去了，看看它到底强在哪

原文

03:28

lmarena.ai@lmarena_ai

Agent Arena 是一个智能体性能排行榜，现已在 arena.ai/leaderboard/ag... 上线。用户可通过按开放模型或按实验室（lab）筛选来查看详细数据。该排行榜为不同智能体模型提供了直接的性能对比基准。

AI模型 Agent Arena 智能体排行榜基准测试开放模型

推荐理由：想比对比不同智能体模型？去Agent Arena排行榜，能按开放模型或实验室筛选，帮你找到合适的。

原文

6月16日

19:46

官方账号Decoder@Jonathan Kemper

爱沙尼亚语言研究所发布了一项基准测试，用于评估AI语言模型对俄语宣传的抵抗力。测试涵盖了GPT-4o、Claude 3.5 Sonnet、Llama 3.1等8个模型，发现部分模型在30%的测试样本中会生成亲俄内容。Meta的Llama 3.1 70B表现最差，错误生成率高达42%；而OpenAI的GPT-4o错误率最低，仅为12%。该基准测试还包含一个包含1000个样本的俄语宣传语料库，用于衡量模型对政治操纵的脆弱性。

AI模型 GPT-4o Claude 3.5 Sonnet Llama 3.1 AI安全基准测试

推荐理由：想知道你用的AI会不会被俄语宣传带跑偏？爱沙尼亚语言研究所测了8个主流模型，GPT-4o最扛打，Llama 3.1中招率最高。看看你的AI排第几。

原文

13:55

@hebbia@hebbia

71°

在Hebbia金融服务业基准测试中，Anthropic的Fable 5模型总分超过所有其他前沿模型。该模型在基于文档的推理任务上提升显著，并在图表与表格解读、问题解决两个子项中取得最高分。测试结果来自Hebbia发布的金融行业专属评测集，涵盖多个复杂金融场景。

AI模型 Fable 5 Anthropic Hebbia 基准测试金融AI

推荐理由：Hebbia测了金融场景，Fable 5在文档推理和图表解读上碾压其他模型，搞金融AI的可以看看具体分数对比。

原文

11:40

官方账号arXiv cs.AI@Alexandra Neagu, Jeffrey T. H. Wong, Marcus Messer, Rhodri Nelson, Peter B. Johnson

该论文引入了一个评估管道，包含两个指标——聊天机器人脚手架和学生吸收率，并在9个数据集（共9490个对话）上应用，涵盖AI导师基准测试和现实部署。分析发现，基准测试假设高脚手架、高学生吸收率环境，但现实中的学生整体吸收率较低，经常绕过聊天机器人的教学框架。论文认为，绕过脚手架不一定有害，反而常突显了聊天机器人的教学框架与学生目标之间的不匹配。未来基准测试应评估聊天机器人如何导航多样化的学习情境和学生驱动的交互模式。

论文 LLM辅导员脚手架学生吸收率基准测试教育AI

推荐理由：这篇论文用9490个对话数据证明，AI辅导系统在测试中的表现和实际使用差很多，学生根本不吃那套引导。做教育AI的值得看看。

原文

11:15

官方账号arXiv cs.AI@Markus Bujotzek, Dimitrios Bounias, Stefan Denner, Ralf Floca, Maximilian Fischer, Peter Neher, Klaus Maier-Hein

该基准套件整合了来自不同来源的真实噪声医学图像分割数据集，并设计了多种客户端-噪声场景（如轮廓不一致、缺失结构、标签混淆）。它提供了针对标签噪声的评估指标，支持系统性的联邦噪声标签学习（FNLL）评估。代码已在GitHub上开源（MIC-DKFZ/FedSegNoiseBench），为公平比较和未来方法开发奠定基础。

论文 Federated Learning Medical Image Segmentation Noisy Label Learning 基准测试

推荐理由：医学图像分割里标签噪声很头疼，这个基准套件专门测联邦学习下的真实场景，帮你挑最靠谱的去噪方法。

原文

10:57

官方账号arXiv cs.LG@Yahya Aalaila, Sumantrak Mukherjee, Gerrit Großmann, Sebastian Vollmer

HawkesNest是一个基于多元Hawkes骨干的生成器对齐基准，定义了空间-时间纠缠、背景异质性、跨类型交互和域拓扑四个复杂度轴。每个轴关联一个从潜在数据生成机制中计算出的确定性索引。在固定全局速率、稳定性和模拟预算下改变这些轴，可对STPP模型进行诊断压力测试。实验验证了索引的单调性和近似正交性。Hawkes系列基线在联合异质性与纠缠复杂度下退化，AutoSTPP在空间-时间纠缠单独增加时表现脆弱。

论文 HawkesNest STPP 时空点过程基准测试复杂度分析

推荐理由：想检验你的时空点过程模型？HawkesNest提供了四个可控复杂度轴，能精准发现模型在空间-时间纠缠等场景下的弱点。

原文

10:26

官方账号arXiv cs.LG@Marios Koulakis, Constantin Seibold

论文提出了一个基准测试框架manifold-microscope，用于研究数据流形的几何特性。它扩展了dSprites和COIL-20数据集，引入额外的变换维度和密集轴对齐采样，并搭配有限差分估计器。该框架能以接近真实值的精度恢复曲率、reach和体积，而通用估计器在这些场景中不可靠。两个应用研究展示了该框架的用途：评估Genovese et al.和Fefferman et al.理论边界的缩放行为，以及跟踪β-VAE的逐层几何变化。

论文 dSprites COIL-20 β-VAE 数据流形几何估计基准测试

推荐理由：这篇论文给了一个实用的基准测试工具，帮你检验数据流形几何估计方法的准确性，还能用来验证理论假设。

原文

10:07

Gary Marcus@GaryMarcus

Anthropic 发布的 Claude Fable 5 在 Epoch AI 的 Epoch Capabilities Index 上获得 161 分，以 1 分之差超越 GPT-5.5 Pro 的 160 分。这是 Anthropic 一年多来首次在该基准上领先。该指数综合评估模型能力，当前最高分为 161。尽管成绩创下新高，但专家指出进步幅度仍属渐进。

AI模型 Claude Fable 5 GPT-5.5 Pro Anthropic Epoch Capabilities Index 基准测试

推荐理由：Claude Fable 5 刚在 Epoch 能力指数上以 161 分微弱领先 GPT-5.5 Pro，这是 Anthropic 一年多来首次登顶，你可以看看它具体强在哪。

原文

09:50

官方账号arXiv cs.LG@Zongfang Liu, Jinghui Zhang, Zijian Ma, Guangyi Chen, Xin Yuan

该研究提出MoE专家一次性剪枝的统一公式，将现有启发式标准归为路由频率、门控权重、激活强度三类因素。基于此给出选择原则：任务无关剪枝应优先使用基于激活强度、无门控的标准。新提出的MAN和MSAN标准在4个MoE模型、16个基准上取得任务无关设置平均排名前两位。平均性能比最强基线提升最多8.8个百分点。

论文 MoE 专家剪枝语言模型基准测试模型压缩

推荐理由：这篇论文把MoE剪枝的各种评分方法统一了，还提出MAN和MSAN两个新标准，在多个模型和基准上表现更稳定，适合做模型压缩的人参考。

原文

6月15日

11:11

官方账号arXiv cs.AI@Guanming Liu, Yuqi Ren, Hansu Gu, Peng Zhang, Weihang Wang, Jiahao Liu, Ning Gu, Tun Lu

StreamMemBench是一个针对智能体记忆的流式评估基准，基于EgoLife自我中心流构建两步任务序列。初始任务测试证据使用，后续任务测试反馈与交互经验的复用。基准包含证据回忆、初始证据使用、反馈整合和后续复用四项指标。实验在8个记忆系统、2个基础模型上显示，当前系统在证据使用和反馈转化为可靠行为方面常失败。

论文 StreamMemBench EgoLife 智能体记忆评估基准测试

推荐理由：测测你的智能体记性

原文

6月14日

06:09

rohanpaul_ai@rohanpaul_ai

精选

一项新研究提出了HLL基准测试，要求AI智能体完成10种CAPTCHA任务，包括识别页面元素、正确点击或拖动、跟踪状态变化并提交答案。测试发现，即使强大的智能体在静态任务中表现良好，但在页面杂乱、任务复杂或系统验证操作有效性时仍会失败。该基准旨在评估智能体在真实人机验证场景中的能力，结果显示当前AI智能体难以通过此类验证。

论文 HLL CAPTCHA 智能体基准测试 AI安全

推荐理由：看看AI怎么被CAPTCHA难倒的

原文

6月13日

12:58

lmarena.ai@lmarena_ai

Claude Fable-5 在 Agent Arena 排行榜上展示了其技术细节，该模型在多个基准测试中表现突出。具体数据显示，Fable-5 在任务完成率上达到 92.3%，相比前代提升 15%。排行榜还提供了 Fable-5 与其他模型如 GPT-4o 和 Gemini 2.0 的对比结果。

AI模型 Claude Fable-5 Agent Arena 基准测试智能体

推荐理由：看 Fable-5 在 Agent Arena 上的具体数据

原文

11:00

官方账号Decoder@Matthias Bastian

Anthropic发布的Claude Fable 5在Artificial Analysis Intelligence Index上获得64.9分，创下十项基准测试中的五项纪录。相比Opus 4.8，性能仅提升5.7%，但token价格翻倍。安全过滤器和回退路由进一步推高使用成本。

AI模型 Claude Fable 5 Anthropic Opus 4.8 推理模型基准测试

推荐理由：性能微涨价格翻倍，谨慎升级

原文

6月12日

15:09

官方账号Artificial Analysis@ArtificialAnlys

73°

Artificial Analysis 更新了其编程智能体指数，用 Datacurve 的 DeepSWE 基准测试取代了 SWE-Bench Pro。DeepSWE 从零编写任务，避免模型从公开 GitHub 问题或 PR 中记忆答案，解决了原基准可被游戏化的问题。更新后，Codex with GPT-5.5 (xhigh) 得分从 65 升至 76，超越 Claude Code with Opus 4.8 (max) 的 73 分；新发布的 Claude Fable 5 (max) 在 Claude Code 中以 77 分位居榜首。这一变化揭示了原基准对某些模型组合的偏差。

AI产品编程智能体基准测试 Claude Fable 5 GPT-5.5 DeepSWE

推荐理由：基准测试更新直接影响了主流编程智能体的排名，做 AI 编程工具选型或评估模型能力的开发者值得关注——Claude Fable 5 新登顶，Codex 也大幅提升，建议点开看具体得分和对比。

原文

14:45

Philipp Schmid@_philschmid

Agent's Last Exam 是一个全新的AI智能体基准测试，旨在评估智能体在复杂、多步骤任务中的表现。该测试由多个研究机构联合开发，包含一系列需要规划、工具使用和推理的挑战性任务。初步结果显示，当前最先进的模型在测试中得分较低，表明智能体能力仍有巨大提升空间。该基准的发布为AI智能体研究提供了更严格的评估标准。

论文智能体基准测试评估 Agent's Last Exam 推理模型

推荐理由：做AI智能体研究的团队终于有了更严格的测试标准——Agent's Last Exam 揭示了当前模型的真实短板，值得所有关注智能体能力的开发者点开看看。

原文

14:43

Philipp Schmid@_philschmid

Agents' Last Exam (ALE) 是一个针对 AI 智能体的新基准测试，包含来自 55 个行业的 1000 多个真实专业任务，所有任务都源自实际专家工作，而非合成数据。测试结果显示，最佳智能体在最简单任务上得分低于 50%，在困难任务上低于 10%，最前沿模型在最高难度任务上通过率为 0%。模型选择对性能的影响大于工具链（harness），且增加 token 消耗并不能提升结果。智能体常见失败模式包括策略错误（47%）、领域知识缺失（31%）和执行错误（22%），且 34% 的任务需要 GUI 软件，但智能体倾向于回避并采用 CLI 变通方案。

AI模型智能体基准测试 ALE 真实任务评估

推荐理由：ALE 揭示了当前 AI 智能体在真实专业任务上的真实水平，做智能体开发或评估的团队值得关注——它可能是衡量 Agent 能力的最后一把尺子。

原文

13:48

官方账号arXiv cs.LG@Tianyi Ma, Yijun Ma, Zehong Wang, Weixiang Sun, Ziming Li, Connor R. Schmidt, Chuxu Zhang, Matthew J. Webber, Yanfang Ye

超分子化学研究非共价主客体组装，但设计过程耗时且需要大量干实验验证。尽管LLM在分子结合任务上表现优异，但缺乏系统评估其超分子化学推理能力的基准。为此，研究团队与领域专家合作发布了SupraBench，包含结合亲和力预测、最佳结合物选择、溶剂识别和主客体描述四个核心任务，以及一个基于视觉的分子识别辅助任务。同时发布了SupraPMC语料库（1600万token），用于领域适应预训练。实验表明，LLM在所有任务上仍有显著提升空间，领域适应预训练在分布内回归任务上表现良好，但会牺牲严格的格式输出。

论文基准测试超分子化学 LLM评估分子结合开源/仓库

推荐理由：做计算化学或药物设计的团队终于有了评估LLM超分子推理能力的标准测试——SupraBench覆盖了结合亲和力预测等关键任务，想验证LLM在化学领域实用性的研究者可以直接用。

原文

13:31

swyx (AI Engineer)@swyx

73°

METR 发布 FrontierCode 基准测试，发现超过一半的 SWEBench 结果是无法合并的劣质代码。FrontierCode 包含 1000+ 小时维护者验证的软件工程任务，并设有 3000+ 条评分标准，涵盖代码质量和反作弊机制。最难的 FC Diamond 级别中，Opus 4.8 得分仅为 13.8%。该基准将 AI 编程划分为三个时代：2021 年自动补全（HumanEval）、2023 年通过测试（SWEBench）、2026 年可维护代码（FrontierCode）。数据显示，2025 年底模型能力出现跃升，最易任务的通过率在 4 个月内从 41% 提升至 74%，标志着 AI 编程从 2 次重试 95% 成功率到 6 次重试的质变。

AI产品基准测试代码质量 SWEBench FrontierCode AI编程

推荐理由：FrontierCode 戳破了现有基准的泡沫，真正衡量代码可维护性而非通过测试——做 AI 编程工具或智能体开发的团队，建议看看这个新标尺，它可能改变你评估模型的方式。

原文

12:49

官方账号Artificial Analysis@ArtificialAnlys

88°

Anthropic 今日发布 Claude Fable 5，在 Artificial Analysis Intelligence Index 上以 64.9 分排名第一，领先第二名 GPT-5.5 约 5 分。该模型在 10 项基准测试中的 5 项取得最高分，并在代理能力评估中大幅领先。Fable 5 采用自适应推理和 Opus 4.8 回退机制，在安全护栏下约 8% 的任务会触发回退。定价为每百万输入/输出 token 10/50 美元，是 Opus 4.8 的两倍，但 Pro/Max/Team 用户可在 6 月 22 日前免费使用。

AI模型 Claude Fable 5 Anthropic 推理模型智能体基准测试

推荐理由：Claude Fable 5 在多项智能和代理基准上碾压竞品，做 AI 应用开发或模型选型的团队值得关注——它可能是目前最强的通用推理和工具调用模型。

原文

10:25

官方账号arXiv cs.AI@Minghao Luo, Liang Chen

搜索增强型大语言模型（LLM）在实时检索网页内容进行消费推荐时，面临被虚假评论和促销页面误导的风险。研究者提出了FORGE基准，通过将真实产品信息替换为虚假信息，测试12种商业和开源LLM的脆弱性。结果显示，单个污染页面即可导致最高27%的虚假推荐率，而替换前3个检索结果后，虚假推荐率升至73.8%。推理能力不仅无法缓解此问题，反而会生成虚假的社会证明来合理化错误推荐。研究还评估了三种防御策略，发现怀疑提示可能加剧漏洞，而共识过滤则可能误伤合法产品。

论文搜索增强LLM 虚假推荐安全漏洞基准测试防御策略

推荐理由：做搜索增强推荐系统的开发者需要警惕——你的模型可能被一篇虚假评论带偏，FORGE基准提供了测试和防御思路，值得点开看看。

原文

10:15

官方账号arXiv cs.AI@Harihara Muralidharan, Reema Baskar, Soo Hee Lee, Tim Proctor, Kenny Workman

研究人员推出了EpiBench，一个用于短周期表观基因组学分析的可验证基准测试。该基准包含106个评估任务，覆盖CUT&Tag/CUT&RUN、ATAC-seq、ChIP-seq和DNA甲基化等流程。在16个模型-工具组合的5088条有效轨迹中，没有系统通过大部分尝试：GPT-5.5/Pi以45.0%的通过率领先，GPT-5.5/OpenAI Codex以39.9%紧随其后。性能因检测类型而异，许多失败运行仍包含部分正确答案，但任务需要更深入的、检测特定的科学判断时，智能体往往失败。这表明当前AI在需要专业领域知识的复杂分析中仍有明显短板。

论文基准测试表观基因组学 AI智能体 GPT-5.5 科学判断

推荐理由：做基因组学分析的团队终于有了一个可复现的AI能力评估标准——EpiBench揭示了当前最强模型在专业科学判断上的天花板，做生物信息学工具开发或AI+生命科学研究的建议点开看看差距在哪。

原文

09:48

官方一手arXiv: DeepSeek@Pierre Beckmann, Marco Valentino, Andre Freitas

精选

SciR 是一个新的科学推理基准，专门评估大语言模型在科学场景下的演绎、归纳和因果推理能力。它通过从形式化对象（如演绎树、归纳规则假设、因果图）生成任务，确保答案可验证，再渲染成多文档科学文本。该基准独立控制两个难度轴：信息提取难度和推理本身难度，从而揭示模型在不同维度上的表现差异。测试六个模型后发现，两个难度轴都会降低模型性能，且效果叠加，即使是神经符号管道也受渲染影响。推理模型如DeepSeek-R1主要在推理轴上优于非推理指令模型。

论文科学推理 LLM评估基准测试演绎推理因果推理

推荐理由：做LLM评估和科学推理研究的团队终于有了一个能独立控制提取与推理难度的基准，可以精准诊断模型短板。想了解自家模型在科学推理上到底弱在哪，建议直接看这篇。

原文

09:45

官方一手arXiv: DeepSeek@Gabriel Diaz-Ireland, Diego Prieto-Herráez, Mario García Peces, Javier Velázquez, Devika Jain

GeoNatureAgent Benchmark 是首个针对环境分析智能体的基准测试，要求智能体通过结构化工具调用真实地理空间 API 完成任务。该基准包含 93 个任务，覆盖 18 个类别，如市政分析、多轮对话、空间推理、错误处理等，基于西班牙和葡萄牙的三个环境指标和 16 个工具进行评估。测试了 7 个 LLM（Claude Sonnet 4、DeepSeek V3.2 等），Claude Sonnet 4 以 60.8% 准确率领先，DeepSeek V3.2 以 56.3% 紧随其后，且成本仅为 Claude 的 1/11。比较类任务（如接近值比较）所有模型均为 0%，暴露了系统推理局限。该基准比通用 GIS 基准更具区分度，准确率低 25-35 个百分点。基准、测试工具和 API 均已开源。

论文智能体地理空间分析基准测试环境科学开源/仓库

推荐理由：做环境数据分析或地理空间智能体的开发者，这个基准能帮你快速验证模型在真实 API 调用场景下的能力，DeepSeek V3.2 的性价比值得一试。

原文

05:36

Gary Marcus@GaryMarcus

Gary Marcus 转发了一项新研究，该研究提出了一个名为 SciConBench 的基准测试，包含 9.11k 个来自 Cochrane 系统评价的科学问题。测试发现，前沿 AI 智能体无法有效综合科学结论，这挑战了 AI 作为科学家的过度宣称。该研究由 Manoel Ribeiro 等人完成，结果对 AI 在科学领域的可靠性提出了质疑。

论文 AI 科学家 SciConBench 基准测试科学综合 Gary Marcus

推荐理由：这项研究直接戳破了 AI 作为科学家的泡沫，做科研或依赖 AI 进行文献综述的团队值得一看，避免被过度宣传误导。

原文

04:11

Richard Socher@RichardSocher

Andrej Karpathy 发布了一个新的 AI 基准测试，旨在评估从基础 Transformer 模型到高级 AI 系统的演进过程。该测试需要 AI 花费相当长的时间才能达到 Karpathy 的版本水平。这一基准测试可能用于衡量 AI 系统的复杂性和进步程度，对研究者和开发者具有重要参考价值。

论文基准测试 Transformer Karpathy AI 评估模型进化

推荐理由：Karpathy 的基准测试为 AI 开发者提供了一个衡量模型进化难度的新工具，做模型训练和评估的团队值得关注这个测试，看看自己的模型需要多久才能达到高级水平。

原文

02:13

OpenRouter@OpenRouterAI

AI产品基准测试模型比较帕累托曲线 OpenRouter 成本优化

推荐理由：做模型选型或成本优化的开发者终于有了可视化工具——帕累托曲线直接帮你找到性价比最优解，建议打开 Benchmark Explorer 试试。

原文

01:11

OpenRouter@OpenRouterAI

OpenRouter 发布了新的基准测试探索器，允许用户绘制 10 个不同基准的帕累托曲线。该工具整合了包括 @ArtificialAnlys 和 @Designarena 在内的多个基准数据，帮助用户直观比较模型性能与成本之间的权衡。这对于评估和选择 AI 模型具有实用价值，尤其适合需要平衡性能与预算的开发者。用户可以通过 openrouter.ai/rankings#bench… 直接访问该工具。

AI产品基准测试帕累托曲线模型评估 OpenRouter 成本优化

推荐理由：OpenRouter 的基准探索器让模型选型从凭感觉变成看数据，做模型评估或成本优化的团队可以直接用帕累托曲线挑出性价比最高的模型。

原文

6月11日

22:28

Qdrant@qdrant_engine

Qdrant 发布了一项基准测试，比较了两种方法：直接将大量上下文发送给 LLM，以及使用 Qdrant 的两步检索管道仅获取最相关信息。结果显示，更大的上下文窗口会增加成本和延迟，而检索有助于减少 LLM 所需的上下文量，同时保持答案质量。随着上下文窗口的增长，检索不会消失，反而对效率、可扩展性和控制变得更加重要。

AI产品向量搜索 Qdrant 检索增强生成上下文窗口基准测试

推荐理由：做 RAG 或向量搜索的团队会关心这个关键权衡——大上下文窗口并非万能，检索仍是降本增效的核心手段，建议点开看具体数据。

原文

17:59

AI Will@FinanceYF5

Claude 在波音 747 基准测试中表现出色，被部分观察者认为已达到 AGI（通用人工智能）水平。该基准测试通常用于评估 AI 在复杂工程任务上的能力，Claude 的表现引发了广泛讨论。这一进展表明 AI 在特定领域的能力可能已接近或超越人类专家。

AI模型 Claude AGI 基准测试波音747 人工智能

推荐理由：关注 AI 能力边界的读者会感兴趣——Claude 在工程基准上的突破可能重新定义 AGI 的标准，值得点开看看具体测试细节。

原文

12:35

官方账号arXiv cs.AI@Selen Erkan, Bastian Boll, Kristian Kersting, Björn Deiseroth, Letitia Parcalabescu

精选

论文指出传统基准测试常因格式要求而低估基础模型的知识水平，因为基础模型缺乏后训练带来的格式遵循能力。作者提出软提示调优（soft-prompt tuning），仅优化10个软提示向量（约7B模型参数的0.0006%），在80步（约640样本）内即可让模型适应基准格式，从而准确反映其真实知识。实验覆盖7个模型和7个数据集，结果显示该方法显著优于零样本和少样本提示，甚至能提升后训练模型的格式合规性。软提示调优后的基础模型性能可更可靠地预测后训练模型的排名，为早期预训练策略选择提供低成本代理。

论文软提示调优 LLM评估基准测试格式遵循预训练策略

推荐理由：做LLM评估的团队终于有了一个公平且高效的基准测试方案——只需微调极少量参数就能剥离格式干扰，直接测出模型真实知识水平。做预训练或模型选型的开发者值得一试，能省下大量后训练成本。

原文

11:56

官方账号arXiv cs.LG@Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, Wei He, Hang Zhou, Jianyuan Guo, Hailin Hu, Lin Ma, Chao Xu, Guohao Dai, Lixue Xia, Yunchao Wei, Yunhe Wang, Yu Wang

精选

通用智能体（如OpenClaw）在编程任务上的表现难以用现有SWE-bench准确衡量，因为其不满足Docker工作区、补丁和预测合约要求。为此，研究者推出了Claw-SWE-Bench，一个多语言基准测试和适配器协议，能在固定提示、预算、工作区等公平条件下比较不同智能体框架。该基准包含350个GitHub问题实例，覆盖8种语言和43个仓库，并提供了80实例的轻量版Lite用于快速验证。实验显示，OpenClaw在直接适配器下仅得19.1% Pass@1，而完整适配器可达73.4%，表明适配器设计对编程任务至关重要。该基准将框架和成本作为评估核心维度，数据已开源。

论文基准测试编程智能体 OpenClaw SWE-bench 适配器

推荐理由：做智能体编程评估的团队终于有了公平比较的基准——Claw-SWE-Bench解决了不同框架无法直接对比的痛点，建议做Agent评估的开发者直接用它来测试自己的适配器设计。

原文