AITOP

评测基准

共 14 条相关 AI 资讯
8月21日
10:17
10:17官方一手arXiv: Anthropic@Nikita Khudov
研究团队发布OenoBench，一个包含3266道选择题的葡萄酒领域知识评测基准。该基准基于38104个原子事实构建，涵盖六个支柱和四个难度层级。评估16个前沿模型配置，发现整体准确率在53%-84%之间，o3以83.6%领先。DeepSeek R1在推理模式下提升6.8个百分点，而Claude Opus和Gemini Pro无提升。Anthropic在自身问题上偏好度+9pp，Google则-8pp。开源模型与专有推理模型共享成本-准确率帕累托前沿。所有配置在闭卷可解项目上平均提升33pp。
论文OenoBencho3DeepSeek R1
事件专题
推荐理由：研究人员搞了个叫OenoBench的葡萄酒知识测试题库，用这个题库测了16个大模型，发现o3考得最好，DeepSeek R1在推理题上表现突出，还发现模型对自己出的题有偏好，挺有意思的。
原文
8月18日
10:22
10:22官方账号arXiv cs.LG@Jonathan Sadeghi, Jenny Seidenschwarz, Jesse Allardice, Sirish Srinivasan, Benjamin Graham, Jeffrey Hawke
CaliBench 提出用物理可解释的离散空间（如骰子点数、纸牌花色、轮盘颜色）来评估视频世界模型，而不是像 FID 那样的学习特征空间。该基准覆盖九种场景和六个模型（WAN-2.7、SeeDance-2.0、HappyHorse-1.0、Veo 3.1、Runway Gen-4.5、Cosmos3-Super），每个模型生成32次。测试发现模型普遍把概率质量集中在少数结果上，而非复现参考分布；多数场景-模型组合显著失准，Veo 3.1 在骰子场景甚至坍缩到单一结果。在轮盘场景中，生成视频常让球位置含糊不清，导致多个模型的可评分性（scorability）很低。研究者将协议和指标 mnTV（平均归一化总变差）开源，供新模型对比。
论文CaliBenchVeo 3.1视频生成
推荐理由：CaliBench 新基准专测视频模型的物理随机效果靠不靠谱，六个模型里 Veo 3.1 在骰子上翻车。想对比可以参考。
原文
8月14日
12:19
12:19官方账号arXiv cs.AI@Dairu Liu, Zekun Qi, Jiayu Zeng, Ruixi Yu, Yu Guan, Yintianrun Zhang, Xuchuan Chen, Sikai Liang, Zekai Li, Chenghuai Lin, Xinqiang Yu, Wenyao Zhang, He Wang, Li Yi
HumanTracker 基准包含约153小时专业表演者的光学运动轨迹，覆盖四类运动族并带有文本标签。HumanScore 指标基于12K运动对（共24K运动）训练，用于对齐人类偏好。在代表性 SOTA 跟踪器上，HumanScore 能比运动学指标更准确地预测人类偏好，揭示脚部滑动和触地时机等接触稳定性问题。
论文HumanTrackerHumanScore运动跟踪
推荐理由：想评估人形机器人运动跟踪效果？HumanTracker 提供了153小时专业动作数据和更符合人眼判断的 HumanScore，能发现脚滑、触地不准这类关键问题。
原文
02:47
8月12日
09:46
8月5日
11:09
11:09官方账号arXiv cs.AI@Leijun Zhou, Zhihao Liu, Xiang Qu, Chenxu Liu, Yifei Liu, Yanke Yu, Jingzhe Xu, Xuejun Wu, Buyue Qian, Xi Chen, Yaowei Zheng, Junhao Hu
GDPevo是一个基于GDP相关企业工作流的智能体自我进化评估基准，覆盖CRM、ERP、金融、医疗、法律和数据工作流。其规则杂交机制把每个流程拆成原子业务规则，训练与测试任务重组规则，使测试收益可归因于训练经验。V1包含12组120个任务，每组5个训练任务和5个保留测试任务；流水线可在两天内扩展到V2的24组240个任务。研究者在四种监督类型下评估了四个智能体，自我进化使保留测试准确率最高提升16.44个百分点。但最优进化智能体仍远低于91.6%的全知上限，说明当前智能体的自我进化能力尚未充分实现。
论文GDPevo智能体自我进化
推荐理由：想评估智能体能不能从经验里进步？GDPevo用企业真实流程搭了120个任务，最高涨16.44个点，开源可跑。
原文
10:58
10:58官方账号arXiv cs.AI@Yining Hua, Hongbin Na, Cyrus Ayubcha
CARE-Bench是一个源引用的基准，用于评估医疗大模型在患者面对面的分诊任务中，每轮应给出的当前行动建议。基准包含500个病例和1,059个患者披露前缀，覆盖医疗对话、咨询和随访问题来源。在269个保留轮次上评估了11个模型，无提示时宏F1分数在31.2到50.4之间。加入最小提示后，10/11的模型表现提升，宏F1达到46.9到63.4，但仍有大量阈值错误。当正确行为是索取更多信息时，仅有33.5%的模型输出保留了该步骤。
AI模型CARE-Bench医疗分诊评测基准
推荐理由：这个基准测的是医疗分诊模型会不会乱建议，结果发现简单加提示词远远不够，做医疗AI的人都该看看。
原文
7月28日
02:52
7月9日
15:46
15:46IT之家（博客/媒体）
精选72°
OpenAI 分析 Scale AI 推出的编程基准 SWE-Bench Pro，在 731 个公开测试任务中约 30% 存在评测缺陷。前沿模型通过率从 2024 年初的 23.3% 升至 8 个月后的 80.3%，OpenAI 认为该基准已无法有效评估模型能力。人工标注识别出 249 个失效任务（占 34.1%），问题包括测试过严、提示不充分、范围过窄和误导性提示。典型错误是要求行首 1 个空格但隐藏测试要求 2 个空格。OpenAI 撤回对其的采用建议，呼吁设计新基准。
行业OpenAISWE-Bench ProScale AI
事件专题
推荐理由：OpenAI 扒了权威编程基准的皮，发现三成题有坑，想测 AI 写代码别轻信 SWE-Bench Pro 了。
原文
6月30日
17:11
6月27日
12:53
6月5日
12:05
12:05官方账号arXiv cs.AI@Shiyun Xiong, Dongming Wu, Peiwen Sun, Yuang Ai, Bokang Yang, Wencheng Han, Xiao-Hui Li, Xiangyu Yue
精选
论文提出 Benchmark Agent，一个全自动构建 LLM/MLLM 评测基准的智能体系统。它从用户需求分析、子任务设计到数据标注和质量控制，全流程自动化。作者用它生成了 15 个覆盖文本理解、多模态理解和领域推理的基准，经人类评估和 LLM 评判验证，质量高且无需人工参与。该系统解决了传统基准构建劳动密集、易饱和的问题，能持续生成新基准以区分顶尖模型。代码和预览已公开。
论文评测基准智能体自动化
推荐理由：做 LLM 评测的团队终于有了自动化工具——Benchmark Agent 能持续生成新基准，避免模型性能饱和，建议做模型评估的开发者直接试试。
原文
5月19日
12:55
12:55官方一手arXiv: OpenAI@Tanmay Asthana, Aman Saksena, Divyansh Sahu
精选76°
研究人员发布了针对深度研究代理（DRA）在管理咨询场景下的评测基准，包含42个专家撰写的任务，每个任务有平均13.8个确定性验证器和五维度0-3分专家评分。评测了Claude Opus 4.6、OpenAI o3-deep-research和Google Gemini 3.1 Pro，三者通过联合阈值（专家评分≥2.5且验证器通过率≥80%）的接受率均很低：Gemini 21.4%，o3和Claude仅9.5%。各模型失败模式不同：Claude输出最可靠但虚构最多，o3推理最清晰但遗漏章节和传播算术错误，Gemini表现两极分化。该基准通过嵌入认知陷阱来惩罚表面模式匹配，揭示了当前前沿DRA在专业分析任务上的严重不足。
论文评测基准深度研究代理管理咨询
事件专题
推荐理由：管理咨询团队和依赖AI做深度分析的开发者会震惊——三个最先进的DRA在专家级任务中通过率不到22%，且各有致命短板。想避免被AI的自信输出误导，建议仔细看这篇评测的失败模式分析。
原文
5月16日
23:54