基准测试相关 AI 资讯

8月3日

09:39

官方账号arXiv cs.LG@Ismayil Ismayilov, Atakan Kara, Kaan Oktay

DungeonBench是一个面向D&D战斗的战术推理基准，覆盖2014版SRD中大部分战斗相关内容，保留行动经济、生物特性、战场几何等机制。基准分Encounter和Day两个轨道：Encounter评估单场战斗的局部战术，Day通过持久生命值、法术位、消耗品和短休息将战斗串联，考验资源调度。同一决策流支持启发式控制器、语言模型策略、学习型排序器和强化学习智能体。评测显示前沿语言模型策略在直接对战中常获胜，但在链接战斗日上暴露资源预算、休息时机和规则纪律的不足。

论文 DungeonBench D&D 战术推理

推荐理由：DungeonBench用D&D战斗测AI战术推理，分单场和连战两关，发现大模型会打单场却管不好资源，想测AI决策的可以看看。

原文

8月2日

01:06

Kevin Weil@kevinweil

78°

OpenAI 官网发布 Ten Advances in AI Reasoning 页面，公开十项推理评估结果。首席产品官 Kevin Weil 在 X 上转发，称每项结果都是领域内的重要进展。他祝贺 Sebastien Bubeck、Mark Chen 等团队，并展望全球用户都能用上该模型。页面可用来对比当前推理模型的评测表现。

AI模型 OpenAI 推理模型基准测试

事件专题

推荐理由：OpenAI把十个推理基准成绩一次性亮出来，Kevin Weil说是领域级结果。想了解新模型强在哪，直接翻这份榜单。

原文

8月1日

03:42

lmarena.ai@lmarena_ai

OpenAI 的 GPT-5.6 家族 Sol、Terra、Luna 已在 ChatGPT、Codex 和 API 中开始推出。在 LMArena 全栈代码竞技场中，Sol 以 1638 分排全栈第 3，总榜第 5；Terra 全栈 1579 分列第 10，总榜第 20；Luna 全栈 1568 分列第 14，总榜第 18。Opus 5 (Max) 即将加入全栈榜单。

AI模型 GPT-5.6 OpenAI LMArena

事件专题

推荐理由：OpenAI 的 GPT-5.6 三兄弟开测，Sol 全栈第 3，Terra 和 Luna 也进 top20，挑模型看这个。

原文

03:11

lmarena.ai@lmarena_ai

Thinking Machines 推出新模型 Inkling-Small。Inkling-Small 没有突破性能上限，但紧邻当前最强的几个模型。Thinking Machines 在官网发布了相关对比信息。

AI模型 Inkling-Small Thinking Machines 基准测试

事件专题

推荐理由：Thinking Machines 新出的 Inkling-Small 虽然没登顶，但官方给了它和头部模型的对比图，想了解它大概什么水平可看。

原文

02:55

lmarena.ai@lmarena_ai

精选

Arena.ai 今日发布 AutoEval，一种基于奖励模型的新评估方法，该模型由数百万条真实 Arena 用户偏好数据校准。AutoEval 与实时人工评估结果高度一致，能把模型评估耗时从数天缩短到数小时。它目前支持 Text、Vision、Image、Code 四个 Arena 榜单。新模型上线后，AutoEval 会直接在排行榜上给出估算分数。

AI模型 AutoEval Arena.ai 模型评估

事件专题

推荐理由：想快速了解新模型水平？Arena 用真实用户偏好做评估，比传统基准快几个数量级，看榜就行。

原文

7月31日

13:14

官方账号arXiv cs.AI@Zongyi Chen, Yu Liang, Jie Lin, Liansheng Wang

PathVU是一个面向病理图像细粒度多尺度视觉理解的基准，基于23个公共病理数据集构建，包含14个VQA任务、61,673张图像和308,070个样本，覆盖28个器官。该基准通过Region FOV和Slide FOV两种视野，评估模型的区域定位、视觉识别、数量估计、空间推理和上下文不足判断能力。对18个通用、医学和病理专用的多模态大语言模型评测显示，现有模型在细粒度视觉任务上存在明显局限。

论文 PathVU 病理图像多模态

推荐理由：PathVU这个新基准测了18个多模态模型，发现它们在病理图上连定位和数数都容易出错，搞医学AI的值得看看。

原文

12:57

官方账号arXiv cs.AI@Manyi Wang, Junjielong Xu, Pinjia He

PAIChecker是一个多智能体系统，用于检测SWE-bench类基准中PR与Issue配对不对齐的问题。研究者在SWE-bench Verified实例中发现13.6%存在不对齐，涵盖五种模式和十一个细粒度场景。PAIChecker采用三阶段设计，结合特定模式识别、跨智能体标签合成和代码级验证。在SWE-Gym和SWE-bench Multilingual上，该系统分别达到92.12%和91.67%的二元准确率，优于四种LLM后端。

论文 PAIChecker SWE-bench 多智能体

推荐理由：做代码基准测试的朋友可以看看，PAIChecker能自动揪出PR和Issue配错的情况，SWE-bench上准确率超九成。

原文

12:44

官方账号arXiv cs.LG@Haomin Qi, Xingliang Wang, Xuanqi Gao, Baihui Sang, Xin Zhang, Minghua Ma, Pengfei Gao, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

Change2Task是一个基于仓库历史将合并的拉取请求转换为已验证编码代理任务的系统。它通过补丁反转、代码映射或代理重建来重构任务状态，并验证从健康基线到任务状态再恢复的完整生命周期。从1,130个符合条件的源变更中，该系统在五类常见编码代理任务族上实现了79.6%的验证任务构建成功率。相比基于拉取请求的构造基线，在匹配候选集上多恢复了29.2%的验证任务。历史与重建案例在代理评估下达到98.0%的匹配结果一致性，复用现代基础使整体管道测量支出降低10.8%。

论文 Change2Task 编码智能体数据生成

推荐理由：想给编码代理搞训练数据？Change2Task用仓库历史自动生成可执行任务，成功率近八成，还能省下环境搭建开销。

原文

12:03

官方账号arXiv cs.AI@Dorian Quelle, Lisa-Maria Neudert, Jonathan Bright, John Gallacher

InfoOps Bench是一个持续更新的AI基准，用于衡量前沿语言模型是否会被国家支持的信息操作所利用。该基准基于追踪俄罗斯、中国和伊朗国家背景信息资产的监测管道，覆盖2,100多个信息操作案例。研究测试了8家提供商的17个模型，发现多数模型都能被诱导参与信息操作，完整性评分从8.8%到94.5%不等。模型选择会改变生成内容性质，部分模型会编造细节，事实核查率在2.9%至72.9%之间变化。除Z.ai的GLM 5.2外，中国开发的模型对中国批评性请求的遵从度大幅下降，最高降幅达70个百分点。

论文 InfoOps Bench GLM 5.2 AI安全

推荐理由：这个基准让你看到哪些大模型最容易被带偏去搞信息战，测了17个模型，差距能到85个百分点，挺颠覆直觉的。

原文

11:36

官方账号arXiv cs.AI@Hanzhang Zhou, Panrong Tong, Xu Zhang, Quyu Kong, Chenglin Cai, Tianyu Xia, Gongjie Zhang, Jianan Zhang, Long Li, Long Chen, Lei Wang, Gaole Dai, Pengxiang Li, Liangyu Chen, Yue Wang, Steven Hoi

Qwen-UI-Agent 是覆盖移动、电脑、网页和 DeepSearch 环境的 GUI 智能体，结合沙盒环境与真实设备移动运行时。其统一动作空间支持 GUI 操作与 CLI 执行交错，并可在单次模型回合中生成批量动作。AutoResearch 数据飞轮用智能体构建任务与环境，在线强化学习支持超过 100 步轨迹，在超过 10,000 个并发环境中训练。在基准测试中，移动端达到 MobileWorld 82.1%、MobileWorld-Real 92.2%、AndroidDaily 97.5%；电脑端 OSWorld-Verified 79.5%、WebArena 73.6%。

AI模型 Qwen-UI-Agent GUI智能体移动端

事件专题

推荐理由：Qwen 团队发了 UI-Agent，一个模型统一手机、电脑、网页操作，移动端跑分超 Opus 4.8，还能插命令行，挺能打。

原文

06:44

官方账号OpenAI@OpenAI (@OpenAI)

ARC-AGI-3基准测试要求模型无需指令学习不熟悉的2D游戏。标准测试丢弃了GPT-5.6 Sol每步后的推理，并在上下文填满时丢弃早期动作。这导致模型无法积累有效经验，只能不断重启。测试结果凸显了长上下文维持对推理模型的关键性。

AI模型 ARC-AGI-3 GPT-5.6 Sol OpenAI

事件专题

推荐理由：ARC-AGI这个测试挺刁钻，GPT-5.6 Sol在没法记住之前推理的情况下学不会新游戏，说明长上下文对推理很重要。

原文

06:11

lmarena.ai@lmarena_ai

Agent Arena 的评分基于数百万来自全球用户的真实长期智能体任务。模型可使用网络搜索、文件系统和终端工具完成复杂工作流。排行榜使用因果追踪方法测量模型相对于平均模型的结果表现。详细方法可在 arena.ai/leaderboard/ag 查看。

AI模型 Agent Arena 智能体基准测试

推荐理由：想知道你的模型在真实任务里啥水平？Agent Arena 用数百万实际任务和工具调用测试，结果很客观。

原文

05:38

lmarena.ai@lmarena_ai

71°

Arena.ai 发布新评估方法 AutoEval，使用基于数百万真实用户偏好训练的奖励模型对 AI 模型进行排名。该方法与人工评估高度对齐，速度从数天缩短至数小时。AutoEval 支持 Text、Vision、Image 和 Code 等多个基准。新模型将直接在排行榜上显示 AutoEval 预估分数，加速社区获取结果。

AI模型 Arena.ai AutoEval 奖励模型

事件专题

推荐理由：Arena.ai 搞了个新评估 AutoEval，用千万用户偏好打分，几小时出结果，比人工快多了，排行榜直接看分数。

原文

02:23

lmarena.ai@lmarena_ai

精选

LMSYS Arena 推出 AutoEval，一种在完整评测结果出炉前比较候选模型检查点的早期信号。实验显示，当两个模型的 Arena 分数差≥10 分时，AutoEval 在超过 90% 的案例中正确识别出更高分模型；分数差≥15 分时，对所有测试对均正确排序。

AI模型 AutoEval LMSYS Arena 模型评估

推荐理由：如果你经常在评测结果出来前纠结选哪个检查点，AutoEval 能提前帮你判断，分差够大时几乎不出错。

原文

01:17

向阳乔木@vista8

用户vista8在X平台发文称，Claude opus/sonnet 4.6仍是目前最佳的写作模型，其中sonnet 4.6表现更突出。他指出，当前大模型竞相提升编码能力，而Claude opus 5虽然在Benchmark上刷榜，但实际写作体验不如前代。他认为大模型并非越新越好。

AI模型 Claude opus 5 sonnet 4.6 写作模型

推荐理由：vista8实测发现Claude sonnet 4.6写作比opus 5更好用，喜欢写东西的别只追新。

原文

7月30日

15:47

官方账号Decoder@Matthias Bastian

82°

OpenAI声称其GPT-5.6 Sol模型在ARC-AGI-3基准测试中通过自定义测试环境获得38.3%的分数，高于Anthropic Opus 5的30.2%。但在官方标准环境下，GPT-5.6 Sol仅得7.8%，远低于Opus 5的30.2%。OpenAI的定制测试保留了推理链和上下文压缩作为辅助手段，而Opus 5在无辅助下完成。这一差异引发了关于基准测试公平性的讨论。

AI模型 GPT-5.6 Sol Opus 5 ARC-AGI-3

事件专题

推荐理由：OpenAI推出GPT-5.6 Sol，在自定测试里赢了Anthropic的Opus 5，但换官方环境就掉到7.8%，差距挺大。

原文

11:22

官方账号arXiv cs.AI@Julien Benchek, Austin Bennett, Jasmin Kern, Ryan Stevens, Rene Sultan, Charis Ching, Hayley Popiel, Vaibhav Mittal, Felix Mercier, Brendan Foody, Bertie Vidgen

Mercor联手Ramp发布APEX-Accounting，内含160个会计任务，覆盖对账、费用计提等真实工作。九个前沿模型参与测试，Claude-Fable-5 (Max)以56.4% Mean Criteria@3领先Muse-Spark-1.1 (xHigh)的52.6%。最高Pass@8仅21.5%（Muse-Spark-1.1），GPT-5.6-Sol (Max+Pro)的Pass^8为2.6%。实验发现辛普森悖论：提高token预算提升总分，但预算受限时高token消耗任务得分更低。

AI模型 APEX-Accounting Claude-Fable-5 Muse-Spark-1.1

事件专题

推荐理由：想看看AI到底能不能做会计？新出的APEX-Accounting基准拿160道真实会计题考了九个模型，最强Claude Fable-5才56%，离实际干活还差得远。

原文

10:58

官方账号arXiv cs.AI@Xuanze Chen, Xukang Xie, Wentao Fu, Jiajun Zhou, Shanqing Yu, Qi Xuan

MemSecBench是一个任务驱动的基准，用于评估智能体记忆系统的生命周期安全，包含310个案例，覆盖代码、科学、日常生活和办公等48个真实场景。该基准采用Write-Execute-Forget协议，在24种配置组合（2种智能体框架、4种记忆后端、3种LLM后端）下测试。结果显示恶意记忆在84.2%的案例中持续存在，完整攻击成功率为50.3%。成功中毒案例中，59.6%完成完整执行链，56.1%实现选择性修复。与原生配置相比，攻击成功率最大差异达16.1个百分点，选择性修复差异达41.3个百分点。

论文 MemSecBench 智能体安全记忆中毒

推荐理由：这篇论文搞了个MemSecBench，专门测AI记忆会不会被黑，结果84%的案例恶意记忆都能长存，而且不同记忆系统差别很大，做AI安全的朋友应该看看。

原文

10:38

官方账号arXiv cs.AI@Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

Setoka基准基于认知与人格心理学理论，定义了用户理解的四个层次：语义记忆、情景记忆、行为模式和人格特质。该基准通过心理测量学流程合成异构用户数据与查询，用于评估记忆增强型个性化智能体。研究评估了3种语言模型结合5种记忆系统在10个合成用户上的表现，发现现有系统在语义记忆检索上表现良好，但在情景记忆上性能下降；在处理行为模式和人格特质理解任务时，由于需要整合碎片化信息，性能进一步下滑。

AI模型 Setoka 智能体用户理解

推荐理由：如果你想了解现有AI智能体到底能多深地理解用户，这个新基准Setoka用心理学理论和方法测出了它们的短板——不只是翻聊天记录，还要推断行为和性格。

原文

09:15

官方账号arXiv cs.LG@Paula Cordero Encinar, Taylan Cemgil, Arnaud Doucet, Virginia Aglietti, Silvia Chiappa

BayesAME是一种贝叶斯主动模型评估框架，能自动确定评估大型生成模型所需的核心子集大小。它通过定义潜在能力变量和联合先验分布来建模性能，利用信息增益准则迭代选择项目。在多个基准上的实验表明，BayesAME一致优于现有方法的顺序适应版本。研究还证实非随机核心子集选择优于随机选择，且使用连续响应对数似然能显著提升估计精度。

论文 BayesAME 模型评估核心子集

推荐理由：这篇论文提出了BayesAME，能自动算出评估模型需要多少数据，比手动定大小更准更省事。

原文

05:09

宝玉@dotey

75°

Cline团队让Kimi K3进行自我迭代改进，在17小时内将Terminial Bench评测分数从77.5%提升至88.8%。同时每轮成本从79美元降低至49.8美元。但评论指出这并非模型自我进化（修改权重），而是Agent利用明确验收标准优化Harness的过程。优化后的Harness只对自身Benchmark有效，未必证明通用性能提升。

AI模型 Cline Kimi K3 Terminial Bench

事件专题

推荐理由：Cline让Kimi K3自己当工程师优化测试框架，17小时得分从77.5%涨到88.8%，成本还降了快一半，挺有意思的实验。

原文

7月29日

11:59

官方账号arXiv cs.AI@Abhishek Pillai, Samir Kumar Nayak, Yuan Chen

Desktop-Delta Bench (DDB) 是一个离线步骤级基准，包含2,013个人工验证的实例，覆盖约15个应用和50个任务域。DDB通过463个三帧时序排序实例（含105个跨轨迹干扰）和1,550个前后对比对来评估模型。在8个闭源和开源模型家族、32个排序和16个单动作设置中，最佳非干扰和干扰精确匹配率分别为65.1%和65.7%。单动作结果显示，推断动作类型比定位更难：点击F1为0.96，拖拽为0.76。DDB填补了GUI定位与最终任务成功之间的诊断空白。

论文 Desktop-Delta Bench 计算机使用模型 GUI代理

推荐理由：想测试你的桌面Agent到底能不能分清操作后的界面变化？这个新基准有2000多个真实案例，能看出模型在哪类失败上翻车。

原文

11:13

官方账号arXiv cs.AI@Rui Yang, Weihao Xuan, Yi Lin, Zhuhan Bao, Jonathan Chong Kai Liew, Matthew Yu Heng Wong, Nicolás Lescano, Nikita R. Paripati, Emily Ling-Lin Pai, Jiarui Liu, Heli Qi, Heng-Jui Chang, Benny Kai Guo Loo, Huitao Li, Kunyu Yu, Yufan Wang, Chuan Hong, Shijian Lu, Douglas Teodoro, Naoto Yokoya, Ross Koppel, Mona Diab, Hua Xu, David W. Bates, Nan Liu, Yifan Peng

ClinMM-Bench是迄今最大的多轮多模态临床诊断评估基准，包含1089个真实临床案例和3760张医学图像，覆盖8个专科。研究使用两级评估框架，对15个代表性多模态大模型进行诊断准确性和推理质量评测。结果显示，专有模型总体准确率最高，但完全正确诊断的比例仍很低。错误分析识别出信息整合失败、知识映射错误、感知错误、过早闭合和视觉幻觉五种典型失败模式。

论文 ClinMM-Bench 多模态大模型临床诊断

推荐理由：临床诊断AI评估有新基准了！1089个真实案例、3760张影像，15个模型测试下来发现，再好的模型完全正确诊断率也不高，而且容易犯信息整合错误和视觉幻觉。

原文

09:14

官方一手arXiv: DeepSeek@Guiling Guo, Jia Yang, Jiahao Xu, Shuyuan Zheng, Zhonghai Sun, Qiyuan Li

GraphRareBench是一个保留来源的基准，包含2,365个本体派生案例和18,093对目标-混淆对。在237个案例的基因组分测试集上，监督排序器MRR范围为0.640-0.740，目标-混淆准确率为0.898-0.916。基于Agents-A1和DeepSeek-V4-Flash的智能体MRR分别为0.746和0.718，但证据覆盖率差异达0.561。22.1%到43.7%的成功案例中仍存在硬混淆者排名高于目标。该基准可用于评估模型在完全集检索和硬混淆区分上的表现。

论文 GraphRareBench Agents-A1 DeepSeek-V4-Flash

事件专题

推荐理由：想测AI罕见病诊断能力？GraphRareBench用2365个案例和18093对混淆，专门检测模型能不能分清真病和假病。

原文

03:02

官方账号Anthropic@AnthropicAI

精选

Anthropic 与苏黎世联邦理工学院、特拉维夫大学和海法大学合作开发了 CryptanalysisBench，这是一个专门评估 LLM 密码分析能力的基准。该基准旨在系统测试模型在经典密码学任务上的表现，例如破解简单加密、识别加密算法等。相关论文已发布在 arXiv (2607.18538)。

AI模型 Anthropic CryptanalysisBench 推理模型

事件专题

推荐理由：Anthropic 和欧洲几所高校搞了个新基准，专门测大模型破解密码的本事，比单纯看推理能力更有针对性。

原文

02:00

lmarena.ai@lmarena_ai

xAI宣布Grok 4.6将于8月7日发布，下周将在Arena亮相。同时，Grok-4.5在Agent Arena排行榜上基于9.8K次实时代理会话获得第13名，相比Grok 4.3的第29名有显著提升。Grok-4.5在Bash Recovery任务上取得重大进展，追赶上了Anthropic和OpenAI的模型，确认任务成功率大幅提高。这一排名显示了Grok系列在代理性能上的进步。

AI模型 Grok Agent Arena 推理模型

事件专题

推荐理由：xAI发了Grok 4.6发布预告，同时4.5在Agent Arena上冲到了第13名，比4.3进步了16名，尤其Bash Recovery能力追上了Claude和GPT，推荐关注。

原文

01:15

lmarena.ai@lmarena_ai

精选

Code Arena 新增全栈开发能力评测，涉及多步推理、工具调用和端到端应用生成。Kimi K3 (Max) 排名第一，GPT 5.6 Sol (xHigh) 第二，Claude Fable 5 第三。榜单完整排名可在 arena.ai 查看。

AI模型 Kimi K3 GPT 5.6 Sol Claude Fable 5

事件专题

推荐理由：Code Arena 刚上线了全栈能力排行榜，Kimi K3 拿了第一，GPT 5.6 和 Claude Fable 紧随其后，想比模型写代码能力的可以看看。

原文

7月28日

12:23

官方账号arXiv cs.AI@Ali Ansari, Yasmin Mohammadi, Farnoush Nili, Parsa Esmaeilkhani, Longin Jan Latecki, Eduard Dragut

ERUnderstand是首个大规模评估视觉语言模型（VLM）对实体关系图（ERD）结构化理解能力的基准，包含2960张来自教育、真实世界和合成数据源的图。测试发现常见元素F1>0.74，但弱实体F1低至0.28，多值属性仅0.14，N元关系仅0.07。使用推理增强的模型整体提升15%-25%，但仍受语言先验和复杂度影响。基准、数据、工具和生成代码已开源。

论文 ERUnderstand Vision-Language Models Entity-Relationship Diagrams

推荐理由：想测VLM能不能看懂ER图？这个新基准用2960张图挨个打分，弱实体和N元关系掉得厉害，读论文就能知道差距在哪儿。

原文

11:02

官方账号arXiv cs.AI@Weihuang Zheng, Tianyuan Zou, Eileen Ye, Alphet Liu, Youyong Kong, Ya-Qin Zhang, Duran Zheng, Maxm Pan

E-Bench是一个完全合成的基准，包含323个状态改变任务，覆盖Honor of Kings、QQ Music和Tencent Meeting三个产品领域。它通过图引导数据库填充创建可复用环境，并利用生成器-求解器不对称设计迫使智能体发现隐藏信息并组合多次工具调用。结果通过数据库状态差异确定性评分。评测11个前沿LLM，最强模型的Pass^3低于60%，在E-Bench-Code扩展下仍低于70%，说明多步工具使用对当前模型依然困难。

论文 E-Bench 多步工具使用智能体

事件专题

推荐理由：想知道多步工具调用到底多难？E-Bench测了11个模型，最强不到60%通过率，还特意选了王者荣耀、QQ音乐和腾讯会议场景。

原文

05:21

lmarena.ai@lmarena_ai

精选

LMSys Chatbot Arena 引入新排名“Factuality”，结合人类偏好与事实准确性。Claude Opus 5 with Max reasoning 在 Text Arena 中位居第一。该排名通过抽取响应、提取可验证声明并逐对检查正确性来审计对战。Factuality 现已作为非默认切换选项在 Text 和 Search Arena 中上线。

AI模型 Claude Opus 5 LMSys Chatbot Arena Factuality

推荐理由：如果你看重模型回答的准确性，LMSys 新出的事实性排名很有参考价值。Claude Opus 5 这次在最重视事实的榜单上拿了第一，比之前只看人类偏好的排名更实在。

原文

01:10

Cognition@cognition_labs

精选

Cognition 发布 FrontierCode 1.1 Extended 基准，用于评估真实工程任务的合并性与质量。Kimi K3 在该基准上取得 58.2% 的得分和 63.6% 的通过率。在 Devin 环境下，Kimi K3 在复现漏洞和环境管理方面表现突出。该结果来自 devin.ai/blog/kimi-k3。

AI模型 Kimi K3 Devin FrontierCode

事件专题

推荐理由：Kimi K3 在真实工程任务基准上拿了 58.2%，而且在 Devin 里特别擅长修 bug 和管理环境，值得做开发的看看。

原文

00:41

elvis@omarsar0

精选

该论文通过近6000次配对运行，在两个办公自动化基准和三个模型栈上对比有技能和无技能的Agent。研究发现添加程序化技能会导致任务回归率显著上升，最佳技能主要通过减少回归来区分自身。论文识别了三种失败机制：技能描述渗透、基础位移和验证位移。现有技能几乎全是程序性的，程序化引导反而较少导致失败。

论文 Agent技能智能体程序化技能

推荐理由：这篇论文用大量实验告诉你，加技能反而可能让Agent变笨。三种坑要记住：技能描述渗透、基础位移、验证位移。别再盲目加技能了

原文

7月27日

11:56

官方账号arXiv cs.AI@Yifei Zhao, Xiangxin Zhou, Wenhao Yang, Jiaqi Tang, Pu Jian, Huanjin Yao, Jiarui Yao, Haowei Lin, Chunchao Guo, Zhuo Chen, Wenkai Lyu, Jianzhu Ma, Xueqian Wang, Wenxi Zhu

SceneActBench 是一个评估视觉语言模型（VLM）代理在3D场景中行动能力的基准，包含5个任务，覆盖210个源实例和520个任务案例。每个任务在统一的代理-环境循环中运行，使用任务特定的几何指标评估最终输出。在11个专有VLM配置上测试，总体得分范围为38.6到50.2，没有任何配置在所有任务上表现一致。论文分析了失败模式，指出当前模型在多对象3D场景中的行动能力仍有显著不足。

论文 SceneActBench 3D场景视觉语言模型

推荐理由：想测测视觉语言模型能不能真在3D空间里干活？SceneActBench给你5个任务、520个案例，开源又公平，看哪个模型分高。

原文

11:01