AITOP

智能体评估

共 14 条相关 AI 资讯
8月7日
12:34
8月5日
02:08
7月7日
11:47
11:47官方一手arXiv: DeepSeek@Andrew Zhang, Chengzhan Li
ASV是一个状态转换测量框架，为每个观察到的动作评分，基于状态锚定评估器在固定候选结果上的分布变化。在100个开放问答任务中，使用实时PubMed检索和部分实时的DeepSeek执行器与log-probability评分，评估了1100步和2200个状态。在固定布局理由条件下，平均金标准边际增益为-2.335（轨迹自举95% CI [-3.395, -1.272]），熵值变化为0.000，平均贝叶斯惊喜为2.693。ASV能够定位最终答案分数或纯熵步指标遗漏的建设性和破坏性信念转变。
论文ASV智能体评估状态转换
推荐理由：这篇论文提出了ASV框架，能比传统方法更细粒度地诊断智能体每一步的好坏，特别适合做Agent评估的朋友。
原文
00:12
7月2日
10:24
6月30日
12:19
6月23日
11:03
11:03官方账号arXiv cs.AI@Yikun Fu, Bowen Fu, Zhenyu Wu, Shuang Cheng, Xiaowei Sun, Bowen Yang, Zehao Li, Yibo Zhao, Zichen Ding, Zhoumianze Liu, Shijie Wang, Biqing Qi, Bowen Zhou
MacAgentBench新基准包含676个任务覆盖25个macOS应用，近60%任务需要同时操作GUI和命令行。采用确定性规则评估并引入细粒度多检查点评分。实验在3个框架和16个模型上进行，最优配置Claude Opus 4.6 on OpenClaw达到73.7% Pass@1，优势主要来自技能库而非框架设计。细粒度指标显示相同Pass@1的模型在子目标完成上差异显著。
论文MacAgentBenchOpenClawClaude Opus 4.6
事件专题
推荐理由：这篇论文发布了MacAgentBench，一个包含676个macOS桌面任务的智能体基准。它用细粒度评分发现Claude Opus 4.6配合OpenClaw能拿到73.7%的正确率，而且不同模型表面分一样但实际完成能力差很多，值得研究智能体的去看。
原文
6月18日
06:26
04:01
04:01lmarena.ai@lmarena_ai
Agent Arena 发布了一篇博客介绍其因果追踪方法论，该方法用于分析智能体在竞技场中的行为归因。博客详细解释了如何通过干预模型内部表示来定位影响输出的关键组件。该技术可帮助研究者理解Agent在复杂任务中的决策路径。
论文Agent Arena因果追踪智能体评估
推荐理由：想搞懂Agent决策是怎么归因的？Agent Arena这篇博客把因果追踪的方法讲得很清楚，适合做智能体评估的研究者。
原文
6月12日
10:20
10:20官方账号arXiv cs.AI@Xiaoyuan Liu, Jianhong Tu, Yuqi Chen, Siyuan Xie, Sihan Ren, Tianneng Shi, Gal Gantar, Evan Sandoval, Donghyun Lee, Daniel Miao, Peter J. Gilbert, Nick Hynes, Mauro Staver, Warren He, David Marn, Andrew Low, Xi Zhang, Elron Bandel, Michal Shmueli-Scheuer, Siva Reddy, Alexandre Drouin, Alexandre Lacoste, Ramayya Krishnan, Elham Tabassi, Yu Su, Victor Barres, Chenguang Wang, Wenbo Guo, Dawn Song
AgentBeats 提出了一种全新的智能体评估框架 AAA（Agentified Agent Assessment），由智能体担任裁判，通过 A2A 和 MCP 标准化协议与待测智能体交互，取代传统依赖 LLM 的固定测试框架。该方法统一了评估接口，解决了现有基准测试集成成本高、测试与生产环境不匹配、跨设计公平比较难的问题。研究通过五个月开放竞赛（298 个裁判智能体、467 个参赛智能体）和编程智能体案例验证，证明 AAA 在覆盖度、实用性和保真度上均表现优异。AgentBeats 为智能体评估提供了开放、标准化、可复现的路径。
论文智能体评估A2A/MCP协议标准化框架
推荐理由：做智能体评测或基准测试的团队终于有了一个通用框架——AgentBeats 用智能体评估智能体，解决了传统测试碎片化、难复现的痛点，建议做 Agent 平台或竞赛的开发者点开看看。
原文
6月9日
13:10
13:10官方账号arXiv cs.AI@Mingxian Lin, Shengju Qian, Yuqi Liu, Yi-Hua Huang, Yiyu Wang, Wei Huang, Yitang Li, Fan Zhang, Zeyu Hu, Lingting Zhu, Xin Wang, Xiaojuan Qi
72°
OmniGameArena 是一个基于 Unreal Engine 5 构建的实时游戏基准测试，包含 12 个新游戏，覆盖单人、PvP 和合作模式，并统一了动作接口。它解决了现有基准测试只报告单次尝试分数、缺乏统一协议评估不同 VLM 智能体的问题。该基准引入了改进动态曲线（IDC），通过反射机制让智能体在多轮迭代中自主优化技能提示，从而揭示智能体的学习能力和泛化表现。研究对 12 个 VLM 智能体进行了冷启动排行榜测试，并对 4 个顶级智能体应用了 IDC 分析。这项工作为评估和比较 VLM 游戏智能体的真实能力提供了更全面的框架。
论文VLM智能体游戏基准Unreal Engine 5
推荐理由：做游戏 AI 或 VLM 智能体评估的团队，终于有了一个能同时看冷启动能力和学习改进曲线的统一基准，比单次分数更有参考价值，做智能体训练的值得点开。
原文
6月5日
08:25
08:25cat@_catwu
Anthropic 正在招聘一位专注于模型性能的产品经理，负责 Claude Code 产品线。该职位要求候选人具备编写智能体评估（agentic evals）的经验，并能将研究想法整合到核心产品中。这表明 Anthropic 正加速将前沿研究转化为实际产品，尤其关注智能体（Agent）场景下的模型表现。对于关注 AI 产品化和智能体落地的从业者，这是一个值得关注的信号。
行业Claude Code产品经理智能体评估
事件专题
推荐理由：Anthropic 首次公开为 Claude Code 招聘模型性能方向的 PM，说明智能体评估正从研究走向产品化。做 AI 产品经理或智能体开发的团队，可以从中看到行业对 agentic evals 的重视程度，值得关注。
原文
6月1日
22:42
22:42rohanpaul_ai@rohanpaul_ai
精选72°
一篇新论文指出，AI Agent 系统的扩展不应仅依赖增加计算量，而应关注有效反馈的利用。作者提出“有效反馈计算”（EFC）指标，只计算那些能教会智能体有用信息并改变后续决策的反馈。实验表明，任务归一化的 EFC 比原始计算量更能预测任务失败，在预算相同的情况下，更好的反馈将成功率从 0.27 提升至 0.90。该研究强调 Agent 系统本质上是“反馈机器”，而非简单的模型封装。
论文Agent 系统有效反馈计算扩展定律
推荐理由：做 Agent 系统或智能体框架的开发者，别再只盯着 token 和调用次数了——这篇论文给出了一个更聪明的衡量标准，直接帮你判断系统是否真的在“学习”。建议点开看看 EFC 怎么算，能省不少试错成本。
原文
5月12日
19:11
19:11官方账号arXiv cs.AI@Pedro Conde, Henrique Branquinho, Valerio Mazzone, Bruno Mendes, André Baptista, Nuno Moniz
现有AI渗透测试智能体评估多基于简化场景和预定义任务（如夺旗、远程代码执行），难以反映真实渗透测试的复杂性和开放性。本文提出新评估协议，从任务完成转向已验证漏洞发现，结合结构化真实数据与LLM语义匹配、二分图消歧等方法，支持多攻击面、多漏洞类别的复杂目标评估。该协议还包含效率指标、随机智能体重复评估及可持续实验缩减套件，旨在提供更贴近实战的智能体性能比较。为保障可复现性，已开源专家标注数据和代码。
论文AI安全渗透测试智能体评估
推荐理由：该协议填补了AI渗透测试智能体从受限benchmark到真实场景评估的空白，为红队工具选型和研发提供更可靠的参考标准。
原文