#智能体评测

共 7 条 · 7 天 1 条 · 30 天 3 条

Claude Code 1 Codex 1 Era 1 GPT-6 Astra 1 llama.cpp 1 MCP/工具 1 Ollama 1 Timeline-Bench 1

信息流里打上「智能体评测」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月6日

产品 Agent 与开发者多源确认精选01:00

Eon 推出 Era：生成模拟企业环境，用于测试智能体

做智能体评测的可以看看：Eon 的 Era 免费生成一个假公司，Salesforce、Slack、Jira 全都模拟，改完提示词还能重跑对比。

#Era #MCP/工具 #智能体 #智能体评测

事件专题

elvis@omarsar011 个信源在谈原文

9月29日

论文 Agent 与开发者多源确认14:57

Timeline-Bench：56 个真实视频剪辑任务，最强智能体只完成 26.8%

让 AI 智能体真正剪片子，结果最强的 GPT-6 Astra 也只完成了不到三成，论文还开源了全部任务，可以自己上手测。

#Timeline-Bench #GPT-6 Astra #Codex #Claude Code

事件专题

arXiv cs.AI@Gunin Gupta 等 3 人11 个信源在谈原文

9月23日

论文 Agent 与开发者多源确认10:22

研究显示本地部署栈会影响工具调用评测结果

这篇论文很实用：同一个模型在 Ollama 和 vLLM 上跑工具调用评测，结果可能差几十个百分点，做本地评测前建议先看它的检查清单。

#Ollama #vLLM #llama.cpp #工具调用

事件专题

arXiv cs.AI@Lijuan Tang, Yuemeng Zheng3 个信源在谈原文

7月8日

论文中美对照精选17:17

阿里斩获国际AI顶会最佳资源论文奖，提出Agent评测新范式

阿里拿奖的这篇论文，搞了个叫BenchAgent的新评测框架，专门测Agent行不行，覆盖真实场景多，你搞Agent开发可以看看。

#阿里 #ACL #BenchAgent #智能体评测

量子位@量子位的朋友们原文

6月12日

模型中美对照多源确认精选73°04:05

GPT-5.5 (xHigh) 在 Agent Arena 排名第二，仅次于 Claude Fable 5

做智能体开发和 AI 评测的团队值得关注——GPT-5.5 在用户满意度和故障恢复上反超 Claude，说明 OpenAI 在实用场景上有了实质提升，建议直接去 Agent Arena 跑跑自己的任务。

#GPT-5.5 #Agent Arena #智能体评测 #Claude Fable 5

事件专题

lmarena.ai@lmarena_ai11 个信源在谈原文

6月11日

模型中美对照多源确认83°05:37

Claude Fable 5 登顶 Agent Arena 排行榜

做 AI 智能体开发的团队终于有了真实任务驱动的评测基准——Fable 5 在 30 万任务中碾压对手，值得关注其强执行与弱引导的权衡。

#Claude Fable 5 #Agent Arena #智能体评测 #Anthropic

事件专题

lmarena.ai@lmarena_ai11 个信源在谈原文

6月6日

产品03:21

Mistral 3.5 加入 Arena Agent Mode，可执行复杂真实任务

Arena 的 Agent Mode 让开发者能直接对比主流模型在真实复杂任务上的表现，做智能体应用选型的团队值得亲自上手测试，结果会直接影响排行榜。

#Mistral 3.5 #Arena #Agent Mode #智能体评测

lmarena.ai@lmarena_ai原文