Event ·Multi-source

Palisade Research:衡量 agent 进步该看真实工作而非跑分

Palisade Research 的 Jeff Ladish 认为,与其看 40 个 AI benchmark,不如看 agent 能否自主完成真实经济价值的工作。他提到自己的 agent 使用频率在 Fable 模型出现前后发生明显变化,从偶尔用变成每天用。他回忆早期 METR 让软件工程师评估 AI 完成长时程任务的方式,并主张回到用真实工作当基准的思路。

Current read

Palisade 的 Jeff Ladish 说他自从 Fable 出来后每天用 agent 干活,还追问 Anthropic 工程师到底怎么用,观点挺实在的。

11 sources24° AI heatLast updated 2026/11/6 04:17:15

Evidence

11 sources
Related source 1Gorden Sun
View source
Related source 3lmarena.ai
View source
Related source 4Greg Brockman
View source
Related source 6shao__meng
View source
Related source 7kimmonismus
View source
Related source 10Gary Marcus
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

Palisade Research:衡量 agent 进步该看真实工作而非跑分 · 事件专题 | AITOP