Event ·Multi-source

Deepnote 发布 Agent Initiative Benchmark:测试智能体何时该在 Slack 里开口

Deepnote 推出 Agent Initiative Benchmark,把主动型智能体放进一个模拟公司的 Slack 环境,评测它们是否知道何时介入、说什么、何时保持沉默。测试流程为:Slack 中开启一个线程,智能体先决定是否行动,再从 11 个服务中选择需要核查的对象进行调查,最后决定发帖并 @ 相关的人,或选择不发声;两次运行由 LLM 评审员对照参考答案打 0 到 10 分。成绩方面,GPT-6 Astra 以 8.97/10 排名第一,GPT-6.1 Sol 以 8.65 分紧随其后,每任务成本仅 $0.11;第三名 Claude Fable 5.2 每任务成本高达 $1.87,性价比差距明显。这个基准把'判断该不该出手'本身当作评测对象,补上了此前多数智能体评测只看任务完成度、不看介入时机的空白。

Current read

Deepnote 做了个新基准,专门测智能体在 Slack 里会不会挑时机说话。最有趣的是成本差:GPT-6.1 Sol 一单 $0.11,Claude Fable 5.2 要 $1.87。在做客服或内部协作机器人的团队可以照着这个评测框架来筛模型。

11 sources61° AI heatLast updated 2026/11/13 15:24:29

Evidence

11 sources
Primary sourcerohanpaul_ai
View source
Related source 1lmarena.ai
View source
Related source 2Harrison Chase
View source
Related source 3TestingCatalog
View source
Related source 4Dylan Patel (SemiAnalysis)
View source
Related source 5Aravind Srinivas
View source
Related source 6Artificial Analysis
View source
Related source 10shao__meng
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.