Primary sourcerohanpaul_ai
View sourceEvent ·Multi-source
Deepnote 发布 Agent Initiative Benchmark:测试智能体何时该在 Slack 里开口
Deepnote 推出 Agent Initiative Benchmark,把主动型智能体放进一个模拟公司的 Slack 环境,评测它们是否知道何时介入、说什么、何时保持沉默。测试流程为:Slack 中开启一个线程,智能体先决定是否行动,再从 11 个服务中选择需要核查的对象进行调查,最后决定发帖并 @ 相关的人,或选择不发声;两次运行由 LLM 评审员对照参考答案打 0 到 10 分。成绩方面,GPT-6 Astra 以 8.97/10 排名第一,GPT-6.1 Sol 以 8.65 分紧随其后,每任务成本仅 $0.11;第三名 Claude Fable 5.2 每任务成本高达 $1.87,性价比差距明显。这个基准把'判断该不该出手'本身当作评测对象,补上了此前多数智能体评测只看任务完成度、不看介入时机的空白。
Current read
Deepnote 做了个新基准,专门测智能体在 Slack 里会不会挑时机说话。最有趣的是成本差:GPT-6.1 Sol 一单 $0.11,Claude Fable 5.2 要 $1.87。在做客服或内部协作机器人的团队可以照着这个评测框架来筛模型。
11 sources61° AI heatLast updated 2026/11/13 15:24:29
Evidence
11 sourcesRelated source 1lmarena.ai
View sourceRelated source 2Harrison Chase
View sourceRelated source 3TestingCatalog
View sourceRelated source 4Dylan Patel (SemiAnalysis)
View sourceRelated source 5Aravind Srinivas
View sourceRelated source 6Artificial Analysis
View sourceRelated source 7Geek
View sourceRelated source 8宝玉
View sourceRelated source 9Ate-a-Pi
View sourceRelated source 10shao__meng
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.