AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：深度研究代理×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月2日
11:08
11:08arXiv cs.AI@Jiaming Wang, Ziteng Feng, Jiangtao Wu, Ruihao Li, Qianqian Xie, Yuxiang Ren, He Zhu, Xueming Han, Fanyu Meng, Junlan Feng, Jiaheng Liu
精选72°
论文研究深度研究代理在长轨迹中的错误定位问题，指出仅靠最终答案评估无法揭示轨迹中的不可靠部分。作者收集了 2,790 条真实轨迹，通过 LLM 辅助专家标注构建了 TELBench 基准，包含 1,000 个实例用于识别错误跨度。提出 DRIFT 框架，以声明为中心审计代理轨迹，追踪声明并检查证据支持，在多个模型和审计框架上将跨度级错误定位和首次错误准确率提升最多 30 个百分点。该工作为深度研究代理的可靠性提供了过程级视角。
论文深度研究代理错误定位轨迹审计TELBenchDRIFT
推荐理由：做 AI 代理评估或可靠性研究的团队会感兴趣——DRIFT 框架直接解决了「只看结果不看过程」的盲区，建议点开看看方法细节。
原文
5月19日
12:55
12:55arXiv: OpenAI@Tanmay Asthana, Aman Saksena, Divyansh Sahu
精选76°
研究人员发布了针对深度研究代理（DRA）在管理咨询场景下的评测基准，包含42个专家撰写的任务，每个任务有平均13.8个确定性验证器和五维度0-3分专家评分。评测了Claude Opus 4.6、OpenAI o3-deep-research和Google Gemini 3.1 Pro，三者通过联合阈值（专家评分≥2.5且验证器通过率≥80%）的接受率均很低：Gemini 21.4%，o3和Claude仅9.5%。各模型失败模式不同：Claude输出最可靠但虚构最多，o3推理最清晰但遗漏章节和传播算术错误，Gemini表现两极分化。该基准通过嵌入认知陷阱来惩罚表面模式匹配，揭示了当前前沿DRA在专业分析任务上的严重不足。
论文评测基准深度研究代理管理咨询ClaudeOpenAI o3Gemini认知陷阱
推荐理由：管理咨询团队和依赖AI做深度分析的开发者会震惊——三个最先进的DRA在专家级任务中通过率不到22%，且各有致命短板。想避免被AI的自信输出误导，建议仔细看这篇评测的失败模式分析。
原文