精选理由
做AI研究助手或智能体评估的团队,这篇论文揭示了当前DRA在多轮反馈下的真实瓶颈——单轮有效但多轮难持续,值得点开看具体实验设计和RGI方法。
现有深度研究智能体(DRA)基准仅评估单次输出,忽略了反馈改进能力。研究者设计了多轮评估框架,对比自我反思和过程级反馈两种场景。过程级反馈通过研究缺口推断(RGI)方法,分析评分标准满足模式来指导改进。实验发现:自我反思几乎无净改进;单轮过程级反馈可提升8-15分,但多轮改进效果不叠加,因为重写时可能丢失已满足标准。这表明即使有针对性指导,DRA的可靠多轮改进仍具挑战。代码和结果已开源。
AI 翻译 · 中文
现有深度研究智能体(DRA)基准仅评估单次输出,忽略了反馈改进能力。研究者设计了多轮评估框架,对比自我反思和过程级反馈两种场景。过程级反馈通过研究缺口推断(RGI)方法,分析评分标准满足模式来指导改进。实验发现:自我反思几乎无净改进;单轮过程级反馈可提升8-15分,但多轮改进效果不叠加,因为重写时可能丢失已满足标准。这表明即使有针对性指导,DRA的可靠多轮改进仍具挑战。代码和结果已开源。
Existing benchmarks for deep research agents (DRAs) assess only single-shot outputs, ignoring a key question: can DRAs improve their reports when guided by feedback? To investigate this, we conduct a multi-turn evaluatio…