ICL 加 GRPO 让 LLM Agent 测试时成功率升至 51.6%
论文系统比较了 LLM Agent 在测试时通过上下文(ICL)与权重更新(GRPO、SDPO)两条通道利用经验的差异。实验基于 Qwen3.5-9B,在来自 SWE-bench Verified、AppWorld、ScienceWorld、BIRD-Critic-SQLite 四个环境的 109 个任务上进行,共评估 14 种适应机制。 结果显示 ICL 是最大的独立增益来源:最佳策略把平均成功率从 28.8% 提升到 49.4%;在 ICL 基础上叠加 GRPO 后达到最高的 51.6% 平均成功率。轨迹分析表明 ICL 让 Agent 减少了环境查询、缩短了尝试步骤,说明它在复用任务间的共享结构,但也常跳过对当前任务的检查与验证。 叠加 GRPO 能修复这些被跳过的检查行为,同时保留 ICL 减少查询的优势,而 SDPO 的自蒸馏效果则好坏参半。论文由此主张将上下文管理与权重更新作为联合问题研究,对构建长期在代码仓库、数据库等环境中反复工作的 Agent 有直接参考价值。
Current read
如果你在做多轮 Agent 或经验复用类项目,这篇论文给出的 51.6% 数字很扎实。它把 ICL 和 GRPO 放在同一套协议里对比,结论清楚:上下文管大头,强化学习修细节。做 SWE-bench 或 SQL Agent 的开发者尤其该看看。
Evidence
2 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.