事件专题 · 官方一手

限制编码代理执行代码工具何时有帮助?跨制度和代理设计的消融研究

该论文通过三臂消融实验(基线、仅bash、仅代码)在合成计算任务和SWE-bench Mini上,使用Claude Code和OpenAI Codex CLI两个代理,比较了限制为单一execute_code MCP工具的效果。在四个(任务制度, 代理设计)组合中,有三个组合(Artifact/Claude、SWE-bench/Codex、Artifact/Codex)显示限制工具显著更便宜或统计持平,且通过率无显著差异。唯一的例外是SWE-bench/Claude组合,仅代码方向性成本高14.4%但不显著,该差距源于失败轨迹的代价而非成功编辑的税收。结论是工具表面的最廉价选择由任务制度和代理设计共同决定,成本信号主要来自缓存调整成本而非通过率。

当前结论

这篇论文用Claude Code和OpenAI Codex CLI做对比实验发现,多数情况下只让AI用代码执行工具反而更便宜,还不影响成功率。只有Claude在SWE-bench上略贵一点点。想省API成本可以看看。

11 个信源43° AI 热度最后更新 2026/7/12 04:52:08

证据链

相关来源 2AI 热点 · 原创
查看原文
相关来源 6Simon Willison’s Weblog
查看原文
相关来源 7歸藏(guizang.ai)
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。

查看资讯详情