论文精选

复合LLM智能体设计成本-性能研究:上下文、推理与层级

Context, Reasoning, and Hierarchy: A Cost-Performance Study of Compound LLM Agent Design in an Adversarial POMDP

精选理由

做LLM智能体系统设计的工程师和研究者会看到具体数据:什么设计真正有效、什么只是烧token。这篇论文给出了可操作的优先级——先做好状态抽象和任务分解,再考虑推理增强,值得点开对照自己的设计。

AI 摘要

该研究在CybORG CAGE-2(一个对抗性部分可观测环境)中系统评估了复合LLM智能体的设计维度:上下文表示、推理方式和任务分解。实验涵盖5个模型家族、6个模型和12种配置,共3475个回合,并进行了token级成本核算。主要发现包括:程序化状态抽象比原始观测提升最多76%的回报;将推理工具分布在层级中会导致性能下降(最多3.4倍),同时增加1.8-2.7倍token消耗,称为“推理级联”;无推理的层级分解在大多数模型上取得最佳绝对性能。研究建议在结构化对抗POMDP中优先投资程序化基础设施和清晰任务分解,而非加深每个智能体的推理。

AI 翻译 · 中文

该研究在CybORG CAGE-2(一个对抗性部分可观测环境)中系统评估了复合LLM智能体的设计维度:上下文表示、推理方式和任务分解。实验涵盖5个模型家族、6个模型和12种配置,共3475个回合,并进行了token级成本核算。主要发现包括:程序化状态抽象比原始观测提升最多76%的回报;将推理工具分布在层级中会导致性能下降(最多3.4倍),同时增加1.8-2.7倍token消耗,称为“推理级联”;无推理的层级分解在大多数模型上取得最佳绝对性能。研究建议在结构化对抗POMDP中优先投资程序化基础设施和清晰任务分解,而非加深每个智能体的推理。

arXiv cs.LGDeploying compound LLM agents in adversarial, partially observable sequential environments requires navigating several design dimensions: (1) what the agent sees, (2) how it reasons, and (3) how tasks are decomposed acro