论文精选

模型生成智能体技能的全生命周期研究:从经验到技能消费

From Raw Experience to Skill Consumption: A Systematic Study of Model-Generated Agent Skills

精选理由

这篇论文为智能体技能复用提供了首个系统性评估框架,做智能体开发或研究的人可以从中了解技能提取与消费的匹配规律,避免负迁移陷阱,值得关注。

AI 摘要

这篇论文系统研究了语言智能体通过复用模型生成的技能(结构化程序化知识)来提升性能的全过程,涵盖经验生成、技能提取和技能消费三个阶段。研究发现,模型生成的技能平均有益,但存在显著的负迁移现象,且技能提取器和消费器的表现并不一致——一个模型可能是强提取器但弱消费者,反之亦然。技能效用与模型规模或基线任务强度无关。通过深入分析每个阶段,论文揭示了经验组成如何影响技能质量、有用技能的特征以及同一技能在不同消费者间的迁移效果。最后,作者提出了一种元技能方法,指导技能提取聚焦于实际效用相关的特征,一致提升了技能质量并大幅减少了负迁移。

AI 翻译 · 中文

这篇论文系统研究了语言智能体通过复用模型生成的技能(结构化程序化知识)来提升性能的全过程,涵盖经验生成、技能提取和技能消费三个阶段。研究发现,模型生成的技能平均有益,但存在显著的负迁移现象,且技能提取器和消费器的表现并不一致——一个模型可能是强提取器但弱消费者,反之亦然。技能效用与模型规模或基线任务强度无关。通过深入分析每个阶段,论文揭示了经验组成如何影响技能质量、有用技能的特征以及同一技能在不同消费者间的迁移效果。最后,作者提出了一种元技能方法,指导技能提取聚焦于实际效用相关的特征,一致提升了技能质量并大幅减少了负迁移。

arXiv cs.AILanguage agents increasingly improve by reusing \emph{skills} -- structured procedural artifacts distilled from past experience. In particular, \emph{domain-level} and \emph{model-generated} skills are especially promisi