AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
精选
AI 自动挑选的高价值内容
全部模型产品行业论文技巧
标签:技能生成×
5月19日
14:32
arXiv cs.AI@Yifan Zhou, Zhentao Zhang, Ziming Cheng, Shuo Zhang, Qizhen Lan, Zhangquan Chen, Zhi Yang, QianyuXu, Ronghao Chen, Huacan Wang, Sen Hu
精选58
SkillGenBench 是一个专门评估 LLM 智能体技能生成能力的基准测试。现有基准主要测试智能体使用已有技能或解决下游任务的能力,但忽略了技能生成本身。该基准覆盖两种生成模式:任务条件生成(根据任务生成特定技能)和任务无关生成(预先提炼可复用的技能库),并包含两种来源:代码仓库和长文档。实验显示不同方法性能差异大,可复用技能蒸馏尤为困难,且从仓库和文档生成技能时失败模式不同。SkillGenBench 为研究智能体系统中的技能生成提供了可复现的测试平台。
论文LLM智能体技能生成基准测试可复用技能代码仓库

推荐理由:做 LLM 智能体系统或工具链的开发者会发现,技能生成才是当前瓶颈——这个基准直接暴露了从仓库和文档生成可执行技能的难点,值得用来检验自己的管线。