精选理由
做 LLM 智能体系统或工具链的开发者会发现，技能生成才是当前瓶颈——这个基准直接暴露了从仓库和文档生成可执行技能的难点，值得用来检验自己的管线。
SkillGenBench 是一个专门评估 LLM 智能体技能生成能力的基准测试。现有基准主要测试智能体使用已有技能或解决下游任务的能力，但忽略了技能生成本身。该基准覆盖两种生成模式：任务条件生成（根据任务生成特定技能）和任务无关生成（预先提炼可复用的技能库），并包含两种来源：代码仓库和长文档。实验显示不同方法性能差异大，可复用技能蒸馏尤为困难，且从仓库和文档生成技能时失败模式不同。SkillGenBench 为研究智能体系统中的技能生成提供了可复现的测试平台。
AI 翻译 · 中文
SkillGenBench 是一个专门评估 LLM 智能体技能生成能力的基准测试。现有基准主要测试智能体使用已有技能或解决下游任务的能力，但忽略了技能生成本身。该基准覆盖两种生成模式：任务条件生成（根据任务生成特定技能）和任务无关生成（预先提炼可复用的技能库），并包含两种来源：代码仓库和长文档。实验显示不同方法性能差异大，可复用技能蒸馏尤为困难，且从仓库和文档生成技能时失败模式不同。SkillGenBench 为研究智能体系统中的技能生成提供了可复现的测试平台。
As LLM agents are increasingly built around reusable skills, a central challenge is no longer only whether agents can use provided skills, but whether they can generate correct, reusable, and executable skills from repos…