SkillBuffBench:用统一基准衡量 Agent Skills 在不同框架与模型下的真实增益
SkillBuffBench 是一个新基准与配套评估协议,专门衡量 Agent Skills(可按需加载的过程性知识文件包)对编程智能体的实际贡献。它把 Skill 访问设为三级因子(无 Skill、精选 Skill、从已安装库自动调用),再与记忆开关、4 个 agent harness、多个模型交叉组合,覆盖 Anthropic、Google、OpenAI 的旗舰闭源模型和中文厂商的开源权重模型,每个模型在每款 harness 下都运行一遍。 评测任务由材料科学与生物学领域的专家贡献,连同他们实际使用的 Skills 一起纳入,任务套件会滚动扩充。每次运行由确定性验证器打分,不确定性用配对的任务级 bootstrap 报告,成本、agent 轮数和挂钟时间也单独列出而不折算进分数。 设计动机来自现实与既有评测的落差:过去证据几乎都来自“为任务手工挑选正确 Skill、智能体从零开始”的场景,而部署中智能体要从已安装库里自行选择,还常带着早期工作的记忆。本版本论文描述基准设计、评估协议与现有任务和 Skills,评估正在进行中,结果完成后将陆续补充。
Current read
现在每个 agent harness 都在推 Skills,但增益数据大多来自“人工挑好 Skill”的理想场景。这个基准把 Skill 访问、记忆、harness、模型四个变量拆开交叉测,还把成本和时间单独报出来。做 agent 开发、想判断要不要给自家工作流上 Skills 的人值得跑一遍看看协议设计。
Evidence
11 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.