Garry Tan open-sources g-harness-evals for agent harness comparison
Garry Tan 开源「g-harness-evals」：同一个前沿模型做同一批任务，只换掉 agent harness，也就是系统提示、工具和记忆这些外围设计，谁更准，谁更省钱？ https://...
The result suggests harness design barely moves accuracy — the model does — but heavily moves cost and latency, so choosing a harness is mostly an efficiency decision. Practitioners building agent workflows can use the repo's Slack-based simulation and state-based scoring to replicate the setup on their own tasks. The author cautions the numbers come from a dev set approaching saturation, with some OpenClaw runs incomplete.
Garry Tan released the open-source g-harness-evals benchmark, which fixes the model and varies only the agent harness — system prompts, tools and memory — to measure accuracy, cost and speed. Tasks simulate a fictional company called Pemberline, with a mocked Slack where the agent handles permissions, approvals and corrections raised in later messages; scoring checks final system state and event logs rather than the agent's self-report. The v0.3 public dev set has 20 tasks run on Opus 5.5 (comparing Claude Code, Hermes, OpenClaw and QM) and GPT-6.1 Sol (comparing Codex, Hermes and OpenClaw). Pass rates cluster between 71% and 79% across harnesses, but cost and speed diverge: OpenClaw costs about US$0.44 per solved task on Opus versus US$0.19–0.24 for the others, while Codex on Sol achieves about US$0.17 and 30 seconds per task.
Garry Tan 开源「g-harness-evals」：同一个前沿模型做同一批任务，只换掉 agent harness，也就是系统提示、工具和记忆这些外围设计，谁更准，谁更省钱？ https://...
Garry Tan 开源「g-harness-evals」：同一个前沿模型做同一批任务，只换掉 agent harness，也就是系统提示、工具和记忆这些外围设计，谁更准，谁更省钱？ github.com/garrytan/g-har… 测什么，怎么判分 任务不是编程题这种评测，是一家虚构公司 Pemberline 的多人办公场景。测试搭了一个模拟的 Slack，让 agent 担任团队机器人，处理权限、审批，以及别人在后续对话里提出的纠正。主榜用的是 v0.3 版本的 20 道公开开发集任务。 模型固定为 Opus 5.5 或 GPT-6.1 Sol，只换 harness。Opus 这边比较 Claude Code、Hermes、OpenClaw 和 QM，Sol 这边比较 Codex、Hermes 和 OpenClaw。Claude Code 和 Codex 各自绑定自家模型，所以两者之间不做同模型对比。 判分不看 agent 自己怎么说，而是检查任务结束后的系统状态和事件日志，确认答案是否正确、有没有泄密、有没有越权读取。费用按计量代理记录的标价计算，用总花费除以通过的题数，得出解出一题平均花多少钱，另外报告耗时中位数。 评测结果关键数字 准确率方面，Garry 认为各个 harness 的通过率区分不开，大约都在 71% 到 79% 之间，Hermes 配 Opus 的点估计是 78.8%。20 道题里有 14 道在所有组合下得分完全相同，8 到 14 个百分点以内的差距基本无法确认。Garry 也承认这套题已经接近饱和。 真正拉开差距的是成本和速度，这部分只是描述性数据，没有做统计检验。在 Opus 上，OpenClaw 解出一题约 0.44 美元，耗时中位数约 99 秒。其余几个 harness 约 0.19 到 0.24 美元，Claude Code 和 QM 大约 40 秒。在 Sol 上，Codex 约 0.17 美元、30 秒左右，又便宜又快。作者把 OpenClaw 偏贵归因于提示更长、缓存写入更多。 失败案例里，跨频道纠正这类任务所有 harness 都容易出错。Garry 也提醒，这是开发集而不是留出集的确认结果，OpenClaw 有部分组合没跑完，QM 的网络条件也没和其他组对齐。 💬 2 🔄 0 ❤️ 2 👀 267 📊 3 ⚡
