Event ·Multi-source

28849 次测试比较 9 款 coding-agent harness:同模型成绩差异巨大

Joël Niklaus 发布 Harness Leaderboard,共运行 28849 次测试、花费 4746 美元推理成本。测试在 Terminal-Bench 2.1 和 DeepSWE 上对比 9 款 harness,模型固定为 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Flint,每任务跑 3 次。平均三款模型,mini-swe-agent 以 51.4% 解题率居首,Pi 以 49.4% 达每任务 0.29 美元,比 mini-swe-agent 便宜约 45%。@opencode 每解一题花费 3.35 美元,是 Pi 的 11.7 倍。最佳 harness 依模型而异:GLM-5.3-Flash 配 mini-swe-agent,DeepSeek-V4.1-Flash 配 Hermes Agent,Flint 配 Kimi Code。

Current read

有人烧了近 5 千美元推理费,测了 9 款 coding-agent harness 谁更强。结果很反直觉:最贵的不一定最好,Pi 每题只要 0.29 美元。选 harness 前先看这张榜单。

6 sources52° AI heatLast updated 2026/11/7 00:28:13

Evidence

6 sources
Related source 2Gorden Sun
View source
Related source 3rohanpaul_ai
View source
Related source 5Artificial Analysis
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

Harness Leaderboard ranks nine coding-agent harnesses on open models · 事件专题 | AITOP