Co-evolving the harness and the model appears to unlock gains that optimizing either alone cannot reach, suggesting the harness itself is a first-class lever in RL training. Teams training coding agents can copy the loop to squeeze more performance from mid-size open models like Qwen3.5-35B-A3B. The distillation trick of using Opus 4.8 as the harness proposer also offers a cheaper route to borrow frontier-model judgment.
#coding benchmarks
作者把 DeepSeek V4.1 Flash 1017 从价格到编程基准都跑了一遍,还做了同题写作对比,想换模型前可以先看看这篇再决定。
ERPO improves code generation reliability without labeled test data, making it valuable for developers in resource-constrained environments.
ProximalHQ 推出了超长编码基准 v2,Claude Fable 5.1 在测试中大幅领先其他模型。
Proximal发布了新版编程基准FrontierSWE v2,Claude Fable 5.1在测试中表现最佳。
中国开源模型Kimi K3编码能力比Claude和GPT还强,价格却便宜好几倍,做长上下文编程选它准没错。
Grok 4.5每百万token才2美元,编码虽不如Fable 5但便宜到可以忽略差距,性价比碾压。
DeepSeek 拿 Pro Max 模式在 LiveCodeBench 等三大编码基准上直接碾压 GPT-5.4 和 Claude Opus 4.6,分数拉满,但还没开放下载,先来围观一下。
Mythos 的 FrontierCode 基准揭示了当前顶级模型在长任务上的扩展瓶颈,做 AI 编程评估或开发长流程自动化的团队值得关注,可以直接在 Devin 中体验。
做 AI 编程评估或关注模型实际能力的开发者,这个新基准直接戳中了当前模型的软肋——代码能跑但不可维护,值得看看你的模型能拿几分。
Anthropic 估值逼近万亿,Claude Opus 4.8 同日发布,关注前沿模型进展的开发者值得一看。KogAI 的推理速度数据对做推理优化的团队有参考价值。