Together Compute 下了个对比，Kimi 和 GPT 在修 bug 上各有绝活，组合用比单干划算得多。
Together Compute 团队在 DeepSWE 基准上对比了 Kimi K3 max 和 GPT-5.6 Sol max。单次测试 pass@1 中 GPT 为 72.7%，Kimi 为 68.5%；但多次测试中 Kimi 反超，pass@4 达 89.4% 对 GPT 的 85.8%。成本方面 Kimi 约 $4.65/rollout，GPT 约 $8.37；每 $100 预算 Kimi 可解 14.7 题，GPT 仅 5.3 题。语言专长上 Kimi 在 Rust 更强（65-60），GPT 在 Python/TS/JS 更强。两模型任务级相关仅 0.46，组合覆盖率达 95.6%，推荐级联策略：先 Kimi 再 GPT，可达到 85.6% 解题率且成本更低。
Kimi K3 max vs. GPT-5.6 Sol max @togethercompute 团队 @zainhas 在 DeepSWE 软件工程基准上对比了 Kimi K3 max 和 GPT...
Kimi K3 max vs. GPT-5.6 Sol max @togethercompute 团队 @zainhas 在 DeepSWE 软件工程基准上对比了 Kimi K3 max 和 GPT-5.6 Sol max，结论很客观，并没有谁前面碾压谁，在真实软件工程中各有所长，搭配使用、路由 + 级联是更优的方案。 关键数据：单次稳，多次翻盘 pass @1 ：GPT 72.7%，Kimi 68.5% pass @2 ：GPT 81.0%，Kimi 82.0%（已反超） pass @4 ：GPT 85.8%，Kimi 89.4%（优势更大） 成本与速度：便宜 vs 快 · 单价：Kimi ≈ $4.65 / rollout，Sol ≈ $8.37 · 单位预算产出：每花 $100，Kimi 解约 14.7 题，Sol 约 5.3 题 · 时延：Sol 中位约 17 分钟，Kimi 约 66 分钟；Kimi 步数更多，Zain 认为是模型行为，推理侧优化后端到端延迟仍有改善空间 语言与领域专长 语言 · Kimi 更强：Rust（65–60） · Sol 更强：Python / TS / JS · Go：平手（79–79） 领域（8 类中 Sol 赢 5、Kimi 赢 3） · 倾向 Sol：序列化、并发、程序分析 · 倾向 Kimi：运维工具、运行时内部 · 合规/一致性：接近抛硬币（61–59） 为何适合组合：低相关 + 不同失败模式 · 任务级相关约 0.46——成功与失败路径明显不同 · 两模型并集覆盖 108 / 113（95.6%），作者称是该基准上最好的双模型组合 · 失败形态也不同： · Sol：约 20% 失败会弄坏仓库原有测试（与其他 GPT 系类似） · Kimi：基线测试破坏较少（约 11%），但约 65% 是“差一点”——新测试过 80%+ 却未全过 实操策略：先 Kimi，再升级到 Sol 推荐级联： 1. 先跑 Kimi 2. 验证器不过，再升级到 Sol 结果：85.6% 解题率，约 $7.30 / 任务——比单独用 Sol（约 72.3%、$8.37）覆盖高约 13 个百分点，成本还更低。 也可用领域分类器直接选型；线程评论里有人问路由器实现，Zain 的核心思路是「任务分类 / 验证器驱动升级」，而非复杂三模型编排。 Zain @zainhas Deepdive: Kimi K3 max vs. GPT 5.6 Sol max on software engineering/DeepSWE tasks. Both of these models provide nice specializations and routing/cascading between them is the right way to go! full deep-dive 👇(1/n)🧵 🔗 View Quoted Tweet 💬 2 🔄 0 ❤️ 1 👀 237 📊 2 ⚡