主要来源rohanpaul_ai
查看原文事件专题 ·多源确认
Nvidia 论文：用首个通过测试的编辑给基座模型排序，相关性达 0.964
Nvidia 的论文指出，agent 基准测试给基座模型的分数接近零，简单编码测试也难以预测后续 agent 能力。他们提出的方法是回放一个强 agent 的成功运行，在每次编辑后重跑测试，找到首个让测试通过的编辑，然后检验基座模型是否会写出该编辑。10 个基座模型按此方法的排序与其 post-training 后的 SWE-bench Verified 分数排名一致，相关性达 0.964。该方法只需一个基准的成功 agent 运行记录和测试集，可在昂贵的 post-training 之前用来挑选基座模型。
当前结论
Nvidia 发的这篇论文教你在花大钱 post-train 之前，用一个便宜方法挑出最适合做 agent 的基座模型，和 SWE-bench 排名对得上 0.964。
4 个信源58° AI 热度最后更新 2026/10/12 15:39:55
证据链
4 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。