NVIDIA Nemotron 3.5 Super 用专家构建任务做 RL 后训练的实验报告
NVIDIA 在 arXiv 发布报告,对 Nemotron 3.5 Super(120B 总参数、12B 激活参数)进行强化学习后训练。实验使用五套专家构建的任务数据集,逐个训练:真实软件工程、复杂约束、长程工具调用、专业图表理解和企业文档推理。每次训练基于 Tinker 平台,用 CISPO 算法训练 rank-32 LoRA 适配器,全程无监督微调阶段,并与基座模型在相同任务、同一评测框架下对比。 在十二个基准上(八个由第三方构建、四个由 Surge AI 构建),提升幅度从 IFBench 的 +4.5 分到 GDP_pdf 的 +13.8 分不等,其中 GDP_pdf 从 10.4% 升至 24.2%。其他关键结果包括:SWE-bench Pro V2 从 86.9% 升至 92.1%,Terminal-Bench 2.1 从 63.9% 升至 70.3%,MultiChallenge 从 58.3% 升至 66.6%,AutomationBench 从 14.8% 升至 27.5%,Chartography 从 39.4% 升至 50.6%。值得注意的是,文档适配器虽未使用 API 工具训练,但在 AutomationBench 上仍获得 +8.0 分。 报告还做了逐条对照分析:基座模型的失败集中在少数几种模式,而各适配器补上了对应短板——工具调用适配器先找数据和规则再行动,编程适配器在 SWE-bench Pro V2 上自行编写测试或草稿文件,约束适配器会把前几轮对话内容带入回答,图表适配器用代码测量图形标记,文档适配器则真正读取 AutomationBench 的电子表格。
Current read
NVIDIA 把五个领域分开各训一个 LoRA 适配器,十二个基准最高涨 13.8 分,SWE-bench Pro V2 涨到 92.1%。做法是纯 RL 不带监督阶段,还附了失败模式逐条分析,做后训练的工程师能直接抄作业。
Evidence
10 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.