#后训练

Saravia 和 Weisser 都在聊一个趋势：RL 后训练吃掉越来越多算力。做垂直场景的朋友可以看看，专用模型加数据飞轮可能比追大模型更实际。

elvis@omarsar0原文

arXiv 上这篇挺有意思：想知道 RL 训练后哪些题能解出来，用别的模型训过的 checkpoint 预测，比一堆先验指标都准。

这篇论文提出了一种新采样方法，让SFT微调效果出奇地好，在多个任务上超过了传统RL方法。

做 RL 后训练的朋友可以看看这篇：换了奖励函数不用重跑训练，用现有模型就能近似出新策略，论文还给了理论证明。

Perplexity 分享了怎么让 Computer 模型从自己的错误里学习，A/B 测试里工具调用失败率降了 21.2%，做法挺值得看看的。

Suhail@Suhail原文

Perplexity 公开了他们训练 Computer 智能体的后训练细节，用 RFT 加自蒸馏纠正错误工具调用，实测失败率降了 21%，做 agent 的话值得看看他们怎么用真实用户会话。

Aravind Srinivas@AravSrinivas原文

英伟达新出的Nemotron后训练技术，能快速让大模型适应新任务，比传统微调更快更省资源。

官方账号NVIDIA AI@NVIDIAAI原文

工业LLM维护团队必读，教你如何在有限资源下提升模型性能，数据工程比一次性配方更重要。

了解国产模型如何通过扎实预训练和后训练达到高水平，以及蒸馏在数据收集中的作用。

向阳乔木@vista8原文

OpenAI做了关于大模型后训练的研究，能分析训练策略问题，和以前方法比效果不一样。

搞 VLM 后训练的人可以看看：Rollplex 把前缀计算塞进解码窗口，32 张 H800 上最高提速 2.24 倍。

做硬件验证的可以看看，CHORUS用4B小模型在CVDP-ECov上干翻了671B的DeepSeek-R1，靠的是把多个专家模型合并起来，思路挺巧。