RL后训练相关 AI 资讯 · AI 热点

7月31日

11:28

11:28

官方账号arXiv cs.LG@Tiangang Li, Xiangbo Tian

SFT虽能让LLM掌握HPC领域知识，但在数据竞争检测与基准问答上行为不精准，88.65%的分类正确率下仍有65.9%的MLPerf回答超40字符。HPC任务异构性显著，答案长度差异达58倍，覆盖三种奖励分布。HARGO通过置信度调制的优势加权，无需任务类型标签即可适配。在四个HPC任务和九种方法的对比中，HARGO在WinRate 54.62%、Data Race F1 91.30%和PLP Similarity 0.8558上均取得最佳。

AI模型 HARGO HPC RL后训练

推荐理由：HARGO给HPC任务的RL后训练提了个新思路，不用标签就能按难度加权，四个任务上全面超过GRPO。

6月25日

10:45

10:45

官方账号arXiv cs.LG@Changdae Oh, Wendi Li, Seongheon Park, Samuel Yeh, Tanwi Mallick, Sharon Li

本文提出进度优势（Progress Advantage），通过计算RL后训练策略与参考策略的对数概率比，隐式获得智能体步骤级评分，无需额外训练奖励模型。该方法在五个基准（包括MATH、HotpotQA等）和四个模型家族（Llama-2、Mistral等）上验证，在测试时扩展、不确定性量化、失败归因三项任务中均优于基于置信度的基线。尽管无需任务特定训练，它仍超越专用奖励模型。论文还分析了进度优势的特征，为实际智能体系统提供使用指导。

AI模型 Progress Advantage RL后训练智能体

推荐理由：这篇论文说，RL后训练时顺便就能得到一个免费的好信号，不用再费劲训练奖励模型，在好几个测试里都比专门训练的效果还好。做智能体训练的一定得看看。

6月5日

23:18

23:18

官方账号LangChain@LangChainAI

LangChain 指出，在强化学习后训练阶段，使用 LLM 作为评判（LLM-as-judge）系统将任务规则转化为奖励信号时，验证器成本可能显著放大。更便宜的奖励信号使得运行更多实验、审计更多 rollout 和更快迭代变得可行。这一发现对 AI 模型的后训练效率有重要影响，尤其适用于需要大量强化学习迭代的团队。

AI模型 RL后训练 LLM-as-judge 验证器成本

推荐理由：做 RL 后训练的团队注意了——验证器成本可能成为瓶颈，而 LLM-as-judge 的性价比直接决定迭代速度，建议点开看看怎么优化。