8月18日
10:16
10:16官方账号arXiv cs.LG@Siddarth Venkatraman, Matthieu Dinot, Laurence Aitchison
论文提出两种互补策略改进价值函数强化学习:特权价值函数(PVF)在不偏置策略目标的前提下注入额外token级信号;TETHER则根据价值函数准确性自适应地在组相对基线和价值基线之间插值。在多个推理任务上,这两种策略均稳定优于标准价值函数基线,并与平均基线GRPO相比具有竞争力或更优。
推荐理由:这论文提了两个新招PVF和TETHER,给LLM强化学习用的,比标准价值函数强,和GRPO差不多甚至更好,搞RL的可以看看。