12:30
官方账号arXiv cs.LG@Chenglong Wang, Ziming Zhu, Yifu Huo, Bei Li, Qiaozhi He, Yan Ding, Xiaoyang Hao, Yuxin Gao, Tianhua Zhou, Xiaojia Chang, Tongran Liu, Jingbo Zhu
推荐理由：这篇论文提出 RRC，能把生成式奖励模型的排序结果转成强化学习能用的信号，在对话和推理任务上比现有方法更稳定地提升训练效果。
生成式奖励模型
共 1 条相关 AI 资讯
8月7日
12:30
生成式奖励模型在响应排序上表现出色，但其比较性输出与强化学习要求的标量奖励不匹配。为此论文提出 RRC（Ranking-based Reward Construction），通过相对偏好排序构造奖励信号。RRC 包含自竞争排序和锚定引导排序两种互补策略，分别利用采样响应间的比较和小规模参考响应实现可扩展构造。实验在开放对话和推理基准上验证，RRC 相比现有方法持续提升强化学习训练效果。