#奖励模型

一篇讲个性化奖励建模的论文，指出了 ICL 方法学不到偏好关系的坑，提出的 P-TTT 一次前向就能更新用户权重，做 RLHF 的可以看看。

做 RL 后训练的朋友可以看看这篇：换了奖励函数不用重跑训练，用现有模型就能近似出新策略，论文还给了理论证明。

这帮人拿 10 万篇 CS 论文的引用量当奖励，训练 LLM 生成更可能被高引用的科研点子，还专门设计了防作弊的评估办法，思路挺有意思。

SAFT用结构先验替代人工标注，给VLM奖励模型降噪，训练收敛更快，EPIC距离也更好了。

OS 团队开源了 OSReward 基准和 9B/35B 奖励模型，专测 AI 判断电脑操作任务是否成功，成本比商业方案低 30-60%。

Arena.ai 搞了个新评估 AutoEval，用千万用户偏好打分，几小时出结果，比人工快多了，排行榜直接看分数。

lmarena.ai@lmarena_ai2 个信源在谈原文

Arena.ai 出了 AutoEval，用真实用户偏好训练奖励模型，几个小时就能评测新模型，比人工快几十倍，结果还跟人工差不多。

向阳乔木@vista82 个信源在谈原文

这篇论文发现数据流形本身就是好奖励，提出Shell-LCC，不花啥钱就能让AI生成的视频更清晰、少模糊，比加奖励模型省事多了。

这篇论文说，RL后训练时顺便就能得到一个免费的好信号，不用再费劲训练奖励模型，在好几个测试里都比专门训练的效果还好。做智能体训练的一定得看看。

这篇论文教你直接用文生图模型的内部表征来当奖励模型，效果比HPSv3好，还能加速推理，适合想搞图像生成优化的朋友

如果你在搞音乐生成，想用人类偏好来对齐模型，这个开源的奖励模型 TuneJury 可以让你直接拿来用，还附带了三种应用示例，比重新训一个省事多了。

做奖励模型或 LLM 评估的团队终于有了一个轻量级替代方案——不用每次生成评分标准，而是合成可复用的评估技能，效果还比传统方法好很多，值得在 RewardBench 上跑一下自己的模型。

该基准填补了形式化定理证明中奖励模型评估工具的空白，揭示专用定理证明模型在评估任务上的不足，为改进RL训练信号提供了明确方向。