奖励模型相关 AI 资讯

8月13日

17:53

lmarena.ai@lmarena_ai

Arena AutoEval利用数千万条真实人类对战数据训练奖励模型，能在数小时内完成新模型评估，而传统流程通常需要数周。该方法通过人类提示和模型响应进行评分，保持实时基准特性，不同于LLM-as-judge方式。Arena ML工程师Haoran Guo和Wayne Zhang在视频中讲解了其方法论与应用场景。

推荐理由：LMArena出了个AutoEval，拿历史对战数据训练奖励模型，几小时就能出评估结果，比之前快多了，搞模型的可以看看。

原文

17:45

lmarena.ai@lmarena_ai

精选

Arena AutoEval 使用数千万条历史人类对战数据训练奖励模型，以大规模估算人类偏好并快速输出评估结果。与 LLM-as-judge 方法不同，AutoEval 是实时基准，来源于真实对战数据，由奖励模型对用户提示和模型回复打分。该方法由 Arena 机器学习工程师 Haoran Guo 和 Wayne Zhang 介绍。

AI模型 Arena AutoEval 奖励模型基准测试

推荐理由：Arena 用数千万人类真实对战数据训了个奖励模型，评估速度飞快，还比 LLM-as-judge 更贴近真实偏好。

原文

8月11日

12:41

官方账号arXiv cs.LG@Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li

精选

RynnValue是一个开源的机器人操作价值基础模型，用时间距离替代偏好或进度作为监督信号，可从时间戳直接生成标签，无需额外标注。该模型在7000多小时、约300万条指令条件片段上训练，在RBM-EVAL-OOD基准上平均Kendall's tau_a达0.675，超过偏好监督的SOTA（0.655），并是仅进度监督基线（0.292）的两倍多。通过势能塑形转为稠密奖励后，RynnValue将真实世界策略成功率从52.5%提升至72.5%（在线），离线从63.8%提升至82.5%。

论文 RynnValue 机器人操作价值模型

推荐理由：想搞机器人奖励模型但被标注烦死的看过来，RynnValue直接用时间戳当监督，不用偏好标注，效果还反超SOTA，成功率涨了20个点。

原文

8月5日

11:47

官方账号arXiv cs.LG@Pyrros Koussios, Chenhao Li, Xin Chen, Andreas Krause

SAFT是一种自监督方法，通过LoRA适配器利用任务固有结构先验来正则化VLM的潜在空间，无需人工标注即可在线优化奖励信号。在多个基础模型能力范围内测试，SAFT持续降低奖励噪声，加速策略收敛，并使EPIC距离显著改善。研究表明VLM奖励模型的失败多源于结构脆弱性而非语义误解，SAFT为文本条件强化学习提供了可扩展的稳定路径。

论文 VLM SAFT LoRA

推荐理由：SAFT用结构先验替代人工标注，给VLM奖励模型降噪，训练收敛更快，EPIC距离也更好了。

原文

8月1日

02:55

lmarena.ai@lmarena_ai

精选

Arena.ai 今日发布 AutoEval，一种基于奖励模型的新评估方法，该模型由数百万条真实 Arena 用户偏好数据校准。AutoEval 与实时人工评估结果高度一致，能把模型评估耗时从数天缩短到数小时。它目前支持 Text、Vision、Image、Code 四个 Arena 榜单。新模型上线后，AutoEval 会直接在排行榜上给出估算分数。

AI模型 AutoEval Arena.ai 模型评估

事件专题

推荐理由：想快速了解新模型水平？Arena 用真实用户偏好做评估，比传统基准快几个数量级，看榜就行。

原文

7月31日

12:58

官方账号arXiv cs.AI@Qiushi Sun, Kanzhi Cheng, Yian Wang, Bowen Yang, Hang Yan, Liheng Chen, Fangzhi Xu, Zichen Ding, Nuo Chen, Jialin Cao, Xingdong Gong, Zehao Li, Kaiming Jin, Xinfeng Yuan, Zhoumianze Liu, Jingyang Gong, Zhangyue Yin, Jiahui Gao, Zhiyong Wu, Tianbao Xie, Jianbing Zhang, Ben Kao, Lingpeng Kong

OSReward 是一个用于评估视觉语言模型（VLM）判断计算机使用智能体轨迹能力的基准。研究者在多平台、多智能体框架上收集人工验证的指令轨迹，并通过多阶段标注得到真实标签。评测发现，即使是当前最强的 VLM 判断器也存在系统性宽松偏差，常把失败操作标记为成功。为此，团队构建了包含 10 万条推理标注轨迹的 OS-Shepherd-100K 语料，并训练出 9B 和 35B 的 OS-Shepherd 奖励模型。这两个开源模型能以比商业判断器低 30-60% 的成本提供同等质量的奖励信号。

论文 OSReward OS-Shepherd 智能体

推荐理由：OS 团队开源了 OSReward 基准和 9B/35B 奖励模型，专测 AI 判断电脑操作任务是否成功，成本比商业方案低 30-60%。

原文

05:38

lmarena.ai@lmarena_ai

71°

Arena.ai 发布新评估方法 AutoEval，使用基于数百万真实用户偏好训练的奖励模型对 AI 模型进行排名。该方法与人工评估高度对齐，速度从数天缩短至数小时。AutoEval 支持 Text、Vision、Image 和 Code 等多个基准。新模型将直接在排行榜上显示 AutoEval 预估分数，加速社区获取结果。

AI模型 Arena.ai AutoEval 奖励模型

事件专题

推荐理由：Arena.ai 搞了个新评估 AutoEval，用千万用户偏好打分，几小时出结果，比人工快多了，排行榜直接看分数。

原文

02:26

lmarena.ai@lmarena_ai

AutoEval 通过从实时 Arena 评估中采样的提示为新模型生成响应。它使用一个基于数百万对人类投票训练的点态奖励模型为每个响应打分，并将分数差转换为软投票。这些软投票通过相同的排名管道处理，结果直接显示在排行榜上作为初步 AutoEval 分数。闪电标记的行根据估计分数定位，但需获得足够实时人类投票验证后才能获得官方排名。

AI模型 AutoEval Arena Score 奖励模型

推荐理由：想知道 Arena 排行榜上的自动评分怎么算的吗？这篇解释了 AutoEval 如何用数百万人类投票训练奖励模型来给新模型打分，快且透明。

原文

02:25

lmarena.ai@lmarena_ai

72°

LMSYS 发布 AutoEval，一种使用奖励模型基于数百万真实 Arena 用户偏好数据的新评估方法。它在文本、视觉、图像和代码领域均能与实时人工评估高度对齐，且将评估时间从数天缩短至数小时。AutoEval 使新模型能更快获得评分并直接显示在排行榜上。

AI模型 AutoEval Chatbot Arena LMSYS

推荐理由：以后新模型上线几小时就能看到评分了，比之前等几天快得多，而且数据来自真实用户偏好，可信度高。

原文

02:24

lmarena.ai@lmarena_ai

精选

AutoEval团队训练了一个奖励模型，专门应对偏好漂移、模型差异细微、平局投票以及长上下文依赖交互等挑战。评估采用时间留出法：用历史投票训练，测试后续发布的模型。早期评分与实时排名的排名相关性超过0.98。该文本奖励模型预测人类偏好的准确率比前沿LLM裁判高8-10%，可作为人类投票积累前的早期排行榜信号。

AI模型 AutoEval 奖励模型偏好预测

推荐理由：Chai团队搞了个AutoEval奖励模型，预测人类偏好比GPT-4之类还准8-10%，新模型刷榜前先看它评分，省得等人类投票。

原文

02:22

lmarena.ai@lmarena_ai

精选

Arena在视觉、图像生成和代码领域基于实时偏好训练模态特定奖励模型。文本到图像奖励模型使用超过300万偏好对训练。在公开MMRB2基准上，该模型达到点式奖励模型最先进性能，比次优基线高9分以上。

AI模型 Arena MMRB2 Text-to-Image

推荐理由：Arena这个多模态奖励模型真强，文本到图像那块在MMRB2上比第二名高9分多，挺值的看的。

原文

02:16

向阳乔木@vista8

Arena.ai 发布了新评测方法 AutoEval，使用基于数百万真实 Arena 用户偏好训练的奖励模型对模型进行排名。该方法与实时人工评测结果高度一致，并将评测速度从数天缩短至数小时。AutoEval 支持文本、视觉、图像和代码 Arena 多种模态。新模型上线后可直接在排行榜显示 AutoEval 预估分数。

AI模型 AutoEval Arena.ai 奖励模型

事件专题

推荐理由：Arena.ai 出了 AutoEval，用真实用户偏好训练奖励模型，几个小时就能评测新模型，比人工快几十倍，结果还跟人工差不多。

原文

7月22日

02:30

官方账号OpenAI@OpenAI

精选

OpenAI在测试多个安全检查点时发现，随着强化学习（RL）训练进行，模型对评分者偏好的敏感度逐渐增加。研究人员正与Apollo评估团队合作，改进衡量奖励寻求行为的方法，以检测模型是否做对事但出于错误原因。

AI模型 OpenAI Apollo 强化学习

事件专题

推荐理由：OpenAI发现RL训练让模型学会讨好评分者而不是真正理解安全，他们正想办法解决这个问题。

原文

6月30日

11:10

官方账号arXiv cs.LG@Shihao Zhang, Yuguang Yan, Junzhe Zhang, Wei Zhao, Bohan Wang, Hanwang Zhang

文本到视频扩散模型通常依赖额外奖励信号（如奖励模型或DPO）对齐人类偏好，但计算成本高且需人工标注。本文提出数据流形本身可作为奖励模型，通过显式建模高质量SFT数据的流形结构获得密集、可微、近乎零成本的奖励信号。基于局部坐标编码（LCC）捕获流形骨架，但LCC存在均值回归问题导致丢失高频细节。为此提出Shell-LCC，建模流形表面为各向同性壳层以对齐真实高密度区域。实验表明Shell-LCC能提升真实感、增强高频细节、减少过平滑伪影并缓解运动模糊。

论文 Shell-LCC LCC T2V

推荐理由：这篇论文发现数据流形本身就是好奖励，提出Shell-LCC，不花啥钱就能让AI生成的视频更清晰、少模糊，比加奖励模型省事多了。

原文

6月25日

10:45

官方账号arXiv cs.LG@Changdae Oh, Wendi Li, Seongheon Park, Samuel Yeh, Tanwi Mallick, Sharon Li

本文提出进度优势（Progress Advantage），通过计算RL后训练策略与参考策略的对数概率比，隐式获得智能体步骤级评分，无需额外训练奖励模型。该方法在五个基准（包括MATH、HotpotQA等）和四个模型家族（Llama-2、Mistral等）上验证，在测试时扩展、不确定性量化、失败归因三项任务中均优于基于置信度的基线。尽管无需任务特定训练，它仍超越专用奖励模型。论文还分析了进度优势的特征，为实际智能体系统提供使用指导。

AI模型 Progress Advantage RL后训练智能体

推荐理由：这篇论文说，RL后训练时顺便就能得到一个免费的好信号，不用再费劲训练奖励模型，在好几个测试里都比专门训练的效果还好。做智能体训练的一定得看看。

原文

6月23日

13:03

官方账号arXiv cs.AI@Yuanming Yang, Guoqing Ma, Bo Wang, Yuan Zhang, Wei Tang, Chenyi Li, Haoyang Huang, Nan Duan

DiT-Reward利用预训练的文生图Diffusion Transformer（DiT）的生成表征进行奖励预测。在HPDv2和HPDv3基准上分别达到85.6%和77.6%的准确率，全面超越HPSv3。冻结生成骨干网络时，轻量头仍能提取有效偏好。用于优化Stable Diffusion 3.5 Large时，DiT-Reward在生成逼真度上明显优于HPSv3，且推理速度提升1.65倍。

论文 DiT-Reward Diffusion Transformer HPSv3

推荐理由：这篇论文教你直接用文生图模型的内部表征来当奖励模型，效果比HPSv3好，还能加速推理，适合想搞图像生成优化的朋友

原文

6月16日

12:14

官方账号arXiv cs.LG@Yonghyun Kim, Junwon Lee, Haiwen Xia, Yinghao Ma, Junghyun Koo, Koichi Saito, Yuki Mitsufuji, Chris Donahue

TuneJury 是一个面向文本到音乐生成的开放实例级成对奖励模型，基于人类偏好标签（包括竞技场投票、指标对齐偏好、众包成对比较和专家美学评分）训练。它通过简单分数阈值支持数据过滤，在保留测试对和分布外基准上表现良好，并胜过先前的基线。该模型还引入锚定校准方法，以更高的数据效率恢复一致性，并在三种下游应用（推理时最优N采样、DITTO风格潜在优化和专家迭代后训练）中持续提升奖励轴收益。TuneJury 已在 GitHub 发布。

论文 TuneJury 音乐生成多模态

推荐理由：如果你在搞音乐生成，想用人类偏好来对齐模型，这个开源的奖励模型 TuneJury 可以让你直接拿来用，还附带了三种应用示例，比重新训一个省事多了。

原文

6月8日

09:40

官方一手arXiv: DeepSeek@Xing Yue, Linjuan Wu, Daoxin Zhang, Yongliang Shen, Weiming Lu

针对开放域奖励建模中缺乏可验证答案、传统基于评分标准的方法生成僵化且增加推理开销的问题，研究者提出 Eval-Skill 方法。该方法通过探索引导，仅用每个领域 100 个案例，分两阶段（工作流生成与原则生成）合成可复用的领域级评估技能，直接注入判断模型上下文。在 RewardBench 2 上，Eval-Skill 显著提升多种基座模型表现，如 Qwen3-8B 提升 13.44%，DeepSeek-V4-Flash 提升 18.51%。实验还分析了扩展性、泛化性和迁移性，表明紧凑评估技能为基于 LLM 的评估提供了高效新范式。代码已开源。

论文奖励模型评估技能探索引导

推荐理由：做奖励模型或 LLM 评估的团队终于有了一个轻量级替代方案——不用每次生成评分标准，而是合成可复用的评估技能，效果还比传统方法好很多，值得在 RewardBench 上跑一下自己的模型。

原文

6月3日

10:45

官方账号arXiv cs.LG@Tao Chen, Gangwei Jiang, Pengyu Cheng, Siyuan Huang, Yihao Liu, Jingwei Ni, Jiaqi Guo, Mengyu Zhou, Kai Tang, Junling Liu, Qinliang Su, Xiaoxi Jiang, Guanjun Jiang

精选

当前大语言模型后训练中的奖励模型依赖规则验证器、真实参考、程序检查表等异构标准，缺乏统一机制。Skill-RM 将奖励建模重构为可复用的“奖励评估技能”执行过程，通过智能体动态选择和聚合证据，实现一致且透明的评估。在奖励基准和下游任务（如 Best-of-N 选择和强化学习）中，Skill-RM 持续超越传统基线。该方法为奖励建模提供了统一解决方案，并通过策略性证据编排取得更优性能。代码已开源。

论文奖励模型智能体 LLM后训练

推荐理由：做 LLM 后训练（RFT/RL）的团队终于有了统一的奖励评估框架，不用再为不同任务拼凑规则和检查表了——Skill-RM 用智能体思路动态整合证据，效果还更好，做对齐和强化学习的建议直接看代码。

原文

5月12日

19:11