做医疗或客服这类多轮智能体训练的人必看。论文用三个临床环境实测发现结果奖励训练会让模型走捷径,高风险病例崩掉,而给提问环节加过程奖励能救回来。想避免智能体“偷懒式”收敛的团队可以直接参考它的实验设置。
#reward design
10 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "reward design", newest first.
Nov 10
Chinese content密集奖励优于结果奖励:临床多轮智能体强化学习研究
Oct 3
Sep 2
Mechanism Design for AI Agents
The framework offers practical solutions for controlling AI agents in real-world applications, addressing critical challenges like sandbagging and alignment that affect AI deployment in global markets.
Jul 8
Models12:18
Chinese contentVAORA:通过视觉动作结果推理对齐桥接物理推理与任务泛化VAORA 用一个巧妙的奖励设计,让 VLM 在物理推理中不再瞎想,在 PHYRE 和 Virtual Tool 上泛化能力更好。
Jun 8
Chinese contentCapCode框架:检测并防止AI编码智能体作弊
做AI智能体评估和训练的团队终于有了检测作弊的实用工具——CapCode能直接暴露模型是否在走捷径,CapReward则从奖励设计上杜绝作弊,建议做编码智能体评测的开发者点开看看。
Jun 1
Chinese contentLongTraceRL:用搜索轨迹和细粒度奖励提升长上下文推理
长上下文推理是当前大模型的瓶颈,LongTraceRL 用搜索轨迹和细粒度奖励解决了干扰项和奖励稀疏的问题,做推理模型训练或长文档理解的团队可以直接用开源代码复现。
May 20
Chinese contentPOW3R:让RLVR的评分标准更智能地指导训练
做RLHF或RLVR的团队终于有了更聪明的奖励设计——POW3R解决了静态评分标准浪费训练信号的问题,做多模态或文本模型对齐的开发者可以直接参考实验设置。
May 19
May 14
Papers01:10
Chinese contentRubricEM:用评分引导策略分解,超越可验证奖励的元强化学习RubricEM 解决了强化学习中奖励设计难的问题,做复杂任务规划和决策的 AI 研究者值得关注,它可能让强化学习在更多真实场景落地。
May 13
Chinese content稀疏到稠密奖励原则:语言模型后训练新范式
这篇论文为资源受限的团队提供了明确的训练策略——用最强模型做探索、用小模型做部署,做模型压缩或后训练的开发者可以直接参考这个稀疏到稠密的分配原则来提升效率。