#强化学习
这论文教你用VLM给RL智能体自动设计奖励函数,不用手动调公式,在Meta-World和Franka Kitchen上训练更快,还防奖励黑客。
想知道强化学习里状态怎么设计才能跨市场通用?这篇论文用Double DQN和HydroDam做了严谨对比,绝对+相对+预测特征组合最好。
这篇论文揭示了自蒸馏方法的一个隐藏缺陷:虽然准确率不错,但多样性会变差,导致复杂推理场景下失效。做RL或推理模型的人值得看看。
这篇论文解决了强化学习给LLM智能体分配奖励时的一个逻辑问题:相同意思的步骤因轨迹成败拿了相反信用。SCPO在ALFWorld和WebShop上跑分挺高,最难的步骤提升明显。
Fireworks AI 把强化学习里最头疼的数值一致性问题搞定了,还能直接托管GLM 5.2,省去自己搭基础设施的麻烦。
通义千问出了个新模型,不是教Agent怎么动,而是先让模型懂环境变化。用模拟环境练出的Agent反而比真实环境练的还强,还开源了35B版,值得看看。
阿里Qwen造了个能模拟7种环境的AgentWorld,在AgentWorldBench上干掉了Claude和GPT最新版,训练智能体不用真实环境也能更强,零微调迁移呢。
Prime Intellect 新开源的 prime-rl 0.6.0,专为训练万亿参数 MoE 模型的强化学习设计。他们在 SWE 任务上用 GLM-5 跑到 131k 序列长度,速度还很快,想了解大规模 RL 训练优化的可以看看。
OpenAI发现,只给模型一点点“诚实”训练,它就在53个测试里赢了44个,连健康领域的骗术都能识破。和Anthropic的路数不一样,挺有意思。
这篇论文提出了ELVA,用强化学习思路改多模态检索,解决了对比学习忽略粒度的问题,还在新基准MRBench上提了13.1%,值得做检索方向的人看看。
STARE解决了GRPO训练中策略熵崩溃的老问题,在AIME数学竞赛上比DAPO高4-8个点,代码也开源了,搞RL训练的同学可以试试。
Spotlight系统用便宜的Spot GPU做DiT强化学习后训练,成本降低1.4-6.4倍,训练快4倍,适合预算有限的团队。