斯坦福SAIL发布VAGEN：强化学习训练VLM智能体构建内部世界模型

浙大团队发现一个反直觉结论： acting 差的模型当 judge 反而能教出更强的策略。用 JEV 把 Qwen2.5-1.5B 在 ALFWorld 从 72.8% 拉到 82.9%，比 GRPO 高不少。做智能体强化学习训练的人值得把这套代码跑一下。

机构组合必须遵守投资授权规则，普通RL动不动就违规。这篇论文把六条合规规则学进策略里，违规率从96-98%降到4.8%，不需要事后拦截。做量化、资管或RL合规应用的人都该看看这套蒙特卡洛采样思路。

做 RLVR 训练的同学可以看看：当验证器只能判错不能判对时，这篇论文的 NOPO 干脆只用负样本更新策略，避免奖励投机解法。在代码、数学、逻辑基准上 pass@k 都跑赢了标准 RLVR 基线。

搞图神经网络的可以看看这篇，把边的增删事件单独编码，再用 RL 挑有用的边快照来增强训练。比直接喂原始时序图的常见做法多了显式信号，AUROC 和 AP 都涨了，还附消融实验。做社交网络分析或推荐系统时序建模的团队值得跑一下代码对比基线。

做 VLM 安全 RL 的人可以直接抄这套方法：不用反复调奖励权重，把安全率当预算设定就行。论文里两个失效模式（打分器均值有偏、组内标准化吃掉惩罚）解释得很清楚，Qwen3-VL-2B 上的数据也扎实。

把 SHAP 归因和策略蒸馏结合，让玩 Atari 游戏的深度 RL 智能体也能被看懂，决策树代理比线性回归更忠实。做可解释 AI、安全 RL 或想在机器人等高风险场景部署 RL 的研究者值得复现。