6月3日
10:25
10:25官方账号arXiv cs.AI@Anthony GX-Chen, Ankit Anand, Gheorghe Comanici, Zaheer Abbas, Eser Aygün, David Smalling, Shibl Mourad, Doina Precup, André Barreto, Mark Rowland
经典强化学习追求确定性策略以最大化标量奖励期望,但在语言模型微调或科学发现等现代应用中,多样性至关重要。现有方法如熵正则化或多样性奖励常需脆弱权衡,牺牲性能换取随机性。本文提出将奖励函数视为分布而非标量,通过非线性的动作集目标函数,使校准的行为多样性自然涌现,且不牺牲期望奖励。在上下文赌博机设定下,推导了原则性的梯度估计器,证明该框架泛化了策略梯度与动作集方法。实验表明,该方法为需要行为广度的复杂RL任务提供了稳健的理论替代方案。
推荐理由:做RL研究或语言模型微调的团队,如果正为多样性-性能权衡头疼,这篇论文给出了一个理论干净的新框架——把奖励不确定性当作多样性来源,不用额外调参。值得细读。
10:17
10:17官方账号arXiv cs.AI@Senjie Jin, Peixin Wang, Boyang Liu, Xiaoran Fan, Shuo Li, Zhiheng Xi, Jiazheng Zhang, Yuhao Zhou, Tao Gui, Qi Zhang, Xuanjing Huang
精选
研究发现,在视觉推理任务中,仅依赖令牌级熵进行强化学习(RLVR)会失效,因为视觉敏感但熵低的令牌被忽略。现有多模态RL方法要么缺乏系统视觉度量,要么忽视熵主要驱动语义探索。为此,研究者提出VEPO框架,通过视觉敏感性与令牌熵的乘法耦合,将梯度信用分配给同时具备视觉基础和高信息量的令牌。实验表明,VEPO在7B和3B规模上分别比熵基线提升2.28和3.15个百分点,消融实验验证了方法的有效性。
推荐理由:视觉推理强化学习一直缺乏有效的信用分配机制,VEPO解决了这个痛点——做多模态RL的团队可以直接参考这个框架,在视觉-语义交叉场景中提升模型表现。
02:32
02:32Harrison Chase@hwchase17
验证器对于扩展评估和强化学习至关重要,但成本高昂。Harvey 团队与 LangChain 合作,探索如何降低验证器成本。该研究由 Vtrivedy10、jakebroekhuizen 等人主导,旨在解决验证器在规模化应用中的经济瓶颈。这项工作可能为 AI 评估和 RL 训练提供更经济的方案。
推荐理由:做 AI 评估或强化学习的团队,验证器成本一直是个头疼问题——Harvey 和 LangChain 的这项研究直接给出了降本思路,值得关注。
6月2日
12:06
12:06官方一手arXiv: Anthropic@Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr
ReSkill 是一种新型的智能体强化学习框架,旨在解决现有方法中技能创建与策略优化脱节的问题。它受 Anthropic 的 Skill Creator 启发,将技能创建嵌入到策略学习循环中,通过断言驱动的技能创建器、组内采样和自适应 Thompson 采样三个机制,实现技能与策略的协同进化。实验表明,ReSkill 在多个领域优于现有方法,尤其在未见任务上表现突出,能自动创建、测试、优化和淘汰技能。该工作为构建可泛化的智能体系统提供了新思路。
事件专题

推荐理由:做智能体强化学习的团队终于有了一个能自动积累可复用策略的框架——ReSkill 让技能创建和策略优化不再打架,直接提升泛化能力,做 RL 和 LLM 智能体的研究者值得细读。
11:12
11:12官方账号arXiv cs.AI@Lichao Wang, Zhaoxing Ren, Tianzhuo Yang, Jiaming Ji, Chi Harold Liu, Yaodong Yang, Juntao Dai
SafeMCP 是一个服务器端防御插件,针对 LLM Agent 使用 MCP 协议时因动作空间扩大带来的安全风险。它通过内部世界模型进行前瞻推理,实现两层防御:主动工具过滤限制危险权限扩展,以及即时干预作为故障安全机制。训练采用三阶段流程:环境动态基础、安全策略初始化和带双重可验证奖励的强化学习。在 PowerSeeking Bench、ToolEmu 和 AgentHarm 上的实验表明,SafeMCP 能在降低风险的同时保持 Agent 的实用性。
推荐理由:做 LLM Agent 安全防护的团队终于有了一个可落地的方案——SafeMCP 在服务器端用前瞻推理主动过滤危险工具调用,比事后审计更有效,建议关注其开源实现。
6月1日
5月30日
5月29日
5月28日
11:27
11:27官方账号arXiv cs.AI@Xinchen Zhang, Bowei Liu, Jiale Liu, Chufan Shi, Yizhen Zhang, Junhong Liu, Youliang Zhang, Zhiheng Li, Yujiu Yang, Ling Yang
精选
多模态大模型的视觉输出需要可靠且细粒度的验证。本文提出多模态元验证方法,发现符号化验证器输出(如边界框)比文本解释更有效,且将二元判断与元验证的强化学习目标解耦能显著提升性能。基于此训练的OmniVerifier-M1通用视觉验证器,不仅提供稳健验证和细粒度错误定位,还驱动了M1-TTS智能体生成系统,实现动态区域级自我修正。该工作为更可靠、可解释的多模态验证铺平道路,支持更安全可控的基础模型部署。
推荐理由:做多模态模型评估或安全部署的团队,可以关注这种符号化元验证思路——它用边界框替代文本解释做奖励信号,既高效又避免依赖辅助模型,直接提升验证的细粒度与可解释性。
5月27日
20:19
20:19berryxia@berryxia
MiniMax 在沉寂半年后,将去年 12 月开源的 M2 模型背后的设计思路、训练细节和系统架构整理成论文发布到 arXiv。社区已广泛采用其核心系统如 CISPO、Forge RL System 和 Self-Evolution。MiniMax 表示 M3 模型和 MSA 论文即将发布,此举旨在推动开源生态从单纯卷参数转向公开方法论。

推荐理由:MiniMax 把 M2 的完整训练路径摊开,做开源模型训练或强化学习的团队可以直接参考,少走半年弯路。M3 即将到来,值得关注其系统级突破。
12:14
12:14官方一手arXiv: DeepSeek@Mingyue Wang, Xingyu Xie, Hang Yang, Li Gao, Lixin Su, Ge Chen, Dawei Yin, Daiting Shi
精选
百度搜索团队提出QDET(查询驱动事件时间线摘要)系统,用于在搜索中为热点新闻查询构建聚焦的事件时间线。该系统通过多任务监督微调(时序排序、因果判断、时间线补全)和基于强化学习的简洁摘要生成,使7B参数模型在时间线摘要F1得分(76.2%)上超越DeepSeek-R1-671B(76.1%),参数量仅为后者的1%。在线A/B测试显示,QDET使点击率提升5.5%、停留时间延长4.6%、探索深度增加4.4%。该工作证明领域专用优化能以极低成本达到大模型级别的生产质量。
推荐理由:搜索和新闻聚合团队终于有了可落地的轻量级时间线方案——7B模型干翻671B,CTR和用户停留时间双双提升,做搜索排序或事件摘要的工程师可以直接参考其多任务微调策略。
10:30
10:30官方账号arXiv cs.AI@Yi Jing, Zao Dai, Jinwu Hu, Zijun Yao, Lei Hou, Juanzi Li, Xiaozhi Wang
精选
论文提出SAERL框架,利用稀疏自编码器(SAE)提取模型内部信号,用于强化学习(RL)后训练的数据工程。SAERL建模了数据的多样性、难度和质量三个内在属性,分别实现批次多样性控制、易到难课程排序和数据过滤。在Qwen2.5-Math-1.5B上,SAERL相比原始GRPO平均准确率提升3%,训练步数减少20%,且在不同模型规模和RL算法上表现一致。实验表明SAE可跨模型族和规模迁移,是一种轻量可复用的数据工程工具。
推荐理由:做LLM后训练数据工程的团队终于有了从模型内部获取信号的方法——SAERL用SAE直接指导数据排序和过滤,比依赖外部信号更高效,做RL训练优化的开发者值得一试。
5月26日
12:36
12:36官方一手arXiv: DeepSeek@Rongsheng Zhang, Ruofan Hu, Weijie Chen, Jiji Tang, Junnan Ren, Wanying Wu, Xunuoyan Chen, Tangjie Lv, Tao Jin, Zhou Zhao
精选
现有角色扮演智能体在长期对话中因上下文窗口限制而依赖外部记忆,但传统记忆框架仅记录事实,缺乏角色个性解读,导致回复泛化、角色一致性差。为此,研究者提出 RoleMemo 数据集,包含四个推理任务,要求智能体通过角色视角解读事实片段。同时提出 DualMem 框架,将记忆解耦为事实认知和角色条件洞察两个流,通过监督微调和强化学习训练。4B 参数的 DualMem 模型在角色一致性上超越了基于 DeepSeek-V3.2 的零样本框架。相关资源已在 GitHub 开源。
推荐理由:角色扮演智能体长期对话中的记忆与个性保持是行业难题,DualMem 的分离式记忆设计为开发者提供了可落地的解决方案,做虚拟角色或对话系统的团队值得关注。