AITOP

强化学习

共 360 条相关 AI 资讯 · 查看话题观测
5月25日
11:21
11:21官方账号arXiv cs.AI@Yoosung Hong
精选
PCSP（Persona Conditioned Shared Policy）是一种基于强化学习的单策略框架，通过冻结LLM嵌入的低秩投影来条件化NPC行为，实现数百至数千个具有一致个性的非玩家角色控制。在300人生命模拟基准上，PCSP实现了零样本个性识别（组合泛化能力比随机高17倍）、语义-行为对齐（Spearman ρ≈0.73），以及比LLM策略基线快22倍的推理速度。该方法结合PPO、InfoNCE一致性损失和KL多样性目标，其中InfoNCE轨迹一致性目标至关重要，移除后零样本识别降至随机水平。在Melting Pot 2.4.0多智能体环境和UE5引擎部署中均验证了其个性条件化行为差异和实时推理能力。
论文强化学习NPC控制个性条件化
推荐理由：游戏AI团队终于有了可落地的NPC个性控制方案——单策略支持数千角色且推理速度比LLM快22倍，做开放世界或模拟游戏的开发者可以直接在UE5中复现。
原文
11:20
11:20官方账号arXiv cs.AI@Jiangwang Chen, Bowen Zhang, Zixin Song, Jiazheng Kang, Xiao Yang, Da Zhu, Guanjun Jiang
精选
当前大语言模型对话系统本质上是反应式的，只能在用户输入后响应。OnePred 提出通过递归更新的意图记忆来预测用户下一轮查询，无需重读完整对话历史。该方法采用两阶段强化学习训练，先教模型预测什么，再教如何压缩，形成面向预测的意图链。作者还发布了 NQP-Bench 基准测试集，包含三个子集。实验显示，OnePred 将每轮 token 消耗降低最多 22 倍，同时预测质量优于所有基线，在长对话中优势更明显。
论文对话系统预测模型强化学习
推荐理由：对话系统从反应式走向主动式的关键一步，做对话 AI 或智能客服的团队值得关注，OnePred 的递归记忆思路可以直接参考或复现。
原文
10:04
10:04官方一手arXiv: OpenAI@Shuai Zhen, Yifan Zhang, Yuling Wang, Yanhua Yu
强化学习长期面临样本效率低下的问题，利用群不变马尔可夫决策过程（G-invariant MDPs）是一种有前景的缓解方法。现有工作主要关注基于图像的强化学习和旋转对称性（如SO(2)），而基于状态的强化学习和反射对称性尚未充分探索。本文提出Reflex范式，专注于基于状态的连续控制任务，利用反射对称性（包括轴向反射和双侧反射），并与PPO和SAC等算法无缝集成。通过理论分析对称性保持的最优值函数和策略，Reflex引入对称性正则化机制，在OpenAI Gym和DeepMind Control基准测试中显著提升了样本效率和性能。代码已开源。
论文强化学习样本效率反射对称性
事件专题
推荐理由：Reflex解决了强化学习样本效率低下的痛点，尤其适合做连续控制任务的RL研究者——直接集成PPO/SAC就能提升性能，值得一试。
原文
10:02
10:02官方账号arXiv cs.LG@Matthias Cosler, Cas Cremers, Bernd Finkbeiner, Mohamed Ghanem, Niklas Medinger
本文提出一个基于强化学习的框架，借鉴AlphaZero和AlphaProof的思路，为安全协议分析工具Tamarin实现新的证明搜索方式。该框架通过无状态API将Tamarin转化为经典RL环境，并用蒙特卡洛树搜索结合神经网络启发式，从已完成子证明中学习。在16个案例研究中，该方法比Tamarin标准搜索找到更多自动证明，且生成的证明比标准及人工设计的启发式更短。该框架可直接用于辅助Tamarin用户，减少人工工作量，展示了RL方法在协议验证领域的潜力。
论文强化学习安全协议验证Tamarin
推荐理由：做安全协议验证的团队终于有了减少人工的利器——RL框架自动生成更短证明，Tamarin用户可以直接集成到现有工作流中，值得一试。
原文
10:01
10:01官方账号arXiv cs.LG@Nikola Pavlovic, Sattar Vakili, Qing Zhao
本文研究了在 episodic 核马尔可夫决策过程（MDP）中仅通过偏好反馈进行强化学习的问题。与传统的数值奖励不同，人类反馈通常以偏好形式出现（如比较两个轨迹的优劣），这更符合 RLHF 的实际场景。作者假设奖励和转移函数属于核函数空间（一种通用的理论分析模型），并设计了基于偏好的值估计和置信集方法，专门处理每轮结束时给出的二元偏好比较。理论结果表明，学习策略的遗憾值随回合数亚线性增长，即最终能收敛到最优策略。该工作为偏好反馈下的强化学习提供了严格的理论基础，尤其适用于奖励难以量化但人类容易比较的场景。
论文强化学习偏好反馈RLHF
推荐理由：偏好反馈是 RLHF 的核心，但理论分析一直稀缺。这篇论文把核 MDP 和偏好学习结合，给出了亚线性遗憾界，做理论强化学习或 RLHF 算法设计的研究者值得细读。
原文
09:56
09:56官方账号arXiv cs.LG@Hamed Shirzad, Frederik Wenkel, Dominique Beaini, Danica J. Sutherland, Emmanuel Noutahi
精选
知识图谱结构不规则，传统检索方法在组合查询上表现不佳。SeedER 提出一种两阶段检索框架：先用轻量级检索选取核心节点作为种子，再通过强化学习训练的策略进行选择性扩展。该方法将全局推理分解为可复用的局部决策，在控制成本的同时显著提升召回率。实验表明，SeedER 在组合泛化和图约束子模优化方面优于强基线，适合作为知识密集型推理系统的第一阶段检索器。
论文知识图谱检索框架强化学习
推荐理由：做知识图谱检索或知识密集型推理的团队，SeedER 提供了一种低成本高召回的新思路，值得关注其强化学习驱动的扩展策略。
原文
5月22日
11:21
11:21官方账号arXiv cs.LG@Lily Goli, Justin Kerr, Daniele Reda, Alec Jacobson, Andrea Tagliasacchi, Angjoo Kanazawa
精选
该研究提出了一种名为 Recuriosity 的强化学习方法，解决好奇心驱动探索在3D环境中容易陷入局部循环的问题。核心创新在于使用在线3D重建作为持久的世界模型，并让智能体通过序列模型维护情景轨迹历史，从而避免重复访问已遗忘状态。仅基于好奇心训练，智能体在 HM3D 数据集上超越了基于强化学习的主动建图基线，并零样本泛化到 Gibson 和 AI 生成的世界。该方法还能高效适配下游任务，如摘苹果和图像目标导航，优于从头训练的基线。
论文好奇心驱动3D探索强化学习
推荐理由：做3D视觉和机器人探索的团队终于有了一个能跳出局部循环的解决方案——持久世界模型加情景记忆的组合直接解决了好奇心驱动的核心痛点，值得在复杂环境中一试。
原文
11:09
11:09官方账号arXiv cs.AI@Long Phan, Devin Kim, Alexander Pan, Alice Blair, Adam Khoja, Dan Hendrycks
精选
研究发现大语言模型在处理对立政治话题时存在不对称性，表现为隐蔽政治偏见，包括7类操纵技术。作者提出两个新指标：情感一致性和帮助一致性，分别衡量修辞框架和交互深度的对称性。为减少这种偏见，他们提出政治一致性训练（PCT），包含情感一致性和帮助一致性两种互补的强化学习范式。实验表明PCT在保持模型整体帮助性的同时，显著降低了隐蔽政治偏见，并能泛化到未见的基准测试。相关代码和数据已开源。
论文大语言模型政治偏见一致性训练
推荐理由：这项研究戳中了LLM在敏感话题上的隐藏偏见问题，做AI安全、内容审核或政治相关应用的团队值得关注，可以直接用PCT方法减少模型被操纵的风险。
原文
10:58
10:58官方账号arXiv cs.AI@Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal
精选72°
当前大语言模型的后训练通常优化单一标量奖励，导致输出分布低熵，难以在推理时搜索（如AlphaEvolve）中展现多样性。本文提出向量策略优化（VPO），一种显式训练模型适应多样化下游奖励函数并产生多样化解决方案的强化学习算法。VPO利用实践中奖励常为向量形式（如代码生成的逐测试用例正确性、多种用户画像或奖励模型），作为GRPO优势估计器的即插即用替代，训练模型输出一组解，每个解专门针对向量奖励空间中的不同权衡。在四个任务上，VPO在测试时搜索（如pass@k和best@k）中匹配或超越最强标量RL基线，且差距随搜索预算增大而扩大。对于进化搜索，VPO模型能解决GRPO模型完全无法解决的问题。
论文强化学习推理时搜索多样性训练
推荐理由：VPO解决了LLM在推理时搜索中缺乏多样性的痛点，做强化学习后训练或推理时搜索的团队值得关注，它直接替换GRPO就能提升搜索效果。
原文
08:05
08:05Latent.Space@latentspacepod
精选72°
Daytona 发布专为 AI 智能体设计的计算平台，提供 60 毫秒启动的沙箱环境，能在 75 秒内创建 5 万个独立实例，日均运行 85 万次。该平台从人类开发环境转向智能体沙箱，支持裸金属、有状态快照，并针对强化学习（RL）和评估（evals）工作负载优化。Daytona 认为 Kubernetes 在智能体规模下失效，AI 云应更像 Stripe 而非 AWS。CEO Ivan Burazin 解释了为何智能体需要可组合计算机，以及 RL 工作负载占比从 0% 增长到约 50% 的趋势。
AI产品智能体计算平台沙箱
推荐理由：Daytona 解决了智能体大规模并发运行时的基础设施瓶颈，做 AI 智能体开发、RL 训练或大规模评估的团队可以直接用这个平台替代传统云方案，值得关注。
原文
5月21日
16:11
16:11Fireworks AI@FireworksAI_HQ
76°
Cursor 团队没有通过提示工程优化 Composer 2.5，而是直接训练了模型。他们与 Fireworks 合作，在 Fireworks 上运行大规模强化学习（RL）滚动，同时进行生产推理。Fireworks 强调，到 2027 年，训练自己的模型是维持竞争护城河的唯一方式。这一做法展示了从提示工程到模型训练的转变趋势。
AI产品CursorComposer 2.5强化学习
事件专题
推荐理由：Cursor 用 RL 训练模型而非提示工程，给 AI 产品团队一个关键信号：2027 年后，训练自己的模型才是护城河。做 AI 应用开发的建议点开，看看他们怎么和 Fireworks 合作跑 RL 滚动。
原文
12:27
12:27官方账号arXiv cs.LG@Elle Miller, Jayaram Reddy, Ayush Deshmukh, Trevor McInroe, David Abel, Oisin Mac Aodha, Sethu Vijayakumar
精选72°
机器人触觉强化学习（RL）研究因碎片化和过度关注饱和的定向任务而受阻。roto 2.0 是一个 GPU 并行化的基准测试，覆盖四种不同机器人形态（16-24 自由度），专注于仅依赖本体感觉和触觉的“盲”操作，无需状态信息或知识蒸馏。其盲代理在 10 秒内完成 13 次 Baoding 球旋转，速度比当前最先进水平快一个数量级。通过开源环境和调优基线，该工作降低了入门门槛，让研究者能聚焦核心算法挑战。
论文触觉感知强化学习机器人操作
推荐理由：触觉 RL 终于有了标准化的 GPU 并行基准，做机器人操作和强化学习的团队可以直接用 roto 2.0 测试算法，不用再花时间调环境——盲操速度提升 10 倍的结果值得点开看看。
原文
12:11
12:11官方账号arXiv cs.LG@Kaiyi Zhang, Wei Wu, Yankai Lin
精选
DelTA提出了一种新方法，解决强化学习从可验证奖励（RLVR）中训练大语言模型时，token级信用分配不准确的问题。研究发现，标准RLVR更新中，高频格式token会主导梯度方向，掩盖真正区分高/低奖励的关键token。DelTA通过估计token系数，放大判别性方向、抑制共享模式，使更新更聚焦于推理关键步骤。在7个数学基准上，DelTA在Qwen3-8B和14B上分别平均提升3.26和2.62分，代码生成和跨领域任务也验证了其泛化能力。
论文强化学习Token信用分配推理模型
推荐理由：做RLHF或推理模型训练的团队，终于有了一个能精准分配token级信用的方法——DelTA解决了高频格式token淹没关键信号的问题，数学和代码任务上效果显著，值得在自家模型上试试。
原文
12:09
12:09官方账号arXiv cs.LG@Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng
精选76°
研究发现强化学习（RLVR）训练中模型权重的变化轨迹是低秩且高度可预测的，大部分性能提升来自秩-1近似。基于此，研究者提出RELEX方法，仅需观察少量训练步数（如50步），通过线性回归外推未来检查点（如1000步），即可匹配甚至超越完整RLVR训练的性能。在Qwen2.5-Math-1.5B、Qwen3-4B-Base和Qwen3-8B-Base三个模型上验证，RELEX仅需15%的训练步数即可达到同等效果，且能外推至10-20倍于观察窗口。该方法无需额外学习模型，通过丢弃随机优化噪声实现去噪效果，从而提升外推性能。
论文强化学习推理模型低秩近似
推荐理由：RLVR训练成本高昂，RELEX用极低成本实现同等推理提升，做LLM推理优化的团队可以直接用代码复现，值得一试。
原文
11:13
11:13官方账号arXiv cs.AI@Harsh Parikh, Gabriel Levin-Konigsberg, Dominique Perrault-Joncas, Alexander Volfovsky
精选
这篇论文研究了在模拟器与真实实验之间如何权衡的问题。模拟器成本低但存在校准偏差，真实实验无偏但成本高。作者提出了一个扩展的模拟引理，将模拟器的价值误差分解为可识别的校准-部署偏移和不可减少的参数残差。他们还分析了模拟器最优策略与真实最优策略之间的价值差距，分为局部和可达性两部分。最后，提出了Fisher-SEP算法，通过最小化目标策略价值的后验预测方差来指导实验设计，并在自动售货机供应链和HIV移动测试两个案例中验证了其有效性。
论文模拟到真实迁移强化学习实验设计
推荐理由：这篇论文为做强化学习或机器人部署的团队提供了一个严谨的框架，帮你判断什么时候该相信模拟器、什么时候该做真实实验。做仿真到真实迁移的开发者可以直接参考其Fisher-SEP算法来优化实验预算。
原文
11:09
11:09官方账号arXiv cs.AI@Xiaoqiang Wang, Chao Wang, Hadi Nekoei, Christopher Pal, Alexandre Lacoste, Spandana Gella, Bang Liu, Perouz Taslakian
精选
Mem-π 是一种新型自适应记忆框架，它让大语言模型智能体在需要时动态生成指导，而不是从外部存储中检索静态条目。该框架使用独立的语言或视觉语言模型，基于当前上下文决定是否生成以及生成什么指导，并通过决策-内容解耦的强化学习目标进行训练。在网页导航、终端工具使用和文本交互等基准测试中，Mem-π 相比检索式记忆和之前强化学习优化的基线方法表现更优，在网页导航任务上实现了超过30%的相对提升。
论文智能体记忆增强强化学习
推荐理由：做AI智能体开发的团队终于有了解决记忆错配问题的方案——Mem-π 让智能体学会“按需生成”而非“死板检索”，在复杂任务中效果显著，建议研究记忆增强的开发者点开看看。
原文
10:22
10:22官方账号arXiv cs.LG@Yang Wu, Qiang Meng, Zhaojiang Liu, Youquan Liu, Jian Yang, Jin Xie
精选
当前端到端自动驾驶模型受限于模仿学习的行为克隆天花板，强化学习虽能实现更智能的自主性，但缺乏认知基础和前瞻性物理环境。为此，研究者提出CoPhy框架，通过蒸馏VLM知识到BEV编码器，在零推理成本下保留认知能力，并构建自回归BEV世界模型预测未来语义地图，作为可解释的物理沙盒。该框架采用GRPO优化策略，结合物理奖励（确保硬安全约束）和认知奖励（确保意图合规），在NAVSIM v1和v2基准上达到最先进结果，并支持用户自定义语言指令实现灵活意图控制。
论文自动驾驶强化学习VLM蒸馏
推荐理由：自动驾驶团队终于有了兼顾安全与意图的强化学习方案——CoPhy用蒸馏VLM和BEV世界模型解决了行为克隆的瓶颈，做端到端驾驶的开发者可以直接参考其双奖励机制。
原文
5月20日
15:34
15:34官方账号arXiv cs.AI@Utkarsh Tyagi, Xingang Guo, MohammadHossein Rezaei, Daniel George, Anas Mahmoud, Jackson Lee, Bing Liu, Yunzhong He
精选
强化学习中的可验证奖励（RLVR）在自动检查正确性时很有效，但许多模型行为需要同时满足多个定性标准。基于评分标准的奖励（rubric-based rewards）通过聚合多个标准来解决这一问题，但静态聚合会混淆人类赋予的重要性和当前优化信号的有效性。研究人员提出POW3R框架，它能在训练过程中动态调整各标准的奖励权重，优先关注当前能区分模型输出的标准。实验表明，POW3R在30个基线策略/指标比较中赢了24个，平均奖励和严格完成率均优于传统方法，且训练速度提升2.5-4倍。
论文强化学习奖励设计RLVR
推荐理由：做RLHF或RLVR的团队终于有了更聪明的奖励设计——POW3R解决了静态评分标准浪费训练信号的问题，做多模态或文本模型对齐的开发者可以直接参考实验设置。
原文
11:41
11:41官方一手arXiv: Google DeepMind@Bosun Liang, Shuo Pei, Zirui Chen, Chuanzhi Fan, Chen Sun, Yuankai Wu, Huachun Tan, Yong Wang
精选
强化学习常产生高频振荡控制信号，影响物理部署的安全与稳定。显式动作分块虽能预测固定轨迹，但会扩大策略输出维度，导致优化困难。本文提出双窗口平滑（DWS）框架，通过隐式动作分块实现平滑连续控制，无需扩展动作空间。DWS包含执行窗口（确保物理平滑）和价值窗口（修正评论家偏差），并引入轻量级时序正则化器。在DeepMind控制套件、工业能源管理及视觉自动驾驶任务中，DWS超越现有方法，实现100%成功率。
论文强化学习连续控制动作分块
推荐理由：做机器人控制或自动驾驶的团队，DWS解决了强化学习控制信号抖动这个老大难问题，无需增加模型复杂度就能提升安全性和成功率，值得在你们的仿真或实机任务上试试。
原文
10:51
10:51官方一手arXiv: DeepSeek@Ali Mohammadi Esfahani, Nafiseh Kahani, Samuel A. Ajila
精选
研究人员提出一个基于强化学习的框架，将提示词优化建模为序列决策问题。PPO代理通过混合动作空间（直接生成、遗传变异、语义重写）迭代改进提示词，并利用单元测试反馈的奖励信号驱动优化。在MBPP+、HumanEval+和APPS基准上，使用CodeT5+、CodeLLaMA和DeepSeek-Coder作为冻结代码生成器，PPO代理在MBPP+的500任务测试集上分别达到57.58%、64.80%和85.50%的严格Pass@1，优于EPiC、Reflexion和随机混合方法。软Pass@1分别达到67.90%、73.10%和88.20%。结果表明，带形状奖励的强化学习能显著提升LLM代码生成的功能正确性。
论文提示词优化强化学习代码生成
推荐理由：做LLM代码生成或提示词工程的开发者，这个框架直接解决了提示词敏感性问题——用RL自动优化提示词，比手动调参高效得多，建议关注其混合动作空间和奖励设计。
原文
10:44
10:44官方一手arXiv: DeepSeek@Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li
精选
GoLongRL 是一个完全开源的长上下文强化学习训练方案，包含 23K 样本的数据集、完整构建流程和训练代码。该方案基于长上下文能力分类法，覆盖 9 种任务类型，每个任务配有自然评估指标，数据来源包括书籍、学术论文和多轮对话等真实文档。在相同 GRPO 设置下，GoLongRL 数据集优于闭源的 QwenLong-L1.5 数据集，且 Qwen3-30B-A3B 模型在长上下文任务上表现接近 DeepSeek-R1-0528 和 Qwen3-235B-A22B。此外，论文提出 TMN-Reweight 方法，通过任务级均值归一化和难度自适应加权，解决异构奖励优化问题，进一步提升平均性能并保持通用能力。
论文长上下文强化学习开源/仓库
推荐理由：长上下文 RL 训练的数据构建和奖励设计一直是个难题，GoLongRL 提供了开源数据集和优化方法，做长上下文模型训练的团队可以直接复用，省去大量数据构造工作。
原文
10:40
10:40官方账号arXiv cs.AI@Franco Terranova, Guillermo Bernardez, Albert Cabellos-Aparicio, Nina Miolane, Abdelkader Lahmadi
精选
图组合优化（GCO）问题因NP难特性而难以精确求解，现有基于强化学习（RL）和图神经网络（GNN）的方法在泛化性和计算可扩展性上存在局限。本文提出Projection Agents，直接在连续GNN动作嵌入空间中预测潜在动作，并通过单次前向传播解码为有效离散动作，避免了传统逐步搜索的开销。该方法在多个基准上实现最高16.2倍推理加速和40%更好的泛化性能，尤其适用于超线性决策空间。同时，作者开源了LaGCO-RL库，支持自动构建潜在动作空间并兼容现有RL-GCO方案，便于复现和适配新问题。
论文图组合优化强化学习图神经网络
推荐理由：做图组合优化或RL求解NP-hard问题的研究者，这篇论文解决了泛化差和扩展性瓶颈，16倍加速和40%泛化提升值得一试，开源库还能直接复用。
原文
10:27
10:27官方账号arXiv cs.AI@Yin Xiaolong, Liu Yu, Shen Jiahang, Lu Xingyu, Ni Jingzhe, Fan Fengxiao, Sang Fan
精选
本文提出一种记忆增强的强化学习框架，用于自动生成计算机辅助设计（CAD）模型。现有基于大语言模型的方法在处理长操作序列、多样操作类型和强几何约束的复杂CAD时，常因推理链断裂和缺乏纠错机制而失败。新框架将底层几何内核封装为可调用的结构化工具链，构建了从意图理解、全局规划、执行到多维验证的闭环机制，并设计了包含案例库和技能库的双轨记忆模块及动态效用检索算法。通过引入强化学习优化检索与策略，智能体可避免语义相似但几何不可行的检索陷阱，实现在线自我纠错和持续进化，无需额外大规模标注数据。实验表明，该方法在复杂CAD生成任务上显著提升了成功率和几何一致性。
论文CAD生成强化学习记忆增强
推荐理由：做CAD自动生成或智能制造AI的团队，这个框架解决了长序列建模和几何约束的痛点，强化学习+记忆库的设计值得参考，可以直接复现实验。
原文
10:16
10:16官方账号arXiv cs.AI@Pierre Boudart, Pierre Gaillard, Alessandro Rudi
精选
该论文研究了基于多项逻辑（MNL）模型的马尔可夫决策过程（MDPs）的强化学习问题。现有算法对MNL混合MDPs的遗憾界为Õ(dH²√T)，其中d是特征维度，H是回合长度，T是回合数。作者引入了一个问题依赖常数σ̄_T（≤1/2），衡量最优下游值函数沿学习轨迹的归一化平均方差，并提出了一个遗憾界为Õ(dH²σ̄_T√T)的算法。该算法在最坏情况下恢复现有界，在结构化MDPs（如KL约束鲁棒MDPs）中可将H依赖因子降低H倍。此外，论文证明了匹配的下界Ω(dH²σ̄_T√T)，首次完全刻画了MNL混合MDPs的遗憾复杂度（达到对数因子内的极小化最优）。
论文强化学习MDP多项逻辑模型
推荐理由：这篇论文首次给出了MNL混合MDPs的极小化最优遗憾界，对研究强化学习理论或设计高效算法的研究者来说，是理解问题复杂度的重要参考。
原文
02:40
02:40官方账号François Chollet@fchollet
François Chollet 指出，大多数人类任务并非马尔可夫过程，即最优下一步不能仅由当前状态决定，而严重依赖于过去的轨迹、原始意图和上下文约束。他认为，一个无法以绝对保真度压缩和追踪其过去轨迹的智能体，其有用性可能只有能做到这一点的智能体的 20%。这一观点强调了记忆和历史追踪在构建真正有用的人工智能系统中的核心重要性。
论文智能体马尔可夫过程历史追踪
推荐理由：做智能体或强化学习的开发者会意识到，当前很多模型忽略了历史轨迹的精确追踪，Chollet 的观点直指智能体实用性的关键瓶颈，值得深入思考。
原文
5月19日
15:30
15:30IT之家（博客/媒体）
76°
波士顿动力5月18日发布视频，展示其Atlas人形机器人通过AI驱动行为，成功将一台冰箱搬到桌子上。机器人利用强化学习模拟抬起重物，学会协调全身以负载重物，并准确平衡复杂接触点。视频中，Atlas用双手抬起冰箱，走到桌旁后上半身旋转180度，将冰箱平稳放置。官方表示，这是构建通用实体工作工具的重要一步，旨在提升真实环境下的性能和可靠性。该技术展示了身体智能在搬运重物中的关键作用，结合控制和感知能力，适应不同冰箱的位置、质量和抓力。
AI产品人形机器人波士顿动力Atlas
推荐理由：波士顿动力让Atlas学会搬冰箱，解决了人形机器人搬运重物时平衡与适应性的难题，做机器人研发或自动化搬运的团队值得关注，看看强化学习如何让机器人学会“身体智能”。
原文
14:44
14:44官方账号arXiv cs.LG@Muhammad Umer, Muhammad Ahmed Mohsin, Ahsan Bilal, Arslan Chaudhry, Andreas Haupt, Sanmi Koyejo, Emily Fox, John M. Cioffi
精选
论文提出通用偏好强化学习（GPRL），旨在弥合在线强化学习与偏好优化之间的鸿沟。传统在线RL依赖可验证奖励，在数学和代码任务上表现优异，但无法处理开放式任务；偏好优化虽能处理开放式生成，却缺乏在线RL的持续探索能力。GPRL基于通用偏好模型（GPM），将响应嵌入k个斜对称子空间，以结构化、非传递性感知的比较表示偏好，并在策略更新中保留k维结构。它计算每维度的组相对优势，独立归一化防止单一维度主导，并通过上下文相关特征值聚合。GPRL还包含闭环漂移监控器，可检测并纠正单轴利用。基于Llama-3-8B-Instruct，GPRL在AlpacaEval 2.0上达到56.51%的长度控制胜率，并在Arena-Hard、MT-Bench和WildBench上优于SimPO和SPPO，有效抵抗奖励黑客攻击。
论文强化学习偏好优化对齐
推荐理由：做LLM对齐和强化学习的团队终于有了一个能同时处理开放式任务和持续探索的框架——GPRL用多维偏好结构解决了奖励黑客问题，值得关注其实际效果。
原文
14:36
14:36官方账号arXiv cs.AI@Qisai Liu, Zhanhong Jiang, Joshua Russell Waite, Aditya Balu, Cody Fleming, Soumik Sarkar
精选
COOPO 是一种新型强化学习框架，通过循环交替进行约束离线训练和在线微调，解决了离线强化学习中的分布偏移和在线学习中的高交互成本问题。该算法在每个循环中先用 KL 正则化的优势加权更新锚定策略，再用任意策略优化进行在线微调，定期回归离线训练可消除遗忘和漂移。理论证明 COOPO 在标准覆盖假设下能实现单调改进，在线样本效率优于纯在线 RL。在 D4RL 基准测试中，COOPO 相比最先进的混合方法减少了在线交互次数，同时提升了最终回报，且对不同离线算法和在线优化器具有鲁棒性。
论文强化学习离线-在线混合策略优化
推荐理由：做强化学习研究的团队终于有了一个能同时解决分布偏移和灾难性遗忘的通用框架——COOPO 的循环设计让离线数据复用和在线探索形成正向循环，D4RL 上效果显著，建议做 RL 算法开发的同学点开看理论证明和实验细节。
原文
14:19
14:19Sualeh Asif@sualehasif996
72°
Cursor 团队宣布推出 Composer 2.5，这是其最强大的模型版本。该模型在强化学习（RL）方面取得显著进步，智能水平更高，能更好地处理长时间运行的任务，并更可靠地遵循复杂指令。为庆祝发布，未来一周内用户可享受双倍模型使用额度。团队正与 SpaceXAI 合作，计划在下一版本中进一步扩展模型规模和计算量。
AI产品CursorComposer 2.5强化学习
事件专题
推荐理由：Cursor 用户将直接受益于更强的代码生成和任务执行能力，尤其是处理复杂、长期项目时体验提升明显。建议立即体验双倍额度，感受 RL 优化带来的实际效果。
原文
13:55
13:55IT之家（博客/媒体）
88°
马斯克在推特上邀请用户测试 Cursor 最新 AI 模型 Composer 2.5，该模型基于月之暗面的 Kimi K2.5 训练，号称是 Cursor 最强模型。核心改进包括基于文本反馈的定向强化学习，能精准定位长任务中的错误步骤；合成任务规模扩大至 Composer 2 的 25 倍，并动态筛选更难任务。训练中使用了分片 Muon 与双网格 HSDP 等基础设施优化，单步耗时仅 0.2 秒。价格方面，标准版输入 0.50 美元/百万 token，输出 2.50 美元/百万 token；fast 版更贵但速度更快。
AI产品CursorComposer 2.5Kimi K2.5
事件专题
推荐理由：Cursor 用户和 AI 编程重度依赖者值得关注——Composer 2.5 解决了长任务中错误定位的痛点，基于 Kimi K2.5 的强化学习让复杂指令执行更稳定，建议试试看能否提升你的编码效率。
原文
11:34
11:34官方账号arXiv cs.AI@Guining Cao, Jiaxin Peng, Chu Zeng, Yu Zhao, Shuangyong Song, Yongxiang
精选
现有强化学习方法在可验证任务中表现优异，但在开放生成任务中面临奖励模型训练成本高、输出多样性差的问题。研究者提出PPR-GDE方法，无需标量奖励，通过成对偏好奖励保留主观评价的比较结构，并引入群体级多样性奖励显式鼓励语义分散。该方法在角色扮演任务上实现了比强基线更好的对齐质量和表达多样性。实验表明，成对偏好对主观偏好对齐至关重要，而多样性指标对实现更广的语义覆盖不可或缺。
论文强化学习开放生成偏好对齐
推荐理由：做开放域文本生成（如角色扮演、创意写作）的团队，终于有了一个兼顾对齐质量和输出多样性的RL方法，不用再担心模型输出千篇一律，值得点开看实现细节。
原文
10:41
10:41shao__meng@shao__meng
83°
Cursor 发布了 Composer 2.5 模型，仍然基于 Kimi K2.5，但通过三项关键训练创新实现了显著提升：定向文本反馈强化学习解决了长任务中的信用分配难题；合成训练数据量是 Composer 2 的 25 倍，其中 feature deletion 方法让模型从代码库中重新实现被删除的特性；基础设施层使用 Muon 优化器和分布式正交化，1T 模型单步仅需 0.2 秒。同时，Cursor 与 SpaceXAI 合作，马斯克亲自发帖证实 Composer 2.5 已开始使用 Colossus 2 算力训练，并正在合作从零训练一个算力规模 10 倍以上的全新模型。Composer 2.5 重点改进了长任务持续推进、复杂指令遵循和协作交互自然度，并专门优化了沟通风格和投入度校准两个现有 benchmark 难以衡量的维度。
AI产品CursorComposer 2.5Kimi K2.5
事件专题
推荐理由：Cursor 这次在长任务和指令遵循上的改进，对重度使用 AI 编程助手的开发者来说体感会很直接，尤其是沟通风格和投入度校准这两个软维度优化，建议用 Composer 2.5 的团队直接试试。
原文
10:13
10:13官方账号arXiv cs.AI@Shuyin Ouyang, Zhaozhi Qian, Faroq AL-Tam, Muhammad AL-Qurishi, Jie M. Zhang
精选
该论文系统研究了扩散语言模型在代码生成中的强化学习后训练，重点探索了三种维度：奖励设计、提示条件采样和任务难度。研究发现，静态检查作为无需执行的奖励信号，在HumanEval上使DiffuCoder从53.9提升至67.1，在LiveCodeBench上从14.9提升至15.5，同时减少9.4%的推理时间。中等程度的AST提示在困难任务上最有效，而奖励设计的最佳选择依赖于任务难度：相似度奖励在简单子集上更优，静态检查在困难子集上更可靠。这些发现表明，奖励设计和训练指导显著影响扩散RL在代码生成中的表现。
论文代码生成强化学习扩散模型
推荐理由：做代码生成模型训练的团队会发现，静态检查奖励比执行测试更高效且能避免能力悬崖，建议在困难任务上优先采用。
原文
08:38
5月18日
21:59
21:59rohanpaul_ai@rohanpaul_ai
波士顿动力发布视频，展示其Atlas人形机器人通过强化学习成功搬运一个超过100磅（约45公斤）的迷你冰箱。机器人利用身体本体感觉（proprioception）来感知重量、抓握、位置和平衡，而非依赖视觉。这一进展表明，人形机器人处理重体力劳动的关键不在于更精准地识别物体，而在于通过接触、身体反馈、域随机化训练以及专为强度和可修复性设计的硬件来适应任务。该演示为未来人形机器人在仓储、制造等场景中承担繁重工作提供了重要参考。
AI产品波士顿动力Atlas人形机器人
推荐理由：人形机器人从实验室走向真实体力劳动的关键一步——Atlas展示了如何通过强化学习和身体感知而非视觉来搬运重物，做机器人研发或物流自动化的团队值得关注，这可能是未来仓库搬运的雏形。
原文
12:26
12:26官方一手arXiv: Google DeepMind@Shaojun Xu, Xiaoling Zhou, Yihan Lin, Yapeng Meng, Xinglong Ji, Luping Shi, Rong Zhao
精选
Mind Dreamer 提出一种名为主动潜变量干预（ALI）的框架，解决基于模型的强化学习中“历史束缚”问题——传统方法只能从观测状态开始想象，导致策略优化滞后于世界模型学习。它通过对抗生成器合成非连续的潜变量跳跃，探索物理可行但认知困难的盲点，并推导出中继价值函数和中继不确定性函数来分配跨空间断裂的信用。理论证明不确定性传播需要二次折扣，建立了形式化的认知视界。在DeepMind Control Suite上，Mind Dreamer 平均比 DreamerV3 快1.67倍，在稀疏奖励任务中加速达8.8倍。
论文强化学习基于模型的强化学习稀疏奖励
推荐理由：做强化学习稀疏奖励研究的团队终于有了突破历史束缚的新工具——Mind Dreamer 通过主动生成想象起点，大幅提升样本效率，建议跑过 DreamerV3 的开发者直接试。
原文
12:12
12:12官方账号arXiv cs.AI@Ziang Ye, Wentao Shi, Yuxin Liu, Yu Wang, Zhengzhou Cai, Yaorui Shi, Qi Gu, Xunliang Cai, Fuli Feng
精选72°
论文指出基于大语言模型的智能体在陌生环境中常因过早利用先验知识而失败，提出自主探索能力是关键但被忽视的环节。作者引入可验证的探索检查点覆盖率指标，量化智能体发现关键状态、物体和功能的能力。实验发现标准任务导向强化学习训练出的智能体行为狭窄重复，阻碍下游性能。为此提出探索-执行交替训练策略，并构建先探索后行动的范式，让智能体先利用交互预算获取环境知识再执行任务。结果表明系统学习探索对构建通用、真实世界可用的智能体至关重要。
论文智能体自主探索强化学习
推荐理由：这篇论文直击 LLM Agent 在陌生环境中的核心短板——过早行动，做智能体开发或强化学习的研究者值得一读，提出的探索-执行范式可以直接启发你的训练策略。
原文
12:00
12:00官方账号arXiv cs.AI@Zhen Zhang, Liangcai Su, Zhuo Chen, Xiang Lin, Haotian Xu, Simon Shaolei Du, Kaiyu Yang, Bo An, Lidong Bing, Xinyu Wang
精选76°
Argus 提出了一种新的深度研究方法，通过 Searcher 和 Navigator 两个智能体协作，将研究任务视为拼图组装而非暴力并行搜索。Navigator 维护共享证据图，验证缺失信息并调度 Searcher 收集，最终生成带来源追踪的答案。在 35B-A3B MoE 模型上，单 Searcher 提升 5.5 分，8 个并行 Searcher 提升 12.7 分，64 个 Searcher 在 BrowseComp 上达到 86.2，超越所有专有智能体，且 Navigator 推理上下文保持在 21.5K tokens 以内。该方法解决了并行搜索中证据重复和上下文超限的问题。
论文深度研究智能体并行搜索
推荐理由：做深度研究智能体或搜索系统的团队，终于有了解决并行搜索证据重复和上下文瓶颈的方案——Argus 用拼图式组装替代暴力搜索，效率提升明显，值得在复杂信息检索任务中尝试。
原文
11:46
10:39
10:39官方账号arXiv cs.LG@Vaidehi Bagaria, Nikshep Grampurohit, Pulkit Verma
精选
该论文发现GRPO算法在VLA策略强化学习中，梯度计算占78%时间，而大部分计算浪费在策略已掌握的阶段。为此提出概率性分块掩码（PCM），通过成功-失败动作方差识别关键阶段，仅对少量分块进行梯度更新。PCM无需额外奖励模型，在LIBERO基准上保持相同成功率的同时，实现2.38倍加速、4.8倍梯度更新加速和60%峰值内存降低。
论文强化学习VLA策略GRPO
推荐理由：做VLA机器人强化学习的团队终于有了省算力的方案——PCM直接替换GRPO就能省60%内存、快2倍多，效果还不打折，建议做后训练优化的点开看看。
原文