09:36arXiv cs.AI@Konstantin Kueffner, Tobias Meggendorfer, Maximilian Weininger, Patrick Wienhöft本文提出用于Markov决策过程(MDP)在线统计模型检验的置信序列方法。传统方法依赖已知转移概率或通过子优采样策略,而新方法利用在线置信序列避免了经典的联合界(union-bound)风格。作者实现了所有方法并证明其比先前最先进技术平均减少50倍样本量。实验表明,新方法在保证统计保证的同时显著提升采样效率。论文置信序列Markov决策过程统计模型检验在线模型检验样本效率推荐理由:这篇论文用置信序列代替传统联合界方法,让MDP采样效率平均提升50倍,做在线统计模型检验的人可以看看。原文
10:57arXiv cs.LG@Mohamed Nabail, Leo Cheng, Jingmin Wang, Nicholas RhinehartUBP2是一种基于模型的偏好强化学习方法,通过联合推理奖励、动态和价值函数的不确定性来主动引导探索。该方法使用集成模型对候选轨迹进行评分,平衡期望奖励、终止价值和认知不确定性。在Meta-World基准测试中,UBP2比无模型的偏好方法和非乐观的基于模型基线实现了更高的样本效率。论文UBP2偏好强化学习样本效率Meta-World不确定性推荐理由:UBP2通过主动探索和不确定性平衡,有效解决了偏好强化学习中样本效率低的问题。在Meta-World测试中效果显著。原文
10:04arXiv: OpenAI@Shuai Zhen, Yifan Zhang, Yuling Wang, Yanhua Yu强化学习长期面临样本效率低下的问题,利用群不变马尔可夫决策过程(G-invariant MDPs)是一种有前景的缓解方法。现有工作主要关注基于图像的强化学习和旋转对称性(如SO(2)),而基于状态的强化学习和反射对称性尚未充分探索。本文提出Reflex范式,专注于基于状态的连续控制任务,利用反射对称性(包括轴向反射和双侧反射),并与PPO和SAC等算法无缝集成。通过理论分析对称性保持的最优值函数和策略,Reflex引入对称性正则化机制,在OpenAI Gym和DeepMind Control基准测试中显著提升了样本效率和性能。代码已开源。论文强化学习样本效率反射对称性连续控制开源/仓库8 个信源在谈推荐理由:Reflex解决了强化学习样本效率低下的痛点,尤其适合做连续控制任务的RL研究者——直接集成PPO/SAC就能提升性能,值得一试。原文