AITOP

样本效率

共 9 条相关 AI 资讯
8月19日
11:42
11:42官方一手arXiv: Google DeepMind@Hoda Yamani, Yuning Xing, Koen van Rijnsoever, Bruce A. MacDonald, Henry Williams
研究人员提出即时回合重复(IER)机制，通过立即重复成功回合中的动作序列来提升强化学习样本效率。该机制被集成到SAC和TD3算法中，并在MuJoCo和DeepMind Control Suite等基准测试上进行了验证。实验结果表明，这种简单方法优于标准基线和自我模仿学习基线，在机器人操作任务中也表现出色。
AI模型强化学习IERSAC
推荐理由：这篇论文提出了一种简单却有效的IER机制，能让强化学习智能体通过重复成功动作更快学习。
原文
8月7日
10:28
10:28官方一手arXiv: OpenAI@Xinwei Liu, Junyuan Liang, Jianting Zhang, Wuhui Chen
精选
ProDVI是一个利用大语言模型为强化学习智能体提供初始化先验的新框架。它让代码生成模型输出Python函数，编码对环境动力学的粗略假设，再生成合成转移数据。这些数据用于预训练actor-critic价值网络的状态-动作编码器，使智能体在在线强化学习开始前获得动力学感知的表示。在OpenAI Gym和DeepMind Control Suite任务上，ProDVI显著提升了无模型强化学习算法的样本效率。
论文ProDVI强化学习大语言模型
事件专题
推荐理由：这篇论文用大语言模型写代码来初始化强化学习，不用模拟器和预收集数据，在Gym和Control Suite上都能省样本。
原文
7月16日
11:25
11:25官方账号arXiv cs.LG@Mustafa Emre Gürsoy, Stefan Uhlich, Ryoga Matsuo, Yağız Gençer, Arun Venkitaraman, Chia-Yu Hsieh, Andrea Bonetti, Eisaku Ohbuchi, Lorenzo Servadei
本文提出Lighthouse RL，一种样本高效的强化学习方法，用于模拟电路尺寸优化。传统方法难以泛化到不同性能目标，标准RL则在无前途区域浪费资源。该方法通过从训练中发现的高性能配置（称为'lighthouses'）初始化回合，引导探索到有前景区域。在2D基准问题和两个模拟电路上，相比RL和贝叶斯优化，样本效率提升高达1.72倍，成功率从0-87%提升至100%，泛化成功率从0-50%提升至75%。该重置策略可作为任何基于RL的优化方法的即插即用增强。
论文Lighthouse RL模拟电路强化学习
推荐理由：Lighthouse RL用巧妙的‘灯塔’重置点大幅提升电路优化效率，样本快1.72倍，成功率拉满到100%。搞硬件优化的千万别错过。
原文
7月15日
10:54
7月9日
10:14
6月25日
09:36
09:36官方账号arXiv cs.AI@Konstantin Kueffner, Tobias Meggendorfer, Maximilian Weininger, Patrick Wienhöft
本文提出用于Markov决策过程（MDP）在线统计模型检验的置信序列方法。传统方法依赖已知转移概率或通过子优采样策略，而新方法利用在线置信序列避免了经典的联合界（union-bound）风格。作者实现了所有方法并证明其比先前最先进技术平均减少50倍样本量。实验表明，新方法在保证统计保证的同时显著提升采样效率。
论文置信序列Markov决策过程统计模型检验
推荐理由：这篇论文用置信序列代替传统联合界方法，让MDP采样效率平均提升50倍，做在线统计模型检验的人可以看看。
原文
6月18日
10:57
10:57官方账号arXiv cs.LG@Mohamed Nabail, Leo Cheng, Jingmin Wang, Nicholas Rhinehart
UBP2是一种基于模型的偏好强化学习方法，通过联合推理奖励、动态和价值函数的不确定性来主动引导探索。该方法使用集成模型对候选轨迹进行评分，平衡期望奖励、终止价值和认知不确定性。在Meta-World基准测试中，UBP2比无模型的偏好方法和非乐观的基于模型基线实现了更高的样本效率。
论文UBP2偏好强化学习样本效率
推荐理由：UBP2通过主动探索和不确定性平衡，有效解决了偏好强化学习中样本效率低的问题。在Meta-World测试中效果显著。
原文
6月12日
13:30
13:30官方账号Soumith Chintala (PyTorch)@soumithchintala
Soumith Chintala 在 X 上祝贺 Reardon 及其团队创立的 Flourish AI Labs，并指出如果该团队能将 AI 的样本效率和能耗降低到人类水平，将带来巨大变革。这一目标直指当前 AI 领域的两大核心瓶颈：数据需求大和能源消耗高。若实现，将大幅降低 AI 应用门槛，推动更多场景落地。
AI产品Flourish AI Labs样本效率能耗
推荐理由：AI 样本效率和能耗是制约行业发展的关键瓶颈，Flourish AI Labs 若突破将惠及所有 AI 开发者和应用团队，值得关注其后续进展。
原文
5月25日
10:04
10:04官方一手arXiv: OpenAI@Shuai Zhen, Yifan Zhang, Yuling Wang, Yanhua Yu
强化学习长期面临样本效率低下的问题，利用群不变马尔可夫决策过程（G-invariant MDPs）是一种有前景的缓解方法。现有工作主要关注基于图像的强化学习和旋转对称性（如SO(2)），而基于状态的强化学习和反射对称性尚未充分探索。本文提出Reflex范式，专注于基于状态的连续控制任务，利用反射对称性（包括轴向反射和双侧反射），并与PPO和SAC等算法无缝集成。通过理论分析对称性保持的最优值函数和策略，Reflex引入对称性正则化机制，在OpenAI Gym和DeepMind Control基准测试中显著提升了样本效率和性能。代码已开源。
论文强化学习样本效率反射对称性
事件专题
推荐理由：Reflex解决了强化学习样本效率低下的痛点，尤其适合做连续控制任务的RL研究者——直接集成PPO/SAC就能提升性能，值得一试。
原文