样本效率相关 AI 资讯 · AI 热点

7月9日

10:14

10:14

官方账号arXiv cs.LG@Eric Zhu, Abhinav Shrivastava, Soumik Mukhopadhyay

本文提出两种互补策略提升扩散模型RLHF的反馈效率。第一种是逐时间步加权方案，重新调整策略优化中去噪步骤的权重，并与PPO的最优收敛性质建立理论联系。第二种是基于优势的回放机制，优先复用信息丰富的轨迹，减少对新奖励查询的依赖。在相同超参数下，该方法将样本效率提升高达6倍，并保持对未见提示的泛化能力。

论文 RLHF 扩散模型样本效率 PPO 偏好对齐

推荐理由：这篇论文教你怎么用更少的反馈数据训练扩散模型，关键是把去噪步和样本按重要性加权，实验涨了6倍效率。

6月25日

09:36

09:36

官方账号arXiv cs.AI@Konstantin Kueffner, Tobias Meggendorfer, Maximilian Weininger, Patrick Wienhöft

本文提出用于Markov决策过程（MDP）在线统计模型检验的置信序列方法。传统方法依赖已知转移概率或通过子优采样策略，而新方法利用在线置信序列避免了经典的联合界（union-bound）风格。作者实现了所有方法并证明其比先前最先进技术平均减少50倍样本量。实验表明，新方法在保证统计保证的同时显著提升采样效率。

论文置信序列 Markov决策过程统计模型检验在线模型检验样本效率

推荐理由：这篇论文用置信序列代替传统联合界方法，让MDP采样效率平均提升50倍，做在线统计模型检验的人可以看看。

6月18日

10:57

10:57

官方账号arXiv cs.LG@Mohamed Nabail, Leo Cheng, Jingmin Wang, Nicholas Rhinehart

UBP2是一种基于模型的偏好强化学习方法，通过联合推理奖励、动态和价值函数的不确定性来主动引导探索。该方法使用集成模型对候选轨迹进行评分，平衡期望奖励、终止价值和认知不确定性。在Meta-World基准测试中，UBP2比无模型的偏好方法和非乐观的基于模型基线实现了更高的样本效率。

论文 UBP2 偏好强化学习样本效率 Meta-World 不确定性

推荐理由：UBP2通过主动探索和不确定性平衡，有效解决了偏好强化学习中样本效率低的问题。在Meta-World测试中效果显著。

6月12日

13:30

13:30

官方账号Soumith Chintala (PyTorch)@soumithchintala

Soumith Chintala 在 X 上祝贺 Reardon 及其团队创立的 Flourish AI Labs，并指出如果该团队能将 AI 的样本效率和能耗降低到人类水平，将带来巨大变革。这一目标直指当前 AI 领域的两大核心瓶颈：数据需求大和能源消耗高。若实现，将大幅降低 AI 应用门槛，推动更多场景落地。

AI产品 Flourish AI Labs 样本效率能耗 AI 效率祝贺

推荐理由：AI 样本效率和能耗是制约行业发展的关键瓶颈，Flourish AI Labs 若突破将惠及所有 AI 开发者和应用团队，值得关注其后续进展。

5月25日

10:04

10:04

官方一手arXiv: OpenAI@Shuai Zhen, Yifan Zhang, Yuling Wang, Yanhua Yu

强化学习长期面临样本效率低下的问题，利用群不变马尔可夫决策过程（G-invariant MDPs）是一种有前景的缓解方法。现有工作主要关注基于图像的强化学习和旋转对称性（如SO(2)），而基于状态的强化学习和反射对称性尚未充分探索。本文提出Reflex范式，专注于基于状态的连续控制任务，利用反射对称性（包括轴向反射和双侧反射），并与PPO和SAC等算法无缝集成。通过理论分析对称性保持的最优值函数和策略，Reflex引入对称性正则化机制，在OpenAI Gym和DeepMind Control基准测试中显著提升了样本效率和性能。代码已开源。

论文强化学习样本效率反射对称性连续控制开源/仓库

推荐理由：Reflex解决了强化学习样本效率低下的痛点，尤其适合做连续控制任务的RL研究者——直接集成PPO/SAC就能提升性能，值得一试。