AITOP

离线强化学习

共 5 条相关 AI 资讯
8月17日
10:16
10:16官方账号arXiv cs.LG@Xiaohong Chen, Yuling Jiao, Lican Kang, Jerry Zhijian Yang, Chen Zhong
论文提出用条件扩散模型估计奖励函数和转移核，以构建离线强化学习中的最优Bellman算子。理论给出该算子在总变差距离下的非渐近收敛速率，以及Q*估计的L2收敛率O(n^{-β/(d_x+d_a+2β)})。该分析不依赖完整性假设，状态维度d_x、动作维度d_a和Hölder平滑度β决定了收敛速度。
论文扩散模型离线强化学习Q*估计
推荐理由：这篇用扩散模型估计奖励和转移核，再学Q*，收敛率给得很细，还绕开了RL里常见的完整性假设。
原文
7月14日
11:50
11:50官方账号arXiv cs.LG@Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai
该论文聚焦离线到在线强化学习（O2O-RL）中有限交互预算下的策略选择问题。提出一种主动策略选择方法，通过上置信界（UCB）平衡策略评估与微调的交互分配。UCB基于局部线性性能预测，在在线评估中拟合观测数据。实验表明该方法在多个基准任务上优于现有O2O-RL基线。这是首个系统研究该问题的学术工作。
论文离线强化学习在线强化学习主动策略选择
推荐理由：这篇论文解决了离线到在线RL中一个关键难题：在有限交互次数下，如何主动挑选微调策略而不是盲目均分预算。实验结果挺实在，值得做RL方向的朋友看看。
原文
7月7日
12:48
12:48官方账号arXiv cs.LG@Lars van der Laan, Nathan Kallus
FORE通过伴随Bellman递归直接估计折扣占用率，仅需占用率可实性条件，无需Bellman完备或投影算子稳定性。在总体层面，KL投影递归以相对熵形式向真实比率收缩。经验递归的有限样本遗憾界表明，KL收敛误差由对数比率逼近误差和假设类复杂度决定的统计误差组成。该方法支持奖励加权估计、占用加权拟合Q评估以及双重稳健估计。这一结果将折扣占用率可实性识别为离线策略评估的充分条件。
论文FORE离线强化学习策略评估
推荐理由：这篇论文提出FORE方法，只用占用率可实性就能做离线策略评估，省去Bellman完备性的复杂条件，适合研究强化学习的同学参考。
原文
7月3日
09:23
09:23官方账号arXiv cs.LG@Max Weltevrede, Matthijs T. J. Spaan, Wendelin Böhmer
论文证明在上下文MDP中，过度悲观不会阻碍最优泛化，但必须尊重最优解的对称性。通过理论分析，适度悲观但非对称的值函数可能比过度悲观且对称的值函数泛化更差。数据增强应通过在策略提取时施加一致性损失来提升泛化，而非在增强数据集上常规训练。使用IQL和CQL在旋转对称reacher环境中验证了该方法。
论文离线强化学习泛化数据增强
推荐理由：这篇论文用理论和实验告诉你，离线RL里悲观多少不重要，悲观的结构对不对才关键，还给出了数据增强的正确用法。
原文
6月19日
09:41
09:41官方账号arXiv cs.LG@Ziheng Wei, Annie Qu, Rui Miao
离线强化学习中，即时奖励常因记录稀疏或审查而缺失，导致评估偏差。本文聚焦奖励缺失非随机(MNAR)场景，在有限时域MDP下研究离线策略评估(OPE)。作者利用未来状态作为影子变量，结合奖励依赖倾向模型辨识全数据条件均值奖励。进一步引入桥函数并通过min-max估计避免双重采样，提出Fitted-Q-Evaluation风格估计器。在模拟数据和MIMIC-III Sepsis数据上，该方法在误差和一致性上优于现有基线。
论文OPEMNARMDP
推荐理由：想处理真实场景奖励缺失的强化学习玩家可以看这篇，用影子变量和桥函数解决偏差问题，实验比传统方法稳。
原文