09:41arXiv cs.LG@Ziheng Wei, Annie Qu, Rui Miao离线强化学习中,即时奖励常因记录稀疏或审查而缺失,导致评估偏差。本文聚焦奖励缺失非随机(MNAR)场景,在有限时域MDP下研究离线策略评估(OPE)。作者利用未来状态作为影子变量,结合奖励依赖倾向模型辨识全数据条件均值奖励。进一步引入桥函数并通过min-max估计避免双重采样,提出Fitted-Q-Evaluation风格估计器。在模拟数据和MIMIC-III Sepsis数据上,该方法在误差和一致性上优于现有基线。论文OPEMNARMDP缺失数据离线强化学习推荐理由:想处理真实场景奖励缺失的强化学习玩家可以看这篇,用影子变量和桥函数解决偏差问题,实验比传统方法稳。原文