AITOP

策略评估

共 3 条相关 AI 资讯
7月7日
12:48
12:48官方账号arXiv cs.LG@Lars van der Laan, Nathan Kallus
FORE通过伴随Bellman递归直接估计折扣占用率，仅需占用率可实性条件，无需Bellman完备或投影算子稳定性。在总体层面，KL投影递归以相对熵形式向真实比率收缩。经验递归的有限样本遗憾界表明，KL收敛误差由对数比率逼近误差和假设类复杂度决定的统计误差组成。该方法支持奖励加权估计、占用加权拟合Q评估以及双重稳健估计。这一结果将折扣占用率可实性识别为离线策略评估的充分条件。
论文FORE离线强化学习策略评估占用率Bellman完备性
推荐理由：这篇论文提出FORE方法，只用占用率可实性就能做离线策略评估，省去Bellman完备性的复杂条件，适合研究强化学习的同学参考。
原文
6月17日
11:38
11:38官方账号arXiv cs.LG@M. Forzo, E. Monzio Compagnoni, A. Russo, A. Pacchiano
本文针对带线性函数近似的时序差分(TD)学习，提出了一种随机微分方程(SDE)近似，以替代传统常微分方程(ODE)描述。ODE仅捕捉渐近平均动力学而忽略随机波动，新SDE模型在马尔可夫噪声下区分了投影Bellman算子的收缩动力学与采样噪声的影响。该模型解释了恒定步长误差下限是由马尔可夫长期协方差与投影Bellman算子收缩几何相互作用导致。论文提供了理论证明与数值验证。
论文TD learning线性函数近似随机微分方程策略评估马尔可夫噪声
推荐理由：这篇论文从数学上解释了TD学习的误差为啥降不下去，用扩散近似把随机性的影响说清楚了。方法派、做强化学习理论的可以看看。
原文
5月30日
17:27
17:27官方一手marktechpost@Michal Sutter
精选72°
Genesis AI 于 2026 年 5 月 27 日发布了 Genesis World 1.0，这是一个包含物理、渲染、编译和工具四个组件的仿真平台。该平台在仿真与真实机器人部署之间实现了 0.8996 的皮尔逊相关系数，并将策略评估时间从超过 200 小时缩短至不到 0.5 小时。这一突破使得机器人基础模型的规模化评估成为可能，显著降低了研发成本和时间。
AI产品机器人仿真平台基础模型Genesis AI策略评估
推荐理由：机器人研究者终于有了一个高保真、超高效的仿真评估平台——Genesis World 1.0 将评估时间从 200 小时压缩到半小时，做机器人基础模型和策略训练的团队可以直接用起来，大幅加速迭代。
原文