#policy evaluation

做分布式或边缘端强化学习的人可以看看这篇。它证明了每步只需传输 O(d log(T)) 比特就能保住未量化 TD 的收敛速率，比之前的结果有指数级改进。 batching 加自适应量化的组合思路也值得借鉴到自己的通信受限训练管线里。

CVaR 策略评估新方法 TIS，能显著降低 MSE，特别适合尾部风险评估场景。

这篇论文提出了评估策略的新方法，对于决策者信念正确的情况，能提供更紧密的性能保证，值得一读。

这篇论文提出FORE方法，只用占用率可实性就能做离线策略评估，省去Bellman完备性的复杂条件，适合研究强化学习的同学参考。

这篇论文从数学上解释了TD学习的误差为啥降不下去，用扩散近似把随机性的影响说清楚了。方法派、做强化学习理论的可以看看。