#收敛性分析

如果你做强化学习，这篇把平时凭感觉用的 success conditioning 给了收敛证明和速率，折扣 MDP 和单期 MDP 分别给了 O 界，理论党可以细看。

刚看到一篇论文，把同样本和独立样本随机外梯度的收敛性区别讲透了，还有反例。

这篇论文给自改进对齐的收敛性补上了理论证明，SAIL-RevKL加了逆向KL惩罚后效果更好，对做LLM对齐和强化学习的朋友很有参考价值。

做分布式机器学习或联邦学习的开发者，这篇论文给出了误差反馈算法的理论极限，帮你理解通信压缩到底能省多少而不损失收敛性，值得细读。

该研究为指数效用目标下的RL提供了严格的值基算法与收敛证明，填补了理论空白。对风险敏感决策领域（如金融、自动驾驶）的实践者有重要参考价值。