#控制即推断

搞 RLHF 或最大熵 RL 的朋友可以看这篇。以前理论界是 H^5，现在证明 H^3 就够，还首次给出带温度 β 的下界。做 RLHF 训练时要估采样预算的话，这篇能直接告诉你该按什么规模分配样本。