#BRAT

做 RL 后训练的人可以看看这篇：作者先解释了为什么同一批 rollout 多轮复用容易训崩，再给出 BRAT 这套更新方式，四次复用下不掉精度、种子间波动更小，比 PPO clipping 温和。