#LSC-DPO

训练偏好模型的老问题：DPO 训到后面梯度就没劲了。这篇把 sigmoid 因子当成可调信号来动态控制，三个基准上都比 DPO 强，搞对齐训练的可以看看实现思路。