#约束对齐

做偏好优化训练的可以看看：给 DPO 打了个闭式诊断指标，能提前判断冲突数据会不会让安全分、长度这些约束越训越差。