Chinese contentPORT：基于 token 级重加权的噪声偏好优化框架
训练时偏好数据常有标注噪声，这套方法能在 token 级别识别并压低被污染 token 的影响，而且只加一次前向传播，训练成本几乎不变。做 RLHF 或 DPO 微调的团队可以直接用他们开源的代码试试，和序列级方法比抗噪能力更强。
训练时偏好数据常有标注噪声，这套方法能在 token 级别识别并压低被污染 token 的影响，而且只加一次前向传播，训练成本几乎不变。做 RLHF 或 DPO 微调的团队可以直接用他们开源的代码试试，和序列级方法比抗噪能力更强。