用 DPO 微调语言模型并审计偏好偏差

本文提供使用直接偏好优化（DPO）微调语言模型的端到端工作流。教程演示了如何审计 Anthropic HH-RLHF 数据集的结构和长度偏差。它展示了如何使用 TRL 和 LoRA 实现一个稳健的训练管道。最后，文章评估了模型性能，以确保其进行真实的偏好学习，而非依赖词汇捷径。