高频令牌掩码优化直接偏好优化

研究人员发现直接偏好优化(DPO)中存在高频令牌主导累积序列分数的问题。在Anthropic HH-RLHF数据集上，仅69个令牌类型占所有响应令牌的55.1%和成对共享令牌质量的85.9%。为解决此问题，他们提出了各向异性DPO(ADPO)和频率硬DPO方法。在Qwen-2.5-7B-Instruct和Llama-3-8B-Instruct模型上，该方法在AlpacaEval、MT-Bench和Arena-Hard基准测试中均优于标准DPO。