论文解析：DPO 稀疏更新的理论解释——NTK 视角下的双重稀疏性

arXiv 论文《On the Sparsity of Direct Preference Optimization》用神经正切核（NTK）线性化分析 DPO 的优化动态，发现其 logistic 损失结构带来隐式最大间隔偏置。论文提出 dual sparsity 概念：数据层面由支持向量驱动，参数层面来自偏好与非偏好响应之间的梯度抵消。主要定理用依赖间隔的谱量界定了支持对的数量，并将双重稀疏性与利于模型合并的权重解耦联系起来。实验覆盖 GPT-2 Small/Medium 以及 Llama-3-8B、Mistral-7B、Gemma-2-9B，使用 Anthropic HH-RLHF 和 UltraFeedback 数据集；结果显示 DPO 相比监督微调可将跨任务干扰降低至多 35 倍。