KL散度

general · First seen 2026-06-01 · Last seen 2026-11-16 · 10 mentions

Overview

KL散度(Kullback–Leibler 散度,也称相对熵)是衡量两个概率分布差异的基础指标,在机器学习中既用于训练损失(如变分推断、知识蒸馏),也广泛出现在语言模型对齐、分布偏移检测等场景。它本身不对称、非负,仅在两个分布完全一致时为零,这些性质决定了它的适用边界。近期研究开始从理论层面重新审视这一经典工具的能力上限。

KL 散度近期研究进展

  • Apple 发表的研究《Apple 研究:KL 预算下语言模型对齐的理论极限》探讨了当对齐过程允许消耗的 KL 散度预算有限时,语言模型对齐所能达到的理论上限,为 RLHF 类方法中普遍存在的 KL 惩罚项提供了更系统的理论依据。
  • 论文《FERPO:前熵正则化策略优化算法》在策略优化中引入前熵正则化,与以 KL 散度为核心的约束方式形成对照,探索稳定策略训练的替代路径。
  • 《KL 散度球结合学习密度模型,改进分布鲁棒优化的场景生成》将 KL 散度球与学习到的密度模型结合,用于提升分布鲁棒优化中的场景生成质量。
  • 《KLIP:用KL散度检测逆问题中的局部分布偏移》把 KL 散度用于逆问题求解中的局部分布偏移检测,而《超越全局散度:贝叶斯推理的局部质量视角》则提出局部质量视角,质疑仅靠全局散度评估贝叶斯推理是否足够。
  • 当前焦点与观察点

    围绕 KL 散度的讨论正呈现两条主线。一是理论极限:Apple 的工作表明,对齐质量与 KL 预算之间存在可量化的权衡,这意味着实践中调整 KL 惩罚系数并非单纯的超参问题,而是有明确收益上限的约束优化。二是全局与局部之争:多篇论文指出,KL 散度作为一个全局聚合量,可能掩盖分布在局部区域的显著差异,局部分布偏移检测和局部质量评估正在成为补充手段。

    此外,KL 散度还在扩散模型的理论保证(《End-to-End Guarantees for Masked Diffusion Models under Conditional Mixing》)以及推理阶段的置信度量化(《Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model》)中扮演角色。总体来看,这一经典度量并未被替代,而是被更精细地拆解——何时够用、何时需要局部化或替代正则,是当前研究的关键分歧点。

    Coverage

    9 on file