KL散度(Kullback–Leibler 散度,也称相对熵)是衡量两个概率分布差异的基础指标,在机器学习中既用于训练损失(如变分推断、知识蒸馏),也广泛出现在语言模型对齐、分布偏移检测等场景。它本身不对称、非负,仅在两个分布完全一致时为零,这些性质决定了它的适用边界。近期研究开始从理论层面重新审视这一经典工具的能力上限。
KL 散度近期研究进展
当前焦点与观察点
围绕 KL 散度的讨论正呈现两条主线。一是理论极限:Apple 的工作表明,对齐质量与 KL 预算之间存在可量化的权衡,这意味着实践中调整 KL 惩罚系数并非单纯的超参问题,而是有明确收益上限的约束优化。二是全局与局部之争:多篇论文指出,KL 散度作为一个全局聚合量,可能掩盖分布在局部区域的显著差异,局部分布偏移检测和局部质量评估正在成为补充手段。
此外,KL 散度还在扩散模型的理论保证(《End-to-End Guarantees for Masked Diffusion Models under Conditional Mixing》)以及推理阶段的置信度量化(《Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model》)中扮演角色。总体来看,这一经典度量并未被替代,而是被更精细地拆解——何时够用、何时需要局部化或替代正则,是当前研究的关键分歧点。