AITOPAI热报

BALD

general · First seen 2026-08-12 · Last seen 2026-10-12 · 2 mentions

Overview

BALD（Bayesian Active Learning by Disagreement，基于分歧的贝叶斯主动学习）是主动学习领域最经典的样本选择准则之一，由 Houlsby 等人于 2011 年提出。它的核心思想是：用贝叶斯神经网络对同一样本多次预测，选择模型间预测互信息（即对模型参数最“分歧”）的样本进行标注，从而以最少的标注预算换取最大的模型性能提升。随着大模型时代的到来，BALD 的思想正从传统的主动学习扩展到不确定性量化与数据挑选等新场景。

BALD 近期进展

  • 传统 BALD 依赖 MC Dropout 等贝叶斯近似，计算开销较大。近期出现了不少替代性不确定性度量路线，例如 arXiv 上提出的 ASMI：用注意力路径脆弱性检测大模型不确定性的免训练方法，该方法不需要额外训练即可从注意力路径的角度度量模型不确定性，可视为对 BALD 这类基于分歧度量的免训练化尝试，主要面向大语言模型场景。
  • 在深度主动学习的工程实践中，BALD 与其变体（如 BatchBALD、PowerBALD）仍是常用基线。BatchBALD 解决了 BALD 逐个选样导致的批内冗余问题，通过联合估计批内互信息提升批量选样效率，两者在图像分类、语义分割等任务上被反复对比。
  • 在大模型数据筛选方向，BALD 的“选最有信息量样本”思路被用于指令微调数据选择和 RLHF 标注优先级排序，但实践中常与多样性约束结合使用，以避免选出的样本集中于少数类型。

    • 当前焦点与观察点

    BALD 目前的争议主要集中在三点：一是其贝叶斯假设在过参数化的深度模型上是否仍然成立，有研究指出 BALD 偏好选出的样本未必带来真实增益；二是计算成本问题，多次前向传播在大模型场景下代价高昂，推动了各类免训练或单次前向替代方案的发展；三是与基于密度、代表性或梯度信息的选样准则相比，BALD 在分布偏移场景下的鲁棒性仍缺乏一致性结论。对关注主动学习与数据效率的从业者而言，BALD 仍是最值得对照的基线，但其在大模型时代是否需要根本性重构，尚待更多实证研究给出答案。

    Coverage

    3 on file