精选理由
不想重训练模型?PeTeR这个后训练方法不用数据就能给概率电路加固,效果和从头做鲁棒训练差不多。
概率电路(PC)能高效计算复杂联合分布的推理查询,但基于似然的标准训练易对噪声、小样本和分布偏移过拟合。现有分布鲁棒优化需从头训练,而PeTeR提出一种数据无关的后训练框架,无需重新训练即可增强预训练PC的鲁棒性。在多个密度估计基准上,PeTeR有效提升基线模型对随机和对抗扰动的性能,达到或优于依赖数据的鲁棒学习基线。
AI 翻译 · 中文
概率电路(PC)能高效计算复杂联合分布的推理查询,但基于似然的标准训练易对噪声、小样本和分布偏移过拟合。现有分布鲁棒优化需从头训练,而PeTeR提出一种数据无关的后训练框架,无需重新训练即可增强预训练PC的鲁棒性。在多个密度估计基准上,PeTeR有效提升基线模型对随机和对抗扰动的性能,达到或优于依赖数据的鲁棒学习基线。
Probabilistic circuits (PCs) can model complex joint distributions while supporting exact and efficient computation of many inference queries. However, standard likelihood-based PC learning is vulnerable to overfitting a…