PeTeR:概率电路的后训练鲁棒化方法

PeTeR: Post-Training Robustification of Probabilistic Circuits

精选理由

不想重训练模型?PeTeR这个后训练方法不用数据就能给概率电路加固,效果和从头做鲁棒训练差不多。

AI 摘要

概率电路(PC)能高效计算复杂联合分布的推理查询,但基于似然的标准训练易对噪声、小样本和分布偏移过拟合。现有分布鲁棒优化需从头训练,而PeTeR提出一种数据无关的后训练框架,无需重新训练即可增强预训练PC的鲁棒性。在多个密度估计基准上,PeTeR有效提升基线模型对随机和对抗扰动的性能,达到或优于依赖数据的鲁棒学习基线。

AI 翻译 · 中文

概率电路(PC)能高效计算复杂联合分布的推理查询,但基于似然的标准训练易对噪声、小样本和分布偏移过拟合。现有分布鲁棒优化需从头训练,而PeTeR提出一种数据无关的后训练框架,无需重新训练即可增强预训练PC的鲁棒性。在多个密度估计基准上,PeTeR有效提升基线模型对随机和对抗扰动的性能,达到或优于依赖数据的鲁棒学习基线。

arXiv cs.LGProbabilistic circuits (PCs) can model complex joint distributions while supporting exact and efficient computation of many inference queries. However, standard likelihood-based PC learning is vulnerable to overfitting a