AITOP

Bagging

共 2 条相关 AI 资讯
8月14日
11:22
11:22官方账号arXiv cs.LG@Omar Montasser
一项新研究证明，VC类在测试时对抗鲁棒学习的样本复杂度可达到关于VC维d的线性，相比Montasser等人2019年的上界实现了指数级改进。该算法将Breiman的bagging（自助聚合）与鲁棒经验风险最小化（RERM）结合，在O(d*)个独立bootstrap样本上计算RERM并输出多数投票，其中d*为对偶VC维。作者还给出下界，表明在该预言机模型中任何学习器至少需要Ω(d*)次RERM调用，即使训练样本任意多。
论文BaggingRERMVC维
推荐理由：这篇论文把bagging这个老方法用在了对抗鲁棒学习上，直接打破了之前的上界，而且证明样本复杂度跟VC维线性相关，搞理论或鲁棒学习的人值得看看。
原文
6月12日
10:57
10:57官方账号arXiv cs.LG@Meher Sai Preetam, Meher Bhaskar
本文提出 Simplex-Constrained Sparse Bagging (SCSB)，一种用于后训练压缩和概率校准的数学框架。标准 Bagging 集成（如随机森林、Bagged SVM 等）对所有基估计器赋予均匀投票权重，忽略了它们在不同区域的局部能力差异，导致模型过度自信。SCSB 通过在概率单纯形上最小化袋外损失，将集成剪枝和校准联合优化，并引入凹二次惩罚解决 L1 单纯形悖论（L1 范数在单纯形上为常数，无法直接剪枝）。该方法与模型无关，可实现高达 96% 的集成压缩，带来线性推理加速，同时降低期望校准误差，保持或提升泛化精度。
论文集成学习模型压缩概率校准
推荐理由：做集成学习或模型部署的团队，SCSB 能帮你把随机森林等 Bagging 模型压缩 96% 且校准更好，直接省推理成本。
原文