10:29
arXiv cs.LG@Alexandre Lemire Paquin, Brahim Chaib-Draa, Philippe Giguère
推荐理由：这篇论文从PAC-Bayes理论推导出一个基于Jacobian和Hessian的新正则化器，在CIFAR-10上验证有效，值得搞泛化理论的人看看。
全部 AI 动态
AI 相关资讯全量信息流
6月18日
10:29
本文研究利用平滑损失函数对PAC-Bayes界进行去随机化，以获得确定性预测器的高概率泛化界。通过后验均值从Gibbs预测器到确定性预测器的代价由Jensen gap类的泛化差距给出，并通过Rademacher复杂度控制。得到的界涉及参数Jacobian和得分映射Hessian表示的平坦度量，适用于有界和无界平滑损失，并特例化为线性预测器和平滑神经网络。理论中的Jacobian和Hessian量启发了一个实用的正则化器，对BatchNorm网络在CIFAR-10上进行了不同批量大小下的实验。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07