精选理由
这篇论文从PAC-Bayes理论推导出一个基于Jacobian和Hessian的新正则化器，在CIFAR-10上验证有效，值得搞泛化理论的人看看。
本文研究利用平滑损失函数对PAC-Bayes界进行去随机化，以获得确定性预测器的高概率泛化界。通过后验均值从Gibbs预测器到确定性预测器的代价由Jensen gap类的泛化差距给出，并通过Rademacher复杂度控制。得到的界涉及参数Jacobian和得分映射Hessian表示的平坦度量，适用于有界和无界平滑损失，并特例化为线性预测器和平滑神经网络。理论中的Jacobian和Hessian量启发了一个实用的正则化器，对BatchNorm网络在CIFAR-10上进行了不同批量大小下的实验。
AI 翻译 · 中文
本文研究利用平滑损失函数对PAC-Bayes界进行去随机化，以获得确定性预测器的高概率泛化界。通过后验均值从Gibbs预测器到确定性预测器的代价由Jensen gap类的泛化差距给出，并通过Rademacher复杂度控制。得到的界涉及参数Jacobian和得分映射Hessian表示的平坦度量，适用于有界和无界平滑损失，并特例化为线性预测器和平滑神经网络。理论中的Jacobian和Hessian量启发了一个实用的正则化器，对BatchNorm网络在CIFAR-10上进行了不同批量大小下的实验。
We study PAC-Bayes derandomization for smooth loss functions. Our goal is to obtain generalization bounds that hold with high probability for deterministic predictors by exploiting smoothness properties of both the loss …