基于局部鲁棒性与稳定性的深度学习模型泛化误差上界

Upper Bounds on the Generalization Error of Deep Learning Models via Local Robustness and Stability

精选理由

这篇论文提出了更紧的深度学习泛化误差上界,在ImageNet上比现有方法更准,值得一看。

AI 摘要

现有深度学习模型泛化误差上界往往过于松散,尤其在0-1损失下。本文提出基于局部鲁棒性与稳定性的新泛化界,通过按输入空间子区域中稳定与不稳定样本数量缩放鲁棒项。在ImageNet数据集上,该界保持非空且比现有方法得到更紧的上界,与多个鲁棒深度神经网络的真实性能紧密对齐。

AI 翻译 · 中文

现有深度学习模型泛化误差上界往往过于松散,尤其在0-1损失下。本文提出基于局部鲁棒性与稳定性的新泛化界,通过按输入空间子区域中稳定与不稳定样本数量缩放鲁棒项。在ImageNet数据集上,该界保持非空且比现有方法得到更紧的上界,与多个鲁棒深度神经网络的真实性能紧密对齐。

arXiv cs.LGGeneralization is a critical property of data-driven models, particularly deep learning models deployed in safety-critical applications. Robustness-based generalization bounds have gained attention as a principled way to