过参数化相关 AI 资讯 · AI 热点

8月7日

11:52

11:52

官方账号arXiv cs.LG@Alex Buna, Shirley Xiaoqi Liu, Patrick Rebeschini

该论文研究过参数化分类中，线性可分数据下梯度下降（GD）在逻辑损失上范数发散但方向收敛到最大间隔分类器，其隐式偏差在统计上可能次优。作者证明在带标签翻转噪声的高斯混合模型下，于适当oracle时间早停的GD可对具有快速连续衰减协方差谱（包括多项式与指数衰减）实现极小极大最优的excess zero-one风险。分析结合了早停迭代的尖锐上界与任意分类器的匹配统计下界，并通过实验验证了最优速率。核心技术贡献是一个新的校准结果，将excess logistic风险转换为excess zero-one风险，去除了标准界中的平方根速率。此外，线性插值器达到相同excess风险所需样本量可能指数级多于早停。

论文 Gradient Descent early stopping Gaussian mixture

推荐理由：这篇论文告诉你，训练到过拟合之前提前停一下，GD在带噪声的高斯混合分类上能拿到理论最优错误率，比插值器省指数级样本。

6月5日

13:12

13:12

官方账号arXiv cs.LG@August Y. Chen, Ahmed El Alaoui

精选

该论文研究了在高维过参数化场景下，能够完美插值训练数据的线性分类器的泛化性能分布。在两种数据生成模型（高斯混合模型和逻辑回归模型）下，作者证明了当样本数与维度之比足够小时，几乎所有插值分类器的泛化误差都集中在某个最优值附近，只有指数级小部分的分类器性能显著不同。通过数值比较，发现梯度下降和经验风险最小化等高效算法找到的插值器性能优于绝大多数随机插值器，揭示了这些算法在过参数化设置下具有非平凡的良性过拟合特性。这项工作为理解深度学习中的“良性过拟合”现象提供了理论支撑。

论文过参数化泛化理论线性分类器

推荐理由：这篇论文从理论层面解释了为什么过参数化模型能泛化——做高维统计学习或深度学习理论的研究者，看完会对“良性过拟合”有更精确的数学理解，值得深入阅读。