11:52
官方账号arXiv cs.LG@Alex Buna, Shirley Xiaoqi Liu, Patrick Rebeschini
推荐理由：这篇论文告诉你，训练到过拟合之前提前停一下，GD在带噪声的高斯混合分类上能拿到理论最优错误率，比插值器省指数级样本。
early stopping
共 1 条相关 AI 资讯
8月7日
11:52
该论文研究过参数化分类中，线性可分数据下梯度下降（GD）在逻辑损失上范数发散但方向收敛到最大间隔分类器，其隐式偏差在统计上可能次优。作者证明在带标签翻转噪声的高斯混合模型下，于适当oracle时间早停的GD可对具有快速连续衰减协方差谱（包括多项式与指数衰减）实现极小极大最优的excess zero-one风险。分析结合了早停迭代的尖锐上界与任意分类器的匹配统计下界，并通过实验验证了最优速率。核心技术贡献是一个新的校准结果，将excess logistic风险转换为excess zero-one风险，去除了标准界中的平方根速率。此外，线性插值器达到相同excess风险所需样本量可能指数级多于早停。