泛化界相关 AI 资讯 · AI 热点

7月27日

10:59

10:59

官方账号arXiv cs.LG@Anjian Li, Ryne Beeson

本文针对参数优化问题中数据稀缺的挑战，提出了一种k-邻域数据收集策略，通过将收敛解与中间求解器迭代结合来扩充训练数据。作者推导了基于Rademacher复杂度的泛化界，揭示了k-邻域及相关参数的作用。方法聚焦于由投影梯度下降求解的单侧盒约束二次规划，并通过两个示例展示了求解器行为。该研究提升了DDDAS范式中数据-模型-优化循环的效率。最后讨论了学习求解器迭代数据的两种观点，并将其与GLENS全局搜索方法关联。

论文 Projected Gradient Descent 泛化界数据增强

推荐理由：这篇论文教你怎么用求解器的中间迭代步骤来多搞训练数据，还给了理论分析并连接到GLENS方法，做优化或生成模型的人可以看看。

6月18日

10:29

10:29

官方账号arXiv cs.LG@Alexandre Lemire Paquin, Brahim Chaib-Draa, Philippe Giguère

本文研究利用平滑损失函数对PAC-Bayes界进行去随机化，以获得确定性预测器的高概率泛化界。通过后验均值从Gibbs预测器到确定性预测器的代价由Jensen gap类的泛化差距给出，并通过Rademacher复杂度控制。得到的界涉及参数Jacobian和得分映射Hessian表示的平坦度量，适用于有界和无界平滑损失，并特例化为线性预测器和平滑神经网络。理论中的Jacobian和Hessian量启发了一个实用的正则化器，对BatchNorm网络在CIFAR-10上进行了不同批量大小下的实验。

论文 PAC-Bayes 泛化界正则化器

推荐理由：这篇论文从PAC-Bayes理论推导出一个基于Jacobian和Hessian的新正则化器，在CIFAR-10上验证有效，值得搞泛化理论的人看看。