09:13
官方账号arXiv cs.LG@Enrico M. Malatesta, Alessandra Passalacqua, Riccardo Zecchina
推荐理由：这篇论文把神经网络解空间的OGP理论从零温度推广到了有限温度，发现允许一点训练误差就能让算法在原来计算困难的区域找到好解，而且泛化也不差。
消息传递算法
共 1 条相关 AI 资讯
7月30日
09:13
论文将零温度下的重叠间隙性质(OGP)扩展到有限温度，允许训练误差存在并统计惩罚。首先证明零温度平衡测度中占主导的冻结核1步复制对称破缺解在任意有限温度下依然存活。然后基于决策边界附近单模式吉布斯权重的平滑性，导出准则判断有限温度松弛何时消除冻结。进一步将OGP推广到有限温度，显示算法可访问的稠密有限能量区域在OGP临界密度α_OGP之上存在，直到随训练误差ε增长的阈值α_OGP(ε)。在师生设置中，这些宽有限能量区域仍保持良好泛化，且有限能量消息传递算法表明热噪声能在恢复教师和零温度解均困难的密度区域实现有效泛化。