10:01
官方账号arXiv cs.LG@Yao Fu, Chunxia Zhang, Junmin Liu, Yihang Jin, Haishan Ye, Yuanao Yang
推荐理由：这篇论文提出的EISAM优化器比SAM更鲁棒，调参更简单，在多个架构上准确率更高，适合追求更好泛化性能的深度学习实践者。
EISAM
共 1 条相关 AI 资讯
7月8日
10:01
EISAM（Extragradient-Inspired Sharpness-Aware Minimization）是一种新型优化器，通过两步更新过程（预测步骤探索损失景观几何、扰动步骤用基础优化器细化更新）来提升泛化性能。在基准数据集上的实验表明，EISAM在测试准确率和训练效率上持续优于SGD、Adam和SAM。理论分析显示EISAM通过引导参数向曲率更小的平坦极小值收紧泛化界。此外，EISAM降低了对扰动半径的敏感性，简化了超参数调优。