11:34
官方账号arXiv cs.LG@Wenzhi Zhong, Edward Milsom, Michael Murray
推荐理由：这个研究把SAM的内扰动改成矩阵谱范数，再用Muon做外更新，在ImageNet的ViT和ResNet上准确率都最高。
谱范数
共 1 条相关 AI 资讯
7月29日
11:34
Sharpness-Aware Minimization（SAM）通过鼓励对参数扰动不敏感来提升泛化，但扰动几何依赖尚未清晰。本文借鉴Muon优化器的矩阵感知思路，为矩阵权重引入逐层谱内扰动，并与AdamW/SGDW或Muon外更新组合。在ImageNet-1K上对ViT-Small/16和ResNet-50的实验表明，谱内步+Muon外步在两类模型上均取得最高验证准确率。该工作揭示了谱范数几何在SAM中的有效性。