09:29
官方账号arXiv cs.LG@Xiaotian Zhang, Lai Shun Chan, Yue Shang, Entao Yang, Ge Zhang
推荐理由：这篇论文用模算术实验揭穿了一个幻觉：模型泛化好不代表扛得住后续干扰。高熵模型比AdamW更抗遗忘，想了解训练鲁棒性的可以看看。
Grokking
共 3 条相关 AI 资讯
8月3日
09:29
一篇来自arXiv的论文研究了高熵解对模型鲁棒性的影响。作者以模算术中的grokking为受控场景，对比AdamW训练的Transformer与基于Wang-Landau分子动力学采样的高熵模型。噪声注入实验显示，AdamW模型在强制记忆随机标签后，原任务测试准确率从100%跌至75%以下，而高熵模型仍保持约95%。通过奇异值分解发现，高熵网络在注意力层和MLP层具有更高的有效秩，可缓冲灾难性遗忘。
7月15日
09:08
09:08
官方账号arXiv cs.LG@Gunner Levi Howe
推荐理由：这篇论文搞清了Grokking延迟的可控关键：用无标签特征族先验就能加速17倍，而且只在训练早期用一小会儿就够，比你想的简单实用。
7月1日
10:32
10:32
官方账号arXiv cs.AI@Srijan Tiwari, Aditya Chauhan, Manjot Singh
推荐理由：这篇论文用几何视角解释了神经网络为什么先死记硬背后突然泛化，还找到了一个简单技巧（约束隐藏层半径）让 grokking 快 6 倍，值得搞训练的人看看。