#Grokking

Deep学习又发现新现象'分叉'，比Grokking和Double Descent还奇怪，AutoResearch agents的技巧可能带来意外副作用。

这篇论文用模算术实验揭穿了一个幻觉：模型泛化好不代表扛得住后续干扰。高熵模型比AdamW更抗遗忘，想了解训练鲁棒性的可以看看。

这篇论文搞清了Grokking延迟的可控关键：用无标签特征族先验就能加速17倍，而且只在训练早期用一小会儿就够，比你想的简单实用。

这篇论文用几何视角解释了神经网络为什么先死记硬背后突然泛化，还找到了一个简单技巧（约束隐藏层半径）让 grokking 快 6 倍，值得搞训练的人看看。