几何分析相关 AI 资讯 · AI 热点

7月1日

10:32

10:32

官方账号arXiv cs.AI@Srijan Tiwari, Aditya Chauhan, Manjot Singh

该论文对神经网络在算法任务上的延迟泛化（grokking）现象进行几何分析，发现交叉熵优化下隐藏表示的径向膨胀是延迟的主因。作者提出径向-角分解并推导三个可检验命题，引入单一超参数范数惩罚将激活约束在 sqrt(d) 半径超球面上。在模算术任务上，该惩罚使 MLPs 和 Transformers 的 grokking 加速高达 6 倍；对 10M 参数的 nanoGPT 在 3 位数加法上训练步数减半。

论文 Grokking 泛化几何分析 Transformer 深度学习

推荐理由：这篇论文用几何视角解释了神经网络为什么先死记硬背后突然泛化，还找到了一个简单技巧（约束隐藏层半径）让 grokking 快 6 倍，值得搞训练的人看看。

6月12日

11:26

11:26

官方账号arXiv cs.LG@Guo Yu, Wenlin Liu, Yulan Hu, Hao-Xuan Ma, Jun-Peng Jiang, Han-Jia Ye

该论文分析了在线策略蒸馏（OPD）在语言和多模态模型中的参数更新特性，发现OPD更新具有稀疏性，主要集中在FFN层，且仅训练这些子网络即可接近完整OPD的性能。更新在几何上是满秩但谱集中的，主要落在源权重接近零的坐标上。研究还发现，密集教师监督下SGD优化器不如AdamW，因为AdamW的自适应缩放对保持异构梯度尺度更有效。这些结果表明，OPD并非简单的密集参数重写，而是保留了策略后训练的几何特征。

论文模型蒸馏稀疏更新优化器对比几何分析 OPD

推荐理由：这篇论文揭示了OPD更新的稀疏性和几何特性，对做模型蒸馏和微调的团队有直接参考价值——你可以只训练关键子网络来节省计算，同时理解为什么AdamW比SGD更优。建议点开看看实验细节。