#grokking

共 3 条 · 7 天 0 条 · 30 天 1 条

信息流里打上「grokking」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月23日

论文精选10:13

研究 grokking 为什么突然泛化的论文，理论算出 grokking 时间由学习率乘 weight decay 决定，还用上千个网络验证了，做可解释性的可以看看。

arXiv cs.LG@Lenz Pracher 等 5 人原文

8月10日

Muon grok虽快，后grokking会崩到27.59%；冻结embedding/readout就能稳。想用Muon训Transformer的注意。

arXiv cs.LG@Ali Janati 等 4 人原文

6月30日

这篇论文用熵来解释深度学习泛化的硬极限和grokking，还给了EGD优化算法，理论研究者可以看看。

arXiv cs.LG@Srinivasa Rao P., Vangmayi P Reddy原文