Papers10:30Chinese content研究证实权重矩阵秩压缩是 Grokking 的结果而非原因一篇很扎实的 grokking 机理研究,实验设计干净:先记住、后泛化的时间线被精确量化,还证明了压缩秩反而会阻碍 grokking。#Grokking#transformer#秩压缩#泛化aarXiv cs.LG@Shlok Mehendale, Paras ChopraSourceRead laterReadWorth followingUsefulFollow Grokking