#隐式偏置

这篇论文证明了Adam没有梯度下降的低秩隐式偏置，在Transformer里能让等价初始化差56%，不是调参小事。