09:46arXiv cs.AI@Paul Lintilhac, Sair Shaikh精选该研究从布尔函数的傅里叶谱角度分析Transformer的泛化行为,提出稀疏且集中在低阶分量的频谱能构造低锐度(low-sharpness)的平坦最小值,从而获得非平凡的泛化界。与以往基于Rademacher复杂度的方法不同,作者利用PAC-Bayes理论证明了只要目标函数的稀疏度不超过上下文长度,就能实现良好泛化。实验和机械可解释性研究支持了理论构造在真实Transformer中的可行性。这项工作为理解Transformer为何能高效泛化提供了新的理论工具。论文Transformer泛化理论PAC-Bayes傅里叶谱可解释性推荐理由:理论研究者终于有了一个更精确的工具来刻画Transformer泛化——傅里叶谱视角比Rademacher复杂度更贴近实际训练行为,做深度学习理论或可解释性的同学值得细读。原文