AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：泛化理论×
6月19日
09:40
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月9日
12:12
12:12arXiv cs.LG@Chenxiao Yang, Nathan Srebro, Zhiyuan Li
精选
该论文严格刻画了深度L、总参数W的Transformer的VC维，上界为O(L W log(T W))，下界为Ω(L W log(T W / L))，其中T为输入序列长度。进一步，论文给出了思维链学习（chain-of-thought）的样本复杂度紧界：教师强制（teacher forcing）方法需要O(L W log((T+T')W))个样本，而任何利用思维链数据的学习规则至少需要Ω(L W log((T+T')W / L))个样本，T'为自回归步数。这些结果首次为Transformer的泛化能力提供了理论保证，对理解大模型的数据效率有重要意义。
论文TransformerVC维样本复杂度思维链泛化理论
推荐理由：理论研究者终于有了Transformer样本复杂度的紧界——VC维和思维链学习的下界都算清楚了，做深度学习理论的团队值得细读。
原文
6月5日
13:12
13:12arXiv cs.LG@August Y. Chen, Ahmed El Alaoui
精选
该论文研究了在高维过参数化场景下，能够完美插值训练数据的线性分类器的泛化性能分布。在两种数据生成模型（高斯混合模型和逻辑回归模型）下，作者证明了当样本数与维度之比足够小时，几乎所有插值分类器的泛化误差都集中在某个最优值附近，只有指数级小部分的分类器性能显著不同。通过数值比较，发现梯度下降和经验风险最小化等高效算法找到的插值器性能优于绝大多数随机插值器，揭示了这些算法在过参数化设置下具有非平凡的良性过拟合特性。这项工作为理解深度学习中的“良性过拟合”现象提供了理论支撑。
论文过参数化泛化理论线性分类器大偏差原理良性过拟合
推荐理由：这篇论文从理论层面解释了为什么过参数化模型能泛化——做高维统计学习或深度学习理论的研究者，看完会对“良性过拟合”有更精确的数学理解，值得深入阅读。
原文
5月21日
09:46
09:46arXiv cs.AI@Paul Lintilhac, Sair Shaikh
精选
该研究从布尔函数的傅里叶谱角度分析Transformer的泛化行为，提出稀疏且集中在低阶分量的频谱能构造低锐度（low-sharpness）的平坦最小值，从而获得非平凡的泛化界。与以往基于Rademacher复杂度的方法不同，作者利用PAC-Bayes理论证明了只要目标函数的稀疏度不超过上下文长度，就能实现良好泛化。实验和机械可解释性研究支持了理论构造在真实Transformer中的可行性。这项工作为理解Transformer为何能高效泛化提供了新的理论工具。
论文Transformer泛化理论PAC-Bayes傅里叶谱可解释性
推荐理由：理论研究者终于有了一个更精确的工具来刻画Transformer泛化——傅里叶谱视角比Rademacher复杂度更贴近实际训练行为，做深度学习理论或可解释性的同学值得细读。
原文
5月20日
11:30
11:30arXiv cs.LG@Valentina Njaradi, Clémentine Dominé, Rachel Swanson, Marco Mondelli, Andrew Saxe
精选
该论文通过高维分析框架，研究了预训练表征维度对下游线性探测泛化性能的影响。作者将预训练建模为无标签数据的主成分分析，下游任务建模为有标签数据的线性回归，并推导出训练误差和泛化误差的精确表达式。研究发现，当预训练数据充足但下游数据稀缺时，最大压缩的表征最优；而当预训练数据有限时，高维表征泛化更好。论文还量化了无标签数据与有标签数据之间的替代关系，并在自编码器和预训练大语言模型中观察到类似现象。
论文预训练表征学习泛化理论线性探测高维分析
推荐理由：这篇论文为预训练表征的维度选择提供了理论指导，做迁移学习或模型压缩的研究者可以直接参考其结论来优化训练策略。
原文