泛化理论相关 AI 资讯 · AI 热点

7月15日

09:08

09:08

官方账号arXiv cs.LG@Gunner Levi Howe

该论文通过188次新实验研究了表征先验在Grokking中的作用。错误特征族（幅度带）像随机划分一样阻止泛化（1/15 vs 0/20 grok，p=0.43）。完全无标签的不变性先验（仅交换对）在15/15次运行中泛化，中位加速2.7倍，且比标签监督先验更可靠（p=0.038）。早期窗口（前2000个epoch，占4%预算）即可实现10/10泛化及2.7倍加速，优于连续应用（8/10，1.25倍）和后期窗口（2.1倍）。结合权重范数钳制的先验达到中位17倍加速（5/5），而普通交叉熵仅在精确临界范数下才匹配此速度。

论文 Grokking 表征先验无标签不变性

推荐理由：这篇论文搞清了Grokking延迟的可控关键：用无标签特征族先验就能加速17倍，而且只在训练早期用一小会儿就够，比你想的简单实用。

7月14日

12:22

12:22

官方账号arXiv cs.LG@Shikai Qiu, Marc Finzi, Yujia Zheng, Kun Zhang, Andrew Gordon Wilson

精选

传统参数压缩方法如量化产生码长随模型参数缩放，而prequential coding码长取决于数据熵。本文提出的requential coding使码长独立于参数数和数据熵，通常比prequential短数个数量级。在PAC-Bayes界中，该方法为十亿参数LLM提供了当前最优的泛化保证。实验还发现低熵文本比高熵图像包含更多可学习结构。

论文 Requential Coding 模型压缩 PAC-Bayes

推荐理由：这篇论文提出Requential Coding，码长不跟着模型大小和数据熵跑，比之前的方法短好几个数量级，还给十亿参数大模型给出了最牛的泛化保证。

6月19日

09:40

09:40

官方账号arXiv cs.LG@Jian Xu, Delu Zeng, John Paisley, Qibin Zhao

该论文指出量子视觉Transformer和量子卷积网络有两个未解释现象：纠缠更多的ansatz泛化更好，注入量子噪声可提升测试准确率。作者通过量子核视觉模型证明两者由有效维度d_eff控制，去极化噪声使d_eff收缩至1，振幅阻尼在倒U型区间提升准确率最高+13%。论文提供了容量/对齐风险分解，将两个孤立现象统一为可测量原则。

论文 quantum kernel effective dimension 量子视觉

推荐理由：这篇论文把量子视觉模型里两个反直觉现象（纠缠越多越好、加噪声反而更好）归结成一个可测量的有效维度，你读完就能抓住设计关键。

6月9日

12:12

12:12

官方账号arXiv cs.LG@Chenxiao Yang, Nathan Srebro, Zhiyuan Li

精选

该论文严格刻画了深度L、总参数W的Transformer的VC维，上界为O(L W log(T W))，下界为Ω(L W log(T W / L))，其中T为输入序列长度。进一步，论文给出了思维链学习（chain-of-thought）的样本复杂度紧界：教师强制（teacher forcing）方法需要O(L W log((T+T')W))个样本，而任何利用思维链数据的学习规则至少需要Ω(L W log((T+T')W / L))个样本，T'为自回归步数。这些结果首次为Transformer的泛化能力提供了理论保证，对理解大模型的数据效率有重要意义。

论文 Transformer VC维样本复杂度

推荐理由：理论研究者终于有了Transformer样本复杂度的紧界——VC维和思维链学习的下界都算清楚了，做深度学习理论的团队值得细读。

6月5日

13:12

13:12

官方账号arXiv cs.LG@August Y. Chen, Ahmed El Alaoui

精选

该论文研究了在高维过参数化场景下，能够完美插值训练数据的线性分类器的泛化性能分布。在两种数据生成模型（高斯混合模型和逻辑回归模型）下，作者证明了当样本数与维度之比足够小时，几乎所有插值分类器的泛化误差都集中在某个最优值附近，只有指数级小部分的分类器性能显著不同。通过数值比较，发现梯度下降和经验风险最小化等高效算法找到的插值器性能优于绝大多数随机插值器，揭示了这些算法在过参数化设置下具有非平凡的良性过拟合特性。这项工作为理解深度学习中的“良性过拟合”现象提供了理论支撑。

论文过参数化泛化理论线性分类器

推荐理由：这篇论文从理论层面解释了为什么过参数化模型能泛化——做高维统计学习或深度学习理论的研究者，看完会对“良性过拟合”有更精确的数学理解，值得深入阅读。

5月21日

09:46

09:46

官方账号arXiv cs.AI@Paul Lintilhac, Sair Shaikh

精选

该研究从布尔函数的傅里叶谱角度分析Transformer的泛化行为，提出稀疏且集中在低阶分量的频谱能构造低锐度（low-sharpness）的平坦最小值，从而获得非平凡的泛化界。与以往基于Rademacher复杂度的方法不同，作者利用PAC-Bayes理论证明了只要目标函数的稀疏度不超过上下文长度，就能实现良好泛化。实验和机械可解释性研究支持了理论构造在真实Transformer中的可行性。这项工作为理解Transformer为何能高效泛化提供了新的理论工具。

论文 Transformer 泛化理论 PAC-Bayes

推荐理由：理论研究者终于有了一个更精确的工具来刻画Transformer泛化——傅里叶谱视角比Rademacher复杂度更贴近实际训练行为，做深度学习理论或可解释性的同学值得细读。

5月20日

11:30

11:30

官方账号arXiv cs.LG@Valentina Njaradi, Clémentine Dominé, Rachel Swanson, Marco Mondelli, Andrew Saxe

精选

该论文通过高维分析框架，研究了预训练表征维度对下游线性探测泛化性能的影响。作者将预训练建模为无标签数据的主成分分析，下游任务建模为有标签数据的线性回归，并推导出训练误差和泛化误差的精确表达式。研究发现，当预训练数据充足但下游数据稀缺时，最大压缩的表征最优；而当预训练数据有限时，高维表征泛化更好。论文还量化了无标签数据与有标签数据之间的替代关系，并在自编码器和预训练大语言模型中观察到类似现象。

论文预训练表征学习泛化理论

推荐理由：这篇论文为预训练表征的维度选择提供了理论指导，做迁移学习或模型压缩的研究者可以直接参考其结论来优化训练策略。