10:10arXiv cs.AI@Julius Girardin, Emanuele Troiani, Yizhou Xu, Vittorio Erba, Florent Krzakala, Lenka Zdeborová该论文在二次两层神经网络中,通过ℓ2正则化经验风险最小化,分析了泛化误差随参数数量、样本量和宽度变化的精确表达式。研究发现泛化误差遵循依赖于目标谱结构的数据驱动幂律,并揭示了不同缩放区域间的相图转变,包括插值起始点的特征。实验基于有限样本和结构化数据,为理解特征学习模型的缩放行为提供了理论框架。论文Quadratic Neural Networks泛化缩放定律相图正则化幂律推荐理由:这篇论文给出了二次网络里参数和样本数怎么影响泛化误差的数学公式,比单纯看数据或算力更深入。原文
11:06arXiv cs.LG@Ilay Kamai, Hugues Van Assel, Aviv Regev, Hagai B. Perets, Randall Balestriero精选该论文系统研究了多模态表示学习中两种主流范式——跨模态对齐(CA)和跨模态预测(CP)的适用条件。作者通过线性框架和信号加噪声模型,揭示了两种方法的互补失败模式:对齐在噪声相关性高时失效,预测则受源模态质量影响。他们提出了一个四区域相图(Both、CA only、CP only、Neither),并开发了数据驱动方法,帮助实践者在训练前判断应使用哪种目标。实验在合成数据、立体视觉、图像-文本对和真实天体物理数据上验证了该框架,包括跨模态训练反而有害的“Neither”区域。论文多模态学习跨模态对齐跨模态预测相图表示学习推荐理由:这篇论文为多模态学习实践者提供了诊断工具,做生物医学或天体物理等异构数据研究的团队,可以在训练前判断该用对齐还是预测,避免盲目调参浪费时间。建议点开看看相图如何帮你选对目标。原文