#deep learning theory

6 stories · 0 in 7 days · 2 in 30 days

Stories, products and papers tagged "deep learning theory", newest first.

Oct 16

搞优化器的人都该看看这篇，它把 Muon 为什么有效从曲率角度做了严格的几何刻画，还指出了原有解释的脆弱点。

arXiv cs.LG@Ao XuSource

Oct 15

Grokking 不玄了：这篇论文给出触发条件和平台期长度公式，还配了实验验证，做理论的可对照。

arXiv cs.LG@Baye Malick Gning, Elvis DohmatobSource

Jun 30

这篇论文用熵来解释深度学习泛化的硬极限和grokking，还给了EGD优化算法，理论研究者可以看看。

arXiv cs.LG@Srinivasa Rao P., Vangmayi P ReddySource

Jun 9

PapersSelected12:27

该研究为深度网络学习动力学提供了新的理论框架，做深度学习理论或理解网络内部机制的读者可以直接参考其层级Gram度量方法。

arXiv cs.LG@Claudio NordioSource

May 19

PapersSelected11:03

这篇论文解决了特征学习网络缺乏规范正则化理论的痛点，做深度学习理论和正则化研究的学者值得细读——它用黎曼几何统一了核机制和特征学习机制，并给出了可落地的弧岭正则化方案。

arXiv cs.LG@George Whittle et al. (5)Source

May 12

PapersSelected80°19:11

为权重衰减的优越性提供了理论解释，将神经网络正则化与计算复杂性理论直接关联，对理解深度学习泛化机理有重要参考价值。

arXiv cs.LG@Tiberiu MusatSource