12:12
arXiv cs.LG@Srinivasa Rao P., Vangmayi P Reddy
推荐理由：这篇论文用熵来解释深度学习泛化的硬极限和grokking，还给了EGD优化算法，理论研究者可以看看。
全部 AI 动态
AI 相关资讯全量信息流
6月30日
12:12
该论文提出统一框架，连接信息论、拓扑和统计力学，解释深度学习的泛化极限。核心是熵可学习性界限（ELH），规定网络仅当数据流形香农熵超过决策边界拓扑熵且平衡网络权重的冯·诺依曼熵时才能学习。作者证明香农-拓扑瓶颈定理，表明超过此界限时系统进入信息挫折的玻璃态记忆阶段，泛化变得热力学不可能。他们发现grokking现象实质是熵释放，权重突然重组解锁瓶颈。论文还提出熵梯度下降（EGD）算法，动态管理权重熵以保持学习轨道。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月9日
12:27
12:27
arXiv cs.LG@Claudio Nordio
精选
推荐理由：该研究为深度网络学习动力学提供了新的理论框架，做深度学习理论或理解网络内部机制的读者可以直接参考其层级Gram度量方法。
5月19日
11:03
11:03
arXiv cs.LG@George Whittle, Pranav Vaidhyanathan, Juliusz Ziomek, Natalia Ares, Maike A. Osborne
精选
推荐理由：这篇论文解决了特征学习网络缺乏规范正则化理论的痛点，做深度学习理论和正则化研究的学者值得细读——它用黎曼几何统一了核机制和特征学习机制，并给出了可落地的弧岭正则化方案。
5月12日
19:11
19:11
arXiv cs.LG@Tiberiu Musat
精选80°
推荐理由：为权重衰减的优越性提供了理论解释，将神经网络正则化与计算复杂性理论直接关联，对理解深度学习泛化机理有重要参考价值。