12:12
arXiv cs.LG@Srinivasa Rao P., Vangmayi P Reddy
推荐理由：这篇论文用熵来解释深度学习泛化的硬极限和grokking，还给了EGD优化算法，理论研究者可以看看。
全部 AI 动态
AI 相关资讯全量信息流
6月30日
12:12
该论文提出统一框架，连接信息论、拓扑和统计力学，解释深度学习的泛化极限。核心是熵可学习性界限（ELH），规定网络仅当数据流形香农熵超过决策边界拓扑熵且平衡网络权重的冯·诺依曼熵时才能学习。作者证明香农-拓扑瓶颈定理，表明超过此界限时系统进入信息挫折的玻璃态记忆阶段，泛化变得热力学不可能。他们发现grokking现象实质是熵释放，权重突然重组解锁瓶颈。论文还提出熵梯度下降（EGD）算法，动态管理权重熵以保持学习轨道。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月9日
12:11
12:11
arXiv cs.LG@Jhonny J. Velasquez Olivera, Christo K. Thomas, Walid Saad
精选
推荐理由：解耦是机器学习长期难题，这篇用全息简化表示把离散符号结构引入神经网络，做无监督学习的团队值得关注——它既保持了可微分性，又比连续表示更抗噪，理论分析也扎实。
10:27
10:27
arXiv cs.AI@Mark Burgess
精选
推荐理由：做多智能体系统、主动推理或概率建模的研究者会感兴趣——承诺理论提供了一种避免概率陷阱的新框架，值得深入阅读。
6月3日
10:44
10:44
arXiv cs.LG@Lianghuan Huang, Yihao Li, Saeed Salehi, Yingshan Chang, Ansh Soni, Konrad P. Kording
精选
推荐理由：做视觉AI的开发者会关心：你的ViT模型真的理解“蓝色圆形”是一个整体吗？这篇论文给出了量化绑定信息的方法，值得点开看看如何诊断模型的结构性盲点。
6月2日
11:14
11:14
arXiv cs.LG@Sabyasachi Basu, Manuj Mukherjee, Lutz Oettershagen, Suhas Thejaswi
推荐理由：这篇论文揭示了自适应查询在社区恢复中的理论优势，做图算法或网络分析的学者值得关注，看完会对数据获取策略的设计有新的启发。