arXiv cs.AI@Hari K. Prakash, Charles H Martin
55
推荐理由：这项研究为深度学习从业者提供了一种无需数据即可监控过拟合的新工具，尤其适合训练长期 grokking 模型的团队。建议关注模型泛化能力的开发者点开，了解如何用随机矩阵理论提前发现模型退化信号。
全部 AI 动态
AI 相关资讯全量信息流
5月14日
01:10
研究者提出一种基于随机矩阵理论的新方法，无需访问训练或测试数据即可检测深度学习模型的过拟合。该方法通过随机化每层权重矩阵，拟合 Marchenko-Pastur 分布，识别出违反自平均性的异常值（称为 Correlation Traps）。在长期 grokking 过程中，过拟合的“anti-grokking”阶段会出现这些陷阱，其数量和规模随测试准确率下降而增长。研究还提供了区分良性陷阱与有害陷阱的实证方法，并发现部分基础大语言模型也存在类似陷阱，暗示潜在的有害过拟合。