10:21
arXiv: DeepSeek@Tom Hadfield
推荐理由：这篇论文提出了一个叫Patnaik-Pearson的新维度指标，用来分析BERT和DeepSeek模型内部表示的结构变化，还开源了代码，挺实用的。
全部 AI 动态
AI 相关资讯全量信息流
6月18日
10:21
该论文提出一种新的数据流形内在维度度量——Patnaik-Pearson维度，灵感来自HTSR、SETOL以及TwoNN估计器。作者证明权重矩阵经验谱密度服从帕累托分布时，该维度与HTSR和SETOL分析的尾指数临界值一致。通过理论分析和数值实验，研究了该维度在典型神经网络变换下的行为。在BERT-base和DeepSeek-R1-Distill-Qwen-1模型上，计算了token嵌入初始数据流形的维度及其随层数演变。所有代码和笔记本已在GitHub开源。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
5月25日
11:27
11:27
arXiv cs.LG@Andres Nava, Matthieu Wyart
精选
推荐理由：这项研究揭示了语言模型层级概念几何的统计根源，对理解LLM表征形成机制的研究者很有价值，建议关注其理论框架与实验验证。