10:56
官方账号arXiv cs.LG@Byung Gyu Chae
推荐理由：这篇论文用Pythia模型实测了Transformer内部动力学的红外组织现象，发现记忆核呈标度无关性，挺硬核的理论研究。
红外组织
共 1 条相关 AI 资讯
7月14日
10:56
该研究在Pythia语言模型中提取Transformer层雅可比矩阵的松弛谱，直接测量了弛豫态密度（TDOS）、记忆自能、遗忘间隙、记忆核和红外临界指数。测量发现慢弛豫模式呈现红外累积，产生近似平坦的TDOS（ρ(λ)~λ^{-0.1}）和标度无关的记忆核（K(t)~t^{-1}）。记忆自能在早期优化中出现瞬态最大值，随后松弛到近临界亚稳态，此时遗忘间隙最小、集体磁化率最大。这些定量实验证据表明Transformer动力学受红外集体组织支配，且该行为在不同训练阶段、网络深度和模型规模下均可复现。