AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：机制分析×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月1日
10:28
10:28arXiv cs.LG@Brady Exoo, Alberto Bietti, John Sous
这篇论文通过变量赋值和模加法任务，研究了 Transformer 如何实现组合泛化。作者将训练数据划分为不相交集合，发现小型 Transformer 能泛化到未见过的变量与数字组合。机制分析显示，无论输入是直接给出还是通过变量赋值间接给出，模型都使用相同的“模加法”MLP 模块。训练动力学分析揭示了三个阶段：先学习模加法，再学习变量赋值结构，最后精炼阶段泛化到困难序列。理论框架解释了组合性如何从训练动力学中自然涌现。
论文Transformer组合泛化机制分析模加法训练动力学
推荐理由：这篇论文用简洁的实验揭示了 Transformer 组合泛化的内部机制，对理解大模型如何组合技能有启发意义，做可解释性或模型架构研究的读者值得一看。
原文