12:20
官方账号arXiv cs.LG@Tiberiu Musat, Tiago Pimentel, Nicholas Zucchet, Thomas Hofmann
推荐理由：这篇论文用数学方法搞清楚了Transformer在归纳推理任务中怎么学习不同策略，还解释了in-context和in-weights学习谁赢跟数据统计有关，挺有启发性。
归纳推理
共 1 条相关 AI 资讯
7月14日
12:20
这篇论文提出了一个理论框架，解释Transformer语言模型如何涌现归纳推理能力。它统一了包括in-context n-grams和多跳推理在内的多种合成任务。作者证明，注意力模型的训练动力学可以限制在高度可解释的低维不变流形上，该流形用少量坐标而非数百万参数描述学习过程。利用该框架，他们分析了数据统计如何决定in-context学习与in-weights学习的竞争，并展示了流形坐标可自动检测模型学到的电路。这为预测Transformer学习行为提供了理论步骤。