斯坦福/MIT/哈佛/Anthropic 联合论文：大模型为何能学会小模型错失的技能

来自斯坦福、MIT、哈佛和 Anthropic 的联合研究揭示了大型语言模型能学会小模型无法掌握的技能的根本原因：大模型在训练过程中更不容易遗忘稀有技能。其额外容量能保护弱学习信号，而小模型的有限神经元会被常见任务占据，导致稀有任务在学习信号出现足够多次之前就被覆盖。研究通过控制实验和 OLMo 模型（4M 到 4B 参数）验证了这一结论，发现大模型在低频任务上表现更好，能保留更多任务特征，且梯度干扰更小。该论文为模型规模与能力涌现之间的关系提供了清晰的训练层面解释。