精选理由
这项研究为AI开发者揭示了模型规模与技能学习之间的关键机制，做模型训练或数据配比的团队可以直接参考其提出的数据频率优化方案，值得关注。
一项新研究解释了为什么大型语言模型能掌握小型模型无法学会的罕见技能。研究发现，小型模型在处理罕见任务时，频繁出现的任务会不断覆盖它们已学到的知识。研究使用了从400万到40亿参数不等的模型，详细展示了这一机制，并提出了一个实用解决方案：与其扩大模型规模，不如增加目标任务在训练数据中的出现频率。这一发现为优化模型训练提供了新思路。
AI 翻译 · 中文
一项新研究解释了为什么大型语言模型能掌握小型模型无法学会的罕见技能。研究发现，小型模型在处理罕见任务时，频繁出现的任务会不断覆盖它们已学到的知识。研究使用了从400万到40亿参数不等的模型，详细展示了这一机制，并提出了一个实用解决方案：与其扩大模型规模，不如增加目标任务在训练数据中的出现频率。这一发现为优化模型训练提供了新思路。
Small language models fail at rare tasks because frequent ones constantly overwrite what they've learned. A new study with models ranging from 4 million to 4 billion parameters shows this mechanism in detail and offers a…