16:05Decoder@Jonathan Kemper精选72°一项新研究解释了为什么大型语言模型能掌握小型模型无法学会的罕见技能。研究发现,小型模型在处理罕见任务时,频繁出现的任务会不断覆盖它们已学到的知识。研究使用了从400万到40亿参数不等的模型,详细展示了这一机制,并提出了一个实用解决方案:与其扩大模型规模,不如增加目标任务在训练数据中的出现频率。这一发现为优化模型训练提供了新思路。论文语言模型模型规模训练数据技能学习研究推荐理由:这项研究为AI开发者揭示了模型规模与技能学习之间的关键机制,做模型训练或数据配比的团队可以直接参考其提出的数据频率优化方案,值得关注。原文
21:09Decoder@Jonathan Kemper精选一项涵盖20.8万名参与者和2600万次回答的大规模研究发现,将语言模型训练成有用聊天机器人的过程,反而削弱了它们模拟人类行为的能力。这种效应随着模型代际更新而加剧,即使是流行的“角色扮演”技巧(喂入人口统计特征)对个体预测也几乎没有帮助。研究指出,AI的“有用性”与“人性化”之间存在根本性矛盾,这对依赖AI进行社会模拟或用户行为预测的应用构成挑战。论文AI研究语言模型模拟人类行为角色扮演有用性推荐理由:做AI社会模拟、用户行为预测或角色扮演应用的团队,这项研究直接点出了当前模型的根本局限——越有用的AI越不像人,建议点开看看具体数据和影响。原文