09:27Latent.Space@latentspacepodOpenAI首席研究官Mark Chen在播客中讨论了扩展定律和预训练仍具重要性,解释了OpenAI如何选择研究方向和分配算力。他指出当前AI评估存在危机,并警告基准测试过拟合(benchmark-maxing)的问题。Chen还探讨了多模态推理、长期实际任务处理以及端到端AI研究的未来路径。他认为研究人员需要培养“研究品味”以避开无意义的优化。行业OpenAIMark Chenscaling law评估危机推理模型10 个信源在谈推荐理由:OpenAI研究老大亲口聊评估危机和扩展定律,全是干货,没有废话。原文
12:27rohanpaul_ai@rohanpaul_ai来自斯坦福、MIT、哈佛和 Anthropic 的联合研究揭示了大型语言模型能学会小模型无法掌握的技能的根本原因:大模型在训练过程中更不容易遗忘稀有技能。其额外容量能保护弱学习信号,而小模型的有限神经元会被常见任务占据,导致稀有任务在学习信号出现足够多次之前就被覆盖。研究通过控制实验和 OLMo 模型(4M 到 4B 参数)验证了这一结论,发现大模型在低频任务上表现更好,能保留更多任务特征,且梯度干扰更小。该论文为模型规模与能力涌现之间的关系提供了清晰的训练层面解释。论文大模型模型训练涌现能力稀有任务scaling law5 个信源在谈推荐理由:做模型训练或理解 scaling law 的团队值得一读——这篇论文把大模型涌现能力的机制讲清楚了,不是玄学而是容量与干扰的数学问题。原文