Scaling-law(扩展定律)是描述大模型性能随参数量、数据量与算力投入增长而可预测提升的经验规律,被广泛视为过去几年大模型技术路线的核心指导思想。围绕“继续堆算力是否仍然有效”的争论近年来持续发酵,但从产业实践看,主流团队依然在沿这条路线加码投入。
Scaling Law 的近期进展
当前焦点与观察点
Scaling-law 的讨论正从语言模型向更多领域外溢。华为诺亚前研究员联手创业,尝试探索物理世界(具身智能方向)的 Scaling Law;李飞飞的 World Labs 也在访谈中谈到机器人领域的数据瓶颈问题——数据稀缺是否限制物理世界的规模化效应,是当前最受关注的不确定点之一。学术侧,斯坦福、MIT、哈佛与 Anthropic 的联合论文研究了“大模型为何能学会小模型错失的技能”,试图为涌现能力提供更扎实的解释。与此同时,斯坦福 2026 秋季新课程 CS 312「Deep Learning Alchemy」将课程资料与视频全部公开,反映该话题已进入系统化教学阶段。值得持续观察的问题包括:预训练数据接近耗尽后扩展定律能否靠合成数据延续、推理阶段的规模化(如强化学习与长思考)能否复制预训练的收益曲线,以及评估体系的滞后是否会掩盖或夸大规模带来的真实进步。