scaling-law

general · First seen 2026-05-22 · Last seen 2026-10-22 · 17 mentions

Overview

Scaling-law(扩展定律)是描述大模型性能随参数量、数据量与算力投入增长而可预测提升的经验规律,被广泛视为过去几年大模型技术路线的核心指导思想。围绕“继续堆算力是否仍然有效”的争论近年来持续发酵,但从产业实践看,主流团队依然在沿这条路线加码投入。

Scaling Law 的近期进展

  • 梁文锋从未怀疑 Scaling,DeepSeek 创始人一直坚持大力投入算力:DeepSeek 创始人梁文锋被认为从未动摇过对扩展路线的信心,即便在以算法效率著称的路线下,公司也一直保持对算力的大力投入,说明“算法优化”与“规模扩张”并非对立选择。
  • Hinton 承认 Ilya 主张的规模化路线是对的:图灵奖得主 Hinton 公开承认当年 Ilya Sutskever 坚持的规模化路线判断正确,这被视为学界对扩展定律有效性的一次重要表态,尽管质疑者 Gary Marcus 仍在持续发声。
  • 研究用贝叶斯模型评估 DeepSeek-R1-Distill 系列:规模越大能力越强但效率不变:一项基于贝叶斯方法对 DeepSeek-R1-Distill 系列的评估发现,模型规模增大带来能力提升,但单位规模效率并未同步改善,提示扩展收益仍需权衡成本。
  • OpenAI 研究主管 Mark Chen 谈扩展定律与评估危机:OpenAI 研究主管 Mark Chen 在访谈中同时讨论了扩展定律与当前行业面临的“评估危机”,即模型能力增长快于基准测试衡量能力的增长。
  • 当前焦点与观察点

    Scaling-law 的讨论正从语言模型向更多领域外溢。华为诺亚前研究员联手创业,尝试探索物理世界(具身智能方向)的 Scaling Law;李飞飞的 World Labs 也在访谈中谈到机器人领域的数据瓶颈问题——数据稀缺是否限制物理世界的规模化效应,是当前最受关注的不确定点之一。学术侧,斯坦福、MIT、哈佛与 Anthropic 的联合论文研究了“大模型为何能学会小模型错失的技能”,试图为涌现能力提供更扎实的解释。与此同时,斯坦福 2026 秋季新课程 CS 312「Deep Learning Alchemy」将课程资料与视频全部公开,反映该话题已进入系统化教学阶段。值得持续观察的问题包括:预训练数据接近耗尽后扩展定律能否靠合成数据延续、推理阶段的规模化(如强化学习与长思考)能否复制预训练的收益曲线,以及评估体系的滞后是否会掩盖或夸大规模带来的真实进步。

    Coverage

    10 on file
    scaling-law · AI 话题观测|AI热报