Laws

general · First seen 2026-05-22 · Last seen 2026-10-21 · 84 mentions

Overview

Laws(定律)在 AI 领域语境下,主要指 Scaling Laws(缩放定律)等描述模型性能随参数量、数据量与算力变化的经验规律,它们是当前大模型训练与资源投入决策的核心依据。围绕缩放定律的研究与讨论,正从单纯的“堆算力”经验公式,转向对其适用边界、失效条件和更细粒度架构规律的系统探索。

Scaling Laws 近期进展

  • Lilian Weng 发布 Scaling Laws 深度解读博文:知名研究者 Lilian Weng 对缩放定律的数学基础、拟合方法与实际局限做了系统梳理,成为从业者理解 Laws 的重要参考材料。
  • Looped Mixture of Experts 扩展定律研究:该工作探讨将循环结构引入混合专家模型后的扩展行为,说明缩放定律并非只适用于稠密 Transformer,社区正尝试为新架构建立各自的 Laws。
  • arXiv 论文提出扩张域神经消解框架,追踪守恒律从局部到全局的失效:这篇论文关注物理守恒律(conservation laws)在神经网络学习中的表征问题,展示了 Laws 一词在 AI 研究中另一层含义——模型能否学到隐含的物理规律。
  • 斯坦福 CS336 第 10 讲:从数学主线讲透 LLM 推理优化:斯坦福公开课将扩展定律等理论工具纳入 LLM 系统教学,反映这类 Laws 已成为 AI 工程教育的标准内容。
  • 当前焦点与观察点

    目前的争议主要集中在两点:一是经典缩放定律在数据接近耗尽、合成数据占比上升的背景下是否依然成立;二是推理时扩展(inference-time scaling)等新范式是否需要全新的定律框架来描述。此外,扩散模型等非自回归架构也在被纳入同一分析视角,例如 Apple 的三模态掩码扩散模型 MDM 研究对设计空间的系统分析,就带有为新型架构寻找规律的目的。

    对从业者而言,观察点是:各大实验室是否继续公开其缩放实验结论、学术界能否提出更具预测力而非事后拟合的定律形式,以及这些经验规律能否指导推理成本优化等实际工程问题。Laws 相关研究正在从“描述现象”走向“指导决策”,其结论的可靠性将直接影响未来算力投入的合理性。

    Coverage

    10 on file
    Laws · AI 话题观测|AI热报