Kaplan

general · First seen 2026-06-11 · Last seen 2026-10-27 · 34 mentions

Overview

Kaplan 指的是 2020 年由 OpenAI 的 Jared Kaplan 等人提出的神经语言模型缩放定律(Scaling Laws),它用幂律关系描述模型损失如何随参数量、数据量和计算量增长而下降,是 GPT 系列大模型“越大越强”这一路线的重要理论依据,如今已从一篇论文演变为整个行业讨论训练投入与产出比时的基准框架。

Kaplan 缩放定律的近期讨论

2025 年以来,围绕 Kaplan 定律的再审视明显增多。斯坦福新课 CME 295 用 138 页讲义拆解从 Transformer 到 GPT 的演进,把缩放定律作为理解大模型发展脉络的关键一环(斯坦福新课 CME 295 开讲:138 页讲义拆解从 Transformer 到 GPT 的演进)。与此同时,Meta 的新论文提出 Skaling law,试图把模型容量与数据量耦合起来,修正单纯的参数量视角(Meta新论文提出Skaling law:耦合容量与数据的新缩放定律)。Lilian Weng 也发布了缩放定律的深度解读,梳理其适用边界与争议(Lilian Weng 发布 Scaling Laws 深度解读博文)。

从理论到工程实践

Kaplan 定律的影响已延伸到工程与人才层面。有讨论指出,Schulman、Fedus 等研究者从物理学转向机器学习,正是因为缩放定律让模型性能变得可预测、可规划(从物理学到机器学习:Schulman、Fedus 等人的转行选择)。在应用侧,Cognition 总裁在播客中分享主动式智能体的构建经验,其背后的资源分配逻辑同样依赖对缩放行为的判断(Cognition总裁在播客分享主动式智能体构建经验)。此外,arXiv 上出现的《Data Driven Block Replacement Scheduling》把数据驱动的调度思路引入系统层,可视为缩放思维向底层延伸的一个注脚(Data Driven Block Replacement Scheduling 论文提出数据驱动块更换调度算法)。

当前焦点与观察点

当下争论的核心,是 Kaplan 定律的原始形式是否仍能指导前沿训练:数据质量、架构效率与后训练方法是否让“堆参数”的边际收益提前衰减。另一个观察点是,Anthropic 等公司的营收增长被频繁拿来与缩放投入对照,用以检验理论预测与商业回报是否同步(Anthropic 为何牛逼:创始团队、技术武器与营收爆炸)。这些问题尚无定论,但 Kaplan 一词仍是衡量大模型发展节奏时最常被引用的坐标之一。

Coverage

10 on file