Scaling Law
AI 术语表 · 又称:缩放定律、规模定律
Scaling Law(缩放定律)是描述模型性能随参数量、数据量与算力按幂律可预测提升的经验规律,是过去几年大模型军备竞赛的理论依据。
Kaplan(2020)与 Chinchilla(2022)先后给出不同的最优配比。2024 年后预训练收益放缓的讨论增多,行业把增长点转向推理时计算(test-time compute)与数据质量,即所谓「新 Scaling 维度」。
相关词条
Scaling Law(缩放定律)是描述模型性能随参数量、数据量与算力按幂律可预测提升的经验规律,是过去几年大模型军备竞赛的理论依据。
Kaplan(2020)与 Chinchilla(2022)先后给出不同的最优配比。2024 年后预训练收益放缓的讨论增多,行业把增长点转向推理时计算(test-time compute)与数据质量,即所谓「新 Scaling 维度」。