scaling-laws

Scaling laws（缩放定律）自OpenAI 2020年提出以来，已成为AI领域的基础性发现，其核心观点是模型性能随着参数规模、数据量和计算量的增加而可预测地提升。近期，该理论在多个方向得到延伸和深入探讨。

当前焦点：缩放定律是否在所有场景下都成立？在智能体、RLHF等复杂任务中，缩放的速度和边界可能与预训练阶段不同。未来需关注：1）数据质量与规模对缩放曲线的影响；2）是否存在“缩放天花板”，即计算量增加带来的边际效益递减。