14:24Lilian Weng@lilianweng精选74°Lilian Weng 发布了一篇关于 scaling laws 的博文,详细解释了如何通过缩放定律在数据量和模型尺寸之间做计算最优分配。文章对比了 Kaplan et al.(2020)和 Chinchilla(2022)两篇经典论文的分歧:前者主张模型尺寸随计算量更快增长,后者主张等比例增长。文中还指出数据限制和拟合细节会使外推变得不可靠。AI模型Scaling LawsChinchillaKaplan et al.计算最优Lilian Weng推荐理由:想搞懂 Scaling Laws?Lilian 这篇把 Kaplan vs Chinchilla 的争论讲透了,还有实操建议。原文