Chinchilla 相关 AI 资讯 · AI 热点

8月11日

07:52

07:52

elvis@omarsar0

Meta新论文提出Skaling law，通过单一交互指数耦合模型容量与训练数据。该定律将平均绝对百分比误差在插值和外推中降低1.5倍至3倍。在数据稀缺和重度过训练区域，Chinchilla与Kaplan传统定律的预测会漂移，Skaling law的修正幅度最大。配合稀疏网格，只需约十分之一计算量即可外推完整训练网格。论文预印本编号为arXiv:2608.07222。

论文 Meta Skaling law Chinchilla

推荐理由：Meta新论文搞了个Skaling law，比Chinchilla和Kaplan那套准1.5到3倍，而且小规模跑就能算准，预算算力能省不少。

6月26日

14:24

14:24

Lilian Weng@lilianweng

精选74°

Lilian Weng 发布了一篇关于 scaling laws 的博文，详细解释了如何通过缩放定律在数据量和模型尺寸之间做计算最优分配。文章对比了 Kaplan et al.（2020）和 Chinchilla（2022）两篇经典论文的分歧：前者主张模型尺寸随计算量更快增长，后者主张等比例增长。文中还指出数据限制和拟合细节会使外推变得不可靠。

AI模型 Scaling Laws Chinchilla Kaplan et al.

推荐理由：想搞懂 Scaling Laws？Lilian 这篇把 Kaplan vs Chinchilla 的争论讲透了，还有实操建议。