Scaling Laws 相关 AI 资讯 · AI 热点

7月28日

14:09

14:09

向阳乔木@vista8

Scaling Laws（缩放定律）描述了模型性能随计算量、数据量和参数规模变化的幂律关系。该定律由OpenAI在2020年提出，指导了大模型训练的资源分配。理解Scaling Laws有助于设计更高效的模型训练策略。

技巧 Scaling Laws 缩放定律训练策略

推荐理由：想搞懂大模型为什么越训越大？这个视频用动画讲清Scaling Laws的缩放规律，比看论文容易多了。

6月26日

14:24

14:24

Lilian Weng@lilianweng

精选74°

Lilian Weng 发布了一篇关于 scaling laws 的博文，详细解释了如何通过缩放定律在数据量和模型尺寸之间做计算最优分配。文章对比了 Kaplan et al.（2020）和 Chinchilla（2022）两篇经典论文的分歧：前者主张模型尺寸随计算量更快增长，后者主张等比例增长。文中还指出数据限制和拟合细节会使外推变得不可靠。

AI模型 Scaling Laws Chinchilla Kaplan et al.

推荐理由：想搞懂 Scaling Laws？Lilian 这篇把 Kaplan vs Chinchilla 的争论讲透了，还有实操建议。

6月12日

01:18

01:18

berryxia@berryxia

73°

Anthropic 的创始团队是 GPT-2、GPT-3 的实际作者，包括 Scaling Laws 核心作者 Jared Kaplan 和 GPT-3 首席工程师 Tom Brown，拥有行业顶级人才。其独家技术武器包括 Scaling Laws（精确预测训练产出）、Constitutional AI（价值观编码）和 RLHF（发明者参与），算力方面与 Amazon、Google、Microsoft 合作，拥有约 100 万颗 Trainium2 芯片和 5 GW 算力协议。年化营收从 2024 年 1 月的 8700 万美元飙升至 2026 年 4 月的 300 亿美元，增速超预期 8 倍。关于指控中国厂商蒸馏 Claude 能力，既有技术证据，也被视为政策游说动作。

行业 Anthropic 创始团队 Scaling Laws

推荐理由：想了解 AI 行业顶级团队如何构建技术壁垒和商业飞轮的读者，这篇快速梳理了 Anthropic 的核心优势，看完会对这家公司的战略有清晰认知。

5月30日

11:34

11:34

elvis@omarsar0

精选72°

一项新研究提出了有效反馈计算（EFC）指标，用于衡量智能体实际可用的反馈量，替代传统的原始token和工具调用计数。实验表明，原始计数只能解释33%-42%的智能体失败原因，而EFC的解释力达到99%。在相同计算预算下，仅通过按有效反馈重新分配资源，就能将智能体成功率从0.27提升至0.90。该研究将智能体框架设计从猜测转变为可预测的科学。

论文智能体有效反馈计算 Scaling Laws

推荐理由：做智能体框架或Agent Harness的开发者，终于有了一个可量化的优化指标——EFC能让你用相同算力把成功率翻三倍，值得点开论文细读。