00:23官方一手OpenAI Blog（博客/媒体）
精选95°
推荐理由：该论文揭示了深度学习模型的可预测扩展规律，是当前大规模AI系统设计和资源分配的核心理论依据。
scaling-laws
共 1 条相关 AI 资讯
5月11日
00:23
本文研究了神经语言模型性能与模型大小、数据集大小及计算量之间的幂律关系，发现模型性能随三者增加而可预测提升，且存在显著收益递减点。研究还表明，在计算预算固定时，应同时扩大模型和数据规模，而非仅注重一方。这一发现为大规模语言模型的发展提供了理论指导，奠定了后续GPT系列的基础。