缩放定律 · AI 话题观测

§ 01综述

缩放定律（Scaling Laws）是当前AI领域持续验证与探讨的核心经验法则。其基本思想是：随着模型参数量、训练数据和计算量的增加，模型性能会以可预测的方式提升。近期进展表明，缩放定律的适用范围已从传统语言模型拓展至多智能体系统和时间序列领域。

多智能体推理中的缩放效应：在StreamMA工作中，提出了一种流式通信加速机制，使得多智能体系统在推理时通过增加智能体数量或通信轮次能显著提升性能，这表明缩放定律在分布式智能体场景下依然成立 (StreamMA：流式通信加速多智能体推理，效果也更好)。

思考token的“第二缩放定律”：Ethan Mollick指出，当模型被允许生成更多“思考token”（即推理时中间步骤），其回答质量随token数量增加而提升，这揭示了推理阶段的计算缩放效应 (Second Scaling Law 持续有效：增加思考 token 提升 LLM 性能)。

时间序列模型的缩放验证：Datadog发布的Toto 2.0时间序列基础模型，通过扩大模型和数据规模，验证了缩放定律在时序预测任务中的有效性，说明其跨领域普遍性 (Datadog 发布 Toto 2.0 时间序列基础模型，验证缩放定律)。

高效缩放的新范式：Meta的Muse Spark模型在预训练效率上比Llama 4提升一个数量级，暗示缩放定律可能存在更高效的实现路径，即通过架构优化实现“经济缩放” (Meta 发布 Muse Spark：预训练效率超 Llama 4 一个数量级)。

当前焦点在于缩放定律的边界：一方面，有研究从信息论视角将LLM容量建模为噪声信道，试图解释缩放极限 (香农视角下的LLM容量与缩放定律：噪声信道模型)；另一方面，模型神经元群体随规模增大呈现分化选择性，显示出内部表征的涌现规律 (神经元群体随模型规模呈现分化选择性)。未来值得观察：缩放定律是否在达到数据质量瓶颈后失效，以及设备端MoE模型能否在小型化场景下复现缩放效应 (MobileMoE：面向设备端部署的MoE语言模型，0.3B-0.9B活跃参数)。

§ 02相关报道08 条在档

§ 03邻近话题