11:12arXiv cs.AI@Xu Ouyang, Deyi Liu, Yuhang Cai, Jing Liu, Yuan Yang, Chen Zheng, Thomas Hartvigsen, Yiyuan Ma精选现有的大语言模型缩放定律(如单调幂律)无法解释灾难性过训练和量化退化等非单调现象。研究者提出香农缩放定律,将LLM训练建模为噪声信道上的信息传输,基于香农-哈特利定理,将模型参数映射为信道带宽,训练token映射为信号功率。该理论揭示了LLM的香农容量:若缩放模型或数据时未保持足够信噪比,噪声放大将导致性能从单调提升转为U形退化。在Pythia和OLMo2上的实验验证了该定律,其预测准确率优于经典缩放定律,并能外推到未见模型。论文缩放定律香农容量噪声信道LLM训练理论框架推荐理由:香农缩放定律统一解释了LLM训练中的非单调退化现象,做模型缩放和训练优化的研究者可以直接用这个框架预测性能拐点,避免盲目增加计算量。原文