Primary sourcearXiv cs.LG
View sourceEvent ·Single source
多轮预训练的缩放理论：集成缓解后期过拟合
一篇 arXiv 论文研究数据总量受限时语言模型预训练的缩放规律。在 FineWeb 数据集上的实验显示，logit 平均的集成方法能减缓训练后期的性能恶化，在相同参数-token 预算下可超越更宽或更深的单模型。作者推导出多轮随机梯度下降的动力学平均场理论（DMFT），追踪跨 epoch 和跨模型的误差相关性。基于集成降低预测方差的机制，论文给出固定数据量下的算力分配法则：集成规模随算力增长的速度至少与单模型训练时长相当。
Current read
数据不够用之后预训练怎么办？这篇论文给了理论答案：与其训一个大模型，不如训练多个小模型做集成，还能推迟早停时机。
2 sources41° AI heatLast updated 2026/11/2 18:34:09
Evidence
2 sourcesRelated source 1shao__meng
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.