精选理由
预训练数据去重总留尾巴，斯坦福算了一笔账：最坏情况浪费三分之一的算力，模型越大规律越清楚。训练前值得看看。
斯坦福AI实验室的研究（论文编号2606.24998）量化了预训练语料中残留重复数据对计算效率的影响。最坏情况下，重复结构可导致高达33%的FLOPs被浪费。该研究还发现最坏情况重复结构与模型大小存在可预测关系。论文将作为口头报告在ICML 2026深度生成模型基础研讨会上展示。
AI 翻译 · 中文
斯坦福AI实验室的研究（论文编号2606.24998）量化了预训练语料中残留重复数据对计算效率的影响。最坏情况下，重复结构可导致高达33%的FLOPs被浪费。该研究还发现最坏情况重复结构与模型大小存在可预测关系。论文将作为口头报告在ICML 2026深度生成模型基础研讨会上展示。
Deduplication is standard practice but never perfect --this work measures what the residue costs in compute-equivalent terms, and shows the worst-case repetition structure is predictable from model size. The wrong combin…