AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：训练动力学×
6月16日
20:46
6月12日
12:57
09:09
09:09arXiv cs.AI@Joe Dwyer
本研究在固定计算预算下训练了一个4.26百万参数的Llama风格小模型，使用TinyStories语料库和CPU全精度训练，累计约2000万训练Token。通过重复测量设计，在21个间隔收集了验证损失、困惑度、波动性等指标。结果显示，验证损失从初始的8.3552迅速降至约400万Token时的2.7996，但最终回升至3.9010，困惑度也呈现先降后升的非单调模式。研究还发现了验证损失的反复回退现象，且未观察到稳定阶段。这表明在计算受限环境下，仅依赖最终指标评估模型效率可能掩盖训练过程中的不稳定性、退化及收益递减问题。
论文训练动力学小模型Token预算验证损失计算效率
推荐理由：这篇论文戳破了「更多Token=更好模型」的直觉，做小模型训练或资源受限场景的开发者会看到训练轨迹比终点指标更关键，建议点开看看如何用间隔遥测避免白费算力。
原文
6月11日
15:28
15:23
15:07
6月1日
10:28
10:28arXiv cs.LG@Brady Exoo, Alberto Bietti, John Sous
这篇论文通过变量赋值和模加法任务，研究了 Transformer 如何实现组合泛化。作者将训练数据划分为不相交集合，发现小型 Transformer 能泛化到未见过的变量与数字组合。机制分析显示，无论输入是直接给出还是通过变量赋值间接给出，模型都使用相同的“模加法”MLP 模块。训练动力学分析揭示了三个阶段：先学习模加法，再学习变量赋值结构，最后精炼阶段泛化到困难序列。理论框架解释了组合性如何从训练动力学中自然涌现。
论文Transformer组合泛化机制分析模加法训练动力学
推荐理由：这篇论文用简洁的实验揭示了 Transformer 组合泛化的内部机制，对理解大模型如何组合技能有启发意义，做可解释性或模型架构研究的读者值得一看。
原文