#训练效率

Deven Pzak 把 NanoGPT 训练干到 39.9 秒，思路不是堆算力而是按 flop 精打细算，嵌入参数撒到 65B 还只用 124M 活跃参数，搞训练的都该看看。

Thomas Wolf@Thom_Wolf原文

OpenAI新研究揭示OPD只需少量数据就能接近全数据效果，算法效率比数据量更重要。

想省训练算力又不想掉性能？这个嵌套训练法把三个模型塞一个架构里，直接省36%算力，还顺带加速推理，值得一看。

长上下文训练一直是显存大户，Untied Ulysses 让单节点就能跑 3M token，做 LLM 训练和推理优化的团队值得关注，能省下不少 GPU 预算。

官方账号Together AI@togethercompute原文

做扩散语言模型或高效 Transformer 架构的开发者值得关注——LoopMDM 用简单循环层技巧同时省训练算力、提推理性能，直接可复现。

PODS解决了数据选择中“选多少”被忽视的问题，做模型训练优化的团队可以直接集成到现有方法中，无需改动评分指标，值得一试。