训练效率相关 AI 资讯

8月11日

11:16

官方账号arXiv cs.AI@Nathan Godey, Yoav Artzi

精选

Matryoshka训练框架将500M、1.5B和3B三个子模型堆叠进单一嵌套架构，端到端训练。相比独立训练基线，该套件在基准性能和困惑度上持平，但训练计算量减少36%。嵌套结构天然支持投机解码，吞吐量提升14-26%。论文还消融了关键架构选择，为构建强Matryoshka套件提供指导。

论文 Matryoshka 语言模型训练效率

推荐理由：想省训练算力又不想掉性能？这个嵌套训练法把三个模型塞一个架构里，直接省36%算力，还顺带加速推理，值得一看。

原文

6月12日

07:01

官方账号Together AI@togethercompute

精选

Together AI 团队提出 Untied Ulysses 方法，解决了长上下文训练中的显存瓶颈。传统方法在单节点 8xH100 上训练 Llama 3B 模型时，仅模型参数就会耗尽显存，无法支持 3M token 的上下文长度。新方法通过优化注意力机制，在 8B 和 32B 规模下实现了比先前实现长 25% 的序列训练。这项研究让大模型长上下文训练变得更可行，降低了硬件门槛。

论文长上下文显存优化注意力机制

推荐理由：长上下文训练一直是显存大户，Untied Ulysses 让单节点就能跑 3M token，做 LLM 训练和推理优化的团队值得关注，能省下不少 GPU 预算。

原文

5月29日

13:01

官方一手arXiv: DeepSeek@Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

72°

ESPO（Early-Stopping Proximal Policy Optimization）是一种针对大语言模型强化学习训练的新方法，能在推理轨迹中早期检测到错误步骤并提前终止生成。传统PPO算法在模型犯错后仍会强制生成直到最大步长，浪费计算资源并污染优势估计。ESPO通过实时计算基于logits的代理遗憾值，在累积遗憾显著超过估计值时终止轨迹，并将截断轨迹视为吸收失败状态，无需额外奖励模型或人工标注。在DeepSeek-R1-Distill-Qwen-7B的数学推理训练中，ESPO在AIME 2024、AMC 2023和MATH-500上均超越PPO，同时累计节省超过20%的生成token。

论文强化学习 PPO 数学推理

推荐理由：做LLM强化学习训练的团队终于有了一个能省算力又提效果的方法——ESPO在数学推理任务上不仅性能更好，还省了20%的token，训练成本敏感的团队值得一试。

原文

11:06

官方账号arXiv cs.AI@Yalun Dai, Yangyu Huang, Tongshen Yang, Yonghan Wang, Xin Zhang, Wenshan Wu, Qihao Zhao, Hao Li, Yuanyuan Gao, Kim-Hui Yap, Scarlett Li

该论文系统研究了数据组织对LLM训练的影响，提出四个关键准则：边界锐化、循环调度、课程连续性和局部多样性。基于这些准则，作者设计了两种新的数据排序方法STR和SAW，通过复用预计算的样本级分数，几乎不增加额外计算开销。实验表明，这些方法在预训练和SFT阶段均能提升训练稳定性和模型性能。对于追求训练效率的AI团队，这是一个低成本的优化方向。

论文数据组织 LLM训练 STR

推荐理由：数据组织是LLM训练中常被忽视的杠杆，STR和SAW方法几乎零成本就能提升训练效果，做预训练或SFT的团队值得一试。

原文

5月26日

12:20

官方账号arXiv cs.LG@Sanghyun Lee, Chunsan Hong, Seungryong Kim, Jonghyun Lee, Jongho Park, Dongmin Park

精选

本文提出 LoopMDM（Looped Masked Diffusion Model），通过在掩码扩散模型的早期-中间层选择性循环，显著提升训练效率和模型性能。训练时循环层产生深度缩放效果而不增加参数，推理时可变循环次数实现灵活计算缩放。在多个预训练语料上，LoopMDM 匹配同尺寸 MDM 性能但节省高达 3.3 倍训练 FLOPs，在 GSM8K 等推理基准上提升最多 8.5 分，甚至超越更深层非循环模型。注意力分析表明，循环促进了掩码位置间的交互。代码和权重将开源。

论文掩码扩散模型 Transformer架构训练效率

推荐理由：做扩散语言模型或高效 Transformer 架构的开发者值得关注——LoopMDM 用简单循环层技巧同时省训练算力、提推理性能，直接可复现。

原文

5月15日

10:01

官方账号arXiv cs.AI@Suorong Yang, Hanqi Zhu, Hai Gan, Fangjian Su, Guang Li, Furao Shen, Soujanya Poria

精选

现有数据选择方法主要关注“选什么”，但固定选择比例，忽略了动态调整数据量的潜力。本文从优化角度揭示，选择比例会隐式调节正则化效果：低比例增强正则化，高比例保持数据覆盖和优化保真度。为此，提出PODS框架，作为轻量级即插即用模块，在训练中动态调度选择数据量，交替低比例正则化阶段和高比例恢复阶段，平衡效率与泛化。实验表明，PODS可将ImageNet-1k训练成本降低50%且提升准确率，将LLM指令微调加速2倍以上且不损失性能。

论文数据选择训练效率正则化

推荐理由：PODS解决了数据选择中“选多少”被忽视的问题，做模型训练优化的团队可以直接集成到现有方法中，无需改动评分指标，值得一试。

原文