Chinese contentDPO 计算图随机剪枝：训练提速 1.4 倍，峰值显存更低
一篇讲怎么把 DPO 训练提速 30% 的论文，分支剪枝拿到 1.426 倍单步加速，代价是准确率略降，做偏好优化的可以看看。
#training acceleration
11 stories · 0 in 7 days · 1 in 30 days
Stories, products and papers tagged "training acceleration", newest first.
Oct 22
Oct 14
Chinese contentBARTER：用标准稠密算子实现紧凑动态稀疏训练，L40 提速 6.29 倍
BARTER 不用专用稀疏算子，靠张量紧凑化把训练提速 6.29 倍，显存省 81%，iPhone 上也能跑。
Aug 5
Chinese contentCursor 开源 MoK：NVL72 MoE 训练内核提速 2.37 倍
Cursor 把 NVL72 上的 MoE 训练内核开出来了，比公开方案快 2.37 倍，想省训练成本直接用。
Aug 3
Papers09:28
Chinese contentAdaptive FastOPD：进度感知的滚动视野扩展实现高效在线蒸馏发了个叫Adaptive FastOPD的蒸馏加速方法，比OPD 15K快一半多，性能还更高。做训练加速的可以看看。
Jun 25
Chinese contentNVIDIA NeMo AutoModel 基于 Hugging Face Transformers v5 实现 MoE 训练加速 3.4-3.7 倍
NVIDIA 出了个 NeMo AutoModel，基于 Hugging Face Transformers v5，几行代码就能给 MoE 模型训练加速 3 倍以上，搞大模型训练的值得看看。
Jun 9
Chinese contentNVIDIA Blackwell 平台用 NVFP4 精度训练 Llama 3 8B/405B，速度提升 1.31-1.73 倍且零精度损失
训练速度提升 1.3-1.7 倍且零精度损失，做大规模模型训练的团队可以直接在 Blackwell 上尝试 NVFP4，省时省成本。
May 28
Papers19:58
Chinese contentDiT训练慢？新方法8.75倍加速，根源在残差连接扩散模型研究者终于找到了训练瓶颈的隐藏位置——残差连接，8.75倍加速意味着更低的训练成本，做图像生成的团队值得关注这个新路由方案。
May 21
May 17
Chinese contentDon’t Retrain, Align：训练Diffusion LLM速度提升4倍
做扩散模型或生成式AI的团队，终于不用从零训DLM了——对齐预训练AR模型就能省4倍训练成本，低数据场景尤其划算，建议直接看论文和代码。
May 13
Chinese contentGoogle Colossus接入PyTorch：训练提速23%
对于依赖PyTorch进行大规模AI训练的团队，该方案提供了零代码改动的性能提升路径，验证了存储系统优化对训练效率的显著影响。
May 10