#训练加速
共 9 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「训练加速」标签的资讯、产品与论文，按刊登时间排，新的在上。
8月5日
8月3日
论文09:28
Adaptive FastOPD：进度感知的滚动视野扩展实现高效在线蒸馏发了个叫Adaptive FastOPD的蒸馏加速方法，比OPD 15K快一半多，性能还更高。做训练加速的可以看看。
6月25日
NVIDIA NeMo AutoModel 基于 Hugging Face Transformers v5 实现 MoE 训练加速 3.4-3.7 倍
NVIDIA 出了个 NeMo AutoModel，基于 Hugging Face Transformers v5，几行代码就能给 MoE 模型训练加速 3 倍以上，搞大模型训练的值得看看。
6月9日
NVIDIA Blackwell 平台用 NVFP4 精度训练 Llama 3 8B/405B，速度提升 1.31-1.73 倍且零精度损失
训练速度提升 1.3-1.7 倍且零精度损失，做大规模模型训练的团队可以直接在 Blackwell 上尝试 NVFP4，省时省成本。
5月28日
5月21日
5月17日
Don’t Retrain, Align：训练Diffusion LLM速度提升4倍
做扩散模型或生成式AI的团队，终于不用从零训DLM了——对齐预训练AR模型就能省4倍训练成本，低数据场景尤其划算，建议直接看论文和代码。
5月13日
5月10日