01:12NVIDIA AI@NVIDIAAI76°NVIDIA 发布了 NeMo AutoModel,基于 Hugging Face Transformers v5 为混合专家 (MoE) 模型提供原生支持。通过 Expert Parallelism、DeepEP 和 TransformerEngine 内核,仅需几行代码即可应用优化。实测显示 NeMo AutoModel 将主流 MoE 模型训练吞吐量提升 3.4 到 3.7 倍。该工具是 NeMo 框架的一部分,专为大规模模型构建设计。AI产品NeMo AutoModelMoEHugging Face Transformers v5训练加速NVIDIA7 个信源在谈推荐理由:NVIDIA 出了个 NeMo AutoModel,基于 Hugging Face Transformers v5,几行代码就能给 MoE 模型训练加速 3 倍以上,搞大模型训练的值得看看。原文
08:05NVIDIA AI@NVIDIAAI精选72°NVIDIA 在 Blackwell 平台上使用 NVFP4 精度训练了 Llama 3 8B 和 405B 模型。实验结果显示,相比 FP8 精度,NVFP4 实现了 1.31 到 1.73 倍的训练速度提升,且未出现任何精度损失。这一突破意味着大模型训练可以在更短的时间内完成,同时保持模型质量。对于需要大规模训练 AI 模型的团队来说,这能显著降低计算成本和等待时间。AI模型NVIDIABlackwellNVFP4Llama 3训练加速4 个信源在谈推荐理由:训练速度提升 1.3-1.7 倍且零精度损失,做大规模模型训练的团队可以直接在 Blackwell 上尝试 NVFP4,省时省成本。原文
19:58rohanpaul_ai@rohanpaul_ai研究发现图像扩散Transformer训练效率低下的根源在于残差连接,而非注意力或编码器。残差连接导致信号膨胀、梯度消失和特征冗余,尤其不适合扩散模型这种多步去噪任务。作者提出扩散自适应路由(Diffusion-Adaptive Routing),让每层根据去噪时间步动态选择前层输出,从而在相同图像质量下减少8.75倍训练迭代。该工作没有引入新数据集或注意力机制,而是质疑了从语言Transformer继承的残差结构。论文扩散模型Transformer残差连接训练加速DiT推荐理由:扩散模型研究者终于找到了训练瓶颈的隐藏位置——残差连接,8.75倍加速意味着更低的训练成本,做图像生成的团队值得关注这个新路由方案。原文
01:23berryxia@berryxia精选Duke大学团队提出REPR-ALIGN方法,通过将扩散语言模型(DLM)的隐藏状态对齐到预训练自回归语言模型(AR LM)的表示空间,避免从零训练DLM的高成本。该方法仅修改注意力掩码,不增加适配器或改变架构,在低数据场景下效果显著,训练速度最高提升4倍。论文指出DLM只需学习解码路径,无需重新学习语言表示。相关论文和代码已开源。论文扩散语言模型DLMREPR-ALIGN训练加速Duke大学推荐理由:做扩散模型或生成式AI的团队,终于不用从零训DLM了——对齐预训练AR模型就能省4倍训练成本,低数据场景尤其划算,建议直接看论文和代码。原文