全部 AI 动态 · AI 热点

6月25日

01:12

01:12

NVIDIA AI@NVIDIAAI

76°

NVIDIA 发布了 NeMo AutoModel，基于 Hugging Face Transformers v5 为混合专家 (MoE) 模型提供原生支持。通过 Expert Parallelism、DeepEP 和 TransformerEngine 内核，仅需几行代码即可应用优化。实测显示 NeMo AutoModel 将主流 MoE 模型训练吞吐量提升 3.4 到 3.7 倍。该工具是 NeMo 框架的一部分，专为大规模模型构建设计。

AI产品 NeMo AutoModel MoE Hugging Face Transformers v5 训练加速 NVIDIA

推荐理由：NVIDIA 出了个 NeMo AutoModel，基于 Hugging Face Transformers v5，几行代码就能给 MoE 模型训练加速 3 倍以上，搞大模型训练的值得看看。

6月16日

20:46

AITOP6月16日 20:46

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

6月12日

12:57

AITOP6月12日 12:57

Claude代码里藏了个20260612，18个月后的AI记忆革命已经开始倒计时

6月11日

15:28

AITOP6月11日 15:28

1107 vs 303：谷歌悄悄开源了一个“拆打字机”的模型，把大模型速度翻了4倍

15:23

AITOP6月11日 15:23

DiffusionGemma颠覆文本生成？自回归模型的“统治”要结束了

15:07

AITOP6月11日 15:07

每秒1107个token，Google开源的扩散模型为什么能改变本地推理格局？

6月9日

08:05

08:05

NVIDIA AI@NVIDIAAI

精选72°

NVIDIA 在 Blackwell 平台上使用 NVFP4 精度训练了 Llama 3 8B 和 405B 模型。实验结果显示，相比 FP8 精度，NVFP4 实现了 1.31 到 1.73 倍的训练速度提升，且未出现任何精度损失。这一突破意味着大模型训练可以在更短的时间内完成，同时保持模型质量。对于需要大规模训练 AI 模型的团队来说，这能显著降低计算成本和等待时间。

AI模型 NVIDIA Blackwell NVFP4 Llama 3 训练加速

推荐理由：训练速度提升 1.3-1.7 倍且零精度损失，做大规模模型训练的团队可以直接在 Blackwell 上尝试 NVFP4，省时省成本。

5月28日

19:58

19:58

rohanpaul_ai@rohanpaul_ai

研究发现图像扩散Transformer训练效率低下的根源在于残差连接，而非注意力或编码器。残差连接导致信号膨胀、梯度消失和特征冗余，尤其不适合扩散模型这种多步去噪任务。作者提出扩散自适应路由（Diffusion-Adaptive Routing），让每层根据去噪时间步动态选择前层输出，从而在相同图像质量下减少8.75倍训练迭代。该工作没有引入新数据集或注意力机制，而是质疑了从语言Transformer继承的残差结构。

论文扩散模型 Transformer 残差连接训练加速 DiT

推荐理由：扩散模型研究者终于找到了训练瓶颈的隐藏位置——残差连接，8.75倍加速意味着更低的训练成本，做图像生成的团队值得关注这个新路由方案。

5月21日

09:46

09:46

arXiv cs.AI@John-Joseph Brady, Nikolas Nusken, Yunpeng Li

精选

深度状态空间模型（DSSM）在统计建模中广泛应用，但大规模训练一直困难。现有方法分为两类：自编码DSSM通过优化变分下界训练生成模型，而基于序贯蒙特卡洛（SMC）的方法可处理判别与生成任务，但因前向过程的顺序性在GPU上扩展性差。研究者提出并行变分蒙特卡洛（PVMC）方法，融合两类范式优势，在基准实验中达到或超越当前最优结果，且训练速度比最快的SMC方法快10倍。该方法可稳健训练DSSM用于判别和生成任务，解决了SMC方法在硬件上的扩展瓶颈。

论文深度状态空间模型并行变分蒙特卡洛训练加速序贯蒙特卡洛生成模型

推荐理由：做时间序列建模或状态空间模型研究的团队，PVMC让训练速度提升10倍且不牺牲精度，值得直接尝试。

5月17日

01:23

01:23

berryxia@berryxia

精选

Duke大学团队提出REPR-ALIGN方法，通过将扩散语言模型（DLM）的隐藏状态对齐到预训练自回归语言模型（AR LM）的表示空间，避免从零训练DLM的高成本。该方法仅修改注意力掩码，不增加适配器或改变架构，在低数据场景下效果显著，训练速度最高提升4倍。论文指出DLM只需学习解码路径，无需重新学习语言表示。相关论文和代码已开源。

论文扩散语言模型 DLM REPR-ALIGN 训练加速 Duke大学

推荐理由：做扩散模型或生成式AI的团队，终于不用从零训DLM了——对齐预训练AR模型就能省4倍训练成本，低数据场景尤其划算，建议直接看论文和代码。

5月13日

00:33

00:33Google Developers Blog（博客/媒体）

Google Cloud推出新集成方案，通过fsspec接口将Rapid Storage与PyTorch直连，利用Colossus架构和双向gRPC流，实现最高15 TiB/s聚合吞吐量并显著降低延迟。开发者只需更新存储桶类型，无需修改代码即可使训练总时间缩短23%。该方案旨在消除AI训练中的数据加载瓶颈，提升大规模分布式训练效率。

AI产品 PyTorch Google Cloud 存储优化训练加速 fsspec

推荐理由：对于依赖PyTorch进行大规模AI训练的团队，该方案提供了零代码改动的性能提升路径，验证了存储系统优化对训练效率的显著影响。

5月10日

14:00

14:00OpenAI Blog（博客/媒体）

精选

本文提出权重归一化（Weight normalization），一种通过重参数化权重向量来加速深度神经网络训练的简单技术。该方法将权重向量分解为方向向量和标量长度，并分别使用SGD优化，类似于Batch normalization的效果但计算开销更低。在MNIST、CIFAR-10等标准基准上，Weight normalization使网络收敛速度提升2-5倍，并能稳定训练极深网络（如100层ResNet）。实验表明，该方法与ReLU、Dropout等常用技术兼容，无需引入额外依赖。

论文 Weight normalization 重参数化训练加速神经网络 OpenAI

推荐理由：用简单重参数化加速训练，效果堪比BN但更轻量