加速相关 AI 资讯 · AI 热点

6月12日

12:20

12:20

官方账号Tri Dao (FlashAttention)@tri_dao

精选

WentaoGuo7 提出了一种对混合专家模型（MoE）反向传播的数学重写方法，显著降低了激活内存占用，并大幅提升了训练速度，尤其适用于细粒度MoE。该方法还利用了NVIDIA Blackwell架构的新特性（如2CTA MMA和CLC）来构建超快MoE内核。这一进展对于训练大规模MoE模型的团队具有重要意义，能有效缓解内存瓶颈并加速迭代。

AI模型 MoE 反向传播内存优化

推荐理由：做MoE模型训练和推理的开发者，这个数学重写能直接降低你的显存压力并加速训练，尤其适合细粒度MoE场景，建议试试Blackwell新特性带来的性能提升。

6月1日

10:26

10:26

官方账号arXiv cs.LG@Daria Fomina, Daniil Krasylnikov, Alexey Boykov, Andrey Dolgovyazov, Vyacheslav Zhdanovskiy, Fedor Velikonivtsev

图神经网络（GNN）因稀疏、不规则的内存访问而性能受限。该研究从 I/O 和计算强度角度出发，将常用 GNN 层分为三类（SpMM 卷积、归约聚合、注意力层），并为每类开发了减少数据移动、提升局部性的 GPU 内核。实验显示，融合注意力内核在 Graph Transformer 上最高提速 3.9 倍（中位数 1.6 倍），GATv2 最高提速 8.5 倍（中位数 2.0 倍），峰值内存降低最多 76 倍。研究还发现图重排序对邻居并行内核更有效。所有实现作为即插即用替代方案开源，便于复现。

论文 GNN GPU 内核 I/O 优化

推荐理由：做图神经网络训练或推理的开发者，可以直接用这些内核替换现有层，无需改模型结构就能获得数倍加速和大幅内存节省，值得一试。

5月19日

14:30

14:30

官方账号arXiv cs.AI@Stephen Mell, David Mell, Konstantinos Kallas, Steve Zdancewic, Osbert Bastani

精选

复合AI应用（如用Python调用多个ML模型）的端到端延迟成为瓶颈，传统编译器无法优化外部组件调用。PopPy系统通过结合编译时分析和运行时调度，自动识别并并行化Python中调用外部组件的代码段。它解决了Python语言复杂性、动态分发和变量突变三大挑战，在真实复合AI应用中实现最高6.4倍加速。开发者只需少量标注即可获得并行化收益，且保持程序语义不变。

论文复合AI应用并行计算 Python优化

推荐理由：复合AI应用开发者终于有了一个无需重写代码就能加速的工具——PopPy自动找出并行机会，做多模型编排或自动化管道的团队值得一试。