GEMM 相关 AI 资讯 · AI 热点

7月26日

02:15

02:15

官方一手marktechpost@Sana Hassan

精选

TileLang是一种高级Python领域特定语言，用于简化高性能GPU内核设计。教程演示如何实现分块Tensor-Core GEMM、融合Softmax和FlashAttention等复杂工作负载。TileLang编译器自动处理线程映射、内存布局和底层CUDA指令生成。同时支持自动调优，帮助用户优化内核性能。

技巧 TileLang GPU编程 FlashAttention

推荐理由：想写GPU内核但被CUDA细节劝退？TileLang用Python帮你搞定Tensor-Core GEMM和FlashAttention，自动处理线程映射和调优，省心。

6月15日

11:11

11:11

官方账号arXiv cs.LG@Ali Asaria, Tony Salomone, Deep Gandhi

精选

论文发现消费级Ampere GPU上扩散Transformer的INT8量化常因反量化回bf16而无法利用INT8张量核心。作者为Ideogram 4.0线性层设计了一个融合Triton INT8 GEMM内核，在Ampere张量核心上执行int8×int8→int32，并在epilogue中折叠逐token×逐通道反量化和偏置。该内核实现2.8-4.2倍于bf16的GEMM加速，并保持余弦相似度1.0且无NaN。端到端测试中，在单张RTX 3090上768px分辨率获得约9-10%提速，1024px生成耗时156.5秒，优于NF4（164.5秒）和FP8（172.9秒）基线，且PickScore/CLIPScore无质量损失。

论文 Ideogram 4.0 RTX 3090 INT8

推荐理由：INT8反超FP8，单卡RTX 3090跑1024px扩散模型

6月13日

13:04

13:04

AK@_akhaliq

SpenseGPT提出一种实用的一次性剪枝方法，在LLM推理中同时支持稀疏和密集通用矩阵乘法（GEMM）。该方法无需重新训练，仅通过一次剪枝即可大幅减少模型参数。实验表明，在保持模型精度的前提下，剪枝后模型推理速度提升可达2倍。该技术适用于多种主流LLM架构。

论文 SpenseGPT 剪枝 LLM推理

推荐理由：一次剪枝，推理快两倍

6月12日

12:20

12:20

官方账号Tri Dao (FlashAttention)@tri_dao

精选

通过数学重写，研究者发现 Transformer 的所有操作本质上可以归结为一系列 GEMM（通用矩阵乘法）加 epilogue（后处理）。这意味着只要提供几个优化好的基础原语，LLM 甚至新手人类都能为所有 Transformer 操作编写达到光速的内核。这一发现简化了模型优化，让高性能内核的编写门槛大幅降低。

论文 Transformer GEMM 内核优化

推荐理由：对做模型推理优化和内核开发的团队来说，这揭示了 Transformer 的底层统一结构，可以直接用 LLM 生成高效代码，建议关注。