NVIDIA 基于块的 GPU 编程教程：从 cuTile 和 Triton 内核到 Flash Attention

本教程使用 TileGym 在 Colab 工作流中探索 NVIDIA 的 tile-based GPU 编程，覆盖 CUDA 环境检测、cuTile 后端及在缺乏 cuTile 栈时回退到 Triton。核心思想是操作整个数据块而非单线程，包括加载、计算和存储。实现了向量加法、融合 GELU、逐行 softmax、分块矩阵乘法和 Flash Attention，每个实现均与 PyTorch 对比验证。