FUTRANSFORMER：Hopper GPU 上的 FP8 prefill 与 INT4 decode 推理实现

FUTRANSFORMER 是一个面向 NVIDIA Hopper GPU 的 CUDA 实现，针对 Llama 风格 Transformer 块做推理优化。prefill 阶段采用 FP8 输出与延迟缩放，在单张 H100 上最高比编译后的 PyTorch FP8 快 1.48 倍，达到 1.29 PFLOP/s。decode 阶段用 INT4 投影权重和 INT4 KV-cache，在 8B 与 70B 形状、batch 1-32 范围内比 PyTorch BF16/INT4 块快 1.3-2.4 倍。Llama-3.1-8B 单步 decode 耗时 2.8 ms，而编译版 transformers 实现需要 8.1 ms。量化质量方面，WikiText-2 上 INT4 权重路径将困惑度从 6.24 升至 6.99（GPTQ），旋转 INT4 cache 额外增加 0.20。