AWS 优化 Amazon SageMaker AI 上的 MoE 内核，吞吐量提升 10%

AWS 工程师团队在 Amazon SageMaker AI 上分享了融合 Mixture-of-Experts（MoE）模型的内核优化方法。技术方案包括用 Swap-AB 提升 WGMMA 利用率、引入 Triton 后端路由支持 FP8 量化，以及消除 Triton JIT 重复编译的开销。在 H200 GPU 上的实测结果显示，吞吐量最高提升 10%，Time to First Token 最高缩短 9%。