SAP 发布表格基础模型注意力基准测试

arXiv 论文针对 TabPFN、Mitra、ConTextTab 等表格 in-context 学习模型，系统测试了行注意力与列注意力在 2D 序列上的不同特性。基准覆盖 Torch SDPA、FlashAttention-2/3/4、cuDNN、vLLM、SageAttention 等后端，在 A100、H100、B200 三代 GPU 上测量前向与反向吞吐。结果显示最优后端因注意力方向、硬件和模型而异：FlashAttention 总体最佳，但长序列列注意力下 cuDNN 有时反超，交叉点取决于 head 维度；推理侧 SageAttention 在超过 16k 行的大序列行注意力上表现好。基准与评测代码已在 GitHub 开源。