主要来源arXiv cs.LG
查看原文事件专题 ·单一信源
SAP 发布表格基础模型注意力基准测试
arXiv 论文针对 TabPFN、Mitra、ConTextTab 等表格 in-context 学习模型，系统测试了行注意力与列注意力在 2D 序列上的不同特性。基准覆盖 Torch SDPA、FlashAttention-2/3/4、cuDNN、vLLM、SageAttention 等后端，在 A100、H100、B200 三代 GPU 上测量前向与反向吞吐。结果显示最优后端因注意力方向、硬件和模型而异：FlashAttention 总体最佳，但长序列列注意力下 cuDNN 有时反超，交叉点取决于 head 维度；推理侧 SageAttention 在超过 16k 行的大序列行注意力上表现好。基准与评测代码已在 GitHub 开源。
当前结论
SAP 把 TabPFN 这类表格模型的注意力掰开测了一遍，FlashAttention、cuDNN、SageAttention 谁快谁慢、在哪张卡上快都列清楚了，做表格模型推理的可以直接抄作业。
2 个信源41° AI 热度最后更新 2026/9/25 14:14:48
证据链
2 个信源相关来源 1shao__meng
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。