10:14
官方账号arXiv cs.LG@Jiefang Xiao, Maolin Gao, Simon Weber, Guandao Yang, Daniel Cremers
推荐理由：做算子学习或 PDE 求解的团队，终于有办法让 Transformer 不再把连续场当离散 token 处理了——Functional Attention 用函数对应替代 token 注意力，既提升泛化又保持分辨率不变，值得一试。
函数对应
共 1 条相关 AI 资讯
6月1日
10:14
本文提出 Functional Attention，一种将 Transformer 注意力机制重新解释为自适应基函数之间函数对应关系的方法。受几何函数映射启发，该方法用结构化线性算子替代 softmax 亲和度，从而获得紧凑、可泛化、分辨率不变的表示，显式捕捉全局依赖。实验表明，在求解 PDE、3D 分割和回归等算子学习任务中，Functional Attention 达到最先进性能，且对不同离散化方式保持鲁棒。项目代码已开源。