AITOP
论文

Transformer神经算子的零样本泛化到更大域

Zero-shot generalization of transformer neural operators to larger domains

arXiv cs.LG@Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin学术论文
阅读原文
精选理由

零样本推理更大域的新方法

AI 摘要

Transformer神经算子在复杂几何PDE求解中表现出色，但现有方法假设固定域大小限制泛化。本文提出可分解注意力偏置与旋转位置编码，实现空间局部性和平移等变性，使模型在训练域2倍、4倍更大的域上零样本推理。在2个PDE基准（Navier-Stokes、Darcy）和1个3D工业大气流动应用中，该方法显著提升零样本泛化性能。代码和数据集已公开在GitHub。

AI 翻译 · 中文

Transformer神经算子在复杂几何PDE求解中表现出色，但现有方法假设固定域大小限制泛化。本文提出可分解注意力偏置与旋转位置编码，实现空间局部性和平移等变性，使模型在训练域2倍、4倍更大的域上零样本推理。在2个PDE基准（Navier-Stokes、Darcy）和1个3D工业大气流动应用中，该方法显著提升零样本泛化性能。代码和数据集已公开在GitHub。

arXiv cs.LGTransformer-based neural operators have shown remarkable performance for approximating solution operators of partial differential equations on complex geometries. However, existing approaches implicitly assume a fixed do…
#Transformer#神经算子#零样本泛化#Domain extension
阅读原文
← 返回首页看更多 AI 资讯