Chain of Operators 框架提升 ICON 泛化能力

Harness In-Context Operator Learning with Chain of Operators

精选理由

CHOP 解决了神经算子模型在分布外任务上泛化差的痛点,做科学计算或 PDE 求解的团队可以直接用这个框架提升模型效果,无需重新训练。

AI 摘要

神经算子模型在函数空间映射上表现良好,但泛化到其他算子时通常需要微调或重新训练。In-Context Operator Networks (ICON) 通过数值上下文提示让模型学习特定算子,无需微调即可适应不同算子,但在分布外任务上仍可能失败。受大语言模型链式提示的启发,研究者提出 Chain of Operators (CHOP) 框架,通过构建由显式初等变换和冻结的 ICON 组成的算子链,在不更新参数的情况下提升 ICON 在分布外任务上的泛化能力。在标量守恒律和平均场控制问题上的实验表明,CHOP 相比直接 ICON 评估降低了相对推理误差,且链中每个算子保持可解释和封闭形式。在一个 PDE 族上构建的链还能泛化到不同族,表明跨系统存在共享机制。

AI 翻译 · 中文

神经算子模型在函数空间映射上表现良好,但泛化到其他算子时通常需要微调或重新训练。In-Context Operator Networks (ICON) 通过数值上下文提示让模型学习特定算子,无需微调即可适应不同算子,但在分布外任务上仍可能失败。受大语言模型链式提示的启发,研究者提出 Chain of Operators (CHOP) 框架,通过构建由显式初等变换和冻结的 ICON 组成的算子链,在不更新参数的情况下提升 ICON 在分布外任务上的泛化能力。在标量守恒律和平均场控制问题上的实验表明,CHOP 相比直接 ICON 评估降低了相对推理误差,且链中每个算子保持可解释和封闭形式。在一个 PDE 族上构建的链还能泛化到不同族,表明跨系统存在共享机制。

arXiv cs.LGNeural operators approximate mappings between function spaces, but often generalize poorly to other operators and usually require fine-tuning or retraining. In-Context Operator Networks (ICON) addresses this issue by pro