结构优于非线性:用于动态学习的显式交互架构

Structure Over Nonlinearity: Explicit Interaction Architectures for Dynamical Learning

精选理由

这篇论文提出了全新的动态学习范式:用结构化单元替代黑箱非线性,实验证明深度和交互结构能带来更好的表示和泛化,值得做时序建模的人关注。

AI 摘要

该论文提出一种基于波启发交互结构(wave-inspired interaction structures)的显式动态单元,摒弃传统黑箱非线性逼近方法。这些单元采用严格因果组织(causal organization),消除代数循环,无需隐式求解器即可直接评估。在非线性系统识别任务(nonlinear system identification)中,堆叠该单元形成的分层架构在参数优化有限的情况下,深度提升了表示质量和泛化能力。即使仅用readout-only拟合,架构也能产生有用的内部表示,说明交互结构本身即可提供模型表现力。

AI 翻译 · 中文

该论文提出一种基于波启发交互结构(wave-inspired interaction structures)的显式动态单元,摒弃传统黑箱非线性逼近方法。这些单元采用严格因果组织(causal organization),消除代数循环,无需隐式求解器即可直接评估。在非线性系统识别任务(nonlinear system identification)中,堆叠该单元形成的分层架构在参数优化有限的情况下,深度提升了表示质量和泛化能力。即使仅用readout-only拟合,架构也能产生有用的内部表示,说明交互结构本身即可提供模型表现力。

arXiv cs.LGMost learning architectures for dynamical systems rely on generic nonlinear function approximation, often requiring high model complexity to capture structured behaviors. In this work, we propose an alternative paradigm