OrthoReg:正交正则化方法用于混合符号-神经动力系统

OrthoReg: Orthogonal Regularization for Hybrid Symbolic-Neural Dynamical Systems

精选理由

这篇论文提出OrthoReg,解决了混合建模中神经网络容易学走符号部分的问题,实验效果明显,写代码的朋友可以看看。

AI 摘要

OrthoReg提出了一种正交正则化方法,直接惩罚符号组件与神经组件的重叠,防止符号结构被神经残差吸收。相比标准L2正则化,该方法在符号组件通过稀疏发现学习时仍能保持互补分解。在部分库不匹配的基准动力系统上,OrthoReg改善了符号恢复准确性和分布外泛化性能。

AI 翻译 · 中文

OrthoReg提出了一种正交正则化方法,直接惩罚符号组件与神经组件的重叠,防止符号结构被神经残差吸收。相比标准L2正则化,该方法在符号组件通过稀疏发现学习时仍能保持互补分解。在部分库不匹配的基准动力系统上,OrthoReg改善了符号恢复准确性和分布外泛化性能。

arXiv cs.LGDynamical systems are fundamental to modeling the natural world, yet modeling them involves a persistent trade-off: manually prescribed mechanistic models are interpretable by design but often overly simplistic and missp