神经网络架构自适应优化的最优控制方法及后验误差估计

An optimal control approach for neural network architecture adaptation with a posteriori error estimation

精选理由

这篇论文搞了个新路子,用误差估计自动告诉你该在网络的哪一层加更多神经元,在流体力学数据上比现有方法都强。

AI 摘要

本研究提出基于后验误差估计的神经网络深度自适应方法,将训练建模为连续时间最优控制问题,推导误差分布到各层的严格上界。通过双加权残差方法获得可计算误差指示器,在累计误差最大处插入新层。在Navier-Stokes方程的科学数据集上,该方法在泛化性能上优于现有架构自适应方法。

AI 翻译 · 中文

本研究提出基于后验误差估计的神经网络深度自适应方法,将训练建模为连续时间最优控制问题,推导误差分布到各层的严格上界。通过双加权残差方法获得可计算误差指示器,在累计误差最大处插入新层。在Navier-Stokes方程的科学数据集上,该方法在泛化性能上优于现有架构自适应方法。

arXiv cs.LGThis work presents a novel approach for adapting neural network architecture along the depth based on a posteriori error estimation. By formulating neural network training as a continuous-time optimal control problem, we