精选理由
这篇论文很硬核：用一个固定 RNN 就能逼近任意连续函数，运行越长越准，像图灵机一样。
本文证明：对于 [-1,1] 上的任意连续函数，存在一个固定的 ReLU RNN（隐层维度固定、权重固定），通过延长运行时间即可实现一致逼近。核心创新在于引入中间模型 TMNU（Turing machine with neural units），它保留了实现多项式逼近方案的算法自由度，同时能被隐维度和权重大小有明确上界的 RNN 模拟。得到的收敛速率与底层多项式逼近率对应。本文还给出了极小极大下界，证明运行时间是该固定网络逼近范式中不可避免的资源。
AI 翻译 · 中文
本文证明：对于 [-1,1] 上的任意连续函数，存在一个固定的 ReLU RNN（隐层维度固定、权重固定），通过延长运行时间即可实现一致逼近。核心创新在于引入中间模型 TMNU（Turing machine with neural units），它保留了实现多项式逼近方案的算法自由度，同时能被隐维度和权重大小有明确上界的 RNN 模拟。得到的收敛速率与底层多项式逼近率对应。本文还给出了极小极大下界，证明运行时间是该固定网络逼近范式中不可避免的资源。
Classical approximation theorems ask for a new neural network whenever the target accuracy is improved. This paper studies the opposite possibility: can the network be chosen once and for all, and can accuracy be bought …