精选理由
这篇论文用张量程序证明了随机神经网络的高斯过程极限误差随宽度平方根倒数衰减，还覆盖了Transformer，想细看理论可以读。
该论文通过张量程序框架，研究了随机神经网络的无限宽度高斯过程极限。主要结果给出了有限网络与高斯过程极限之间的Wasserstein距离定量误差界，阶为宽度平方根倒数。该框架与架构无关，适用于前馈网络、递归网络和Transformer型架构。
AI 翻译 · 中文
该论文通过张量程序框架，研究了随机神经网络的无限宽度高斯过程极限。主要结果给出了有限网络与高斯过程极限之间的Wasserstein距离定量误差界，阶为宽度平方根倒数。该框架与架构无关，适用于前馈网络、递归网络和Transformer型架构。
We study the infinite-width Gaussian-process limit of random neural networks through the lens of tensor programs, and we provide a quantitative convergence theory in Wasserstein distance. Our main result gives expl…