10:11官方账号arXiv cs.LG@Andrea Agazzi, Eloy Mosig García, Dario Trevisan该论文通过张量程序框架,研究了随机神经网络的无限宽度高斯过程极限。主要结果给出了有限网络与高斯过程极限之间的Wasserstein距离定量误差界,阶为宽度平方根倒数。该框架与架构无关,适用于前馈网络、递归网络和Transformer型架构。论文Tensor ProgramsGaussian ProcessWasserstein distance随机神经网络收敛理论推荐理由:这篇论文用张量程序证明了随机神经网络的高斯过程极限误差随宽度平方根倒数衰减,还覆盖了Transformer,想细看理论可以读。原文
09:59官方账号arXiv cs.LG@Mohammad Tabish, Stefan KlusRaNNDy 是一种随机神经网络架构,用于数据驱动地逼近复杂动力系统的传递算子。其隐藏层权重和偏置随机初始化并固定,仅训练输出层,具有闭式解和低训练成本的优势。但该架构受限于初始随机参数决定的基函数质量,而基函数由激活函数决定。本文提出一种算法,在保持随机网络权重和偏置固定的前提下,优化激活函数本身,从而提供更合适的字典。通过随机微分方程和图随机游走等基准问题验证了该方法的有效性。论文随机神经网络传递算子逼近激活函数优化动力系统RaNNDy推荐理由:做动力系统建模或算子逼近的研究者,可以用这个算法自动调激活函数,省去手动试错的成本,建议直接看论文里的实验对比。原文