收敛性相关 AI 资讯 · AI 热点

6月30日

15:10

15:10

官方账号arXiv cs.LG@Matan Schliserman, Gon Buzaglo, Itay Evron, Daniel Soudry

该论文刻画了同质模型中的弱正则化持续分类问题，将其视为在任务间隔集上的顺序投影。这一结果推广了此前仅限于单任务深度模型或持续线性模型的分析。研究表明，即使对于数据线性但参数非线性的简单模型，全局收敛一般也会失败。然而，利用非凸投影理论，论文识别了同质深度网络的规则性，保证在随机和循环任务序列下的局部线性收敛。最后，分析扩展到持续回归，统一了同质模型的框架。

论文 Continual Learning Homogeneous Deep Networks Deep Networks 理论分析收敛性

推荐理由：这篇论文从理论上搞清楚了持续学习中同质深度网络的收敛性质，比之前只分析线性模型或单任务模型的结果更通用。

6月16日

11:07

11:07

官方账号arXiv cs.LG@Daniel Csillag, Rodrigo Schuller, Pedro Dall'Antonia, Leonidas Guibas, Luiz Velho, Tiago Novello

这篇论文提出了一个新型的泛函梯度下降（FGD）算法，该算法在优化过程中自适应调整泛函梯度的表示，解决了固定近似引入误差的问题。作者证明，在光滑损失条件下该算法收敛到平稳点，在附加Polyak-Lojasiewicz条件时收敛到全局最小值，这是首个在一般环境下具有此类保证的可实现FGD方法。在回归、偏微分方程数值求解和现代计算机视觉任务中，该方法在效率和准确度上均优于固定近似FGD和神经网络基线。

AI模型 FGD 自适应表示优化算法收敛性

推荐理由：这篇论文提出了首个可实现的泛函梯度下降算法，能自适应调整梯度表示，理论上有收敛保证，实验上比传统FGD和神经网络更快更准。