10:43
arXiv cs.AI@Depen Morwani, Alexandru Meterez, Pranav Nair, Sham Kakade
精选
推荐理由：这篇论文把HB和ASGD在批量大小上的效率权衡讲清楚了，特别是那个sqrtκ倍的窗口，对想用动量方法加速训练的人很有参考价值。
全部 AI 动态
AI 相关资讯全量信息流
6月18日
10:43
该论文研究了随机重球法（HB）和加速SGD（ASGD）在一致线性回归中的计算效率与串行运行时间权衡。结果表明HB在任意谱下无法超越SGD的计算效率前沿，但允许在比SGD临界批量大sqrtκ倍的窗口内减少串行运行时间。ASGD在快速衰减幂律谱下可提升小批量计算效率，但随着批量增大，牺牲效率换取更优串行时间。合成线性回归实验验证了这些定性规律。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月2日
11:13
11:13
arXiv cs.LG@Jianhao Xu, Zhuang Yang
推荐理由：做深度学习训练调参的开发者，这个动态p范数方案解决了ℓ₂和ℓ∞范数的极端问题，直接替换SGD就能提升泛化，值得在CIFAR/ImageNet任务上试试。
5月20日
10:11
10:11
arXiv cs.AI@Thomas Massena, Corentin Friedrich, Mathieu Serrurier
精选
推荐理由：这篇论文解决了优化器几何结构固定、无法适应问题几何的问题，做深度学习训练和优化器研究的开发者可以直接参考其自适应方法，有望提升模型训练效率。