10:43
arXiv cs.AI@Depen Morwani, Alexandru Meterez, Pranav Nair, Sham Kakade
精选
推荐理由：这篇论文把HB和ASGD在批量大小上的效率权衡讲清楚了，特别是那个sqrtκ倍的窗口，对想用动量方法加速训练的人很有参考价值。
全部 AI 动态
AI 相关资讯全量信息流
6月18日
10:43
该论文研究了随机重球法（HB）和加速SGD（ASGD）在一致线性回归中的计算效率与串行运行时间权衡。结果表明HB在任意谱下无法超越SGD的计算效率前沿，但允许在比SGD临界批量大sqrtκ倍的窗口内减少串行运行时间。ASGD在快速衰减幂律谱下可提升小批量计算效率，但随着批量增大，牺牲效率换取更优串行时间。合成线性回归实验验证了这些定性规律。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07