#Adam-mini

共 1 条 · 7 天 0 条 · 30 天 0 条

Adam 1 Transformer 1 优化器 1

信息流里打上「Adam-mini」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月18日

论文精选10:18

神经网络优化器原理：Adam的收敛性与Adam-mini

这篇论文把Adam的底裤扒干净了，还顺手做了个Adam-mini，显存省一半，效果不掉。搞训练优化的人值得看看。

#Adam #Adam-mini #Transformer #优化器

arXiv cs.LG@Yushun Zhang原文